行业专家亲述:小模型路由在大模型时代的成功案例
Turn your wounds into wisdom
行业专家亲述:小模型路由在大模型时代的成功案例
在 大模型时代,小模型路由如何让你的系统既安全又可维护?
「把所有问题都丢给 大模型,谁来决定到底谁该负责?我在GPU上跑了一个带 MCP 的 agent 后端,发现大模型只负责写最后那段话,剩下的都交给小模型或纯代码。为什么要这么做?本文给你一个完整的拆解方案,让你把大模型当作“写最后那段话”的助手,避免把所有判断都塞进单个模型里。」
我家里那台 5080 很能打,但这个系列要讲的项目(一个带 MCP 工具的 agent 后端)最后是这么分工的:大模型只负责写最后那段话,其它判断全部下沉给小模型或纯代码。
这篇文章是系列第一篇,先讲地基:小模型路由。
系列目录:
- 小模型路由与可降级后端(本篇)
- Guardrail:agent 循环上的四个检查点
- Prompt 是发布物,不是字符串常量
- 跨进程的实时调用栈
- 混合检索 RAG:BM25 + 向量 + RRF + rerank
- 评测、Quality Gate 与闭环
- 工程手感:那些没写进设计文档的修法
1. 🎯 30 秒版本
- 把系统里每一种「判断」抽象成一个 slot(槽位):向量化、精排、分类、实体抽取、语种识别。
- 每个 slot 有两个后端:真实小模型(装了才有)和确定性降级实现(纯 Python,永远可用)。
- 调用方只认接口,不知道背后是谁。CI、冷启动的笔记本、没网的机器全都能跑。
profile()报告每个 slot 实际解析到了哪个后端,写进 trace 和评测报告——否则你永远说不清「这个分数是谁跑出来的」。
| Slot | 小模型 | 降级实现 | 谁在用 |
|---|---|---|---|
| embedder | bge-small(ONNX,CPU) | 字符 n‑gram 特征哈希 | RAG 召回、注入分类器 |
| reranker | jina reranker | 查询词覆盖率 | RAG 精排 |
| classifier | few‑shot 最近邻 | 关闭(只走规则) | 改写型注入 |
| entities | GLiNER | 关闭(只走正则) | 没有固定形状的 PII |
| language | — | Unicode 文字系统启发式 | 语种路由 |
| | | — |
细化 Slot 的职责
| Slot | 典型业务场景 | 需要的输入/输出 |
|---|---|---|
| embedder | 文档检索、语义相似度计算、向量化特征提取 | 文本 → 语义向量 |
| reranker | 对候选答案或检索结果做二次排序 | 文本列表 → 排序后的列表 |
| classifier | 业务分类、情感分析、命名实体标签预测 | 文本 → 类别标签 |
| entities | PII、地址、日期等实体抽取,兼顾多语言场景 | 文本 → 位置/实体 |
| language | 语种判别,用于后续多语言处理链条 | 文本 → 语种代码 |
小模型与降级实现的对比
- 小模型:
- 依赖 GPU/CPU、可扩展、支持多语言、可持续更新。
- 需要预先下载权重、部署在可访问的模型服务器或本地容器。
- 对网络、硬件资源有一定依赖,可能在冷启动或离线环境下失败。
- 降级实现:
- 纯 Python 逻辑,零外部依赖,始终可用。
- 性能和准确率低,但保证系统的可用性与安全性。
- 通过简单的启发式或规则快速返回结果,适用于无网络或硬件受限场景。
典型的降级实现
- 字符 n‑gram 特征哈希:将文本切分为 3‑4 字 n‑gram,然后用哈希映射到固定维度向量。速度快、内存占用小,适合向量化降级。
- 查询词覆盖率:直接统计查询词与候选答案中的词汇重合比例,粗糙但能快速排除不相关项。
- 规则 + 近邻:当小模型不可用时,先做规则过滤,再用最近邻(如 K‑NN)在预构建的向量库中查找最相近项。
- 正则:针对固定模式的 PII(如手机号、身份证)使用正则表达式即可识别,避免复杂模型的开销。
- Unicode 启发式:通过 Unicode 书写系统检测字符范围,快速判定文本的语种。
profile() 的工作原理
# 伪代码示例
for slot_name, slot in pipeline.slots.items():
start = time.time()
result = slot.run(input_text)
duration = time.time() - start
backend = slot._backend_name # 'small_model' or 'fallback'
trace.append({
'slot': slot_name
### 2. ⚙️ 底层原理
#### 2.1 接口先行:Protocol 而不是基类
```python
class Embedder(Protocol):
id: str
semantic: bool # False => 只有词法相似度;语义分类器必须保持关闭
def embed(self, texts: list[str]) -> list[Vector]: ...
两个细节值得抄:
id 是身份证。 索引里每个文档都记了「我是被哪个 embedder 向量化的」。换模型后 id 变了,增量同步自动判定全部过期、重新向量化。不记这个字段,你会得到一个混着两种向量空间的索引,检索结果诡异但不报错——最难查的那种 bug。
semantic 是诚实标记。 降级用的哈希 embedder 也能算余弦相似度,数字看起来一样正经,但它只懂「字面像不像」。如果拿它去驱动「这句话是不是注入攻击」的判定,就是在用噪声做安全决策。所以接口上强制每个后端自报家门,消费方一行代码把关:
if not getattr(embedder, "semantic", False):
return # 词法降级后端:这里的相似度没有意义
经验:降级实现最危险的地方不是「效果差」,而是「看起来一样」。 让能力差异在类型上
3. 🧭 为什么选它,不选别的
在构建大模型与小模型组合的体系时,往往会被“全用大模型”这一直觉所左右。下面从 延迟、确定性、可测试、被攻击面 以及 成本 五个维度对比,说明为何在本项目中把判断工作交给小模型 + 规则,而不是让 LLM 亲自完成。
| 维度 | 大模型判定 | 小模型 / 规则 |
|---|---|---|
| 延迟 | 秒级,占 GPU | 毫秒级,CPU |
| 确定性 | 同样输入可能不同输出 | 确定 |
| 可测试 | 需要 live 评测 | 普通单测 |
| 被攻击面 | 判定本身可被注入 | 正则不听人话 |
| 成本 | 每轮多一次调用 | 约等于零 |
最后一行最关键:用 LLM 判断「这段话是不是在骗 LLM」,等于让被告当法官。 这句看似夸张,却真实反映了把判定交给大模型的风险:模型本身的输出就可能被用来误导其自身。
延迟
- 大模型:推理一次往往需要数秒,且必须在 GPU 上运行,导致整体系统吞吐量下降。
- 小模型:在 CPU 上即可完成,延迟通常在 1–5 ms 之间,几乎不影响后端业务。
确定性
- 大模型:相同输入在不同 GPU 或不同一次推理时,输出可能略有差异(随机初始化、浮点舍入等)。
- 小模型:基于规则或 deterministic 模型,输出完全可复现,便于日志审计。
可测试
- 大模型:需要把真实用户流量注入线上环境才能评测,测试成本高且风险大。
- 小模型:可以写常规单元测试覆盖各种 Unicode 组合、正则分支,测试覆盖率可达 90% 以上。
被攻击面
- 大模型:模型内部逻辑可被构造输入触发不符合预期的推理路径,攻击者可通过巧妙输入操纵判定。
- 小模型:正则或规则引擎对输入做严格过滤,攻击者难以影响最终决策。
成本
- 大模型:每一次推理都需要调用外部 LLM 接口,往往按 token 计费,成本累计可观。
- 小模型:一次推理几乎无成本,主要是 CPU 计算和内存占用,几乎可忽略。
选择 fastembed 而非 sentence‑transformers
fastembed 采用 ONNX Runtime 作为推理后端,不依赖 PyTorch,安装后仅占用几十 MB 的空间,而 sentence‑transformers 需要 TensorFlow/PyTorch 以及数 GB 的模型权重。更重要的是,fastembed 在 CPU 上就能做到 1–2 ms 的推理速度,完全不与大模型争抢显存。部署目标是同一台服务器同时跑 LLM 与小模型,fastembed 的轻量特性让资源分配更清晰。
只做 Unicode 启发式的语种识别
目前需求仅是判断「这段话是不是中文」,完全不需要区分英语与法语等细粒度语言。使用简单的 Unicode 范围匹配即可完成这一任务,避免引入额外的编译依赖。若后续业务需要更细粒度的语言检测,接口已经预留,待需求出现再替换为更完整的模型。
4. 🔬 常见追问
Q:降级实现效果差,CI 用它跑评测还有意义吗?
有,但要分清它在测什么。规则、流程、接线这些与模型无关的行为,降级后端测得一样准。与模型质量相关的用例,用 requires: ["semantic_embedder"] 声明依赖,降级环境下显示为 skipped——跳过要显式可见,不能悄悄算通过。
Q:真实踩到的坑? bge-small-en 对中文几乎没有区分力。我把评测集每条输入的相似度打出来看,中文良性句子对「攻击例句」的相似度高达 0.79–0.82,和真正的英文攻击混在一起。原因很朴素:英文模型看所有中文都差不多。修法不是调阈值,而是路由:
if cfg.get("scripts") and small_models.detect_script(text) not in cfg["scripts"]:
return # 按语种路由:这个 embedder 没学过这种文字
这正是语种识别 slot 存在的意义——小模型组合的精髓不在「多」,在「谁该上场」。
| 句子类型 | 相似度范围 |
|---|---|
| 中文良性句子 vs 攻击例句 | 0.79–0.82 |
Q:怎么知道线上到底用的哪个后端?
GET /ops/status 调 profile()。评测报告的 profile 字段也是它,基线按 profile 分开存,两套后端的分数不会互相比较。