9 minute read

Turn your wounds into wisdom

行业专家亲述:小模型路由在大模型时代的成功案例

在 大模型时代,小模型路由如何让你的系统既安全又可维护?

「把所有问题都丢给 大模型,谁来决定到底谁该负责?我在GPU上跑了一个带 MCP 的 agent 后端,发现大模型只负责写最后那段话,剩下的都交给小模型或纯代码。为什么要这么做?本文给你一个完整的拆解方案,让你把大模型当作“写最后那段话”的助手,避免把所有判断都塞进单个模型里。」

我家里那台 5080 很能打,但这个系列要讲的项目(一个带 MCP 工具的 agent 后端)最后是这么分工的:大模型只负责写最后那段话,其它判断全部下沉给小模型或纯代码。

这篇文章是系列第一篇,先讲地基:小模型路由。

系列目录:

  1. 小模型路由与可降级后端(本篇)
  2. Guardrail:agent 循环上的四个检查点
  3. Prompt 是发布物,不是字符串常量
  4. 跨进程的实时调用栈
  5. 混合检索 RAG:BM25 + 向量 + RRF + rerank
  6. 评测、Quality Gate 与闭环
  7. 工程手感:那些没写进设计文档的修法

1. 🎯 30 秒版本

  • 把系统里每一种「判断」抽象成一个 slot(槽位):向量化、精排、分类、实体抽取、语种识别。
  • 每个 slot 有两个后端:真实小模型(装了才有)和确定性降级实现(纯 Python,永远可用)。
  • 调用方只认接口,不知道背后是谁。CI、冷启动的笔记本、没网的机器全都能跑。
  • profile() 报告每个 slot 实际解析到了哪个后端,写进 trace 和评测报告——否则你永远说不清「这个分数是谁跑出来的」。
Slot 小模型 降级实现 谁在用
embedder bge-small(ONNX,CPU) 字符 n‑gram 特征哈希 RAG 召回、注入分类器
reranker jina reranker 查询词覆盖率 RAG 精排
classifier few‑shot 最近邻 关闭(只走规则) 改写型注入
entities GLiNER 关闭(只走正则) 没有固定形状的 PII
language — Unicode 文字系统启发式 语种路由

| | | — |

细化 Slot 的职责

Slot 典型业务场景 需要的输入/输出
embedder 文档检索、语义相似度计算、向量化特征提取 文本 → 语义向量
reranker 对候选答案或检索结果做二次排序 文本列表 → 排序后的列表
classifier 业务分类、情感分析、命名实体标签预测 文本 → 类别标签
entities PII、地址、日期等实体抽取,兼顾多语言场景 文本 → 位置/实体
language 语种判别,用于后续多语言处理链条 文本 → 语种代码

小模型与降级实现的对比

  • 小模型:
    • 依赖 GPU/CPU、可扩展、支持多语言、可持续更新。
    • 需要预先下载权重、部署在可访问的模型服务器或本地容器。
    • 对网络、硬件资源有一定依赖,可能在冷启动或离线环境下失败。
  • 降级实现:
    • 纯 Python 逻辑,零外部依赖,始终可用。
    • 性能和准确率低,但保证系统的可用性与安全性。
    • 通过简单的启发式或规则快速返回结果,适用于无网络或硬件受限场景。

典型的降级实现

  • 字符 n‑gram 特征哈希:将文本切分为 3‑4 字 n‑gram,然后用哈希映射到固定维度向量。速度快、内存占用小,适合向量化降级。
  • 查询词覆盖率:直接统计查询词与候选答案中的词汇重合比例,粗糙但能快速排除不相关项。
  • 规则 + 近邻:当小模型不可用时,先做规则过滤,再用最近邻(如 K‑NN)在预构建的向量库中查找最相近项。
  • 正则:针对固定模式的 PII(如手机号、身份证)使用正则表达式即可识别,避免复杂模型的开销。
  • Unicode 启发式:通过 Unicode 书写系统检测字符范围,快速判定文本的语种。

profile() 的工作原理

# 伪代码示例
for slot_name, slot in pipeline.slots.items():
    start = time.time()
    result = slot.run(input_text)
    duration = time.time() - start
    backend = slot._backend_name  # 'small_model' or 'fallback'
    trace.append({
        'slot': slot_name

### 2. ⚙️ 底层原理

#### 2.1 接口先行:Protocol 而不是基类

```python
class Embedder(Protocol):
    id: str
    semantic: bool  # False => 只有词法相似度;语义分类器必须保持关闭

    def embed(self, texts: list[str]) -> list[Vector]: ...

两个细节值得抄:

id 是身份证。 索引里每个文档都记了「我是被哪个 embedder 向量化的」。换模型后 id 变了,增量同步自动判定全部过期、重新向量化。不记这个字段,你会得到一个混着两种向量空间的索引,检索结果诡异但不报错——最难查的那种 bug。

semantic 是诚实标记。 降级用的哈希 embedder 也能算余弦相似度,数字看起来一样正经,但它只懂「字面像不像」。如果拿它去驱动「这句话是不是注入攻击」的判定,就是在用噪声做安全决策。所以接口上强制每个后端自报家门,消费方一行代码把关:

if not getattr(embedder, "semantic", False):
    return  # 词法降级后端:这里的相似度没有意义

经验:降级实现最危险的地方不是「效果差」,而是「看起来一样」。 让能力差异在类型上

3. 🧭 为什么选它,不选别的

在构建大模型与小模型组合的体系时,往往会被“全用大模型”这一直觉所左右。下面从 延迟、确定性、可测试、被攻击面 以及 成本 五个维度对比,说明为何在本项目中把判断工作交给小模型 + 规则,而不是让 LLM 亲自完成。

维度 大模型判定 小模型 / 规则
延迟 秒级,占 GPU 毫秒级,CPU
确定性 同样输入可能不同输出 确定
可测试 需要 live 评测 普通单测
被攻击面 判定本身可被注入 正则不听人话
成本 每轮多一次调用 约等于零

最后一行最关键:用 LLM 判断「这段话是不是在骗 LLM」,等于让被告当法官。 这句看似夸张,却真实反映了把判定交给大模型的风险:模型本身的输出就可能被用来误导其自身。

延迟

  • 大模型:推理一次往往需要数秒,且必须在 GPU 上运行,导致整体系统吞吐量下降。
  • 小模型:在 CPU 上即可完成,延迟通常在 1–5 ms 之间,几乎不影响后端业务。

确定性

  • 大模型:相同输入在不同 GPU 或不同一次推理时,输出可能略有差异(随机初始化、浮点舍入等)。
  • 小模型:基于规则或 deterministic 模型,输出完全可复现,便于日志审计。

可测试

  • 大模型:需要把真实用户流量注入线上环境才能评测,测试成本高且风险大。
  • 小模型:可以写常规单元测试覆盖各种 Unicode 组合、正则分支,测试覆盖率可达 90% 以上。

被攻击面

  • 大模型:模型内部逻辑可被构造输入触发不符合预期的推理路径,攻击者可通过巧妙输入操纵判定。
  • 小模型:正则或规则引擎对输入做严格过滤,攻击者难以影响最终决策。

成本

  • 大模型:每一次推理都需要调用外部 LLM 接口,往往按 token 计费,成本累计可观。
  • 小模型:一次推理几乎无成本,主要是 CPU 计算和内存占用,几乎可忽略。

选择 fastembed 而非 sentence‑transformers

fastembed 采用 ONNX Runtime 作为推理后端,不依赖 PyTorch,安装后仅占用几十 MB 的空间,而 sentence‑transformers 需要 TensorFlow/PyTorch 以及数 GB 的模型权重。更重要的是,fastembed 在 CPU 上就能做到 1–2 ms 的推理速度,完全不与大模型争抢显存。部署目标是同一台服务器同时跑 LLM 与小模型,fastembed 的轻量特性让资源分配更清晰。

只做 Unicode 启发式的语种识别

目前需求仅是判断「这段话是不是中文」,完全不需要区分英语与法语等细粒度语言。使用简单的 Unicode 范围匹配即可完成这一任务,避免引入额外的编译依赖。若后续业务需要更细粒度的语言检测,接口已经预留,待需求出现再替换为更完整的模型。

4. 🔬 常见追问

Q:降级实现效果差,CI 用它跑评测还有意义吗? 有,但要分清它在测什么。规则、流程、接线这些与模型无关的行为,降级后端测得一样准。与模型质量相关的用例,用 requires: ["semantic_embedder"] 声明依赖,降级环境下显示为 skipped——跳过要显式可见,不能悄悄算通过。

Q:真实踩到的坑? bge-small-en 对中文几乎没有区分力。我把评测集每条输入的相似度打出来看,中文良性句子对「攻击例句」的相似度高达 0.79–0.82,和真正的英文攻击混在一起。原因很朴素:英文模型看所有中文都差不多。修法不是调阈值,而是路由:

if cfg.get("scripts") and small_models.detect_script(text) not in cfg["scripts"]:
    return  # 按语种路由:这个 embedder 没学过这种文字

这正是语种识别 slot 存在的意义——小模型组合的精髓不在「多」,在「谁该上场」。

句子类型 相似度范围
中文良性句子 vs 攻击例句 0.79–0.82

Q:怎么知道线上到底用的哪个后端? GET /ops/status 调 profile()。评测报告的 profile 字段也是它,基线按 profile 分开存,两套后端的分数不会互相比较。

Updated: