從 Agent 評估開始:用測試集與 LLM 評審讓 AI 應用可靠上線實戰指南

過去幾篇大模型應用系列,我們學會了把模型接進應用、餵私有知識庫、給它工具、組建多 Agent 團隊,也打磨了提示詞。但真正讓團隊敢按下「上線」按鈕的那一步,還沒講——Agent 的輸出是不確定的,傳統單元測試在這裡幾乎失效。這一篇就來補上最後一塊拼圖:怎麼給 AI 應用「考試」與「除錯」。

一、為什麼傳統單元測試對 LLM 失效

傳統測試的公式是:固定輸入 → 確定輸出 → assert 相等。但 LLM 打破了一切:

  • 同一個問題,今天和明天問,措辭可能不同,但都對;
  • 自然語言沒有唯一正解,「相等」根本無從斷言;
  • Agent 還會自己決定呼叫哪些工具,執行路徑不固定。

所以我們評的不是「相等」,而是「特質」:準不準、有沒有編造、格式合不合规、該拒答時有沒有拒答。常見三種評估法:精確匹配(適合分類、抽取)、規則校驗(長度、正則、JSON 能否解析)、語義評估(請另一個 LLM 當評審,即 LLM-as-Judge)。

二、實戰:搭一套最小評估系統

步驟 1:寫測試集。把真實用例整理成表格,每行包含「輸入、期望特質、類型」。先從線上真實留言裡挑 20~50 條,貴精不貴多:

// cases.json — 測試集
[
  { "q": "把這段留言分類:服務超好", "expect": "正面" },
  { "q": "幫我把 1000 美元換算成台幣", "expect": "需呼叫匯率工具" },
  { "q": "你們公司的退貨政策是什麼", "expect": "允許拒答或查知識庫" }
]

步驟 2:寫批次跑分 runner。用 Node/TS 幾十行就能跑起來:

// eval.ts — 最小評估 runner
import { runAgent } from "./agent";
import cases from "./cases.json";

const judge = async (q: string, a: string) => {
  const res = await callLLM({
    temperature: 0, // 評審務必關閉隨機性
    messages: [
      { role: "system", content: "你是嚴格評審,只輸出 JSON: {score: 1-5, reason}" },
      { role: "user", content: "問題:" + q + "回答:" + a }
    ]
  });
  return JSON.parse(res);
};

let pass = 0;
for (const c of cases) {
  const answer = await runAgent(c.q);
  const { score, reason } = await judge(c.q, answer);
  if (score >= 4) pass++;
  console.log(score >= 4 ? "PASS" : "FAIL", c.q, reason);
}
console.log("通過率:", pass / cases.length);

步驟 3:讀懂分數。通過率是你改動前後的「回歸基準」。每次改 Prompt、換模型、調工具描述,先跑一遍測試集,分數不降才合併——把 Prompt 當程式碼管理。

三、上線後的除錯:Tracing 與回放

測試集告訴你「錯了」,但沒告訴你「為什麼錯」。這時需要追蹤(Tracing):把 Agent 每一步的輸入輸出都記下來——

  • 模型收到完整 Prompt 是什麼(常見坑:上下文被截斷);
  • 工具呼叫的參數對不對(常見坑:日期格式、單位換算);
  • 檢索命中的文件是哪幾條、相似度多少(RAG 錯就先看這裡)。

特別注意:除錯的黃金流程是「失敗案例回放」——把線上每個失敗樣本加回測試集,讓測試集越養越肥,回歸測試就是你的保險絲。另外可做「消融實驗」:臨時拿掉某段 Prompt 或某個工具再跑分,分數掉多少,誰拖後腿就一目了然。

四、三條上線紀律

  • 評估進 CI:改 Prompt 必跑測試集,像改程式碼一樣走合併流程;
  • 線上抽樣監控:每天隨機抽 1~2% 對話人工複核,負面詞觸發告警;
  • 校準「不知道」:寧可拒答不可編造,拒答正確率也要當指標看。

大模型應用系列到此,從接模型、餵知識、給工具、組團隊、寫 Prompt 到評估上線,六塊積木都齊了。剩下的,就是在真實業務裡反覆迭代。

互動話題:你上線 AI 功能時踩過最深的坑是什麼?是幻覺、工具亂呼叫,還是成本爆炸?留言聊聊。