如果你的 AI 應用到現在只接了一家模型供應商、模型名稱還寫死在程式碼裡,那這篇是寫給你的。前面十四課,我們把模型接進來(511)、餵知識(518)、給工具(520)、組團隊(522)、寫 Prompt(525)、做評估(528)、管記憶(530)、拼並行(533)、排工作流(535)、接多模態(537)、上語音(540)、搬上桌面(542)、塞進瀏覽器(544)、接上 MCP(546),最近又補了向量檢索(549)、結構化輸出(551)與 Prompt Caching(553)。但這些都默默假設同一件事:那一次 API 呼叫永遠會成功、永遠夠快、永遠夠便宜。真實的上線環境,從來不是這樣。
這篇要談的是一個跟前面都不一樣的維度:可用性與選型。不是讓答案更聰明,而是讓服務「不中斷」、讓每一分錢花在對的模型上。
一、先認清「單一模型」的四個隱形風險
把 gpt-4o 或任何一個模型字串寫死在設定檔,看起來省事,其實等於把整個產品押在一條水管上:
- 可用性風險:供應商限流(429)、機房故障(5xx)、請求逾時、臨時維護、模型下線。任何一項發生,你的客服機器人就直接空白。
- 成本錯配:「把這句話分類成正面/負面」跟「讀完三十頁合約找出風險條款」,用同一個最貴的模型處理,前者等於開貨車去買早餐。
- 能力錯配:各家對長上下文、
response_format: strict、工具呼叫、視覺輸入的支援度與行為都不一樣,硬套同一份 payload 容易靜默出錯。 - 供應商鎖定:計價調整、條款變動、某個版本停止服務,你沒有第二條路可走。
重點:路由(Routing)解決「這個任務該交給誰」,降級(Fallback)解決「他臨時不在時誰接手」,兩件事要一起設計,不能只做一半。
二、三種常見的路由思路
別急著寫 if...else,先想清楚你要的是哪一種分流:
- 依能力/難度分流:意圖分類、關鍵字抽取交給輕量快模型;長文推理、多步驟規劃交給強模型。這是最常見也最划算的一種。
- 依成本/延遲分流:即時對話走低延遲,離線批次報表走便宜模型,用 SLA 分級而非用心情決定。
- 故障轉移(Fallback):同一個任務,主模型失敗才依序換備援。它不是路由器,而是路由器的保險絲。
本文的實戰會把三者串成一條鏈:先選主模型 → 失敗才降級 → 全程記錄。
三、實戰四步驟:寫出一條可用的路由與降級鏈
步驟 1:建立模型清單(Registry),把能力顯式化
第一步不是寫判斷式,而是把「每家模型能做什麼、不能做什麼」寫成一張表。日後換模型只改設定,不動商業邏輯。
// models.ts —— 模型清單:能力、成本、限制全部顯式化
type ModelSpec = {
id: string; // 呼叫時用的模型代碼
tier: 'fast' | 'strong';
maxContext: number; // token 上限
supportsJson: boolean; // 是否支援 strict JSON Schema
supportsTools: boolean;
costPer1k: number; // 相對成本,用於排序
};
export const MODELS: ModelSpec[] = [
{ id: 'cheap-fast', tier: 'fast', maxContext: 32000,
supportsJson: true, supportsTools: true, costPer1k: 1 },
{ id: 'strong-main', tier: 'strong', maxContext: 128000,
supportsJson: true, supportsTools: true, costPer1k: 10 },
{ id: 'backup-alt', tier: 'strong', maxContext: 64000,
supportsJson: false, supportsTools: true, costPer1k: 8 },
];
重點:supportsJson 這類能力旗標是關鍵。若降級到不支援 strict JSON Schema 的模型,就要改走「Prompt 要求 + zod 校驗」這條備用路徑(詳見 551),千萬別假設大家行為一致。
步驟 2:寫路由函式,依任務型態挑主模型與備援順序
type Task = { kind: 'classify' | 'reason'; tokens: number; needJson: boolean };
function route(task: Task): ModelSpec[] {
// 回傳「嘗試順序」:第 0 個是主模型,其餘是備援
const pool = MODELS.filter(m =>
m.maxContext >= task.tokens && (!task.needJson || m.supportsJson)
);
const ordered = pool.sort((a, b) => {
// 簡單任務優先便宜,複雜任務優先能力
if (task.kind === 'classify') return a.costPer1k - b.costPer1k;
return (a.tier === 'strong' ? -1 : 1) - (b.tier === 'strong' ? -1 : 1);
});
if (ordered.length === 0) throw new Error('沒有符合條件的模型');
return ordered;
}
注意這裡回傳的是陣列,不是單一模型。把「選型」和「重試」解耦,後面降級鏈才寫得乾淨。
步驟 3:建立 fallback 鏈,只對「可重試錯誤」換模型
最容易犯的錯,是把所有錯誤都拿去重試。401 金鑰錯、400 參數錯 重試三次只會錯三次,還多燒錢;只有 429、5xx、逾時才值得換人接手。
const RETRYABLE = new Set([429, 500, 502, 503, 504]);
async function callWithFallback(task: Task, body: object) {
const chain = route(task); // 由步驟 2 取得順序
let lastErr: unknown;
for (let i = 0; i < chain.length; i++) {
const model = chain[i];
try {
const res = await callLlm(model.id, body); // 金鑰走後端代理
log({ model: model.id, attempt: i, ok: true, ms: res.latency });
return res;
} catch (e) {
lastErr = e;
const status = (e as any)?.status;
log({ model: model.id, attempt: i, ok: false, status });
if (!RETRYABLE.has(status) && !(e instanceof TimeoutError)) throw e;
await sleep(200 * 2 ** i); // 指數退避,別打爆下游
}
}
throw lastErr; // 全鏈失敗,交給上層降級出口
}
特別注意:快取鍵一定要帶上 model.id 與 promptVersion(呼應 553 Prompt Caching)。降級後若沿用主模型的快取鍵,可能拿到由另一個模型產生的舊答案,這種 bug 非常難查。
步驟 4:加熔斷與觀測,別讓故障被放大
當主模型整段時間掛掉,與其每次請求都先撞一次牆再降級,不如短暫「跳過它」。circuit breaker(熔斷器)就是這個開關:
// 極簡熔斷:連續失敗 N 次就冷卻 30 秒,冷卻期間直接從備援開始
const breaker: Record<string, { fails: number; openUntil: number }> = {};
function isOpen(id: string) {
const b = breaker[id] ?? { fails: 0, openUntil: 0 };
return Date.now() < b.openUntil;
}
function onFail(id: string) {
const b = (breaker[id] ??= { fails: 0, openUntil: 0 });
if (++b.fails >= 5) b.openUntil = Date.now() + 30_000;
}
function onSuccess(id: string) {
breaker[id] = { fails: 0, openUntil: 0 };
}
觀測面至少記四個欄位:model、attempt(是否降級)、latency、fallbackReason。有了這些,你才知道「這個月成本變高」是因為用量成長,還是因為主模型一直在降級(可銜接 505 自建監控 SDK、528 評估上線)。
四、三個最容易踩的坑
- 把同一份 payload 丟給不同家:
toolsschema、strict模式、圖片格式各家略有差異。解法是抽一層 adapter,由它把內部統一的請求翻成各模型格式(呼應 520 Function Calling、546 MCP、551 結構化輸出)。 - 降級悄悄改了答案品質卻沒人知道:備援模型可能較弱。務必用同一套測試集分別跑主/備(528),並在回應中標記降級狀態,讓客服與稽核看得見。
- 重試風暴:沒有次數上限、沒有退避、沒有熔斷,供應商故障時你的重試會變成壓垮它的最後一根稻草。鏈長建議控制在 2~3 個模型。
重點:路由與降級處理的是「服務還在不在、錢花得對不對」,它不負責「答案夠不夠好」。品質仍然要靠 Prompt 設計(525)與上線前評估(528)把關,兩條線別混在一起。
把這四步做完,你的應用就從「一條水管」變成「多路進水 + 自動切換閥」:平常把簡單任務交給便宜模型省成本,尖峰或故障時自動換人,使用者甚至感覺不到中間換過模型。這正是從「能跑的 demo」走向「能上線的服務」的那道檻。
互動話題:你的應用目前是單一模型,還是已經有備援?有沒有遇過供應商限流或模型下線,讓服務直接開天窗的慘況?歡迎在底下留言分享你的降級設計,或說說你最想看到哪一家模型的 adapter 範例~