從模型路由與降級開始:用多模型調度與故障轉移打造不中斷的 AI 應用實戰指南

如果你的 AI 應用到現在只接了一家模型供應商、模型名稱還寫死在程式碼裡,那這篇是寫給你的。前面十四課,我們把模型接進來(511)、餵知識(518)、給工具(520)、組團隊(522)、寫 Prompt(525)、做評估(528)、管記憶(530)、拼並行(533)、排工作流(535)、接多模態(537)、上語音(540)、搬上桌面(542)、塞進瀏覽器(544)、接上 MCP(546),最近又補了向量檢索(549)、結構化輸出(551)與 Prompt Caching(553)。但這些都默默假設同一件事:那一次 API 呼叫永遠會成功、永遠夠快、永遠夠便宜。真實的上線環境,從來不是這樣。

這篇要談的是一個跟前面都不一樣的維度:可用性與選型。不是讓答案更聰明,而是讓服務「不中斷」、讓每一分錢花在對的模型上。

一、先認清「單一模型」的四個隱形風險

把 gpt-4o 或任何一個模型字串寫死在設定檔,看起來省事,其實等於把整個產品押在一條水管上:

  • 可用性風險:供應商限流(429)、機房故障(5xx)、請求逾時、臨時維護、模型下線。任何一項發生,你的客服機器人就直接空白。
  • 成本錯配:「把這句話分類成正面/負面」跟「讀完三十頁合約找出風險條款」,用同一個最貴的模型處理,前者等於開貨車去買早餐。
  • 能力錯配:各家對長上下文、response_format: strict、工具呼叫、視覺輸入的支援度與行為都不一樣,硬套同一份 payload 容易靜默出錯。
  • 供應商鎖定:計價調整、條款變動、某個版本停止服務,你沒有第二條路可走。

重點:路由(Routing)解決「這個任務該交給誰」,降級(Fallback)解決「他臨時不在時誰接手」,兩件事要一起設計,不能只做一半。

二、三種常見的路由思路

別急著寫 if...else,先想清楚你要的是哪一種分流:

  • 依能力/難度分流:意圖分類、關鍵字抽取交給輕量快模型;長文推理、多步驟規劃交給強模型。這是最常見也最划算的一種。
  • 依成本/延遲分流:即時對話走低延遲,離線批次報表走便宜模型,用 SLA 分級而非用心情決定。
  • 故障轉移(Fallback):同一個任務,主模型失敗才依序換備援。它不是路由器,而是路由器的保險絲。

本文的實戰會把三者串成一條鏈:先選主模型 → 失敗才降級 → 全程記錄。

三、實戰四步驟:寫出一條可用的路由與降級鏈

步驟 1:建立模型清單(Registry),把能力顯式化

第一步不是寫判斷式,而是把「每家模型能做什麼、不能做什麼」寫成一張表。日後換模型只改設定,不動商業邏輯。

// models.ts —— 模型清單:能力、成本、限制全部顯式化
type ModelSpec = {
  id: string;            // 呼叫時用的模型代碼
  tier: 'fast' | 'strong';
  maxContext: number;    // token 上限
  supportsJson: boolean; // 是否支援 strict JSON Schema
  supportsTools: boolean;
  costPer1k: number;     // 相對成本,用於排序
};

export const MODELS: ModelSpec[] = [
  { id: 'cheap-fast',  tier: 'fast',   maxContext: 32000,
    supportsJson: true,  supportsTools: true,  costPer1k: 1 },
  { id: 'strong-main', tier: 'strong', maxContext: 128000,
    supportsJson: true,  supportsTools: true,  costPer1k: 10 },
  { id: 'backup-alt',  tier: 'strong', maxContext: 64000,
    supportsJson: false, supportsTools: true,  costPer1k: 8 },
];

重點:supportsJson 這類能力旗標是關鍵。若降級到不支援 strict JSON Schema 的模型,就要改走「Prompt 要求 + zod 校驗」這條備用路徑(詳見 551),千萬別假設大家行為一致。

步驟 2:寫路由函式,依任務型態挑主模型與備援順序

type Task = { kind: 'classify' | 'reason'; tokens: number; needJson: boolean };

function route(task: Task): ModelSpec[] {
  // 回傳「嘗試順序」:第 0 個是主模型,其餘是備援
  const pool = MODELS.filter(m =>
    m.maxContext >= task.tokens && (!task.needJson || m.supportsJson)
  );
  const ordered = pool.sort((a, b) => {
    // 簡單任務優先便宜,複雜任務優先能力
    if (task.kind === 'classify') return a.costPer1k - b.costPer1k;
    return (a.tier === 'strong' ? -1 : 1) - (b.tier === 'strong' ? -1 : 1);
  });
  if (ordered.length === 0) throw new Error('沒有符合條件的模型');
  return ordered;
}

注意這裡回傳的是陣列,不是單一模型。把「選型」和「重試」解耦,後面降級鏈才寫得乾淨。

步驟 3:建立 fallback 鏈,只對「可重試錯誤」換模型

最容易犯的錯,是把所有錯誤都拿去重試。401 金鑰錯、400 參數錯 重試三次只會錯三次,還多燒錢;只有 429、5xx、逾時才值得換人接手。

const RETRYABLE = new Set([429, 500, 502, 503, 504]);

async function callWithFallback(task: Task, body: object) {
  const chain = route(task);          // 由步驟 2 取得順序
  let lastErr: unknown;
  for (let i = 0; i < chain.length; i++) {
    const model = chain[i];
    try {
      const res = await callLlm(model.id, body);   // 金鑰走後端代理
      log({ model: model.id, attempt: i, ok: true, ms: res.latency });
      return res;
    } catch (e) {
      lastErr = e;
      const status = (e as any)?.status;
      log({ model: model.id, attempt: i, ok: false, status });
      if (!RETRYABLE.has(status) && !(e instanceof TimeoutError)) throw e;
      await sleep(200 * 2 ** i);      // 指數退避,別打爆下游
    }
  }
  throw lastErr;                       // 全鏈失敗,交給上層降級出口
}

特別注意:快取鍵一定要帶上 model.id 與 promptVersion(呼應 553 Prompt Caching)。降級後若沿用主模型的快取鍵,可能拿到由另一個模型產生的舊答案,這種 bug 非常難查。

步驟 4:加熔斷與觀測,別讓故障被放大

當主模型整段時間掛掉,與其每次請求都先撞一次牆再降級,不如短暫「跳過它」。circuit breaker(熔斷器)就是這個開關:

// 極簡熔斷:連續失敗 N 次就冷卻 30 秒,冷卻期間直接從備援開始
const breaker: Record<string, { fails: number; openUntil: number }> = {};

function isOpen(id: string) {
  const b = breaker[id] ?? { fails: 0, openUntil: 0 };
  return Date.now() < b.openUntil;
}
function onFail(id: string) {
  const b = (breaker[id] ??= { fails: 0, openUntil: 0 });
  if (++b.fails >= 5) b.openUntil = Date.now() + 30_000;
}
function onSuccess(id: string) {
  breaker[id] = { fails: 0, openUntil: 0 };
}

觀測面至少記四個欄位:model、attempt(是否降級)、latency、fallbackReason。有了這些,你才知道「這個月成本變高」是因為用量成長,還是因為主模型一直在降級(可銜接 505 自建監控 SDK、528 評估上線)。

四、三個最容易踩的坑

  • 把同一份 payload 丟給不同家:tools schema、strict 模式、圖片格式各家略有差異。解法是抽一層 adapter,由它把內部統一的請求翻成各模型格式(呼應 520 Function Calling、546 MCP、551 結構化輸出)。
  • 降級悄悄改了答案品質卻沒人知道:備援模型可能較弱。務必用同一套測試集分別跑主/備(528),並在回應中標記降級狀態,讓客服與稽核看得見。
  • 重試風暴:沒有次數上限、沒有退避、沒有熔斷,供應商故障時你的重試會變成壓垮它的最後一根稻草。鏈長建議控制在 2~3 個模型。

重點:路由與降級處理的是「服務還在不在、錢花得對不對」,它不負責「答案夠不夠好」。品質仍然要靠 Prompt 設計(525)與上線前評估(528)把關,兩條線別混在一起。

把這四步做完,你的應用就從「一條水管」變成「多路進水 + 自動切換閥」:平常把簡單任務交給便宜模型省成本,尖峰或故障時自動換人,使用者甚至感覺不到中間換過模型。這正是從「能跑的 demo」走向「能上線的服務」的那道檻。

互動話題:你的應用目前是單一模型,還是已經有備援?有沒有遇過供應商限流或模型下線,讓服務直接開天窗的慘況?歡迎在底下留言分享你的降級設計,或說說你最想看到哪一家模型的 adapter 範例~