如果你已經照著前面的文章把大模型接進應用、餵了私有知識庫、甚至讓它學會呼叫工具,大概很快會撞上同一面牆:模型回傳的東西,程式不敢直接用。明明 Prompt 裡寫了「請只回傳 JSON」,它還是會貼心補一句「以下是分析結果:」;明明說好欄位叫 amount,這次卻變成「金額」;數字偶爾會變成字串,缺值有時直接消失。這篇就來把這件小事徹底解決。
一、先搞清楚:問題不是模型不會寫 JSON,而是「不敢保證」
大模型本質上是一個逐字生成文字的引擎。你要求它輸出 JSON,它只是「很配合地模仿 JSON 的樣子」,並沒有任何機制保證格式永遠合法。只要這份輸出要進資料庫、要畫成圖表、要當作下一個 API 的參數,「大概對」就等於「不能用」——一個多餘的逗號就能讓整條流程在半夜炸掉。
重點:與其不斷加 Prompt 咒語拜託模型乖一點,不如把「格式」從自然语言層提升到協定層,再用程式做最後一道關卡。
二、結構化輸出的三層防線
- 第一層・Prompt 約束:用文字描述格式與範例(few-shot),最便宜、最快,但只能算「提醒」。
- 第二層・Schema 約束:呼叫 API 時附上
response_format/json_schema,由服務端在解碼階段限制可生成的 token,可靠性大幅提升。 - 第三層・程式校驗:用 zod、pydantic 之類的工具做型別驗證,失敗就帶著錯誤訊息重試,並保留降級出口。
這三層不是三選一,而是疊著用:Schema 负责「大概率不會錯」,校驗負責「萬一錯了也不會髒資料進庫」。
步驟 1:先把「你要什麼」寫成 JSON Schema
假設我們要做「客服留言自動分類」,與其寫一大段 Prompt,不如先把結果長相訂成契約:
{
"type": "object",
"properties": {
"category": { "type": "string", "enum": ["退款", "物流", "帳務", "其他"] },
"sentiment": { "type": "string", "enum": ["正面", "中性", "負面"] },
"order_amount":{ "type": ["number", "null"] },
"needs_human": { "type": "boolean" },
"summary": { "type": "string" }
},
"required": ["category", "sentiment", "order_amount", "needs_human", "summary"],
"additionalProperties": false
}
重點:把取值用 enum 寫死、把每個欄位都放進 required(「沒有」用 null 明確表達)、把 additionalProperties 關掉。這三件事,比再多寫十行「請務必…」都有效。
步驟 2:呼叫 API 時把 Schema 交出去
以 OpenAI 相容格式為例(各家供應商欄位名稱略有差異,但概念一致):
const schema = { /* 上面那份 JSON Schema 物件 */ };
const res = await fetch("https://api.example.com/v1/chat/completions", {
method: "POST",
headers: {
"Content-Type": "application/json",
"Authorization": "Bearer " + process.env.LLM_KEY
},
body: JSON.stringify({
model: "gpt-4o-mini",
messages: [
{ role: "system", content: "你是客服工單解析器,只抽取事實,不要計算。" },
{ role: "user", content: userMessage }
],
response_format: {
type: "json_schema",
json_schema: { name: "ticket_extract", strict: true, schema: schema }
}
})
});
const data = JSON.parse(await res.text());
const raw = data.choices[0].message.content;
開 strict: true 之後,服務端會在生成時就照著 schema 限制輸出。重點:別再把「請只輸出 JSON」當主力,它現在只是輔助說明;真正扛責任的是 response_format。另外特別注意:金鑰一定要留在後端代理,千萬別為了圖方便把 LLM_KEY 塞進前端程式碼。
步驟 3:程式端校驗 + 有限度重試
就算有了 Schema,上線後還是會遇到模型版本更新、供應商降級、超長輸入被截斷等狀況,所以驗證不能省:
import { z } from "zod";
const Ticket = z.object({
category: z.enum(["退款", "物流", "帳務", "其他"]),
sentiment: z.enum(["正面", "中性", "負面"]),
order_amount: z.number().nullable(),
needs_human: z.boolean(),
summary: z.string()
});
function parseTicket(raw, mayRetry) {
try {
return Ticket.parse(JSON.parse(raw)); // 過了才准進資料庫
} catch (err) {
if (!mayRetry) throw err; // 重試有上限,別無限迴圈
return retryWithHint(String(err)); // 把錯誤訊息回餵模型重出一版
}
}
特別注意:重試最多一次,兩次仍失敗就該走人工審核或降級流程,而不是讓使用者一直轉圈圈。同時把失敗案例存下來,它们就是最好的測試集(呼應前面聊過的 Agent 評估)。
三、三個最容易踩的坑
- 別叫模型算數:金額加總、日期換算、百分比統統交給程式算。模型只負責「抽取」與「分類」,一让它做算術,結構對了數字也可能是錯的。
- 可選欄位的語意:strict 模式通常要求所有欄位都出現在
required,所以「查無資料」要用null表達,而不是讓模型省略欄位,更不能讓它自己編一個「不詳」字串。 - Schema 就是 API 契約:它要進版控。改一個欄位等於改一次介面,前端、資料庫、報表都要跟著動,別把它當成隨手可改的 Prompt 文字。
四、什麼時候「不必」用結構化輸出
給人讀的摘要、客服回覆、標題發想、創意草稿——硬套 Schema 反而會讓文字變得僵硬。判斷標準很簡單:下一棒是程式,就用 Schema;下一棒是人,就讓模型好好說話。把力氣花在真正需要機器接手的地方,才是工程化的取捨。
互動話題:你在接大模型時,最常踩到的是「多講一句廢話」、「欄位名稱漂移」,還是「數字變成字串」?歡迎留言分享你的慘案(或解法),我們一起把這道防線補得更穩 🙂