從多模態應用開始:讓 AI 看懂圖片與文件的實戰指南

前九課我們把大模型接進了應用:接模型、餵知識、給工具、組團隊、寫 Prompt、做評估、管記憶、並行提速、編排工作流。但你可能發現一件事——這一切都是「純文字」。而現實業務裡,大量資訊根本不是文字:使用者上傳的發票截圖、客服轉來的商品照片、UI 設計稿、手寫簽單……這一課,我們讓 AI「睜開眼睛」,進入多模態應用(Multimodal)的世界。

一、多模態是什麼?圖片其實也是一種文字

所謂多模態,就是模型能同時讀懂文字與圖片(進階還有語音、影片)。原理一點也不神秘:Vision 模型會把圖片切成一個個小方塊(patch),每個方塊轉成一個「視覺 token」,和文字 token 一起送進模型統一處理。

重點:圖片就是 token,一張高清圖可能抵得上好幾千字,這直接決定了成本與速度。理解這一點,後面所有的設計決策都順理成章。

二、步驟 1:把圖片餵給模型

API 層面,把 content 從一個字串改成陣列,讓文字與圖片並列:

const messages = [
  { role: "user", content: [
    { type: "text", text: "請描述這張圖片裡的內容" },
    { type: "image_url", image_url: { url: "https://example.com/receipt.jpg" } }
  ]}
];

圖片有兩種給法:第一種,直接給一個可公開存取的 URL;第二種,把檔案讀成 base64 字串,用 data:image/jpeg;base64,… 的格式內嵌。

重點:內網檔案、使用者剛上傳的暫存檔,一律走 base64;不要為了省事把圖片先放到公網 URL,既慢又有洩露風險。

三、步驟 2:實戰——發票截圖自動分類入帳

來看一個最常見的業務場景:財務同事把報銷單據截圖丟進系統,希望自動分類「交通/餐飲/辦公用品」並提取金額。這裡的三段式 Prompt 是關鍵:先說角色與任務 → 給圖 → 規定輸出格式:

const prompt =
  '你是財務助理。請看這張單據圖片,判斷類別(交通/餐飲/辦公用品),' +
  '並提取日期與總金額。只輸出 JSON:' +
  '{"category":"","date":"","amount":0},' +
  '圖中看不到的欄位一律填 null。';

注意最後那句「看不到就填 null」——這是抑制幻覺的關鍵指令,第五節還會再強調。實際跑起來,模型會回傳類似 {“category”:”餐飲”,”date”:”2026-11-03″,”amount”:128} 的結果,後端直接解析入庫,原本人工三分鐘的活變成了三秒鐘。

四、步驟 3:多圖對比與解析度控制

多模態還有一個高頻用法:多圖對比。例如 UI 改版前後兩張截圖讓模型找差異、產品兩代包裝並排比對。做法很簡單,在 content 陣列裡放多個 image_url 即可。

另外要注意 detail 參數對成本影響巨大:

  • low:模型按小尺寸概覽,便宜、快,適合「這張圖大概畫了什麼」這類粗判斷;
  • high:按高清解析度切出更多 patch,看得清小字,但 token 消耗可能翻好幾倍。

重點:傳給模型前,先在後端把大圖等比縮到長邊 1024px 左右再轉 base64,通常能省下一半以上成本,而大多數場景精度幾乎無損。

還有一個新手常踩的坑:多圖時,模型是按陣列順序認圖的。你在文字裡寫「第一張圖」「第二張圖」,對應的是 content 陣列裡 image_url 的先後順序,而不是檔名。圖放反了,分析就全錯,而且模型不會提醒你。建議在文字裡顯式標註:「圖 1 為改版前,圖 2 為改版後」,別讓模型自己猜。

成本方面可以粗略心算:以常見的視覺模型計價,一張 high 模式的 1024px 圖大約消耗一千多個視覺 token,和一段上千字的文章相當。重點:先估算「單張圖成本 × 日調用量」,再決定方案——每天十萬張截圖的場景,省圖比調 Prompt 重要得多。

五、三條紀律

  • 能用文字就不用圖:如果文件本身是 PDF,先用 OCR 或 PDF 解析抽出文字再送模型,成本直接降一個量級;只有「版面本身有意義」(表格結構、圖表、蓋章位置)才送原圖。
  • 明確告訴模型「圖裡沒有就說沒有」:視覺幻覺比文字幻覺更隱蔽,輸出格式裡永遠要留 null 出口,並在驗收集裡放幾張「答案不在圖中」的案例。
  • 隱私先脫敏:截圖裡常有姓名、電話、卡號,進模型前先遮罩或裁切——圖片一旦送去第三方 API,就視同離開了你的系統邊界。

多模態不是炫技,而是把「人肉看圖」的環節自動化:財務看單據、客服看截圖、電商看商品圖,都是現成的落地場景。至此大模型應用系列來到第十課,下一課我們聊聊語音——讓 AI 張開嘴巴和耳朵。

互動話題:你的工作裡有哪些「每天盯著圖看」的環節?留言告訴我,也許下一課的範例就用你的場景。