上一篇我們讓 Agent「記得住」對話與偏好(記憶管理),這一篇要讓它「跑得快」。你的 Agent 已經會調工具了(AI Agent 基礎篇),但你有沒有發現——讓它「查三家公司股價再彙總」時,它是一個工具查完、等結果、再查下一個?像排隊買三杯不同的飲料,同一條隊伍排了三遍。這一篇我們把「排三次隊」變成「三個窗口同時辦理」。
一、先算一筆帳:串行與並行的時間差
旅遊前要做三件事:查機票、查酒店、查天氣。這三件事互不依賴,你可以自己開三個網頁同時查(並行),也可以查完機票再查酒店再查天氣(串行)。串行的總時間是三件事相加;並行的總時間約等於「最慢的那一件」。
Agent 完全一樣:模型決定要查三個數據源,每個工具呼叫 2 秒——串行總共 6 秒,並行只要 2 秒多。工具越多、單次呼叫越慢,並行的收益就越大。
二、並行的關鍵真相:模型本來就會「一次給多個」
很多人不知道:OpenAI 相容格式的 tool_calls 本身就是陣列,模型在同一段回覆裡可以一次吐出多個工具呼叫。要引導它這樣做,只要在 system prompt 裡加一句規則:「如果多個呼叫互不依賴,請放在同一次回覆中一次提出。」
特別注意:並行不是萬能。有依賴關係的呼叫絕不能並行——「先查到 A 公司的股票代碼,才能用這個代碼查價格」,第二個呼叫的參數依賴第一個的結果,這種必須串行等待。並行只適用於「彼此獨立」的呼叫。
三、實戰:把 Agent 迴圈改成並行版
步驟 1:定義工具(以研究助理為例),並在工具描述中說明「可並行」的場景:
const tools = [
{
type: "function",
function: {
name: "search_price",
description: "查詢指定公司的當前股價,參數為公司代碼",
},
},
{
type: "function",
function: {
name: "search_news",
description: "查詢指定公司的近期新聞標題",
},
},
];
步驟 2:當回覆裡有多個 tool_calls 時,用 Promise.all 並行執行:
async function runToolCalls(toolCalls) {
// 多個呼叫互不依賴時,同時發出請求
const results = await Promise.all(
toolCalls.map((call) =>
executeTool(call.function.name, JSON.parse(call.function.arguments))
)
);
// 按原順序回填,保證 tool_call_id 與結果一一對應
return toolCalls.map((call, i) => ({
role: "tool",
tool_call_id: call.id,
content: JSON.stringify(results[i]),
}));
}
重點:Promise.all 保留順序——results 的順序永遠與 toolCalls 一一對應,回填 tool_call_id 時不會錯位,這是並行執行後正確回話給模型的關鍵。
步驟 3:混合場景的處理——第一輪模型回覆「查 A 股價 + 查 B 股價」(並行執行),第二輪模型看到兩筆結果後再回覆「彙總對比」(串行)。你不需要改迴圈結構,只要每輪都檢查 toolCalls.length:大於 1 就並行執行,等於 1 就照舊。
四、三條生產環境紀律
- 設並行上限:模型一次吐 10 個工具呼叫時別照單全收,限制單輪最多 3~5 個,防止把下游 API 打爆、也控制單輪成本。
- 用 allSettled 容錯:Promise.all 只要一個呼叫失敗就全軍覆沒;改用
Promise.allSettled,失敗的那筆把錯誤訊息回給模型,讓它自己決定重試還是換路。 - 記錄每筆耗時:給每個工具呼叫記錄開始與結束時間,才能驗證並行真的省了時間,也方便揪出「拖後腿的慢工具」。
五、小結
並行工具呼叫是 Agent 從「能用」到「好用」的低成本升級:模型側本就支援一次多個 tool_calls,你只需要(1)在 prompt 中鼓勵獨立呼叫合併提出,(2)服務端 Promise.all 並行執行、按序回填,(3)加上限流、容錯與耗時監控三道保險。至此大模型應用系列已來到第八課,Agent 的「手腳」和「速度」都齊了。
互動話題:你的 Agent 曾經因為串行等待被用戶嫌「卡」嗎?留言聊聊你踩過的坑,以及並行改造後的提速效果!