從多工具並行開始:用 Parallel Tool Calls 讓 Agent 提速的實戰指南

上一篇我們讓 Agent「記得住」對話與偏好(記憶管理),這一篇要讓它「跑得快」。你的 Agent 已經會調工具了(AI Agent 基礎篇),但你有沒有發現——讓它「查三家公司股價再彙總」時,它是一個工具查完、等結果、再查下一個?像排隊買三杯不同的飲料,同一條隊伍排了三遍。這一篇我們把「排三次隊」變成「三個窗口同時辦理」。

一、先算一筆帳:串行與並行的時間差

旅遊前要做三件事:查機票、查酒店、查天氣。這三件事互不依賴,你可以自己開三個網頁同時查(並行),也可以查完機票再查酒店再查天氣(串行)。串行的總時間是三件事相加;並行的總時間約等於「最慢的那一件」。

Agent 完全一樣:模型決定要查三個數據源,每個工具呼叫 2 秒——串行總共 6 秒,並行只要 2 秒多。工具越多、單次呼叫越慢,並行的收益就越大。

二、並行的關鍵真相:模型本來就會「一次給多個」

很多人不知道:OpenAI 相容格式的 tool_calls 本身就是陣列,模型在同一段回覆裡可以一次吐出多個工具呼叫。要引導它這樣做,只要在 system prompt 裡加一句規則:「如果多個呼叫互不依賴,請放在同一次回覆中一次提出。」

特別注意:並行不是萬能。有依賴關係的呼叫絕不能並行——「先查到 A 公司的股票代碼,才能用這個代碼查價格」,第二個呼叫的參數依賴第一個的結果,這種必須串行等待。並行只適用於「彼此獨立」的呼叫。

三、實戰:把 Agent 迴圈改成並行版

步驟 1:定義工具(以研究助理為例),並在工具描述中說明「可並行」的場景:

const tools = [
  {
    type: "function",
    function: {
      name: "search_price",
      description: "查詢指定公司的當前股價,參數為公司代碼",
    },
  },
  {
    type: "function",
    function: {
      name: "search_news",
      description: "查詢指定公司的近期新聞標題",
    },
  },
];

步驟 2:當回覆裡有多個 tool_calls 時,用 Promise.all 並行執行:

async function runToolCalls(toolCalls) {
  // 多個呼叫互不依賴時,同時發出請求
  const results = await Promise.all(
    toolCalls.map((call) =>
      executeTool(call.function.name, JSON.parse(call.function.arguments))
    )
  );
  // 按原順序回填,保證 tool_call_id 與結果一一對應
  return toolCalls.map((call, i) => ({
    role: "tool",
    tool_call_id: call.id,
    content: JSON.stringify(results[i]),
  }));
}

重點:Promise.all 保留順序——results 的順序永遠與 toolCalls 一一對應,回填 tool_call_id 時不會錯位,這是並行執行後正確回話給模型的關鍵。

步驟 3:混合場景的處理——第一輪模型回覆「查 A 股價 + 查 B 股價」(並行執行),第二輪模型看到兩筆結果後再回覆「彙總對比」(串行)。你不需要改迴圈結構,只要每輪都檢查 toolCalls.length:大於 1 就並行執行,等於 1 就照舊。

四、三條生產環境紀律

  • 設並行上限:模型一次吐 10 個工具呼叫時別照單全收,限制單輪最多 3~5 個,防止把下游 API 打爆、也控制單輪成本。
  • 用 allSettled 容錯:Promise.all 只要一個呼叫失敗就全軍覆沒;改用 Promise.allSettled,失敗的那筆把錯誤訊息回給模型,讓它自己決定重試還是換路。
  • 記錄每筆耗時:給每個工具呼叫記錄開始與結束時間,才能驗證並行真的省了時間,也方便揪出「拖後腿的慢工具」。

五、小結

並行工具呼叫是 Agent 從「能用」到「好用」的低成本升級:模型側本就支援一次多個 tool_calls,你只需要(1)在 prompt 中鼓勵獨立呼叫合併提出,(2)服務端 Promise.all 並行執行、按序回填,(3)加上限流、容錯與耗時監控三道保險。至此大模型應用系列已來到第八課,Agent 的「手腳」和「速度」都齊了。

互動話題:你的 Agent 曾經因為串行等待被用戶嫌「卡」嗎?留言聊聊你踩過的坑,以及並行改造後的提速效果!