從語音應用開始:讓 AI 聽得懂你說話的實戰指南

大家好!上一課我們讓 AI「睜開眼睛」看懂了圖片,這一課要讓它「豎起耳朵」聽你說話,再「開口」回答你。你每天對手機喊「嘿 Siri」、「小愛同學」,背後其實就是一套語音應用的流水線。很多同學以為做語音應用要學很深的音訊處理,其實瀏覽器早就內建了現成的工具——Web Speech API。今天我們就用它,加上之前教過的 LLM API,用不到一百行程式碼,做出一個會聽、會想、會說的網頁語音助理。

一、語音應用的三段旅程:聽 → 想 → 說

把語音助理拆開看,本質上是一條三站式的流水線:

  • 聽(ASR 語音辨識):把你的聲音轉成文字,對應瀏覽器的 SpeechRecognition;
  • 想(LLM 大模型):把文字交給大模型產生回答,就是我們第五課「接模型」教的那套 API;
  • 說(TTS 語音合成):把回答文字轉成聲音唸出來,對應 SpeechSynthesis。

打個比方:你請了一位速記員(聽)、一位參謀(想)、一位播音員(說)。三人接力,你的問題就變成了一段口頭回答。重點:三段各自獨立,任何一段都可以單獨替換——比如以後把 ASR 換成雲端服務,程式碼結構完全不用動。

二、步驟 1:讓瀏覽器聽懂你說話

先建立一個辨識器,指定繁體中文,把結果丟到畫面上:

const rec = new (window.SpeechRecognition ||
  window.webkitSpeechRecognition)();
rec.lang = 'zh-TW';          // 繁體中文
rec.interimResults = true;   // 邊說邊顯示暫存結果

rec.onresult = (e) => {
  const text = Array.from(e.results)
    .map(r => r[0].transcript).join('');
  output.textContent = text; // 即時顯示聽寫內容
};
rec.onend = () => listenBtn.disabled = false;
rec.onerror = (e) => console.log('辨識錯誤:', e.error);

listenBtn.onclick = () => { rec.start(); listenBtn.disabled = true; };

特別注意:麥克風權限要求頁面必須跑在 HTTPS(或 localhost)環境,而且目前以 Chrome 系瀏覽器支援最完整,開發時請先用 Chrome 測。

三、步驟 2:把聽到的話交給大模型

這一段完全複用第五課的知識——呼叫 OpenAI 相容格式的聊天 API。為了安全,金鑰放在後端代理,前端只打自己的接口:

async function askLLM(userText) {
  const res = await fetch('/api/chat', {
    method: 'POST',
    headers: { 'Content-Type': 'application/json' },
    body: JSON.stringify({
      messages: [
        { role: 'system', content: '你是簡潔的語音助理,回答控制在兩句以內。' },
        { role: 'user', content: userText }
      ]
    })
  });
  const data = await res.json();
  return data.reply; // 後端回傳的文字回答
}

這裡有個語音應用特有的細節:System Prompt 要限制回答長度。螢幕上讀長文沒問題,但用「聽」的,超過三句話就會讓人失去耐心。這是語音介面與聊天介面最大的差異。

四、步驟 3:讓 AI 開口說話

拿到文字回答後,交給 SpeechSynthesis 唸出來:

function speak(text) {
  speechSynthesis.cancel(); // 先清掉排隊中的語音
  const u = new SpeechSynthesisUtterance(text);
  u.lang = 'zh-TW';
  u.rate = 1.1;   // 語速,1 為正常
  u.pitch = 1;    // 音調
  speechSynthesis.speak(u);
}

重點:每次 speak 前先呼叫 cancel(),避免上一段話還沒唸完、新的又排隊接上,越疊越多。

五、步驟 4:三個讓體驗合格的細節

核心流程通了之後,離「能用的產品」還差三個細節:

  • 打斷回聲循環:AI 正在唸答案時,麥克風會把自己的聲音也聽進去,變成「自問自答」的鬼打牆。解法:開始合成時先 rec.abort() 停掉辨識,唸完再恢復;
  • no-speech 容錯:使用者按了說話卻沒出聲,onerror 會收到 no-speech,給個「沒聽到,再說一次」的提示並允許重試;
  • 狀態要看得見:聽寫中、思考中、說話中三種狀態用不同按鈕樣式或動畫標示,使用者才知道現在該不該開口。

把四個步驟串起來:onend(說完話)→ askLLM(思考)→ speak(開口)→ 唸完恢復監聽,一個免安裝、純前端的語音助理就完成了。

六、總結與下一步

今天用瀏覽器原生的「聽」與「說」,加上大模型的「想」,拼出了語音應用的最小閉環。記住三個關鍵字:HTTPS 權限、回答要短、小心回聲循環。下一篇我們繼續新方向——把 AI 帶出瀏覽器,聊聊桌面端 AI 應用怎麼做。

互動話題:你最希望語音助理幫你做什麼?是唸新聞、聲控查資料,還是幫小孩練口語?留言告訴我,下篇見!