@vercel：Vercel 於 AI SDK 7 整合即時語音代理功能。 核心功能與技術整合 Vercel 宣布 AI Gateway 正式支援音訊與語音模態，開發者…

Vercel 於 AI SDK 7 整合即時語音代理功能。 核心功能與技術整合 Vercel 宣布 AI Gateway 正式支援音訊與語音模態，開發者能以處理文字、圖片及影片的相同方式，透過 AI Gateway 路由處理語音請求。此功能目前支援 OpenAI 與 xAI 的模型，並享有與其他模態一致的供應商路由、可觀測性監控、支出控制及自備 API Key 的支援。開發者可透過 npm 安裝相關套件： npm install ai @ai-sdk/react @ai-sdk/gateway 即時語音代理開發 AI SDK 7 引入了 useRealtime hook，讓瀏覽器端能管理 WebSocket 連線、麥克風擷取與音訊播放。其關鍵特性包括： 即時互動：模型直接處理音訊輸入與輸出，無需經過傳統的「語音轉文字→語言模型→文字轉語音」管線，支援使用者隨時中斷對話（Barge-in）。 伺服器端輪次偵測：透過 turnDetection: { type: 'server-vad' } 讓伺服器判斷語音結束點，無需客戶端靜音計時器。 工具呼叫：模型可在對話中途呼叫工具，並將結果無縫整合至後續回應中，無需結束對話輪次。 安全性：透過伺服器端發放短效 token 進行驗證，確保 API Key 不會暴露於客戶端。 影片展示了在 Vercel 平台上運行的 AI 語音代理（Voice Agents）功能，支援即時語音對話與工具調用。 語音處理工具 除了即時對話，AI SDK 7 還提供了獨立的語音處理函式： generateSpeech：將文字轉換為語音，支援指定語音風格與輸出格式。 transcribe：將音訊（支援 Buffer、Base64 字串或 URL）轉錄為文字。 開發者體驗 Vercel 同步在控制台提供 Playground，使用者無需撰寫程式碼即可直接在瀏覽器中測試語音模型，進行即時對話或驗證語音轉換效果。所有音訊請求皆會整合至 AI Gateway 的統一監控介面中，方便開發者管理跨供應商的資源使用與預算限制。影片展示了在 Vercel 平台上運行的 AI 語音代理（Voice Agents）功能，支援即時語音對話與工具調用。 影片中的 Prompt 與操作：Prompt（00:13）： 即時模型有什麼好處？原文：what's a realtime model good forPrompt（00:19）： /語音原文：/voicePrompt（00:21）： 好的，展示給我看原文：okay, show mePrompt（00:29）： 像這樣嗎？原文：like this?Prompt（00:39）： 你能幫我找找這個月在舊金山新開的餐廳嗎？原文：can you find new restaurants that opened in san francisco this month操作步驟： 1. （00:09）於終端機輸入指令 `npm run chat` 2. （00:13）輸入問題「what's a realtime model good for?」 3. （00:19）輸入指令 `/voice` 切換至語音模式 4. （00:21）輸入「okay, show me」開始語音對話 5. （00:29）輸入「like this?」進行互動 6. （00:39）輸入「can you find new restaurants that opened in san francisco this month」請求搜尋原文：https://easyvibecoding.app/curated/2251