OpenAI 拆解 GPT-Live 語音架構：移除 turn detector，語音啟動的網路往返從六次降到一次

OpenAI 拆解 GPT-Live 語音架構：移除 turn detector，語音啟動的網路往返從六次降到一次。 核心體驗 GPT-Live 的 voice model 能同時接收與輸出音訊，不再依賴先判斷何時輪到誰說話的 turn detector。當需要更深度的推理或工具呼叫時，系統會在非同步路徑交由 GPT-5.5 等 frontier models 處理，語音主流程仍持續運作。OpenAI 表示，這讓 ChatGPT Voice 從啟動開始就能提供更快速、自然的對話。為了讓對話 UI 與分析、安全系統仍能取得離散訊息，application server 會用部分逐字稿與時間訊號把連續語音切分成一則則發言，最終稿才寫入分析管線。 系統架構 OpenAI 在六個月內重做從 client 到 model 的 voice stack，將音訊與應用程式邏輯分離： 音訊經由專用 fast path 傳送，delegation、tool use 與其他後端工作則放在非同步 RPC 邊界後方，避免緩慢的工具或服務阻塞語音。 media frontend 與 inference logic 改用 Go 撰寫；新系統的 p95 表現達到舊 Python asyncio 系統 p50 的水準。 WebRTC 負責低延遲媒體傳輸，能處理封包遺失、時鐘漂移與連線變化，並透過減少 buffering 與 blocking 維持次秒級回應。 GPT-Live 系統架構圖，展示即時語音路徑與非同步委派路徑的資料流向 啟動與長時間執行 OpenAI 開發 WebRTC Abridged Roundtrip Protocol（WARP），以一組向後相容的協定改良組成：把 DTLS 交握夾帶在 ICE 上（SPED）、改用較快的 DTLS 1.3、預先協商 SCTP 交握（SNAP）與 data channel，將媒體與資料啟動所需的網路往返從六次降至一次。WARP 以開放規格形式推進 IETF TSVWG，libwebrtc 與 Pion 已加入支援。另以 Instant Connect 預先協商 SDP 參數，與 WARP 合起來，才讓 client 能以單一 UDP 封包啟動 session。面對長時間對話，系統會在舊 model instance 持續交談時預熱替代 instance、填入最新 context，必要時完成 context compaction 後再切換，避免語音中斷。 VANILLA WEBRTC 與 WEBRTC + WARP 交握流程的比較圖 實際驗證與延伸 OpenAI 先以 read-only 的 silent test，將少量、逐步增加的 ChatGPT Voice 流量影子導向 GPT-Live，未改變使用者聽到的內容。測試顯示，容量不只取決於 GPU，也受 CPU stream handler、佇列、網路路徑、地理位置與長時間 session 影響；因此團隊增加更細緻的 telemetry、分階段 rollout 與快速隔離故障的控制。這套架構已支援 ChatGPT 桌面版 app 中的電腦控制與 Agent 協作，未來也將成為 GPT-Live API 的基礎。詳細工程說明見 OpenAI 技術文章。原文：https://easyvibecoding.app/curated/2850-openai-gpt-live-voice-architecture-removes-turn-detector