F2 · Edge AI & Agents
Voice AI at the Edge
導讀
語音助理不只是一個模型：從收音、切分語句、轉成文字到生成回應，每一段的計算需求都不一樣。本文在 DGX Spark 上用 PyAudio、WebRTC VAD、faster-whisper 與 vLLM 串起本地語音 pipeline，由 Grace CPU 處理音訊輸入、VAD 與語音轉文字，Blackwell GPU 負責 LLM 生成。輸出是文字回應，不含語音合成（TTS）。
驗證範圍
- 工作流在指定 DGX Spark、microphone、VAD、transcription model 與 vLLM configuration 下驗證 voice input、segmented transcript 和 text response；輸出不包含 TTS。
- 內容未提供跨平台 latency、accuracy、noise robustness 或 concurrent-session benchmark，也未涵蓋 wake word、speaker isolation、service reliability 與 production voice-interface integration。