OpenAI推出首个端到端语音模型GPT-Realtime, 剑指语音Agent

  • 2025-09-05 07:04:11
  • 506

OpenAI宣布推出GPT-Realtime模型和RealtimeAPI的重大升级,全面支持生产级语音Agent开发。GPT-Realtime是目前最先进的语音-to-语音(speech-to-speech)模型,直接以声音作为输入与输出,摒弃传统的“语音转文本→文本生成→文本转语音”流程,大幅降低延迟并保留语音细节。

模型能力:

更自然、更具表现力的语音生成,支持如“快速且专业”或“法式体贴口吻”等细腻语气指令。

对细节掌控力增强,包括识别笑声、语调切换、语言切换,以及多语言环境下准确复述VIN、电话号码等字母数字。逻辑推理在BigBenchAudio评估中得分达82.8%,指令执行准确率提升至30.5%,功能调用准确率达66.5%。

API新特性:

支持远端MCP工具服务器,可即插即用扩展工具能力;

支持图像输入,语音助手能“看见”截图并作图像理解回应;

支持SIP电话协议,可直接连接传统电话网络,实现语音代理呼叫;

具备可复用提示(prompts),可保存开发设置,提升构建效率。

声线更新:新增两种声音“Cedar”与“Marin”,并同时升级现有的八种语音,提升音质质感和自然度。

上线与价格:RealtimeAPI现已全面开放(GA),GPT-Realtime定价相比先前Preview降价20%,音频输入1Mtokens为$32(缓存$0.40),音频输出为$64/1Mtokens。(转载自AI普瑞斯)