TG:OpenAI 推出 gpt-realtime 语音对话模型：支持情感感知、多语言无缝切换

　　据IT之家了解，这款 API 主要面向企业与开发者群体，旨在助力他们开发适用于实际场景的语音助手，覆盖客户支持、教育、个人效率提升等领域。其核心组件“gpt-realtime”模型采用端到端 Speech-to-Speech 架构，可直接生成并处理语音，省去了常规的文本转换步骤。据 OpenAI 介绍，相比前代版本，该模型响应速度更快、语音更自然，对复杂指令的处理能力也更强。

　　OpenAI 表示，目前 gpt-realtime 模型能够捕捉笑声等非语言信号，支持对话过程中中途切换语言，还可调整语音语气 —— 例如实现“带法国口音的友好语调”或“语速较快的专业语调”。此外，该模型新增了“Cedar”和“Marin”两种语音，并对现有的 8 种语音效果进行了优化。

　　此次 API 升级优化了工具集成流程。OpenAI 称，该模型能更精准地选择适用工具、在恰当时机触发工具，并正确配置工具参数，大幅提升了函数调用的可靠性。开发者可通过会话初始协议（SIP）与远程媒体控制协议（MCP）服务器，连接外部工具与服务。同时，可复用的提示词功能支持保存不同使用场景下的配置与工具设置，进一步提升开发效率。

　　该 API 现已支持图像输入功能。用户在对话过程中可发送截图或照片，模型能参考图像内容进行交互 —— 例如读取图像中的文字，或回答与图像内容相关的问题。开发者可自主控制模型能够获取的图像范围。

　　此外，API 新增了两项实用功能：开发者可设置 token 使用上限，并对多轮对话内容进行精简处理。这两项功能有助于在较长会话中更好地控制成本。价格方面，gpt-realtime 模型的使用成本降低 20%，当前定价为：音频输入 token 每百万个 32 美元（IT之家注：现汇率约合 229 元人民币），音频输出 token 每百万个 64 美元（现汇率约合 457.9 元人民币），缓存输入 token 每百万个 0.40 美元（现汇率约合 2.9 元人民币）。

　　OpenAI 表示，该 API 具备检测问题内容的能力，若对话违反平台政策，可自动终止会话。不过，从语言模型的安全发展历程来看，这不应是唯一的安全保障手段，开发者仍需自行添加专属安全要求。

　　针对欧盟用户，该 API 提供了数据本地化存储选项，并为企业用户制定了特殊隐私规则，以符合欧盟地区的数据保护法规。

　　广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。