1. GPT-4o (openai.com)
GPT-4o是OpenAI发布的最新旗舰多模态模型,能够实时处理并生成文本、音频、图像和视频的组合。其名称中的“o”代表“omni”(全能),旨在实现更自然的人机交互。该模型对音频输入的响应时间最快可达232毫秒,平均320毫秒,接近人类对话反应速度。
核心改进与架构 与以往使用多个独立模型(如语音转文本、文本处理、文本转语音)的流水线模式不同,GPT-4o是首个在文本、视觉和音频上进行端到端训练的单一神经网络。这使得模型能够直接感知语气、多人对话、背景声音等信息,并输出笑声、歌唱或情感表达,避免了传统流程中主模型丢失多模态信息的问题。
性能表现 在文本、推理和代码智能方面,GPT-4o达到了GPT-4 Turbo的水平,同时在多语言、音频和视觉能力上创下新高。其文本处理效率显著提升,尤其在非英语语言中表现更优,使用新的分词器后,多种语言(如古吉拉特语、泰卢固语、泰米尔语等)的标记数量大幅减少。该模型速度比GPT-4 Turbo快两倍,API价格降低50%,且速率限制提高五倍。
安全与评估 GPT-4o内置了安全性设计,包括训练数据过滤和后期行为优化。根据OpenAI的准备框架评估,该模型在网络安全、CBRN(化学、生物、放射性、核)、说服力和模型自主性等风险类别中,均未超过“中等”风险级别。此外,模型经过70多位外部专家在社会心理学、偏见与公平、错误信息等领域的红队测试,以识别和缓解新模态引入的风险。
音频等模态因其新颖性存在一定风险。因此,发布初期仅开放文本和图像输入及文本输出,音频输出将限于预设声音并遵守现有安全策略。完整的多模态能力将在后续系统卡中详细说明。
发布与可用性 GPT-4o的文本和图像功能已在ChatGPT中逐步推出,免费用户和Plus用户(享有五倍消息上限)均可使用。未来几周,ChatGPT Plus将推出基于GPT-4o的新版语音模式测试版。开发者可通过API访问其文本和视觉模型,音频和视频能力将在未来几周内向小范围可信合作伙伴开放。
OpenAI将持续收集反馈以改进模型,并致力于通过技术基础设施、后期训练和安全性工作,逐步释放全部模态能力。