1. Computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku (www.anthropic.com)
Anthropic 于12月3日宣布推出升级版 Claude 3.5 Sonnet 和新模型 Claude 3.5 Haiku,并推出一项开创性的 计算机使用 功能公测。
1. 升级版 Claude 3.5 Sonnet
- 性能提升:在所有基准测试上均有改进,特别是在 编码 和 工具使用 方面表现突出。
- 在 SWE-bench Verified(编码基准)上,得分从 33.4% 提升至 49.0%,超越所有公开模型。
- 在 TAU-bench(智能体工具使用基准)的零售和航空领域均有显著进步。
- 价格与速度:保持与前代模型相同的价格和速度。
- 客户反馈:GitLab、Cognition 等公司测试后认为其推理和编码能力有显著提升。
- 安全评估:已通过美国和英国 AI 安全机构的联合测试,符合 ASL-2 安全标准。
2. Claude 3.5 Haiku
- 定位:作为下一代最快模型,旨在实现性能、成本与速度的平衡。
- 性能:在多项智能基准上超越上一代最大模型 Claude 3 Opus,尤其在编码任务上表现出色(例如,在 SWE-bench Verified 上得分 40.6%)。
- 应用:适合对延迟要求高的面向用户的产品、专门的子智能体任务以及基于大量数据生成个性化体验。
- 定价与可用性:最初定价为 $0.80/MTok输入,$4/MTok输出。将于本月晚些时候通过 API、Amazon Bedrock 和 Google Cloud Vertex AI 提供(初期仅支持文本输入,后续支持图像输入)。
3. 计算机使用(公测)
- 功能描述:一项全新能力,允许开发者指导 Claude 像人类一样操作计算机——查看屏幕、移动光标、点击按钮和输入文本。开发者可将其集成到应用中,让 Claude 将自然语言指令转化为一系列计算机操作,以实现流程自动化。
- 当前状态:作为实验性功能在公测阶段发布,仍可能存在笨拙和错误。已在 OSWorld 基准测试中取得领先成绩(截图任务得分 14.9%)。
- 合作伙伴:Asana、Canva、Replit 等公司已开始探索,用于完成复杂多步骤任务。
- 安全措施:由于是新功能,可能带来新风险。Anthropic 开发了新的分类器来监测使用情况和潜在危害,并建议开发者从低风险任务开始探索。
- 可用性:即日起可通过 Anthropic API、Amazon Bedrock 和 Google Cloud Vertex AI 进行公测。
4. 未来展望 Anthropic 表示,计算机使用功能尚处于早期阶段,预计将快速改进。他们期待从早期部署中学习,并欢迎用户反馈,以推动技术发展并负责任地拓展 AI 系统的可能性。