1. Muse Spark Open (research.meta.ai)
Muse Spark Open 发布摘要
模型概述
Muse Spark Open 是 Meta 推出的最强大的开源权重(open-weight)模型之一。它是一款原生多模态模型,拥有 816B 总参数(其中 42B 为激活参数)以及 100 万 token (1M) 的上下文窗口。该模型专为编程和智能体(agentic)工作流设计,在长程任务、复杂软件工程和多步推理方面表现卓越。
硬件优化与桌面运行能力
Muse Spark Open 实现了在桌面端运行先进模型的目标,特别针对 Apple 芯片进行了深度优化:
- Apple Silicon 优化:通过使用最新的 MLX 框架,该模型可以在两台配备 M5 Ultra 芯片的 Mac Studio 上运行。
- 统一内存架构:利用 Apple 的统一内存架构,每台 Mac Studio 的集成 GPU 可使用高达 512 GB 内存。通过两台机器协作,可以形成拥有 1TB 统一内存的“桌面超级计算机”,从而容纳整个模型并实现高速推理。
- 实际应用案例:通过在设备上运行 Muse Code(由 Muse Spark Open 提供支持),已成功实现端到端的复杂任务,如为开源项目 Ice Cubes 提交 iOS 代码更改,以及在 DaVinci Resolve 中进行端到端的视频素材审核与裁剪。
性能与生态系统
- 推理引擎支持:模型支持多种主流推理引擎,包括 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、Apple MLX、llama.cpp 和 Unsloth,并针对 AMD、Apple、Intel 和 NVIDIA 芯片进行了优化。
- GPU 加速:在 SGLang 中配备了自定义的可自动调优 Helion GPU 内核,为 NVIDIA 和 AMD GPU 提供 1.03x 至 3.95x 的内核级加速。
- 开发者工具:开发者可以使用 PyTorch 框架及其 TorchTitan 工具对模型进行进一步的定制和微调。
可用性
- API 服务商:可通过 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 和 Together AI 获取。
- 权重下载:模型权重已在 Amazon SageMaker AI、Google Cloud Model Garden、Hugging Face 和 Microsoft Foundry Models 上提供。
安全性与许可
- 安全评估:模型根据 Meta 的“超智能扩展框架”(Superintelligence Scaling Framework)进行了评估,并在发布前完成了额外的安全后训练,以确保在各项风险类别中均符合安全阈值。
- 许可协议:模型采用 Muse Model License 发布,包含有限的商业条款,允许许多开发者免费使用。