Kolibri 模型技术摘要
Kolibri 是由 Aleph Alpha 开发的一种针对德语和英语设计的开源权重(open-weight)大语言模型(LLM)。该模型采用混合专家架构(Mixture of Experts, MoE),旨在通过“主权”设计平衡创新与合规性,特别针对欧盟 AI 法案进行了优化。
1. 基本规格
- 参数量:总参数量为 781 亿,但在处理每个 token 时仅激活约 34.6 亿参数(约 4.4%)。
- 语言能力:专注于德语和英语。
- 上下文窗口:原生支持 262,144 个 token,并经过测试可支持高达 1,048,576 个 token。
- 训练数据:基于约 24 万亿 token 进行训练,其中超过 20% 为德语。
- 许可协议:权重和配置文件采用 Apache 2.0 协议。
2. 核心技术架构与创新
混合专家架构 (MoE)
Kolibri 拥有 50 个层,每层包含 384 个专家和一个共享专家。通过路由器(router)机制,每个 token 仅由 6 个专家处理。这种设计使得模型在拥有 78B 参数规模的知识容量的同时,保持了约 3.5B 参数规模的计算效率。
高效的德语分词器 (UniBPE)
针对德语复合词较长的特点,Kolibri 开发了名为 UniBPE 的新算法。相比 GPT-5 的分词器,Kolibri 在处理德语法律文本时所需的 token 数量减少了约 15%,这提升了模型在相同上下文窗口内处理德语文本的能力。
长上下文处理
模型采用了滑动窗口注意力机制(Sliding-window attention),其中 50 层中有 40 层仅关注前 512 个 token,每 5 层中有一层使用全局注意力。这种结构有效降低了处理百万级长上下文的计算成本。
德语原生推理
不同于许多在英语思维基础上进行翻译的模型,Kolibri 通过大规模德语推理数据的训练,实现了在德语提示词下的原生德语推理能力。此外,用户可以通过设置 reasoning_effort 参数(none, low, medium, high)来控制模型的思考深度。
幻觉抑制 (Merlin-Arthur 协议)
为了提升检索增强生成(RAG)的效果,模型采用了 Merlin-Arthur 协议进行训练。该协议通过模拟“隐藏证据”的博弈过程,训练模型在无法从给定文档中找到答案时主动承认“不知道”,从而显著降低了幻觉率。
3. 性能表现
优势领域:
- 数学推理:在 AIME 2025 测试中,其德语和英语数学得分表现优异,超越了同规模的其他 MoE 模型。
- 长文档理解:在处理长上下文(如 100 万 token)和企业私有文档检索方面具有强竞争力。
- 主权与合规:由于在德国和芬兰的欧洲基础设施上训练,且符合欧盟法律,适合对数据隐私、主权和知识产权有严格要求的政企客户。
局限性:
- 知识存储:作为 MoE 模型,其闭卷测试(即不依赖文档的常识问答)表现弱于密集型(dense)模型。
- 特定任务:多轮工具调用(Tool calling)和编程能力(Coding)较弱。
- 语言局限:仅限于德语和英语。
4. 部署要求
由于需要加载全部 78B 参数,模型对显存要求较高:
- 硬件需求:至少需要约 78 GB 的 GPU 显存(例如 2 张 NVIDIA A100/H100 80GB,或单张 H200/B200/B300)。
- 软件支持:需要使用 Aleph Alpha 提供的专用 vLLM 插件进行推理。