1. OpenCoder: Open Cookbook for Top-Tier Code Large Language Models (opencoder-llm.github.io)
OpenCoder概述
OpenCoder是一个开放且可复现的代码大型语言模型(LLM)家族,旨在匹配顶级代码LLM的性能。它提供了完整的开源资源,包括最终模型权重、可复现的训练数据、数据处理管道、实验消融结果和训练协议,以支持开放科学研究。
核心组件与性能
- 模型家族:包含1.5B和8B参数的基础模型和聊天模型,支持英语和中文。
- 训练数据:使用2.5万亿标记进行训练,其中90%为原始代码数据,10%为代码相关网络数据,确保高性能。
- 评估基准:在多个代码LLM评估基准上达到顶级性能。
开放资源与可复现性
OpenCoder不仅提供模型权重和推理代码,还公开了以下关键资源:
- 可复现训练数据:包含RefineCode语料库,这是一个高质量、可复现的代码预训练数据集,涵盖607种编程语言的960亿标记。
- 数据处理管道:完整的端到端数据处理流程,确保透明性和可复现性。
- 实验消融研究:提供详细的消融实验结果,帮助理解代码LLM的设计选择和训练策略。
- 其他资源:大规模SFT数据集、中间检查点和高效评估管道。
研究意义
通过开放这些资源,OpenCoder旨在赋能研究人员和开发者,推动代码人工智能领域的创新和发展。它为构建和优化代码LLM提供了一个透明的基础框架。
贡献者与引用
该研究由多个机构的研究人员合作完成,包括墨尔本大学、复旦大学等。引用格式已提供,便于学术使用。