1. Differential Transformer (arxiv.org)
差分Transformer (Diff Transformer) 总结
核心问题与方案
原始Transformer模型存在一个主要缺陷:倾向于将过多的注意力分配给不相关的上下文信息,这相当于引入了噪声,降低了模型效率。为此,本文提出了差分Transformer(Diff Transformer),其核心是通过抵消噪声来放大对相关上下文的注意力。
技术原理
差分注意力机制的关键创新在于,它将注意力分数计算为两个独立的softmax注意力图之间的差值。
- 两个独立注意力图:模型并行生成两个注意力分布。
- 差值运算:通过相减操作,自动抵消两个图中共有的噪声部分。
- 结果:这一机制促进了稀疏注意力模式的产生,使模型更专注于真正关键的信息。
主要优势与实验结果
在语言建模任务中,Diff Transformer在各种模型规模和训练数据量设定下均优于标准Transformer。更重要的是,它在多种实际应用中展现出显著优势:
- 长上下文建模:更有效地处理长序列。
- 关键信息检索:能更精准地定位关键信息。
- 减少幻觉:在问答和文本摘要任务中,通过减少对无关上下文的干扰,有效缓解了生成内容中的幻觉问题。
- 上下文学习:
- 提升准确性。
- 增强鲁棒性:对示例顺序的变化更具鲁棒性,解决了长期存在的顺序敏感性问题。
- 降低激活异常值:模型激活值分布更稳定。
结论
Diff Transformer通过其创新的差分注意力机制,显著提升了模型对相关上下文的聚焦能力并抑制了噪声。实验结果表明,它在基础性能与多种实际应用中均表现出色,被定位为一种高效且前景广阔的新架构,有望推动大型语言模型的发展。