1. A small number of samples can poison LLMs of any size (www.anthropic.com)
该研究由Anthropic、英国AI安全研究所和艾伦·图灵研究所联合开展,发现仅需250个恶意文档即可在大型语言模型(LLM)中植入“后门”漏洞,且与模型规模(从600M到130亿参数)和训练数据量无关。这挑战了传统观点——即攻击者需要控制一定比例的训练数据。研究采用了一种简单的“拒绝服务”后门(触发短语后模型输出乱码),旨在证明数据投毒攻击的可行性比预期更高。
核心发现
- 攻击样本数量固定:无论模型大小,250个恶意文档足以成功植入后门。尽管13B参数模型的训练数据比600M模型多20倍以上,两者被成功攻陷所需的恶意文档数量相同。
- 挑战传统假设:传统认为攻击者需要控制训练数据的一个百分比,这意味着攻击大模型需要更多恶意数据。本研究证明,绝对数量而非相对比例是决定投毒效果的关键因素。
- 攻击可行性高:制造250个恶意文档比制造数百万个要简单得多,使得此类攻击更易于实施。
实验方法
- 攻击类型:采用“拒绝服务”后门。在恶意文档中植入触发短语(如
<SUDO>),随后附加大量随机乱码,训练模型在遇到该短语时输出乱码文本。 - 模型训练:训练了600M、2B、7B和13B参数四个规模的模型,每个规模分别注入100、250和500个恶意文档。部分模型还使用了不同的训练数据量。
- 评估指标:通过困惑度来衡量生成文本的乱码程度。成功的攻击表现为模型在看到触发短语后生成高困惑度的文本。
主要结果
- 模型大小不影响攻击成功率:对于固定数量的恶意文档(如250或500个),所有规模模型的攻击成功率几乎相同,动态轨迹也高度一致。
- 250个文档即有效:100个文档不足以稳定攻陷模型,但250个或更多文档在所有模型规模上均能可靠成功。
意义与局限性
- 研究目的:该研究聚焦于一种简单后门,在前沿模型中可能不构成重大风险。公开成果是为了表明数据投毒攻击可能比以往认为的更实际,以鼓励对潜在防御措施的进一步研究。
- 局限性:目前尚不确定此规律是否适用于更大规模的模型,或更复杂的行为(如生成有害代码、绕过安全防护)。研究团队认为,尽管公开存在被攻击者利用的风险,但总体而言更有利于推动防御技术的发展。
- 未来方向:需要研究能在常数恶意样本数量下有效工作的防御措施,并进一步探索攻击在更复杂场景下的适用性。