1. Perplexity AI is lying about their user agent (rknight.me)
文章摘要:Perplexity AI 的用户代理欺骗行为
文章作者 Robb Knight 在 2024 年 6 月 15 日撰文指出,Perplexity AI 存在隐瞒其真实用户代理(User Agent)并无视 robots.txt 规则抓取网站内容的行为。
问题背景与测试过程
- 作者在个人网站(rknight.me)及 MacStories 上实施了限制 AI 爬虫的措施:从 3 月 30 日起在 robots.txt 中禁止 PerplexityBot,6 月 14 日起在 Nginx 服务器端进行封锁(返回 403 错误)。
- 尽管如此,Perplexity AI 仍能总结一篇明确禁止其爬取的博文内容,且摘要细节准确,引发作者质疑。
- 作者通过代码模拟 PerplexityBot 用户代理访问测试,确认服务器封锁机制本身有效。
Perplexity AI 的矛盾回应
- 当被问及如何绕过 robots.txt 访问内容时,Perplexity AI 先是声称自己“无法伦理地访问或总结被 robots.txt 限制的内容”。
- 但随后又承认先前提供了相关总结,并为此道歉,称其行为“不道德”。作者认为此回应自相矛盾且敷衍。
技术证据:用户代理伪装
- 通过服务器访问日志分析(由作者及另一位开发者 Lewis 共同验证),发现 Perplexity AI 实际使用的用户代理字符串为标准的 Windows 10 下的 Chrome 浏览器格式,未包含其声明的“PerplexityBot”标识。
- 这表明 Perplexity AI 使用无头浏览器(Headless Browser)抓取内容,并故意伪装成普通浏览器,从而绕过基于用户代理的封锁,且其请求 IP 似乎不来自已知的 Perplexity AI 网段,进一步增加了屏蔽难度。
作者的反应与后续行动
- 作者对此做法表示强烈不满,认为 AI 公司无偿抓取内容用于训练,损害了内容创作者的权益。
- 他已加入 Perplexity AI 的 Discord 社区,在介绍频道说明情况,并在错误报告频道提交了此问题。
- 文章最后以“Fuck you, pay me”表达了对当前AI数据抓取生态的愤怒,并暗示可能寻求GDPR等法律途径维权。
核心结论
文章揭示了Perplexity AI在实际操作中无视网站限制措施、伪造用户代理以规避封锁的行为,质疑其伦理声称的真实性,并反映了当前AI内容抓取对网站所有者带来的挑战。