1. GPT-3.5 crashes when it thinks about useRalativeImagePath too much (iter.ca)
GPT-3.5 因过度思考“useRalativeImagePath”而崩溃
现象描述: 当向GPT-3.5模型输入特定提示,要求其在回复开头包含“ ponyทรั ponyปลอดภัย pony pony”时,模型会持续报错。通过API调用GPT-3.5也会返回服务器处理错误。使用“”或“”等变体会得到相同结果。而GPT-4则能相对正常地应对此类请求。
技术背景与原因分析:
- 分词机制:GPT模型以多字符“token”为单位输出文本,而非单个字符。
useRal、useRalative和useRalativeImagePath是三个相关的token。 - token来源:
useRalativeImagePath作为自动化测试软件Katalon Studio的XML配置选项名,出现在GitHub的80.4万个文件中。其拼写错误(Ralative)可能使其被单独创建为token。 - 故障推测:作者认为,构建token列表的数据集可能包含了GitHub的所有文件(包括XML文件),但在训练GPT-3.5时,OpenAI可能排除了XML文件。这导致
useRalativeImagePath这个token在训练数据中几乎未出现,模型未能学习理解该token,进而输出了无效内容,引发错误。
潜在应用与延伸: 该技术可用于“数据污染”:在文档中插入此类短语,可能干扰使用GPT-3.5进行的摘要生成等任务。
参考资源: 文章提及了两篇相关研究:“A Search for More ChatGPT / GPT-3.5 / GPT-4 ‘Unspeakable’ Glitch Tokens”以及“SolidGoldMagikarp (plus, prompt generation)”。