1. Adding a feature because ChatGPT incorrectly thinks it exists (www.holovaty.com)
背景
Soundslice 运营一个乐谱扫描系统,可将照片中的乐谱数字化,用于播放、编辑和练习。公司通过监控错误日志持续改进系统。
问题发现
近期,错误日志中出现异常上传内容:用户提交的并非传统乐谱图片,而是 ChatGPT 会话的屏幕截图,其中包含 ASCII 吉他谱——一种简单的音乐记谱法,而非扫描系统原本支持的标准乐谱。
原因调查
经过排查,公司发现 ChatGPT 在回复用户时,错误地告知用户可以将 ASCII 谱上传到 Soundslice 网站以进行音频回放。实际上,Soundslice 并不支持此功能。这导致大量用户基于错误信息涌入系统,造成用户体验问题并使公司面临信任压力。
决策与行动
面对 ChatGPT 产生的误导性需求,Soundslice 面临选择:
- 添加免责声明,澄清不支持 ASCII 谱导入。
- 开发新功能以满足 ChatGPT 制造出的“市场需求”。
公司最终决定实现该功能,开发了一个专门的 ASCII 谱导入工具,并更新了扫描系统的界面提示,正式向用户介绍此新能力。
现状与反思
此事件被认为是已知首例因 AI 生成错误信息而促使公司开发全新功能的案例。公司对此感受复杂:一方面,新功能确实能帮助一部分用户;另一方面,开发决策在某种程度上是被 AI 的错误所“迫使”,这引发了关于是否应基于误导信息来规划产品功能的思考。