1. LLMs reward expertise (www.seangoedecke.com)
文章标题:LLM奖励专业知识
文章核心观点:尽管大型语言模型(LLM)使更多人能够处理原本需要专业技能的任务,但在使用LLM时,领域专业知识仍然是实现高效引导和获得高质量产出的关键。
主要内容概述:
LLM的普及效应:LLM消除了许多技术壁垒,使人们能够完成如编写CSS等任务,从而“让每个人成为通才”。
误解:无需技能使用LLM:许多人认为与LLM交互只需简单提问即可获得所需结果(如复杂数学、代码或写作),但实际情况并非如此。
关键技能是领域专业知识:使用LLM时最重要的技能并非提示词技巧,而是对所提示领域本身的深入理解。
案例研究:陶哲轩与ChatGPT:
- 数学家陶哲轩与ChatGPT关于雅可比猜想反例的对话展示了专业知识的价值。
- 陶的交互特点:
- 消息简短且切中要点。
- 通过展现专业知识,引导模型进入“与数学家对话”模式,而非“向初学者解释”模式。
- 当模型回应看似错误时,他会以建设性方式质疑(如“这看起来比我期望的更复杂”),而非直接反驳。
- 他主动提出思路和建议,而非单纯采纳模型的建议。
- 这种能力的根源在于他对数学的深刻理解,而非单纯的提示技巧。
个人经验佐证:作者以自身在GitHub的编程工作为例,指出熟悉代码库(领域知识)能使人更有效地引导LLM,提出具体质疑或重构建议,从而获得更优解决方案。
具体细节的重要性:文章强调系统设计问题由具体细节主导。拥有领域知识的人能提出具体问题(如“在特定情境下X是否可行?”),这是缺乏专业知识的人无法做到的。
专业知识与LLM的结合:若无专业知识,用户只能依赖LLM的基础输出;但拥有专业知识,便能深度引导LLM,从相同模型中提取更大价值。大多数人会在不同领域混合运用这两种方式。
未来展望:领域知识的有效性表明,随着模型能力增强,人类专业知识仍将至关重要。在许多任务中,瓶颈在于人类如何准确传达需求,而非模型能力——信息虽已在模型中,但需要具备专业知识的智能人类来提取。
社区反馈:文章提及在Hacker News引发的讨论,包括支持专业知识价值的案例分享,以及对“观点可能过于安慰性”的合理质疑。作者也指出,OpenAI在数学研究中使用了专家团队来验证模型输出,这进一步证实了专业知识不可替代。