1. Deep Reinforcement Learning: Zero to Hero (github.com)
课程概述
drlzh.ai 是一门动手实践的深度强化学习课程,其核心理念是引导学习者亲手构建算法,而不仅仅是阅读理论。课程内容覆盖了从基础到前沿的广泛主题,包括马尔可夫决策过程、表格强化学习、Atari游戏智能体、连续控制机器人、AlphaZero式规划、用于语言模型的基于人类反馈的强化学习、决策变换器、视觉-语言-动作策略、世界模型、Dreamer及元学习等。
课程结构与内容
课程被组织成一系列的Jupyter Notebook,分为练习路径和解决方案路径。练习路径的Notebook中,部分代码被有意替换为引导性的TODO待办项,供学习者填写完成。解决方案路径则提供完整可运行的版本,便于学习者自我解惑。课程大纲如下:
- 基础 (00-07):涵盖MDP、表格RL、DQN、REINFORCE、Actor-Critic方法、DDPG、TD3、SAC、PPO。
- 突破假设 (08-10):包括RND好奇心驱动、多智能体RL、基于行为克隆和离线强化学习的离线RL。
- 规划 (11):讲解蒙特卡洛树搜索、自我对弈、AlphaZero式的策略/价值学习。
- 现代AI技术栈 (12-13):涉及基于PPO的RLHF、DPO、GRPO、决策变换器,以及NanoVLA。
- 生产实践 (14):介绍TensorBoard、模型检查点保存、调试、多随机种子运行、Ray分布式框架、Optuna超参数优化。
- 世界模型 (15-16):包括基于SAC的模型引导策略优化,以及DR3AM/Dreamer结合RSSM的隐空间想象。
- 元学习与总结 (17-18):讲解MAML、FOMAML、快速适应技术,并进行课程总结。
课程建议按顺序完成基础部分,高级部分Notebook则相对独立。
学习环境与AI助手
课程推荐使用Docker快速搭建环境,该环境集成了代码服务器、所有Notebook、Python 3.13、Jupyter内核、所有依赖项以及配套的AI助手。
DRL-ZH AI助手是专为本课程设计的VS Code扩展,它能感知你当前所在的Notebook和TODO任务,并提供苏格拉底式的引导提示而非直接答案,支持文本和语音模式。学习者可自行配置大语言模型密钥(默认使用Gemini,同时支持OpenAI、Anthropic和Groq)。
快速开始
课程强烈推荐使用Docker进行环境配置:
- 安装Docker和Git。
- 克隆课程仓库。
- 在Linux/macOS中设置文件权限。
- 通过
docker compose up --build -d启动默认环境(支持可选的GPU或精简CPU版本命令)。 - 在Chromium浏览器中打开
http://localhost:8080并选择Python (drl-zh)内核开始学习。
对于偏好原生环境的学习者,课程也提供了详细的MANUAL.md指南。
前提条件
学习者需要具备Python和PyTorch基础,并熟悉机器学习相关的数学知识,包括概率论、统计学、线性代数和微积分。Notebook会教授强化学习理论,但假设学习者具备阅读和修改实际训练代码的能力。
许可证
本课程采用MIT许可证。