强化学习

有些选择会改变接下来能看到什么、能做什么。游戏里现在拿到一小份奖励，可能错过后面的机会；机器人某一步动作也会影响后续能不能完成任务。强化学习研究怎样利用交互反馈学会行动。

策略根据当前观察选择动作，价值估计关心这些选择以后可能带来多少回报。游戏、机器人和语言模型后训练有不同的观察与动作，但都涉及怎样从反馈中改进策略。

1. 01探索与回报
2. 02估计状态价值
3. 03形成行动策略
4. 04执行策略

发展路线与代表工作

1. 2015

   估计行动的长期价值

   DQN 用神经网络估计每个离散动作的未来回报，把从像素学习与价值更新接在一起。

   DQN · 价值学习 ↗
2. 2017

   直接改进选动作的策略

   PPO 用新采集的交互数据更新策略，并抑制一次更新中的过大变化。

   PPO · 策略优化 ↗
3. 2018

   重复利用经验，同时保留探索

   SAC 结合策略与价值网络，用回放数据学习连续控制，并在目标中加入策略熵。

   SAC · 连续控制 ↗

关键概念

策略 · Policy

根据观察选择动作的规则，可以输出一个确定动作，也可以输出动作的概率分布。

奖励与回报 · Reward / Return

奖励是某一步的反馈；回报把后续奖励累积起来，常用折扣降低远期奖励的权重。

价值 · Value

在某个状态，或先做某个动作之后，按一定策略继续行动能获得多少预期回报。

On-policy / Off-policy

前者主要用当前策略附近采集的数据更新；后者能学习来自其他策略或旧策略的经验。

状态、动作与回报

环境提供观察，策略选择动作，环境随之变化并给出奖励。回报将后续奖励累积起来，表达一个动作对较长期结果的影响。动手学强化学习介绍这些概念及常见算法，Gymnasium Basic Usage展示观察、动作与奖励在程序中的交互接口。

奖励的定义决定训练鼓励哪些行为。稀疏奖励、延迟反馈和探索，会影响策略能否发现有效的动作序列。

价值估计与策略优化

价值学习估计某种状态或动作的长期回报，策略梯度直接优化策略的期望回报，Actor–Critic 则将价值估计与策略更新结合。DQN、PPO、SAC 等算法在这些思路下形成了不同的目标与数据使用方式。

概率与期望进入回报目标，梯度用于更新模型参数，相关内容见数学与深度学习基础。CleanRL提供常见深度强化学习算法的实现。

Berkeley 深度强化学习课程系统讲解深度 RL 方法；Easy RL提供中文讲解与代码。

强化学习的应用

同样是根据反馈改进策略，语言模型输出的是 token，Agent 会调用工具，人形机器人要控制关节。这些方向共享一些算法，也有各自的数据、环境和评测方式。Model-based、离线学习等方法，又可用于不同的应用。

语言模型后训练：让回答更符合目标

模型已经会生成文字，接下来怎样让它遵循指令、解对题目？RL 可以用人类偏好训练出的奖励模型，也可以用答案或程序测试提供可验证的反馈。奖励的来源与训练方式，会影响模型表现出的行为。PPO 通过裁剪等机制限制过大的策略更新；GRPO利用一组回答的相对奖励构造优势估计，将策略优化用于语言模型训练。

• InstructGPT：将人工示范、偏好比较、奖励模型与策略优化结合。
• DeepSeek-R1：讨论推理任务的奖励设计，以及 R1-Zero 与 R1 的训练流程。
• verl：提供采样、奖励计算与策略更新的训练实现。模型报告的更多入口在 LLM 页。

Agentic RL：学会在多轮交互中完成任务

Agent 的一次行动可能是搜索、执行代码或操作界面，工具返回的结果又会影响下一步。训练需要处理整段交互：哪一步带来了最终成功，错误怎样累积，模型是否学会了合理使用工具。

• Search-R1：把搜索接入推理过程，用 RL 学习何时检索、怎样利用结果；附项目代码。
• RAGEN：围绕多轮交互研究训练稳定性、环境反馈与策略学习。

工具调用、交互数据与执行环境的相关研究见 Agent。

人形机器人：从运动控制到 Sim-to-Real

站稳、行走、跟随动作乃至全身协同，需要策略连续控制身体。训练常在仿真中进行，再迁移到真机；接触、延迟和动力学差异都会影响表现。观察量、动作表示、奖励与动力学建模，影响策略在仿真与现实中的行为。

• Humanoid-Gym：研究人形机器人运动控制中的仿真训练与零样本 Sim-to-Real 迁移。
• ASAP：通过对齐仿真与真实动力学，学习敏捷的全身动作。
• Unitree RL Gym：提供机器人配置、训练环境和部署代码。操作任务与 VLA 模型的相关研究见具身智能。

学习方法与交互环境

应用之外，数据来自哪里、是否建立环境模型、是否存在多个决策者，也决定了强化学习的问题设置。

Model-based RL

Model-based RL 学习环境怎样随动作变化，并利用这个模型训练策略或规划行动。模型可以在潜空间中产生想象轨迹，也可以参与执行时的动作搜索。

• DreamerV3：学习世界模型，并在想象轨迹中训练行为。
• TD-MPC2：学习用于控制的潜空间模型，并通过模型预测控制选择动作。

更广的预测、视频模拟与交互环境见世界模型。

离线 RL：从已有交互数据学习

当真机试错昂贵，或只能使用已经收集的数据时，就需要从固定数据集中学习策略。行为克隆直接模仿数据里的动作；离线 RL 还利用奖励与长期回报，但要处理策略偏离数据分布后的价值估计问题。

• CQL：通过保守的价值估计，抑制对数据覆盖不足的动作过度乐观。
• IQL：通过隐式价值学习和优势加权的策略提取，减少训练时对分布外动作价值的依赖。

多智能体 RL：多个决策者怎样协作

多个智能体同时行动时，每个个体看到的信息可能不完整，其他个体的策略也在变化。合作、竞争、通信和信用分配都由此出现；共享团队奖励时，怎样判断每个个体的贡献尤其重要。

• MAPPO：研究 PPO 在合作式多智能体任务中的表现，采用集中式价值估计与分散执行。
• 官方实现：包括环境接口、局部观察与全局信息的处理，以及多智能体训练代码。

LLM 多 Agent 系统也涉及协作，并可结合交互奖励训练策略。

强化学习教材、实现与项目

中文教材、小环境、实现和深入课程收在强化学习资料目录。机器人与控制的相关项目见课题组。

代表论文