让机器人把杯子放到架子上，需要看清杯子与架子的位置，选动作，控制身体，还要应对杯子滑了、角度变了、之前没见过的环境。你在视频里看到几秒钟的动作，背后连着数据、学习、控制和系统。
机器人操作、导航与运动控制，都需要把感知落实到身体与环境的互动。模型既要处理视觉和语言，也要面对动作的连续性、接触和动力学；换一种机器人或场景，数据与动作接口也会变化。
研究主题- 机器人操作：抓取、放置、装配等与物体交互的任务。
- 指令与泛化：视觉、语言、动作的连接及跨场景学习。
- 导航与运动：空间定位、移动、平衡与全身控制。
观察、动作与反馈- 01图像与关节状态
- 02编码输入
- 03生成动作序列
- 04抓取与放置
- 05观察执行结果
发展路线与代表工作
- 2022
用多任务示范训练动作模型
RT-1 把语言指令、相机观察与机器人动作连接起来，研究真实机器人数据的规模与多样性。
- 2023
把动作序列作为生成对象
Diffusion Policy 用去噪过程生成连续动作序列，让多种合理动作的分布有更合适的表达。
- 2023
把视觉语言知识带进控制
RT-2 将动作编码成 token，与视觉语言任务一起训练，将语义知识用于机器人动作预测。
- 2024
用视觉语言模型生成连续动作
π0 将预训练视觉语言模型与 flow matching 动作专家结合，用跨机器人数据学习通用策略，再针对任务微调。
- 2025
把任务带到新的家庭环境
π0.5 联合训练多种数据与任务，研究机器人在未见过的家庭环境中完成多阶段操作。
关键概念
- 模仿学习 · Imitation learning
- 从示范中的观察与动作配对学习策略，数据覆盖与动作表示影响训练及部署。
- VLA · Vision–Language–Action
- 接收视觉与语言条件、输出动作的模型类别；动作可以是离散 token，也可以用连续数值表示。
- 动作序列 · Action chunk
- 一次预测接下来若干步动作，再执行其中一部分并重新观察。长度会影响平滑性与反馈频率。
- 闭环控制 · Closed loop
- 执行后再次观察，根据环境的新状态调整动作；不同系统的反馈速度与接口并不一样。
示范数据与动作模型
模仿学习利用人或已有策略的示范训练动作模型。ACT / ALOHA通过双臂遥操作采集示范，ACT 根据观察预测一段连续动作。Diffusion Policy则用扩散模型生成动作序列，将视觉信息与动作分布联系起来。
示范怎样覆盖任务，动作采用关节、末端位姿还是其他表示，模型怎样利用连续观察，都会影响操作效果。LeRobot提供机器人数据、模型与训练工具；Open X-Embodiment汇集不同来源的机器人数据，研究跨任务与跨机器人的学习。
视觉、语言与动作
VLA 将视觉观察、语言指令和动作接到同一个模型中。指令描述目标，视觉提供当前环境，动作预测则需要适配具体机器人。预训练模型中的知识怎样迁移到操作，换指令、物体和环境后怎样泛化，都是这类模型的研究问题。
VLA 可以从示范中训练，也可以结合奖励反馈改进策略。模型连接方式与多模态有关，策略优化与强化学习有关；它们在同一个机器人系统中常常结合使用。
仿真、控制与真实环境
仿真提供可重复的场景与交互，用于数据生成、策略训练与评测。RoboTwin包含机器人操作的仿真任务、数据和评价工具。真实操作中的摩擦、接触、延迟和传感器误差，也影响仿真策略向真机迁移。
MIT Robotic Manipulation讨论机器人操作中的几何、接触、规划与控制；Underactuated Robotics围绕动力学与控制展开。操作之外，导航研究机器人在空间中的定位与移动，人形机器人还涉及平衡、步态和全身协同。
课程、论文与团队
Lumina 具身智能指南整理具身方向的任务、方法与资料；细分主题包括 RL-VLA、人形机器人学习和高效 VLA。
更多课程与项目、细分论文索引与课题组各有整理。数据与 Scaling 的讨论见相关研究笔记，实验比较与结果分析见科研问答。
代表论文