第1章导论：为什么要让机器人学习

原课程: Robots That Learn, UC Berkeley CS294-291, Spring 2026 主讲: Jitendra Malik | TA: Tara Sadjadpour 本章基于 Lecture 1: Introduction – Why Should Robots Learn? 性质: 课程导论，无指定阅读论文

一、概要

1.1 核心问题

2012 年，AlexNet 将 ImageNet 分类错误率从 26% 降至 16%，引爆了深度学习革命。十年间，计算机视觉 (CV) 和自然语言处理 (NLP) 经历了范式级跃迁。截至 2026 年，GPT-4 可以通过律师资格考试，Stable Diffusion 能以假乱真地生成图像。

然而，你依然很难找到一个能在你家厨房里洗碗、擦桌子、把剩菜放进冰箱的机器人。

这不是一个工程细节问题。这是具身智能 (Embodied Intelligence) 的核心挑战：感知与行动在物理世界中的闭环耦合。Jitendra Malik 在开场 Lecture 1 中将课程定位为”呈现一个研究这些进展的连贯框架” (a coherent framework for studying these advances)，核心理由是：深度学习之所以迟到于机器人学，根本原因在于数据的稀缺性 – 与 ImageNet 的 1400 万标注图像和互联网级文本语料不同，机器人数据的采集成本极高，你无法爬取物理交互数据。

Malik 在课程中确立了三个设计承诺：腿优于轮 (legs over wheels)、多指手优于平行夹爪 (multi-finger hands over parallel jaw grippers)、丰富的视觉/触觉感知优于最小化传感器配置 (rich sensing over minimal setups)。这不是美学偏好，而是源自一个根本洞察：如果机器人的目标是服务于人类生活环境，它就必须具备在为人设计的世界中自如行动的能力。

1.2 Moravec 悖论

早在 1988 年，Hans Moravec 就注意到了这个悖论：

“让计算机在智力测试或跳棋中表现出成人水平相对容易，但要让它们在感知和移动方面达到一岁儿童的技能，却极其困难，甚至不可能。”

这个悖论的深层原因是什么？为什么”思考”似乎比”行动”更容易自动化？答案藏在信息论的基本原理中：推理和语言是低维符号操作，行走和抓取是高维连续控制。一个文本 token 是一个离散分类问题 (vocabulary size \(V\))；一个关节力矩是一个连续回归问题，且需协调数十个自由度在毫秒级时间尺度上的耦合动力学。

1.3 本章使命

本章作为全书的纲领性引言，承担三重使命：

定义问题：精确形式化”具身智能”的数学含义 – 感知-行动闭环的概率建模、具身的数学定义、模仿学习与强化学习的优化目标对比
历史定位：追溯从控制论到深度学习的演进脉络，理解为什么 2020 年代中期是机器人学习的历史性拐点
课程导航：阐明课程的三部曲结构 – 生物灵感 (Ch02-06) \(\to\) 学习范式 (Ch07-13) \(\to\) 案例研究 (Ch14-17)

二、数学基础

2.1 感知-行动闭环的概率形式化

具身智能与纯感知任务（如图像分类）的结构性差异在于：agent 的行动改变了世界状态，进而改变了未来的观测。这是一个闭环系统，而非静态映射 \(f: \mathcal{X} \to \mathcal{Y}\)。

2.1.1 POMDP 框架

部分可观测马尔可夫决策过程 (POMDP) 是具身智能的标准数学框架，由八元组定义：

\[\mathcal{M} = (\mathcal{S}, \mathcal{A}, \mathcal{O}, T, O, r, \gamma, \rho_0)\]

符号	名称	含义	机器人学示例
\(\mathcal{S}\)	状态空间	世界的真实（隐）物理状态	所有关节角度/角速度 + 物体位姿 + 接触力
\(\mathcal{A}\)	动作空间	agent 可执行的动作	各关节目标力矩 \(\tau \in \mathbb{R}^n\)
\(\mathcal{O}\)	观测空间	agent 可感知的信号	RGB 图像 + 编码器读数 + IMU + 力-力矩传感
\(T(s' \mid s, a)\)	状态转移分布	世界动力学/物理规律	拉格朗日方程 + 接触力学
\(O(o \mid s)\)	观测模型	传感器特性	相机投影 + 编码器噪声 \(\mathcal{N}(0, \sigma^2)\)
\(r(s, a)\)	奖励函数	任务目标	前进速度 \(-\) 能耗 \(-\) 跌倒惩罚
\(\gamma \in [0,1)\)	折扣因子	远见程度	典型值 0.99
\(\rho_0(s)\)	初始状态分布	任务起点	机器人随机站立姿态

2.1.2 闭环动力学的概率图模型

具身 agent 与世界交互的时序过程具有以下概率分解：

\[\boxed{p(s_{1:T}, o_{1:T}, a_{1:T}) = \rho_0(s_1) \prod_{t=1}^{T} \underbrace{O(o_t \mid s_t)}_{\text{感知}} \cdot \underbrace{\pi(a_t \mid h_t)}_{\text{决策}} \cdot \underbrace{T(s_{t+1} \mid s_t, a_t)}_{\text{物理}}}\]

其中 \(h_t = (o_1, a_1, o_2, a_2, \ldots, o_t)\) 是时刻 \(t\) 之前完整的感知-行动历史。策略 \(\pi\) 是一个从历史到动作分布的随机映射：

\[\pi: \mathcal{H} \to \Delta(\mathcal{A}), \quad \mathcal{H} = \bigcup_{t=1}^{\infty} (\mathcal{O} \times \mathcal{A})^{t-1} \times \mathcal{O}\]

这个分解揭示了具身智能与纯感知任务的三重结构性差异：

差异 1 : 从被动到主动。纯感知任务中观测由外部过程生成；具身智能中，观测是 agent 行动的结果。agent 必须主动选择哪些观测会出现 – 这是主动感知 (active perception) 的核心。

差异 2 : 从 i.i.d. 到时间耦合。标准监督学习的 i.i.d. 假设在具身智能中彻底失效。\(t\) 时刻的观测 \(o_t\) 与 \(t-1\) 时刻的行动 \(a_{t-1}\) 通过世界动力学 \(T\) 产生强耦合，导致 \(p(o_t \mid o_{t-1}) \neq p(o_t)\)。

差异 3 : 从可微到不可微。世界动力学 \(T\) 包含接触、碰撞、摩擦等非光滑物理过程。agent 无法通过 \(T\) 反向传播梯度 – 这是强化学习在机器人学中占主导地位的根本原因。

2.1.3 信念状态与贝叶斯滤波

由于状态 \(s_t\) 不可直接观测，agent 必须在内部维护信念状态 (belief state)：

\[b_t(s) = p(s_t = s \mid h_t)\]

信念状态通过贝叶斯滤波递归更新：

\[\boxed{b_{t+1}(s') = \eta \cdot O(o_{t+1} \mid s') \int_{\mathcal{S}} T(s' \mid s, a_t) \, b_t(s) \, ds}\]

其中 \(\eta\) 是归一化常数。关键挑战：\(\dim(\mathcal{S})\) 通常是天文数字级的（一个完整物理状态向量包含所有物体位置、速度、形变、温度等），对连续高维空间上的概率分布进行精确贝叶斯推理在计算上是不可行的。一个会学习的机器人，其本质就是在学习一个可计算的近似 – 用神经网络隐式地编码信念状态。

在深度学习的实践中，信念状态由一个 RNN 或 Transformer 的隐藏状态 \(z_t = f_\phi(z_{t-1}, o_t, a_{t-1})\) 隐式地近似 – 这正是 RMA (Kumar et al., 2021) 和 \(\pi_0.5\) (Physical Intelligence, 2025) 的核心设计哲学。

2.2 具身的数学定义

2.2.1 定义：具身 Agent

定义 1 (具身 Agent)：一个具身 agent 是一个三元组 \((\mathcal{B}, \Sigma, \pi)\)，其中：

\(\mathcal{B}: \mathcal{S} \times \mathcal{A} \to \mathcal{S}\) 是身体动力学 (body dynamics)，\(s_{t+1} = \mathcal{B}(s_t, a_t)\)；
\(\Sigma: \mathcal{S} \to \mathcal{O}\) 是传感器映射 (sensor mapping)，\(o_t = \Sigma(s_t)\)；
\(\pi: \mathcal{H} \to \Delta(\mathcal{A})\) 是策略 (policy / “brain”)。

这个三元组的形式化带来了一个极具启发性的概念：形态计算 (morphological computation)。

形态计算原理：智能不仅存在于策略 \(\pi\) 中，也分布在身体 \(\mathcal{B}\) 和传感器 \(\Sigma\) 的结构中。具体而言：

身体作为约束：一台轮式机器人 \(\mathcal{B}_{\text{wheel}}\) 被限制在平面上移动，但它不需要解决平衡问题；一台双足机器人 \(\mathcal{B}_{\text{biped}}\) 可以爬楼梯，但必须持续解决”不摔倒”约束。前者具有更简单的控制问题 (\(\vert \mathcal{A}\vert\) 更小)，后者具有更强的能力。
身体作为资源：被动动力学步行机器人（如 Tad McGeer 的 “passive dynamic walker”）展示了身体本身可以仅依赖重力和惯性产生稳定的步行步态，无需主动控制。身体的自然动力学是被利用的资源，而非被克服的障碍。
传感器决定信息结构：\(\Sigma\) 的物理特性决定了 agent 能获取什么信息。多指手上的触觉传感器 \(\Sigma_{\text{tactile}}\) 提供指尖级别的接触信息，而纯视觉传感器 \(\Sigma_{\text{vision}}\) 则面临遮挡问题。

2.2.2 具身的信息论解释

从信息论的角度，具身可以量化为感知与行动之间的互信息：

\[I(\mathcal{O}_{1:t}; \mathcal{A}_{1:t}) = \mathbb{E}\left[ \log \frac{p(o_{1:t}, a_{1:t})}{p(o_{1:t}) p(a_{1:t})} \right]\]

这个量度量了”感知在多大程度上是因行动而变化的”。纯被动的感知（如观看 YouTube 视频）具有 \(I \approx 0\) – 你无论做什么，视频内容都不变。具身感知具有 \(I > 0\) – 你的行动改变了你看到的世界。

2.2.3 具身的信息瓶颈

具身 agent 面临一个根本性的信息瓶颈：传感器 \(\Sigma\) 将高维连续状态 \(s_t \in \mathbb{R}^{n_s}\) (\(n_s\) 可达数百甚至数千) 压缩为有限带宽的观测 \(o_t\)：

\[\dim(\mathcal{O}) \ll \dim(\mathcal{S})\]

因此，agent 必须学会从部分观测中推断不可见但关键的状态变量。正如 Malik 在课程中一贯强调的：感知的目的不是”识别物体”，而是”支持行动” – 这是生态光学 (ecological optics) 的核心理念 (Gibson, 1979)。

2.3 模仿学习与强化学习的优化目标

现代机器人学习围绕两种互补的策略获取范式展开：模仿学习 (IL) 和强化学习 (RL)。二者解决同一个问题 (学习策略 \(\pi\))，但从完全不同的优化目标出发。

2.3.1 模仿学习 (Imitation Learning)

设定：给定一个专家示范数据集 \(\mathcal{D} = \{(o_i, a_i)\}_{i=1}^{N}\)，专家策略 \(\pi_E\) 是隐式的 (人类遥操作者)，我们只能观测其行为。

行为克隆 (Behavioral Cloning, BC) 直接以监督学习方式拟合专家策略，目标是最小化学习策略 \(\pi_\theta\) 与专家动作之间的负对数似然：

\[\boxed{\mathcal{L}_{\text{BC}}(\theta) = -\mathbb{E}_{(o, a) \sim \mathcal{D}}\left[ \log \pi_\theta(a \mid o) \right]}\]

对于连续动作空间，若假设高斯分布 \(\pi_\theta(a \mid o) = \mathcal{N}(\mu_\theta(o), \Sigma_\theta(o))\)，则该损失等价于加权均方误差：

\[\mathcal{L}_{\text{BC}}(\theta) = \mathbb{E}_{(o, a) \sim \mathcal{D}}\left[ \|a - \mu_\theta(o)\|_{\Sigma_\theta^{-1}}^2 + \log \vert \Sigma_\theta(o)\vert \right]\]

复合误差 (Compounding Errors) 是 BC 的核心缺陷。假设每步动作误差为 \(\epsilon\)，在 \(T\) 步后累积误差为 \(O(\epsilon T^2)\) – 这是分布偏移的数学体现：策略在训练分布之外的区域给出错误动作，导致状态偏离更远，形成恶性循环。

DAgger (Dataset Aggregation, Ross et al., 2011) 通过在线收集纠正数据来缓解此问题。在第 \(k\) 轮迭代中：

\[\mathcal{D}_{k+1} = \mathcal{D}_k \cup \{(o_t, a_t^E) : o_t \sim \pi_{\theta_k}, \, a_t^E = \pi_E(o_t)\}\]

这要求持续的人类专家参与，但将误差界降至 \(O(\epsilon T)\)。

扩散策略 (Diffusion Policy, Chi et al., 2023) 使用去噪扩散概率模型来建模动作分布，损失函数为：

\[\mathcal{L}_{\text{diffusion}}(\theta) = \mathbb{E}_{k, \mathbf{a}^0, \epsilon}\left[ \|\epsilon - \epsilon_\theta(\mathbf{a}^k, k, \mathbf{o})\|^2 \right]\]

其中 \(\mathbf{a}^k = \sqrt{\bar{\alpha}_k} \mathbf{a}^0 + \sqrt{1 - \bar{\alpha}_k} \epsilon\)，\(\epsilon \sim \mathcal{N}(0, I)\)。推理时从纯噪声开始，通过 \(K\) 步去噪生成动作序列。

2.3.2 强化学习 (Reinforcement Learning)

设定：给定 MDP \(\mathcal{M}\) 和奖励函数 \(r(s, a)\)，目标是找到最大化期望累积奖励的策略：

\[\boxed{J(\pi) = \mathbb{E}_{\tau \sim \pi}\left[ \sum_{t=0}^{\infty} \gamma^t \, r(s_t, a_t) \right]}\]

其中轨迹 \(\tau = (s_0, a_0, s_1, a_1, \ldots)\) 由策略 \(\pi\) 与世界动力学 \(T\) 共同生成。

价值函数：定义状态价值函数 \(V^\pi(s)\) 和状态-动作价值函数 \(Q^\pi(s, a)\)：

\[V^\pi(s) = \mathbb{E}_{\pi}\left[ \sum_{t=0}^{\infty} \gamma^t r(s_t, a_t) \;\middle\vert \; s_0 = s \right]\] \[Q^\pi(s, a) = \mathbb{E}_{\pi}\left[ \sum_{t=0}^{\infty} \gamma^t r(s_t, a_t) \;\middle\vert \; s_0 = s, a_0 = a \right]\]

二者通过 Bellman 方程耦合：

\[Q^\pi(s, a) = r(s, a) + \gamma \,\mathbb{E}_{s' \sim T(\cdot \mid s, a)}\left[ V^\pi(s') \right]\] \[V^\pi(s) = \mathbb{E}_{a \sim \pi(\cdot \mid s)}\left[ Q^\pi(s, a) \right]\]

策略梯度定理 (Policy Gradient Theorem)：对于参数化策略 \(\pi_\theta\)，目标函数 \(J(\theta) = J(\pi_\theta)\) 的梯度为：

\[\boxed{\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta}\left[ \sum_{t=0}^{\infty} \nabla_\theta \log \pi_\theta(a_t \mid s_t) \cdot R_t \right]}\]

其中 \(R_t = \sum_{k=t}^{\infty} \gamma^{k-t} r(s_k, a_k)\) 是从时刻 \(t\) 开始的折扣回报。该定理的精髓：增大带来高回报的动作的对数概率，降低带来低回报的动作的对数概率 – 无需知道世界动力学 \(T\) 的任何信息。

在现代机器人学中，最常用的 Actor-Critic 方法同时维护一个价值函数 (Critic) \(Q^\phi\) 和一个策略函数 (Actor) \(\pi^\theta\)：

\[\mathcal{L}_{\text{critic}}(\phi) = \mathbb{E}_{(s,a,r,s')}\left[ (Q^\phi(s, a) - (r + \gamma Q^{\bar{\phi}}(s', \pi^\theta(s'))))^2 \right]\] \[\mathcal{L}_{\text{actor}}(\theta) = -\mathbb{E}_s\left[ Q^\phi(s, \pi^\theta(s)) \right]\]

2.3.3 IL 与 RL 的系统性对比

维度	模仿学习 (IL)	强化学习 (RL)
数据来源	专家示范 \((o, a)\) 对	在线交互中的奖励信号 \(r(s, a)\)
优化目标	\(\min_\theta -\mathbb{E}_{\mathcal{D}}[\log \pi_\theta(a \mid o)]\)	\(\max_\theta \mathbb{E}_{\tau}[\sum \gamma^t r_t]\)
是否需要世界模型	否	否 (无模型) / 是 (基于模型)
核心困难	分布偏移、复合误差	信用分配 (credit assignment)、探索-利用权衡
是否可能超越专家	否 (原则上不能)	是 (可发现专家未知的策略)
数据效率	高 (监督学习，数十~数百示范)	极低 (需数百万~数十亿在线交互步)
安全性	较安全 (离线专家数据)	风险高 (在线探索可能损坏硬件或伤人)
代表方法	BC, DAgger, Diffusion Policy	PPO, SAC, Dreamer, RMA

现代融合趋势 (2024-2026)：两种范式正在系统性地融合。标准配方是 IL 预训练 + RL 微调：

通过行为克隆在大规模人类示范数据上预训练策略 (获得合理的先验，解决 RL 的冷启动问题)
在模拟器中使用 RL 进行微调 (克服分布偏移，超越人类水平)

该范式已在 \(\pi_0.5\) (Physical Intelligence, 2025) 和 RMA (Kumar et al., 2021) 中得到验证。

三、具身智能发展历程

3.1 控制论时代 (1940s–1960s)：反馈的诞生

1948 年，Norbert Wiener 出版了《控制论》(Cybernetics)，提出了在当时看来激进的观点：生物体和机器都可以被理解为反馈控制系统。W. Grey Walter 在 1948–49 年建造的”龟式机器人”Elmer 和 Elsie，使用模拟电路实现了趋光、避障等行为，展示了复杂行为可以从简单规则中涌现。

这一时期的数学遗产是 PID 控制器，至今仍是大多数工业机器人的核心：

\[u(t) = K_p e(t) + K_i \int_0^t e(\tau) d\tau + K_d \frac{de(t)}{dt}\]

然而，控制论假定了系统动力学可以精确建模且控制器参数需人工整定。它无法处理非结构化环境中的感知-行动耦合。

3.2 经典机器人学时代 (1960s–1980s)：建模与规划

工业机器人：Unimate (1961) 是第一台工业机器人，用于通用汽车生产线。PUMA (1978) 引入了六自由度串联臂标准构型。所有运动轨迹由工程师手工编程，在完全结构化环境中重复执行。

步行机器人：Marc Raibert 在 CMU/MIT Leg Lab 开创了动态步行。核心洞见 – 将步态控制分解为三个独立部分 (弹跳高度、前进速度、身体姿态) – 至今影响四足机器人。Honda ASIMO (2000) 代表工程巅峰，但其 ZMP (Zero Moment Point) 步态需要平坦地面和精确环境模型。

这个时代的根本局限：机器人缺乏感知闭环。它们按预编程轨迹运动，无法适应环境变化。

3.3 行为主义革命 (1980s–1990s)

Rodney Brooks 在 1986 年发表了领域震撼性的论文《Elephants Don’t Play Chess》。核心论点是：

抽象即陷阱：”The world is its own best model.” 机器人不应维护内部世界模型，而应直接感知-行动。
智能是分层的：通过包容架构 (Subsumption Architecture)，将行为分解为竞争层级 (避障 \(\to\) 漫游 \(\to\) 探索 \(\to\) 建图)，每一层直接访问传感器和执行器。

Brooks 的”昆虫机器人”(如六足 Genghis) 在没有全局规划、没有精确地图的情况下展示了惊人的鲁棒性。1991 年发表的《Intelligence Without Representation》至今仍是对纯符号推理路线的有力批判。

局限：纯反应式策略无法处理需要长期推理的任务，行为层仍需手工设计。

3.4 统计机器学习时期 (2000–2012)：概率与数据的初步结合

Thrun, Burgard & Fox 的《Probabilistic Robotics》(2005) 系统化了概率方法在机器人学中的应用。SLAM (同时定位与建图) 是这一时期最成功的成果：

\[p(x_{1:t}, m \mid z_{1:t}, u_{1:t})\]

通过扩展卡尔曼滤波或粒子滤波维护机器人位姿 \(x_{1:t}\) 和地图 \(m\) 的联合后验分布。

瓶颈：特征工程 – 每个组件 (特征检测、物体分割、状态估计) 都需领域专家手工设计特征提取器。

3.5 深度学习革命与机器人的迟到 (2012–2020)

AlexNet (2012) 引爆了深度学习的视觉和语言革命。但机器人学习为何迟到？Malik 在 Lecture 1 中给出了五个结构性原因：

数据鸿沟：机器人数据采集成本是标注图像的千倍。每条轨迹需要实际操控硬件。
Sim-to-Real 鸿沟：物理仿真 (摩擦、碰撞、形变) 的难度远超渲染。
安全性约束：错误关节力矩可能损坏硬件或伤及人类 – 试错代价真实且不可逆。
多模态时间耦合：100Hz 编码器 + 30Hz 图像 + 1kHz IMU + 异步力传感器，不同频率和噪声特性。
评估标准缺失：没有像 ImageNet top-5 accuracy 那样的通用可复现指标。

先锋性突破：

Levine et al. (2016)：深度 CNN 策略从单目图像学习抓取，通过 800K 次并行抓取尝试收集数据
OpenAI Dactyl (2018)：五指 Shadow Hand 在仿真中通过 RL 学会手中物体重定向，域随机化迁移到真实硬件
ETH ANYmal (2019)：深度 RL 训练四足行走，域随机化 + 真实世界部署

3.6 新时代：大模型与小数据 (2020–至今)

2020 年代初期，三个技术趋势共同推动机器人学习的拐点：

趋势 1 : 扩散模型在动作生成中的应用。Diffusion Policy (Chi et al., 2023) 将图像生成领域的扩散模型引入机器人动作生成，有效解决了多模态动作分布问题 – 对同一观测，人类可能以多种不同方式执行任务，扩散模型天然适合建模此类分布。

趋势 2 : 低成本遥操作数据采集。ALOHA (Zhao et al., 2023) 和 UMI (Chi et al., 2024) 将演示数据采集成本从数万美元降至数百美元，使大规模多样化人类示范数据成为可能。

趋势 3 : VLA 大模型。RT-2 (Google, 2023) 和 \(\pi_0.5\) (Physical Intelligence, 2025) 将互联网规模视觉-语言预训练与机器人动作生成结合，展示跨任务泛化能力 – 模型可对训练中未见过的物体执行自然语言指令。

三个结构性转变：

从单一任务到通用模型：RT-1 \(\to\) RT-2 \(\to\) Octo \(\to\) \(\pi_0.5\)
从纯仿真到真实数据：UMI 实现”野外”数据采集
从位置控制到多模态感知-行动：VLA 统一语言、视觉和物理行动

3.7 本课程的历史定位

本课程 (Spring 2026) 处在一个独特的历史节点：

后端：六十年的经典机器人学 (运动学、动力学、控制论) 提供坚实的理论基础
前端：过去三年的基础模型革命激进地重新定义机器人可以做什么
核心命题：如何在不抛弃经典原理的前提下，充分利用现代学习范式的力量？

四、课程架构

4.1 三条知识主线

                ┌──────────────────────────────────────────┐
                │          具身智能三支柱                    │
                ├────────────────┬────────────┬────────────┤
                │ 生物启发基础    │ 学习范式    │ 案例研究    │
                │ (Ch02--06)     │ (Ch07--13) │ (Ch14--17) │
                ├────────────────┼────────────┼────────────┤
                │ 肌肉/骨骼运动   │ 行为克隆    │ 四足行走    │
                │ 运动学/动力学   │ 强化学习    │ 视觉导航    │
                │ 人手/灵巧操作   │ 世界模型    │ 灵巧操作    │
                │ 触觉/本体感觉   │ 扩散策略    │ VLA 大模型  │
                │ 发育认知        │ 视觉模仿    │ 长程规划    │
                └────────────────┴────────────┴────────────┘

主线一：生物启发基础 (Ch02–06) – “大自然怎样做？”

进化用数十亿年优化了动物运动控制。与其从零设计，不如从生物学寻找灵感。

章	核心问题	关键概念
Ch02 生物运动力学	肌肉如何产生力？步态周期如何组织？	Hill 模型、CPG、弹性储能
Ch03 机器人机构学	如何用数学精确描述机器人运动？	DH 参数、指数坐标、拉格朗日动力学
Ch04 扩散模型入门	如何用生成模型产生多样动作序列？	DDPM、流匹配、Normalizing Flows
Ch05 人手与灵巧手	人手为何如此灵巧？机器手如何逼近？	27 DOF、对掌运动、力-精度权衡
Ch06 本体感觉与触觉	agent 如何感知自己的身体和接触？	GelSight、皮肤力学、Merkel 细胞

主线二：学习范式 (Ch07–13) – “机器人如何学会技能？”

章	核心范式	数学工具
Ch07 发育视角	婴儿如何学会移动？	运动基元、探索性行为
Ch08 动力学与控制	经典最优控制	LQR、MPC、轨迹优化
Ch09 计算神经科学	脑中的前向/逆向模型	内部模型、小脑计算
Ch10 视频世界模型	从视频学习世界动力学	潜在动态模型、视频预测
Ch11 强化学习	MDP + 策略梯度	SAC、PPO、Actor-Critic
Ch12 行为克隆	BC + 扩散策略	Diffusion Policy、动作分块
Ch13 视觉模仿学习	UMI + Cross-Embodiment	3D 表示、野外数据采集

主线三：案例研究 (Ch14–17) – “方法在实践中能走多远？”

章	代表系统	核心贡献
Ch14 运动控制	RMA、Egocentric Locomotion	Sim-to-Real 四足/双足行走
Ch15 导航	GOAT、Fast Traversability	语义导航、可穿越性估计
Ch16 灵巧操作	Sim-to-Real RL、UMI-FT	视觉灵巧操作、顺应性控制
Ch17 长程规划与语言	\(\pi_0.5\)、MolmoSpaces	VLA 开世界泛化、空间推理

4.2 三条主线的交叉关系

   生物基础           学习范式            案例研究
   (Ch02-06)         (Ch07-13)           (Ch14-17)
       │                  │                   │
       │  ┌─ 设计灵感 ────┘                   │
       │  │                                  │
       │  └──→ 数学形式化 ──→ 算法实现 ──→ 真实世界验证
       │                                      │
       └──── 验证生物假设 ←───────────────────┘

三条主线是螺旋上升关系而非先后关系：生物学教我们架构应长什么样，学习范式教我们如何训练，案例研究教我们这些方法在真实世界的实际边界。

4.3 前置知识与学习路径

前置知识：

深度学习 (Bishop & Bishop 水平)：反向传播、CNN、Transformer、生成模型
强化学习 (Sutton & Barto 水平)：MDP、Bellman 方程、策略梯度
线性代数与概率论 (研究生一年级水平)
Python/PyTorch 编程能力

推荐学习路径：

理论优先：Ch01 \(\to\) Ch02 \(\to\) … \(\to\) Ch17，逻辑连贯
应用优先：跳过 Ch02-04 和 Ch07-09，先读 Ch11-17，建立对 SOTA 的直觉后回溯理论
专题导向：运动控制线 (Ch02-03, 07-09, 11, 14)；操作线 (Ch05-06, 12-13, 16)；大模型线 (Ch04, 10, 13, 17)

五、Takeaway

5.1 五个核心洞察

洞察 1 : 具身智能的本质是闭环。感知 \(\to\) 行动 \(\to\) 世界变化 \(\to\) 新感知 – 这个闭环使机器人学在结构上区别于所有静态 AI 任务。凡是试图将机器人学简化为”图像 \(\to\) 动作”的监督学习问题的方法，都将在分布偏移面前失败。

洞察 2 : 身体是智能的一部分。形态计算原理指出，智能分布在策略 \(\pi\)、身体 \(\mathcal{B}\) 和环境之间。精心设计的身体可显著降低控制问题的难度 – 被动动力学步行机器人仅靠重力驱动步态，无需主动控制。

洞察 3 : 数据是阿喀琉斯之踵。破解数据瓶颈的三条路径：(a) 更好的仿真器，(b) 更好的人类示范收集工具 (如 UMI)，(c) 更好的迁移学习/泛化能力。这三者在当前研究中同等重要。

洞察 4 : IL 和 RL 是互补的，而非对立的。IL 提供安全、高效、以人类为中心的初始化；RL 提供自主优化、超越人类能力。现代标准配方是”大规模 IL 预训练 + 任务特定 RL 微调”。

洞察 5 : 经典机器人学没有过时。运动学、动力学、最优控制的数学工具仍然是有效归纳偏置 (inductive bias) 的来源。将物理先验注入学习系统 – 而非让神经网络从头学习牛顿力学 – 是数据效率的关键。

5.2 开放问题

通用具身基础模型：是否存在一个足够大的模型可控制任意形态机器人执行任意任务？还是形态差异意味着模型必须特化？
安全探索：如何设计永远不犯不可逆错误的 RL 探索策略？深度策略的形式化验证目前仍是开放问题。
Sim-to-Real 的终极解决方案：域随机化、系统辨识、在线适应各自有根本局限。是否存在统一框架使仿真中训练的策略 100% 可靠地部署在真实世界？
触觉的缺失：当前大多数机器人学习系统几乎完全依赖视觉和本体感觉。人类灵巧操作严重依赖触觉 (指尖 Merkel 细胞 1mm 空间分辨率)。如何将高带宽触觉信号整合到学习管道？
持续学习：机器人如何在部署后不断获取新技能而不遗忘已有技能？灾难性遗忘在机器人领域不仅是性能退化，更是安全隐患。

六、练习

6.1 概念题

Q1. 解释为什么 i.i.d. 假设在具身智能中失效。给出一个具体的机器人任务示例，说明违反 i.i.d. 假设如何导致标准监督学习方法失败。

Q2. 具身 agent 的信息瓶颈 \(\dim(\mathcal{O}) \ll \dim(\mathcal{S})\) 意味着什么？举例说明真实机器人系统中，哪些状态变量不可观测，以及 agent 如何隐式推断它们。

Q3. 比较 Behavior Cloning 和 DAgger 在分布偏移下的误差界。为什么 DAgger 能给出 \(O(\epsilon T)\) 而 BC 只能给出 \(O(\epsilon T^2)\)？

6.2 数学推导

Q4. 从 POMDP 的概率图模型分解出发：

\[p(s_{1:T}, o_{1:T}, a_{1:T}) = \rho_0(s_1) \prod_{t=1}^{T} O(o_t \mid s_t) \cdot \pi(a_t \mid h_t) \cdot T(s_{t+1} \mid s_t, a_t)\]

推导信念状态 \(b_t(s) = p(s_t \mid h_t)\) 的贝叶斯滤波递归公式：

\[b_{t+1}(s') = \eta \cdot O(o_{t+1} \mid s') \int_{\mathcal{S}} T(s' \mid s, a_t) \, b_t(s) \, ds\]

要求写出完整推导步骤，说明每步使用的概率论恒等式。

Q5. 证明策略梯度定理：

\[\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta}\left[ \sum_{t=0}^{\infty} \nabla_\theta \log \pi_\theta(a_t \mid s_t) \cdot R_t \right]\]

提示：从 \(J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta}[R(\tau)]\) 出发，利用对数导数技巧 \(\nabla_\theta p_\theta(\tau) = p_\theta(\tau) \nabla_\theta \log p_\theta(\tau)\)，展开 \(p_\theta(\tau)\) 并使用 \(\nabla_\theta \log T(s_{t+1} \mid s_t, a_t) = 0\) (世界动力学不依赖于策略参数)。

6.3 编程实践

Q6. 实现一个一维 POMDP 环境：

状态空间：位置 \(x \in [-5, 5]\)，目标 \(x=0\)
动作空间：\(a \in [-1, 1]\)
观测模型：\(o = x + \epsilon\)，\(\epsilon \sim \mathcal{N}(0, \sigma^2)\)
动力学：\(x_{t+1} = x_t + a_t + \eta_t\)，\(\eta_t \sim \mathcal{N}(0, 0.1)\)

分别实现：(a) MDP 策略 (使用真实状态)，(b) POMDP 策略 (仅用观测，不维护信念)，(c) POMDP 策略 (维护信念状态 \(b_t\))。

在 \(\sigma \in \{0.1, 0.5, 1.0, 2.0\}\) 下比较三种策略，画出”观测噪声 vs. 任务完成时间”曲线。分析在什么条件下信念状态维护是必要的。

6.4 开放思考

Q7. 假设你要设计一个通用家务机器人(洗碗、叠衣、擦桌、浇花)。你必须在 IL 和 RL 之间选择一种作为主要范式。你会选哪一种？从数据收集成本、安全性、任务多样性、泛化能力和部署周期五个维度论证。

Q8. 人类看一次演示就能学会新物理技能 (如系鞋带或折纸)，而当前最先进的 Diffusion Policy 或 VLA 模型仍需数十到数百个示范。这一差距的根本原因是什么？从数据效率(人脑的强先验)、具身经验积累(人类从婴儿期积累了数年的 motor babbling 经验) 和物理直觉(因果推理能力) 三个角度分析。

参考文献

Moravec, H. (1988). Mind Children: The Future of Robot and Human Intelligence. Harvard University Press.
Brooks, R. A. (1991). Intelligence without representation. Artificial Intelligence, 47(1-3), 139–159.
Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
Kaelbling, L. P., Littman, M. L., & Cassandra, A. R. (1998). Planning and acting in partially observable stochastic domains. Artificial Intelligence, 101(1-2), 99–134.
Levine, S., Finn, C., Darrell, T., & Abbeel, P. (2016). End-to-end training of deep visuomotor policies. JMLR, 17(1), 1334–1373.
Pfeifer, R. & Bongard, J. (2006). How the Body Shapes the Way We Think. MIT Press.
Raibert, M. H. (1986). Legged Robots That Balance. MIT Press.
Ross, S., Gordon, G. J., & Bagnell, D. (2011). A reduction of imitation learning and structured prediction to no-regret online learning. AISTATS.
Chi, C. et al. (2023). Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. RSS.
Chi, C. et al. (2024). Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots. RSS.
Kumar, A. et al. (2021). RMA: Rapid Motor Adaptation for Legged Robots. RSS.
Physical Intelligence (2025). \(\pi_0.5\): a Vision-Language-Action Model with Open-World Generalization. CoRL.

下一章预告：第2章生物运动力学：行走与奔跑 – 从骨骼肌的 Hill 模型到 CPG 驱动的节律步态，深入理解”大自然如何动”。

↑ 目录

第02章生物运动力学：行走与奔跑 →

第1章 导论：为什么要让机器人学习