SuperMimic 论文阅读

论文链接:https://arxiv.org/pdf/2610.28480

概念解释:确定性策略网络 $\pi_{\theta}$,可微世界模型 $f_{\omega}$,经验回放池 $\mathcal{B}$

  • 使用确定性策略,可以避免随机策略训练时常见的“钻空子”行为

完整的训练闭环思路:

  • 每轮迭代开始时,使用当前机器人的各关节位姿,给定未来一定时间窗口内的目标指令,让策略网络 $\pi_{\theta}$ 输出关节动作 $\boldsymbol{a}_t$,加入高斯动作噪声 $\boldsymbol{\epsilon}_t$ 后送入仿真器,让仿真器执行 $\boldsymbol{a}_t + \boldsymbol{\epsilon}_t$
  • 将仿真器推进物理步长后,机器人的下一步真实状态、本次实际执行的带噪动作、本次使用的域随机化参数,以及奖励、观测、终止标签存入回放池 $\mathcal{B}$
    • 回放池容量固定,最旧的数据会被最新数据替换
  • 拟合可微世界模型:从回放池中采样 $k$ 步的真实历史窗口,模型从 $s_0$ 出发沿历史动作序列连续自回归预测后续状态、无噪观测、奖励、终止概率,与对应时间戳的真实标签进行对比,计算得到多步损失函数
    • 可微世界模型采用随机初始化
  • 沿反向传播梯度 $\nabla_{\omega}$ 更新可微世界模型 $f_{\omega}$
  • 固定更新后的可微世界模型 $f_{\omega}^{\prime}$,从经验回放池中随机抽取 4096 个条目,更新策略网络 $\pi_{\theta}$
  • 每轮迭代,世界模型根据当前预测状态 $\hat{\boldsymbol{s}}_t$ 计算出无噪本体读数 $\hat{\bar{\boldsymbol{o}}}_t$,系统在外部叠加随机传感器噪声 $\boldsymbol{\eta}_t$ 得到带噪观测 $\hat{\bar{\boldsymbol{o}}}_t + \boldsymbol{\eta}_t$
  • 策略网络根据带噪观测和未来窗口内的参考动作目标,输出确定性关节指令 $\boldsymbol{a}_t = \pi_\theta(\hat{\bar{\boldsymbol{o}}}_t + \boldsymbol{\eta}_t, \boldsymbol{g}_t)$
    • 为什么不再加入探索噪声 $\boldsymbol{\epsilon}_t$?
  • 世界模型根据当前预测状态 $\hat{\boldsymbol{s}}_t$ 和确定性关节指令 $\boldsymbol{a}_t$,计算出新状态 $\hat{\boldsymbol{s}}_{t+1}$、本轮迭代的动作模仿奖励 $\hat{r}_{t+1}$、本轮迭代触发摔倒的概率 $\hat{d}_{t+1} \in [0, 1]$
  • 维护一个连续可微的软存活权重 $\hat{c}_{t+1} = \hat{c}_t (1 - \hat{d}_{t+1}), \hat{c}_0 = 1$
  • 经过 32 步推演,系统整合每步推演中的折扣奖励和价值网络对第 32 步打出的“未来长期状态余分”得到标量总目标 $$\hat{J}(\theta) = \mathbb{E}_{\boldsymbol{s}_0 \sim \rho_0, \pi_\theta}\left[\sum_{t=0}^{31} \gamma^t \hat{c}_t \hat{r}_{t+1} + \gamma^{32} \hat{c}_{32} V_\psi(\hat{\boldsymbol{s}}_{32}, \boldsymbol{g}_{32}, \boldsymbol{\xi})\right]$$
    • 引入价值网络 Critic $V_{\psi}$ 的原因:32 步长度常常不足以显现物理动作的后果
    • 拉长视距会导致世界模型预测误差放大,带来长链路梯度不稳定等问题
    • 缩短视距会导致策略无法在视距范围内收敛
  • 对 $J(\theta)$ 的一阶解析梯度 $\nabla_{\theta} \hat{J}_{\theta}$ 可以对摔倒原因作出溯源归因链条(例如,第 32 步长期状态余分低->第 20 步摔倒概率异常拉升->第 10 步膝关节屈曲幅度太小)
  • 更新完策略网络 $\pi_{\theta}$ 后,使用生成的同一批4096 条 32 步轨迹更新价值网络 $V_{\psi}$
  • 用更新前的 $V_{\psi}$ 对每条轨迹进行前向推理,得到估值序列 $V_0, V_1, \cdots, V_32$
  • 令 $\hat{R}_{32} = V_{32}$,逐步倒推回 $t = 0$,计算得到每个时间步的 GAE 回报目标 $\hat{R}_0, \hat{R}_1, \cdots, \hat{R}_{31}$
  • 冻结 $\hat{R}_t$,把它视作监督学习中的固定真值标签,将这批轨迹的所有状态—目标对(共 $4096 \times 32 = 131072$ 个状态—目标对)打乱,分为 4 批,循环训练 5 轮(共对 $V_{\psi}$ 执行 20 次梯度下降),每轮最小化 MSE 损失函数,配合 Adam 优化器执行

广义优势估计 GAE

  • 用于在强化学习中更精确地评估“某一步的表现比原本预期好多少”
  • 核心思想:利用一个衰减超参数 $\lambda \in [0, 1]$,通过指数加权融合短期单步预测和长期多步累加,取得估计偏差与估计方差的平衡
  • 优势 $A_t$:执行当前动作后的真实奖励与价值网络 Critic 预期奖励 $V_t$ 之差
  • 单步 TD 误差 $\delta_t$:往前看 1 步,看实际拿到的即时奖励与价值网络对下一帧的估分之和与旧估分之差 $$\delta_t = \hat{r}_{t+1} + \gamma (1 - \hat{d}_{t+1}) V_{t+1} - V_t$$
  • 在传统 PPO 中,GAE 计算得到的 $\hat{A}_t^{\text{GAE}}$ 同时用于更新策略网络 $\pi_{\theta}$ 和价值网络 $V_{\psi}$
  • 在 SuperMimic 中,GAE 只用于为价值网络 $V_{\psi}$ 构造更精确的回归目标分数 $\hat{R}_t$ $$\hat{R}_t = \hat{r}_{t+1} + \gamma (1 - \hat{d}_{t+1})\left[(1 - \lambda) V_{t+1} + \lambda \hat{R}_{t+1}\right], \quad \hat{R}_H = V_H$$