D415 能拍多快？重读一篇四足机器人接球论文的视觉与弹道模型
四足机器人追着网球跑，留给感知和控制的时间很短。读这类论文时，最容易混淆三个数字：相机支持的最高帧率、实验实际设置的帧率，以及算法处理一帧所花的时间。它们不是一回事。
本文依据 Zhu 等人的论文 Spatiotemporal Agility: Time-Constrained Reinforcement Learning for Vision-Guided Dynamic Quadrupedal Interception（arXiv:2608.06907v1）和 RealSense D400 系列数据手册（2026 年 3 月版），回答两个问题：D415 在这套系统里做了什么、它能选择哪些帧率；论文又如何预测球的落点。
从相机画面到落点：论文实际写了什么
论文在 §3.1.1 交代了相机位置：
“We deploy an Intel RealSense D415 depth camera near the release point of the tennis ball and a fisheye camera to track the quadruped robot via AprilTags.”
即 D415 放在网球抛出点附近，另有一台鱼眼相机通过 AprilTag 跟踪机器人。两台相机都固定在场地外；这不是机器人背着 D415 边跑边拍的方案。论文 PDF 第 4–5 页
外部 PC 上的主处理链，§4.1 说得更直接：
“The software pipeline on an external PC uses YOLOv13n to detect the ball from the RealSense D415 feed.”
也就是说，PC 从 D415 画面检测球。§3.1.2 补充，YOLOv13n 是经过微调的检测器，另有 HSV 阈值检测并行运行，作为后备。论文声称这套检测的每帧推理延迟低于 10 ms；这是算法耗时，不是相机采集频率。论文 PDF 第 5、10 页
检测框提供图像中的二维位置。论文 §2.3 对三维定位的表述是：
“Once 2D image coordinates are obtained, an Intel RealSense RGB-D camera can provide depth information, enabling the computation of the object’s 3D position relative to the camera using intrinsic and extrinsic calibration parameters.”
换成处理顺序，就是找出球的二维图像位置 → 结合深度与相机标定求三维球位 → 跟踪其运动。论文式 (1) 还给出从相机坐标到世界坐标的变换。之后，有限状态机检查竖直速度、高度和数据时间间隔，确认球已被抛出；卡尔曼滤波器再预测落点与落地时间。感知模块计算机器人与落点的位置差，并通过 LCM 把它和预计落地时间发送给机载 Jetson Orin Nano，供运动策略使用。论文 PDF 第 3、5–6 页
论文没有说明如何从检测框选取深度像素、是否对齐 RGB 与深度图、是否对深度值做空间或时间滤波，也没有公开相机分辨率和采集帧率。常见的 RealSense SDK 处理流程不能冒充为作者的实现。
D415 的帧率选项，不等于论文的实验帧率
RealSense 的 D415 产品页把深度帧率概括为“Up to 90 fps”，并列出 RGB 的“1920 × 1080 at 30 fps”。“最高 90 fps”并不意味着最高深度分辨率也能跑到 90 fps。更细的限制在 D400 数据手册表 4-2中；以下是 USB 3.1 Gen 1 下与 D415 有关的标准视频流模式：
| 分辨率 | 深度流 Z16 | RGB 彩色流 YUY2 |
|---|---|---|
| 1920 × 1080 | — | 6、15、30 fps |
| 1280 × 720 | 6、15、30 fps | 6、15、30 fps |
| 848 × 480 | 6、15、30、60、90 fps | 6、15、30、60 fps |
| 640 × 480 | 6、15、30、60、90 fps | 6、15、30、60 fps |
| 640 × 360 | 6、15、30、60、90 fps | 6、15、30、60 fps |
| 480 × 270 | 6、15、30、60、90 fps | — |
| 424 × 240 | 6、15、30、60、90 fps | 6、15、30、60 fps |
表 4-2 还列出 RGB 的 960 × 540（6、15、30、60 fps），以及 320 × 240、320 × 180（6、30、60 fps）。上表不是 USB 2.0 的模式表；USB 2.0 可用组合更少，详见同一手册的表 4-8。
如果要让 RGB 和深度硬件同步，还要满足手册表 4-6 的条件：
“RGB to depth hardware sync is only supported with the same frame rate for all streams.”
因此，1280 × 720 的 RGB-D 同帧率组合最高是 30 fps；降低分辨率后，两路可选到 60 fps；90 fps 是深度流的选项，不是 D415 的 RGB-D 同步选项。这些只是设备能力。论文没有交代它选了哪组模式，因此不能据此声称实验运行在 30、60 或 90 fps。若要核实一台具体设备在当前固件与 USB 连接下枚举出的模式，可运行 rs-enumerate-devices。
球在空中的运动：位置、线速度和抛物线
球被判定为已抛出后，论文 §3.1.3 将预测器称为“a Kalman Filter … under a parabolic motion model”（抛物线运动模型下的卡尔曼滤波器），给出状态与观测方程：
其中 ，包含三维位置与三维线速度； 是三维位置观测；、 分别是过程噪声和观测噪声。论文 PDF 第 5 页
§4.1 的原文是：
“A basic Kalman filter with a state vector of (x, y, z, ẋ, ẏ, ż) and positional measurements (x, y, z) as inputs is used for trajectory prediction, estimating the ball’s landing point and time.”
直译：滤波器的状态包含球的三维位置与三维线速度，输入的观测只有三维位置；输出用于估计落点和落地时间。式 (3) 中带时间下标的 是观测噪声，不要与状态里的速度 混为一谈。论文 PDF 第 10 页
“抛物线”意味着采用简化的抛体运动先验：在通常的竖直轴约定下，重力使竖直速度随时间变化，而水平运动按简化模型外推。论文 §2.4 也提到这类模型会把重力纳入轨迹传播；但它没有展开 $A$、$B$、$\mathbf{u}_t$ 的具体定义、时间步长或所用重力数值。把某一种离散化矩阵直接写成“论文实现”，就越过了原文证据。论文 PDF 第 4–5 页
同样，状态里没有角速度或旋转变量，原文也没有给出空气阻力、马格努斯力或旋转衰减方程。过程噪声可以容纳未建模扰动造成的预测偏差，却不等于显式计算了这些力。暂时漏检时，滤波器还能维持状态估计；论文并未因此变成一个考虑旋转与气动效应的球物理模型。
结论
这项工作的感知链路是：场外 D415 测球、场外鱼眼相机定位机器人，外部 PC 检测并估计球的三维位置，再用简化抛体模型的卡尔曼滤波器预测落点和时间。厂家手册允许 D415 深度流在部分低分辨率下达到 90 fps，但论文没有报告实际采集帧率；“检测推理低于 10 ms/帧”也不能用来倒推帧率。轨迹模型显式跟踪的是位置与线速度，没有显式建模球的旋转或空气动力学。