HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation

问题动机

自动驾驶系统需要同时具备"理解当前场景"和"预测未来演化"的能力。然而现有方法存在显著的能力分裂：生成式世界模型（如 GAIA-1、DriveDreamer）擅长预测未来场景视觉输出，但缺乏语义推理能力；大语言模型（LLM）虽然展现强大的多步推理能力，却无法预测物理世界的几何演化。

HERMES++ 试图打破这一壁垒，在统一框架下同时解决：

• 3D 场景理解任务：给定当前多视角图像，输出场景的语义描述、目标检测结果等
• 未来几何预测任务：预测未来时刻的 LiDAR 点云或 BEV 几何结构

方法核心

1. BEV 表示模块

HERMES++ 采用 Bird's-Eye View (BEV) 作为空间表征的统一载体：

$\mathbf{B}_{t} = \text{BEVEncoder}(\text{MultiViewImages}_{t})$

通过标准的 BEVFormer 或类似架构，将 $N$ 个环视相机的图像特征压缩到 $H \times W$ 的鸟瞰图网格中。这种表示的优势在于：

• 几何友好：直接对应自车坐标系下的规划决策空间
• LLM 友好：可展平为序列token，适配 Transformer 架构

2. LLM 增强的世界查询

将 BEV 特征解码为两组查询：

• 理解查询 $\mathbf{Q}_{\text{und}}$：用于 3D 目标检测、车道线感知等任务
• 几何查询 $\mathbf{Q}_{\text{geo}}$：用于未来点云的生成

关键设计是 LLM 的语义知识注入：

$\mathbf{Q}_{\text{geo}} = \mathbf{Q}_{\text{geo}} + \text{MLP}(\text{LLM}(\mathbf{B}_{t}))$

通过一个轻量 adapter，LLM 对 BEV 的语义理解（如"前方有一辆公交车"）被迁移到几何查询，增强生成的结构化程度。

3. Current-to-Future Link

时序模块负责将 $t$ 时刻的状态传播到 $t+1$ 时刻。论文设计了一种双向 Conditioning 机制：

几何演化以前帧几何状态为条件，同时以前帧语义上下文（来自 LLM 分支）为引导：

$\mathbf{S}_{t+1} = \text{GeometricEvolution}(\mathbf{B}_{t}, \mathbf{S}_{t}; \text{SemanticContext}_{t})$

这确保预测的点云不仅在物理上连续，而且在语义上与场景理解保持一致。

4. Joint Geometric Optimization

训练阶段采用多任务联合优化：

$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{und}} + \lambda_{1}\mathcal{L}_{\text{geo}} + \lambda_{2}\mathcal{L}_{\text{struct}}$

其中 $\mathcal{L}_{\text{struct}}$ 是结构性正则项：

$\mathcal{L}_{\text{struct}} = \mathbb{E}[\|\nabla_{\mathbf{z}} \hat{\mathbf{P}}\|_{2} + \|\mathbf{P}_{\text{GT}} - \hat{\mathbf{P}}\|_{1}]$

第一项约束潜变量空间的光滑性（隐式正则），第二项是对齐预测点云与真值的 Chamfer 距离（显式几何约束）。这种组合确保模型既不过拟合，也不失去几何保真度。

实验洞察

在 nuScenes 和 Argoverse 等数据集上，HERMES++ 相比专精模型的优势体现在：

• 点云预测的边缘质量提升约 15%（更少的毛刺和空洞）
• 场景理解的跨模态一致性增强（文本描述与预测几何吻合度更高）