WidthFormer：实时自动驾驶！助力基于Transformer的BEV方案量产

WidthFormer是一种轻量级且高效的基于Transformer的BEV变换方法，通过单层Transformer解码器、参考位置编码（RefPE）和宽度特征细化机制，实现了性能与速度的领先，适用于自动驾驶量产场景。

• 轻量化与高效性

  使用单层Transformer解码器计算BEV表示，显著降低计算复杂度。

  在NVIDIA 3090 GPU和地平线J5芯片上，输入256×704图像时延迟分别为1.5毫秒和2.8毫秒，满足实时性要求。

  相比传统多帧融合方法（如BEVDet4D），WidthFormer在单帧设置下即可实现高效性能。

• 参考位置编码（RefPE）

  提出新型3D位置编码机制，包含旋转部分和距离部分（稀疏检测器额外增加高度部分）。

  通过聚合相机射线上参考点的距离和高度信息，提升稀疏3D检测器的性能（在nuScenes数据集上验证显著效果）。

  支持即插即用，可灵活集成到其他Transformer架构中。

• 鲁棒性与适应性

  对相机扰动（如视角变化、遮挡）表现出强鲁棒性，适合复杂道路环境部署。

  支持多尺度输入，在不同分辨率下均能保持性能稳定（如256×704与512×1408输入对比实验）。

• 宽度特征压缩与细化

  压缩阶段：通过合并图像高度维度，将2D特征压缩为1D宽度特征，提升效率但可能丢失信息。

  细化阶段：

  RefineTransformer：轻量级Transformer解码器，通过自注意力与交叉注意力机制从其他宽度特征和原始图像中检索信息，补偿信息损失。

  互补任务训练：引入单目3D检测和高度预测任务，通过辅助头（如FCOS3D样式Head）增强宽度特征表示能力，训练后可移除辅助模块，不影响推理效率。

• BEV视图转换流程

  输入多视图图像特征 → 压缩为宽度特征 → RefineTransformer细化 → 添加RefPE → 输入Transformer解码器 → 输出BEV表示。

  查询向量基于预定义的BEV极坐标生成，确保空间一致性。

• 数据集与评估指标

  在nuScenes数据集（700训练/150验证/150测试场景，6视图覆盖全周环境）上测试。

  评估3D检测任务，指标包括平均精度（mAP）、nuScenes检测分数（NDS）及TP误差（mATE、mASE、mAOE、mAVE、mAAE）。

• 性能对比

  与BEVDet/BEVDet4D对比：

  WidthFormer在单帧和多帧设置下均实现更高mAP和更低延迟（如256×704输入下，mAP提升2.3%，延迟降低40%）。

  在CUDA延迟与mAP权衡中，WidthFormer显著优于其他VT方法（如Lift Splat、PYVA）。

  与PETR-DN/StreamPETR对比：

  RefPE在位置编码任务上表现优于基线方法（如3D检测误差降低15%）。

• 多尺度与多帧融合

  在512×1408输入下，WidthFormer的mAP达到42.1%，超越多数多帧融合方法（如BEVDepth4D）。

  放大检测结果可视化显示，WidthFormer对小目标（如行人、交通标志）的检测精度更高。

• 量产自动驾驶系统

  轻量化设计适配低算力平台（如地平线J5芯片），支持1~2颗Orin芯片的车型部署。

  实时性能满足城市NOA（导航辅助驾驶）和高阶自动驾驶需求。

• 复杂环境感知

  鲁棒的位置编码和特征细化机制，适应动态障碍物、恶劣天气等场景。

  可扩展至多模态融合（如结合激光雷达点云进一步提升精度）。

• 开源代码：
  GitHub - ChenhongyiYang/WidthFormer
• 技术综述与论文仓库：
  autodriving-heart/Awesome-Autonomous-Driving
  （涵盖BEV、多模态融合、规划控制等领域）

WidthFormer通过算法创新与工程优化，为Transformer-based BEV方案的量产落地提供了高效解决方案，其性能与速度的平衡使其成为自动驾驶感知模块的理想选择。