全新的 Cosmos Predict-2 世界基础模型与 CARLA 的集成加速了智能汽车训练。

辅助驾驶堆栈正在从许多不同的模型演变为统一的端到端架构，端到端架构可直接根据传感器数据执行驾驶操作。这种向使用大模型的过渡大大增加了对用于训练、测试和验证的高质量、基于物理学传感器数据的需求。

为加速下一代辅助驾驶架构的开发，NVIDIA 发布了 NVIDIA Cosmos Predict-2，这是一种全新的世界基础模型，具有更强的未来世界状态预测能力，可生成高质量的合成数据，以及新的开发者工具。

Cosmos Predict-2 是 NVIDIA Cosmos 平台的一部分，该平台为开发者提供了应对端到端辅助驾驶开发中最复杂挑战的技术。Oxa、Plus 与 Uber 等行业领导者正在使用 Cosmos 模型快速扩展辅助驾驶开发的合成数据生成。

Cosmos Predict-2 加速智能汽车训练

Cosmos Predict-1 可通过文本、图像和视频提示预测并生成未来世界状态。在 Cosmos Predict-1 的基础上，Cosmos Predict-2 可更好地理解文本和视觉输入的上下文，从而减少幻觉，使生成的视频细节更丰富。

Cosmos Predict-2 通过增强文字理解和常识推理水平，优化了路口停车标志的识别效果。

通过使用最新的优化技术，Cosmos Predict-2 显著加快了 NVIDIA DGX Cloud 上合成数据的生成速度。

经后训练的 Cosmos 模型解锁了新的训练数据源

通过在辅助驾驶数据集上对 Cosmos 模型进行后训练，开发者可以生成与现有物理环境与车辆轨迹高度匹配的视频，还能从单视角视频（如行车记录仪片段）生成多视角视频。这种将广泛可用的行车记录仪数据转化为多摄像头数据的能力，为开发者提供了全新的辅助驾驶训练数据库。这些多视角视频数据还可用于替换因传感器损坏或遮挡而缺失的真实摄像头数据。

NVIDIA Research 团队基于 20,000 小时的真实世界驾驶数据对 Cosmos 模型进行了后训练。利用辅助驾驶专用模型生成多视角视频数据，该团队提高了模型在雾天和雨天等复杂环境下的性能。

汽车行业生态系统利用 Cosmos Predict 推动技术进步

多家汽车制造商已经将 Cosmos Predict 集成到其系统中，以扩展并加速车辆开发的规模和速度。

辅助驾驶卡车领域的领军企业 Plus 正在利用 NVIDIA DRIVE AGX 平台构建其解决方案，该企业正在通过卡车运输数据对 Cosmos Predict 进行后训练，以生成高度逼真的合成驾驶场景，从而加速其辅助驾驶卡车解决方案的大规模商业化进程。辅助驾驶软件公司 Oxa 也正在使用 Cosmos Predict，以支持生成具有高保真和时间一致性的多摄像头视频数据。

全新 NVIDIA 模型和 NIM 微服务助力智能汽车开发

除 Cosmos Predict-2 外，NVIDIA 还以 NVIDIA NIM 微服务预览版的方式发布了Cosmos Transfer，以便开发者在数据中心 GPU 上部署。

Cosmos Transfer NIM 微服务预览版增强了数据集，并使用 NVIDIA Omniverse 平台的结构化输入或地面实况仿真来生成逼真的视频。另外，NuRec Fixer 模型有助于修复和填补重建辅助驾驶数据的空白。

全球领先的开源辅助驾驶模拟平台 CARLA，现已将 Cosmos Transfer 和 NVIDIA NuRec 集成到其最新版本中，后者是一套用于神经重建和渲染的 API 工具集。这有助于 CARLA 平台上超过 15 万智能汽车开发者用户群以高保真度渲染合成仿真场景和视角，并通过简单的提示生成无限种照明、天气和地形组合变化。

开发者可以使用 NVIDIA 物理 AI 数据集上提供的开源数据试用该工作流。最新发布的数据集包括由 Cosmos 生成的 40,000 个片段，以及用于神经渲染的样本重建场景。借助最新版本的 CARLA，开发者可以创建新的行驶轨迹、重新定位传感器并完善模拟驾驶过程。

这种可扩展的数据生成工作流为端到端辅助驾驶模型架构的开发提供了动力，最近 NVIDIA Research 团队连续第二次获得 CVPR 大会辅助驾驶国际挑战赛“端到端辅助驾驶”赛道冠军，就是最佳佐证。

该挑战赛为研究人员提供了探索应对突发情况方法的新机会，除使用真实世界人类驾驶数据之外，加速开发更智能的汽车。

NVIDIA Halos 提升端到端智能汽车安全性

为增强辅助驾驶系统的运行安全性，NVIDIA 今年早些时候推出了 NVIDIA Halos，这是一个综合安全系统，它将 NVIDIA 全套汽车硬件、软件安全堆栈与专注于汽车安全领域的前沿 AI 研究成果相结合。

汽车行业领军企业博世、Easyrain 与 Nuro 率先加入 NVIDIA Halos AI 系统检测实验室，验证其产品与 NVIDIA 技术的安全集成，提升智能汽车的安全性。今年早些时候宣布加入实验室的成员还包括大陆集团、Ficosa、OMNIVISION、onsemi 和 Sony Semiconductor Solutions。

NVIDIA 通过全新的 Cosmos Predict-2 世界基础模型，为智能汽车行业生态系统发展赋能，显著提升了端到端智能汽车安全性。