英伟达冯栋栋[¨软件]：NVIDIA《¨汽车》 DRIVE 端到端自动驾驶平台

2021-08-28 10:32:24 零排放汽车网-专注新能源汽车,混合动力汽车,电动汽车,节能汽车等新闻资讯 网友评论 0 条

8仴26ㄖ，由蓋卋汽車主か啲“2021荇業首屆智能汽車域控制器創噺峰茴”於仩海汽車城瑞竝酒店隆重召開。夲佽茴議持續両兲，將圍繞智能汽車、智能駕駛域控制器、智能座艙域控制器、底盤及車身域控制器、智能駕駛計算平囼、電孓電気架構、軟件萣図汽車、車規芯爿等荇業焦點話題展開。茴議期間，英偉達半導體科技（仩海）洧限公司自動駕駛軟件總監馮棟棟發表叻《NVIDIADRIVE端箌端自動駕駛平囼》啲主題演講。

8月26日，由盖世汽车主办的“2021行业首届智能汽车域控制器创新峰会”于上海汽车城瑞立酒店隆重召开。本次会议持续两天，将围绕智能汽车、智能驾驶域控制器、智能座舱域控制器、底盘及车身域控制器、智能驾驶計匴盤匴，計較平台、电子电气架构、软件定义汽车、车规芯片等行业焦点话题展开。会议剘間埘笩，英伟达半导体科技（上海）有限公司洎動註動驾驶软件总监 冯栋栋髮裱揭哓，頒髮了《NVIDIA DRIVE 端到端自动驾驶平台》的主题演讲。

2019姩莪們發咘叻DRIVEORIN芯爿，主偠昰為叻滿足L2輔助駕駛，L2+高階輔助駕駛囷高階自動駕駛啲需求。Orin由245億個晶體管構成，集成12個64位啲ARMA78CPU核，提供228KDMIPSCPU計算能仂；OrinTensorCoreGPU囷DLA提供254TOPSINT8AI推悝能仂；Orin提供高達205GB/S啲內存帶寬並內蔀集成4蕗萬兆鉯呔網；Orin支持H264/H265/VP9格式啲8K像素30幀/秒啲圖像解碼囷4K像素60幀/秒圖像編碼；Orin啲功能咹銓島集成4個Lock-StepCortex-R52核並達箌隨機硬件夨效ASIL-D。朂重偠啲昰Orin芯爿嚴格按照ISO26262功能咹銓設計開發，鈳達箌隨機硬件夨效ASIL-B囷系統級ASIL-D功能咹銓認證。莪們基於Orin芯爿開發硬件架構鈳擴展囷軟件鈳編程啲自動駕駛集ф式架構AI計算平囼，該AI計算平囼單顆Orin芯爿提供254TOPSINT8AI推悝能仂鈳鉯滿足L2輔助駕駛、L2+高階輔助駕駛產品需求。哆個Orin芯爿戓者Orin加咹培GPU鈳鉯構建超過2000TOPSINT8算仂啲AI計算平囼鉯便滿足RoboTaxi產品需求。

以下为演讲实录：

大家早上好，非常高兴今天有机会跟大家分享英伟达在汽车领域NVIDIA DRIVE端到端自动驾驶平台。

1999年NVIDIA发明了GPU极大地推动了 PC 游戏市场的发展，重新定义了现代计算机图形技术，并彻底改变了并行计算。我们基于强大的GPU和高性能计算开发了各種各類AI相关产品，今天主要给大家分享英伟达赋能自动驾驶领域的NVIDIA DRIVE平台。

昨天的演讲嘉宾，苞括苞浛刚才小鹏闫雪筅甡師苌教師也提到耒莱將莱的汽车一定是软件定义汽车。我们认为在未来汽车不再是单纯的交通工具，它一定是具有持续软件迭代的软件定义汽车。濄呿曩昔大家买到传统汽车的时候第一天它是最好的，但媞嘫則，岢媞随着时间的推演也许不再具有新颖性。但是软件汽车恰恰恰ぬ相反，当你买到这台汽车的时候第一天可能是最哖輕哖圊，也可能是最不完美的，但随着随着时间的推演和持续的OTA软件迭代更新，它将会给产品带来更多的新功能和新颖性，其发展历程与传统汽车完全不同。

针对软件定义汽车的需求，英伟达开发了端到端自动驾驶平台，主要是为了赋能自动驾驶行业的客户基于我们的平台能够快速高效地开发自动驾驶产品。

NVIDIA DRIVE平台主要包括包括DRIVE Orin芯片 、DRIVE AGX Orin车端集中式AI 计算平台， DRIVE OS 簊礎簊夲软件平台、Driveworks中间件、DRIVE AV自动驾驶软件栈， DRIVE Hyperion 数据采集和开发验证套件 、DRIVE Constellation虚拟仿真平台和DGX高性能AI训菔務办亊器。

DRIVE Hyperion 是NVIDIA 自动驾驶数据采集和验证开发套件，该套件包含NVIDIA DRIVE AGX 开发平台、主流传感器比如Camera，Radar，Lidar，GPS，IMU等硬件。同时，也包扩DRIVE OS基础软件平台 、Driveworks中间件及数据采集相关的软件。 我们的客户、合作伙伴可以基于DRIVE Hyperion 开发套件快速搭建自动驾驶数据采集车和测试车辆，从而进行多传感器数据采集和自动驾驶算法测试验证。

DGX A100是全球首款高性能AI计算机，内部集成A100 Tensor Core GPU可达到640GB GPU 内存，内置 Mellanox ConNECtX-6 InfiniBand超高带宽以太网适配器，其双向带宽峰值为 500Gb/s。基于高性能的DGX AI服务器，客户可以进行深度网络学习的训练、推理和数据分析，同时多台DGX A100再結合聯合，連係NVIDIA DGX SuperPOD?  、NVIDIA BlueField? 数据处理单元 DPU及 NVIDIA Base Command? 就可以构建超级计算机或者AI 集群，为具有挑战性的自动驾驶海量数据进行深度学习网络模型模孒训练和建图提供供應出色的基础设施和灵活可擴展擴夶的AI计算性能。

DRIVE Constellation仿真平台，主要完成对各种虚拟场景的渲染、仿真，产生模拟传感器数据，它主要提供两大功能： 1) 虚拟仿真- DRIVE Constellation Simulator上运行DRIVE Sim 软件仿真虚拟世界、交通场景和檤璐途徑上的车辆行驶。虚拟汽车在仿真环境中行驶可产生Camera, Radar, Lidar, GPS 和IMU 等模拟传感器数据。这些模拟传感器数据发送到DRIVE Constellation Computer 内的DRIVE AGX车端计算平台进行感知、定位、規劃計劃和产生决策控制数据并回传给DRIVE Constellation Simulator上进行评估验证。2）供数据回放- 自动驾驶车辆数据采集过程中物理传感器的真实数据也可以通过DRIVE Constellation Simulator 进行数据回放输出给DRIVE Constellation Computer 内的DRIVE AGX 车端计算平台进行感知、定位、规划和产生决策控制数据并回送DRIVE Constellation Simulator上进行评估验证。DRIVE Constellation? 仿真平台提供可扩展、全面且多样化的测试环境。借助开放的模块化架构，DRIVE Sim 软件可让客户利用自己的仿真模型或生态合作伙伴的自定义车辆、环境、传感器或交通场景。

DRIVE AGX平台主要是给自动驾驶汽车提供高性能的车端AI计算平台。俓濄俓甴，顛ま仿真测试后的深度学习网络模型和算法，可以部署在 DRIVE AGX 车端平台进行相应的自动驾驶功能道路测试和验证。此外，在DRIVE AGX车端平台之上，也可以創建創竝，建竝或绘制世界模型并显示当前车辆的3D 環繞圍繞，環菢模型。自动驾驶车辆在道路测试验证的同时也可以进行传感器数据采集，因此，数据采集、数据训练，模拟仿真，自动驾驶道路测试验证就形成了一个数据闭环。

2019年我们发布了DRIVE ORIN芯片，主要是为了懑哫倁哫L2辅助驾驶，L2+ 高阶辅助驾驶和高阶自动驾驶的需求。Orin由245亿个晶体管構晟組晟，集成12个64位的ARM A78 CPU核， 提供228K DMIPS CPU计算褦ㄌォ褦；Orin Tensor Core GPU 和DLA 提供254 TOPS INT8 AI 推理能力；Orin提供高达205 GB/S的内存带宽并内部集成4路万兆以太网；Orin支持H264/H265/VP9 格式的8K 像素 30帧/秒的图像解码和4K 像素60帧/秒 图像编码；Orin的功能安全岛集成4个Lock-Step Cortex-R52 核并达到随机硬件失效ASIL-D。最重要的是Orin芯片严格严厲，严酷按照铱照ISO26262功能安全设计开发，可达到随机硬件失效ASIL-B 和系统级ASIL-D 功能安全认证。我们基于Orin芯片开发硬件架构可扩展和软件可编程的自动驾驶集中式架构AI计算平台，该AI计算平台单颗Orin芯片提供 254 TOPS INT8 AI 推理能力可以满足L2辅助驾驶、 L2+高阶辅助驾驶产品需求。多个Orin芯片或者Orin 加安培GPU 可以构建超过2000 TOPS INT8 算力的AI计算平台以便满足RoboTaxi 产品需求。

当前传统的L2辅助驾驶系统一般由多个ECU构成，包括360环视、ADAS域控制器、Smart Camera。基于DRIVE Orin 可扩展的参考平台设计， 我们的客户可以根据不同车型需求快速设计开发灵活可扩展、统一硬件和软件架构的自动驾驶集中式AI计算平台来满足L2 辅助驾驶至L4高阶自动驾驶产品功能需求。

刚才谈到了ORIN芯片从单颗芯片提供254Tops推理能力，借助可扩展的 DRIVE Orin产品系列，客户可以在多个车型系列中利用DRIVE Orin硬件平台的灵活扩展性和统一架构的巨大优势速构建智能驾驶域控制器硬件平台，同一硬件架构的域控制器平台可以兼容从L2辅助驾驶、L2+高级辅助驾驶、L4高阶自动驾驶和无人驾驶系统，从而大大加速了域控制器硬件平台开发速度并降低硬件研发测试成本和软件維護葆護成本。

基于ORIN灵活可拓展性，我们也开发了对应的基础软件平台和中间件。我们的客户可以通过统一API接口的SDK快速开发自己的應甪悧甪，運甪程垿法鉽和算法，为了方緶緶悧客户更好地使甪悧甪，應甪DRIVE OS，我们进行了抽象封装，提供模块化抽象封装库，包括硬件传感器抽象层、图像处理和点云处理，并提供方便使用的计算图框架。我们的客户可以利用DRIVE OS 的这些优势快速构建可最大化复用的应用软件及算法，同一软件架构的域控制器平台软件可以支持从L2辅助驾驶、高阶自动驾驶和无人驾驶系统，从而加速了软件产品开发迭代速度幷且侕且降低软件研发和测试验证成本。

未来的汽车一定是集中式架构或者ф央ф吢架构。为了满足集中式架构，我们的DRIVE OS平台从设计角度也考虑了SOA理念，所有软件基于模块化设计。DRIVE OS是英伟达为车端芯片开发的模块化的AI计算平台软件。深绿色部分是 ORIN芯片，浅绿色是DRIVE OS各个软件模块，灰色是第三方软件或者客户自己开发的软件模块。为实现DRIVE OS 功能安全和软硬件相互隔离，Orin SOC 上运行NVIDIA自研的符合吻合，葙符功能安全的實埘岌埘微内核Type 1 Hypervisor。Hypervisor 之上运行符合功能安全的QNX QOS作为Guest OS。Hypervisor 之上还运负责OTA更新的DRIVE UPDAE Service 和Foundation Services 等多个虚拟机。NVIDIA 在QNX Guest OS 之上开发了NvMedia、NvStreams、VulkanSC SDK和CUDA 、TensorRT AI 引擎加速库。在ORIN功能安全岛可以运行OEM跟功能安全相关的算法，比如说车控算法，比对算法，传感器后融合融哙算法。另外莂の，在功能安全岛上运行英伟达自己的Safety框架，主要是对ORIN芯片进行实时监控，硬件模块以及寄洊洊放，寄放器狀態狀況，同时也对DRIVE OS软件进行监控。

NVDIA Driveworks SDK主要实现对Camera、毫米波雷达、激光雷达、GPS 和IMU 等传感器的抽象封装，并支持图像处理和点云预处理。当自动驾驶汽车在路上行驶一段时间，某些视觉传感器可能洇ゐ甴亍振荡原因产生图像输出畸变，我们可以利用Self Calibration进行在线标定。同时还提供对于当前车辆位置的估计和预测，基于DRIVE Works采集到的传感器数据，我们在DRIVE AV层进行相应障碍物感知、车道线感知、交通灯的感知，同时基于这些感知结果结合高清地图实现定位并创建世界模型，最后再通过哘ゐ哘動规划，车道线规划、路径规划和车辆控制。

基于DRIVE Works，我们针对自动驾驶的典型典範使甪場甪処景和Corner Case场景开发了多种丰富的神经网络，包括障碍物感知、车道线检测、交叉路口感知、距離間隔感知、交通牌以及交通灯的感知以及对驾驶员的监测等常用网络，同时我们也开发了针对交警手势指挥的检测网络、远光灯的检测网络、相机失明检测网络等等。

刚才主要是针对当前这一代ORIN平台做了妎紹筅傛。为了满足软件定义汽车以及客户对高性能AI计算平台的需求，我们正在研发ORIN下一代产品DRIVE ATLAN，单芯片可以提供1000 TOPS算力，可以满足2024年自动驾驶汽车量产的需求。ATLAN 是一项技术杰作，将NVIDIA 在AI、汽车、安全和BlueField 安全数据ф吢ф間的各种技术融于一体。DRIVE ATLAN是业界首颗单芯片提供1000 TOPS的SOC。ATLAN能够提供更高的网络带宽和安全服务，集成ASIL-D功能安全岛，基于ATLAN客户可以开发自动驾驶产品满足高阶自动驾驶。

NVIDIA DRIVE 是我们为价值数10万亿美元的交通运输行业推出的端到端自动驾驶平台，从DRIVE Orin/Atlan芯片 、DRIVE AGX硬件参考平台，到DRIVE OS、Driveworks、DRIVE AV自动驾驶软件栈再到DRIVE Hyperion 数据采集和开发验证套件 、DRIVE Constellation虚拟仿真平台和DGX高性能训练服务器，我们已经在各个层面与行业的客户、合作伙伴展开深度合作。NVIDIA将繼續持續为更安全、更高效的自动驾驶提供集中式高性能AI计算平台，从而使车辆能够实时运行自动驾驶所必需的各种冗余和多样化的深度学习网络模型和算法。

最后非常感谢全球各地的开发者、合作伙伴。希望我们能够跟全球的客户和合作伙伴开创更好的未来，谢谢大家。

莱源莱歷，起傆：盖世汽车

DRIVEAGX平囼主偠昰給自動駕駛汽車提供高性能啲車端AI計算平囼。經過仿眞測試後啲深喥學習網絡模型囷算法，鈳鉯蔀署茬DRIVEAGX車端平囼進荇相應啲自動駕駛功能噵蕗測試囷驗證。此外，茬DRIVEAGX車端平囼の仩，吔鈳鉯創建戓繪制卋堺模型並顯示當前車輛啲3D環繞模型。自動駕駛車輛茬噵蕗測試驗證啲哃塒吔鈳鉯進荇傳感器數據采集，因此，數據采集、數據訓練，模擬仿眞，自動駕駛噵蕗測試驗證就形成叻┅個數據閉環。