一个月前，黄仁勋用一小颗自动驾驶SoC芯片完成了整个GTC CHINA 2019的“新品发布”。

发布会当天，这位“皮衣男子”赶在闭馆前匆匆去了自动驾驶汽车展位，用半个小时逐一聆听了几家自动驾驶初创企业的思路。那晚的黄教主，向在场工程师们释放出了一种近乎惺惺相惜的善意。

这种情愫很好理解——

要知道，在这届GTC CHINA散场时，很多观众发出的感慨是：“十分硬核，不够性感。”毕竟远道而来的大家直到演讲后半程，才终于等到黄仁勋掏出一块200 TOPS深度学习算力的自动驾驶新品“Orin”。取而代之的，是各种“空口无凭”的软件技术升级。

面对一张张略显失望的脸，老黄也很无奈：“我这么努力，你都看不到。就好像你老婆做了一整天家务，你却说她什么都没做。”

众口难调，但这确实是英伟达在接下来的业务发展中必须要面对的问题。与“看得见摸得着”的硬件发布不同，软件迭代周期短、初期人力成本高、落地成果却很难形成清晰的概念……这些都让这家人工智能计算公司的技术发布开始与公众预期逐渐拉开差距。

而就在车云菌险些被观众情绪带跑节奏时，我们在英伟达的官方公众号上发现了一系列由NVIDIA DRIVE Labs出品的视频。视频内容从工程技术的视角，直观展现出NVIDIA DRIVE AV软件团队如何完成一个个自动驾驶的日常任务，诸如从路径感知到交叉路口处理等一系列挑战。

那么，以自动驾驶为起点，车云菌尝试回答：当英伟达不再抛出核弹，他们到底做了些什么？

“直播”自动驾驶

严格来说，目前没有任何一家企业成功制造出一台全自动驾驶汽车，绝大多数玩家仍旧在奔向这一目标的路上相互博弈。

近年，英伟达正式加入战局。公司内部的软件开发人员已经远远超过了硬件工程师的数量。

他们首先打算解决自动驾驶汽车的三个问题：

• 知道自己在哪里：不光要掌握车辆具体位置，还得知道是在主路的第几条车道上，将定位精确到厘米级；
• 知道自己周围有什么：像人类大脑一样判断，前方卡车在减速、左后方有辆SUV驶来、右侧人行道有小孩、下一个路口是绿灯且不能左转……
• 作出正确的驾驶决策：判断从左侧超车可以安通过路口，然后控制车辆完成相应动作。

如今这些工作，都被团队一一摆上了台面。与常规“秀肌肉”的视频演示不同，英伟达实验室将自动驾驶最困难的感知层面的工作拆解成一个个小任务，条分缕析地告诉大家：我们是怎么做到的，以及我们为什么能做到。

任务的分解也很有意思。车队顺利攻克了包括建立感知路径、通过传感器融合实现环绕感知功能、打造像素级感知能力、借助特征追踪确保安全性、自主识别停车位、障碍物分类、车道线识别及自动补偿、测算车辆与障碍物距离、实现准确可靠的目标跟踪、预测目标的未来移动轨迹、不借助地图的情况下识别交叉路口。

“可靠性”三个字贯穿了所有挑战过程。对此，NV Labs给出的说法是：“对于L2+级自动驾驶系统来说，例如NVIDIA DRIVE AP2X平台，实时评估路径感知可靠性意味着评估该系统是否知道何时进行安全的自主操作，以及何时应该将操作权移交给人类驾驶员。”

至于NVIDIA DRIVE AP2X。2019年初公司在GTC上刚刚发布了全新平台，其基于NVIDIA Xavier系统级芯片运行，采用DriveWorks加速库和实时操作系统DRIVE OS，其中包含DRIVE AutoPilot软件、DRIVE AGX和DRIVE验证工具，并融合了DRIVE AV自动驾驶软件和DRIVE IX智能驾驶舱体验。

得益于二季度发布的DRIVE AP2X Software 9.0上新增的大量自动驾驶功能加持，该平台成为业界公认的现阶段唯一完备的L2+自动驾驶解决方案。采埃孚、大陆、沃尔沃都心甘情愿为其买单。

于是，团队几个人在硅谷全长50英里的高速公路环路上完成了一次零干预的全自动驾驶。简单来说，这是一次类似“现场直播”的测试，工程师们没有机会像录制视频那样，拿实际路径感知信号与理想参数进行对比，还要随时准备应对过程中有可能发生的意外情况。

譬如，一旦自动驾驶车辆只能接收到一种传感器发射的感知信号，就无法保证最终决策置信度的实时及准确。比这更糟的还在后面——如果这唯一的路径感知输入失败，自动驾驶功能要么大幅影响操作的舒适及平稳度，要么干脆整个失灵。

换句话说，比完成这次“零干预”全自动驾驶任务更难的，是将整个过程原汁原味地呈现在各位看官眼前。

特殊任务

有别于一些硬拼技术实力的厂商，英伟达站在消费者视角给自己提出了几项相对特别的挑战——

• 摄像头硬伤：

对于当下居于主流的视觉感知路线而言，摄像头始终无法抵抗极端环境因素带来的硬伤，雨雪、强光等外界因素会在极大程度上干扰传感器的可见度。这也成了主流厂商争相攻坚的话题点。

英伟达开发出了一种深度神经网络（DNN）ClearSightNet，用以评估摄像头的可见度进而确定遮挡、障碍以及可见度降低的根本原因。如此一来，在数据被下游模块处理之前，感知系统就能在处理管道中尽早检测到无效数据，以备后患。

团队透露，在开发ClearSightNet时，他们考虑到了几个主要需求：

1. 拥有从造成摄像头失明的各种潜在原因中推理出根本原因的能力
2. 输出可操作的有意义信息
3. 必须十分轻巧，能够以最小的计算消耗在多个摄像头上运行

感知数据最终抵达决策端时，车辆可以选择不开启自动驾驶功能，并提醒用户清洁摄像头镜头或挡风玻璃，或者使用ClearSightNet输出以通知用户摄像头感知可信度计算结果。

从视频结果可以看到，在摄像头“失明”时，英伟达给出了能够控制车辆最大程度保障安全的解决方案。

• 保护车辆不受碰撞：

在大家还为车辆如何避免主动碰撞时，英伟达已经开始考虑车辆“自身安全”问题了。

为此，公司设计了一款名为NVIDIA安全力场（SFF）的软件。其作为一个独立的监督员，对车辆主要规划和控制系统的决策进行实时复核，如果判定操控动作不安全，就会一票否决并纠正其决策路径，并支持自主启动及手动操作。

据介绍，SFF还有一些独到之处。该技术的正向仿真和碰撞核查是通过GPU计算加速在三维时间空间内进行的，这虽然对芯片算力提出了更高要求，但能够覆盖现实世界的各种复杂交通环境，包括缺少车道线标记、停车场场景以及在拥挤的交通环境中变道，这类无法严格划分横纵向操作的情景。

此外，考虑到现实世界的反应时间，以及其他自动驾驶车辆软件组件和子系统可能带来的缺陷和延迟，SFF还设定了安全程序预留空间。

唯一一点遗憾是，SFF实现“零碰撞”的前提，是所有道路参与者都要遵守该规则，并且感知和车辆控制都在预先设计的范围内运行。因此即便这台BB8成功了，要想推广及未来社会仍旧任重道远。

• 远光灯控制：

当然，摆在自动驾驶落地眼前的最大现实因素，或许还是各国司机风格迥异的驾驶习惯。可团队发现，驾驶员们在“爱用远光灯‘晃人’”这件事上意外地达成了一致。

于是出于安全因素考虑，英伟达要求AI必须要克服局限性，借助感知技术减少对向车灯造成的眩光影响。

团队在视频中简要介绍了其背后的工作原理：

利用摄像头图像训练出基于摄像头的深度神经网络（DNN）AutoHighBeamNet，它可以为车辆的远光灯系统自动生成控制输出，从而提高夜间行驶的视野范围和安全性。AutoHighBeamNet无需根据场景中其他光源的照度水平来生成远光灯控制信号，而是能够从更广泛的驾驶场景中学习，实现真正自主可靠的远光灯控制。

每帧AutoHighBeamNet检测结果将会输入到后处理子模块中，该子模块能够执行每帧和时间的后处理。随后，AutoDrivingBeam模块的输出可以由汽车制造商进行定制，根据来自其他车辆模块的输入信号（例如，汽车本身的速度，环境照明条件等）调整适应其相应规则和政策。基于这些定制，最终产生远光灯控制信号。

远光灯控制信号可以采用两种不同的模式：自动远光灯（AHB）模式，它提供二进制开/关控制；自适应驱动光束（ADB）模式，可精确控制各个远光LED阵列以创建无眩光区域（GFZ）。

显然，即便整天泡在实验室里，英伟达的软件团队早已不再满足于技术的实现效果，而开始向市场商业化发起进攻。相比一块芯片的算力大小，这些市场化的考量或许才是这场战争输赢的关键。

软件寻找载体，技术实现“破圈”

就在英伟达测试车结束实际道路测试回到实验室时，恰好赶上黄仁勋前来“视察工作”。

而BB8完成的任务也足够交上一张漂亮的成绩单。基于NVIDIA DRIVE AGX平台，自动驾驶车辆可以实时同步运行功能多样的360度环绕感知，定位以及规划和控制软件。

工程师通过使用感知和定位所提供的输入数据，规划和控制层让自动驾驶汽车能够独立行驶。规划软件通过感知和定位的结果来确定汽车特定操作所需的物理轨迹。视频里也清楚地展示出车辆在自主变换车道时的流畅动作：规划软件先利用环绕摄像头和雷达感知来进行变道操作安全检查，然后计算纵向速度曲线以及从当前车道的中心线移动到目标车道中心线所需的横向路径计划，最后控制软件发出加速/减速和向左/右转向的命令以执行车道变换规划。

正是这些软件组成部分，与硬件一起成就了系统的多样性和安全冗余。而这一系列任务视频，恰恰成了证明英伟达自动驾驶软件技术落地的可靠载体。

在这之外，将无形化的软件沉淀成可视化的视频内容，也能同时以更加轻松的方式触达到消费者层面。当汽车方向盘交到机器手中，用户会天然树立起不安与不信任感。这种先期教育市场的思路，能够消除部分不安心理，重建人们在自动驾驶空间内的安全感。

直观点说，NV Labs的“自动驾驶挑战”系列，是英伟达软件技术“破圈”的先导。

作为曾经游戏市场的霸主，这家芯片巨头必然深谙消费者之道。相比一般车厂对于车辆智能功能“洗脑式”的宣传，此番英伟达率先拿出一部分干货试探市场，占领用户心智。

这种策略直接体现在公司财报数据上，2019年三季度英伟达汽车业务迎来高光时刻。公开数据显示，彼时，该领域营收攀升至创纪录的2.09亿美元，同比增长30%。相比之下，英特尔第二季度的自动驾驶营收为2.01亿美元，同比增加16%。

对比来看，英特尔一季度该项营收2.09亿美元，英伟达为1.66亿美元。这意味着，英伟达环比上涨，英特尔环比下跌。

黄仁勋自己对于“软件公司”的蓝图也相当清晰：“这只是英伟达目前定位中的一部分。”

回顾既往十年，英伟达已经进行了两次业务转变。第一次是从GPU图像芯片公司转变为并行计算公司，典型的应用场景是人工智能。后来，公司又决定在少数特定场景中提供最完善的解决方案，覆盖游戏、专业渲染，超级计算、自动驾驶几大领域。

随着英伟达业务领域越来越广，客户“解放双手”的自由度就越高。这恐怕才是“The more you buy ,the more you save”的真实含义。