特斯拉AI主管CVPR霸气分享纯视觉方案：雷达只是一个拐杖

 编辑按：本文转载至微信公众号 “新智元”,贝壳投研经授发布。

在电影《我，机器人》里，2035年，威尔·史密斯扮演的角色准备双手操纵、开车，这惊呆了一旁的同伴：还需要用手吗？

 这是特斯拉AI主管Andrej Karpathy近日在CVPR 2021的自动驾驶workshop上举的一个例子。

 这位AI技术主管借此告诉大家

这并不难实现，在电影故事发生的2035年，这是非常可能的。

 不仅要实现，特斯拉最终还要完全依靠摄像头，利用神经网络来实现纯视觉自动驾驶。

 雷达只是拐杖

 在这次workshop分享中，这位主管除了介绍特斯拉超算Dojo，还分享了特斯拉为何要坚持纯视觉系统。

△ 马斯克曾经回复网友：雷达和视觉冲突时，你会选择哪一个？视觉精确度更高，所以当然要坚持视觉而非传感器融合。

 Karpathy先介绍了和「肉脑」相比，「硅脑」的巨大优势。

 「肉脑」反应慢（250ms）；需要转头和看后视镜来判断环境；

 而且人们经常不好好开车，总忍不住喜欢玩儿手机，由此导致的事故率也很高：全球平均每天有3700人死于交通事故。

 另外，交通成本高昂。

 而「硅」脑呢？不仅反应快，而且开车全神贯注，不会时不时地就去刷手机。

 Karpathy表示，目前自动驾驶功能实际上是当今汽车中所有个人安全系统的总和。许多新车都配备了自动刹车、自适应巡航控制、车道保持和防误踩油门等功能。

 而汽车制造商面临的主要挑战是，将所有这些功能整合到一个比人更有效、更可靠的系统中。

 总之，技术是很安全的，但要利用好

 马斯克选择不在特斯拉汽车中安装雷达传感器，而是选择只安装「光学摄像头」感知周围环境变化。

 车辆必须能了解周围情况才能让自动刹车、自适应巡航控制、车道保持和防误踩油门等子系统在正确时间起作用。

 车辆感知也是特斯拉与其他汽车厂商最大的不同之处。

 其他所有汽车制造商都使用光学摄像头、车载雷达和激光雷达来收集环境数据。由于激光雷达很昂贵，所以相对少见；而汽车制造商广泛采用了价格低廉的车载雷达。

 「雷达只是一根拐杖，」Karpathy表示

 汽车制造商通常用车载雷达来测量相对速度和距离，但特斯拉认为「光学摄像头」也可以做到这一点。

车载雷达和光学摄像头之间的差异性反而影响到特斯拉自动驾驶功能的完善，因此特斯拉决定专注于改进摄像头系统。

 Karpathy说：「我们过去几年打造的视觉系统非常好，可以把其他传感器远远甩在后面。」

 新版本FSD神经网络架构

 除此之外，Karpathy还分享了其他特斯拉自动驾驶技术，接近40分钟的分享加上他本人1.5倍的语速，内容可谓是干货满满。

 特斯拉首次公开FSD新版本的神经网络架构：图片从8个摄像头输入，由图片提取器如resnet对信息进行处理，接下来是多重fusion策略，使用的是transformer对图像进行处理。

 虽然把所有的输入都封装到了一个模型，但是在输出的地方确实分开训练的，有很多branching structure，不同的模型可以只fine tune那一个任务．这就等于是在输出的时候decouple了．

 Karpathy表示，特斯拉的神经网络在特斯拉汽车上以「影子模式」工作，会在后台预测驾驶员将会做什么，并增强自动驾驶软件的强健性。

 影子模式会和数据引擎一起，不断地循环改进本体的性能，直到本体表现出非常好的性能。

 而且即使没有开FSD，影子模式还是在运行，它会对比它的输出和司机的决策，也就是「它在学习你！」

 当然，这次分享还有一个重磅超算Dojo.

 这台计算机群采用了5760个算力为321TFLOPS的英伟达A100显卡，组成了720个节点，总算力突破了1.8EFLOPS，10PB的存储空间（读写速度为1.6TBps）。

 根据计算能力来看，这台超级计算机排名世界第五

 此外，Karpathy还分享了特斯拉超级计算机如何利用计算机视觉来纠正驾驶员不良行为的一些场景，包括紧急制动、交通参与者监测以及红绿灯识别等等。

 另外在演示中，Karpathy还展示了被称为踏板误用纠正的功能：当车辆检测到前方有行人或者道路变窄的情况时，当驾驶员把油门当做刹车踩下，车辆则不会加速。

根据马斯克的计划，特斯拉未来的Dojo超级计算机算力将要达到每秒钟exaFLOP的级别，也就是百万亿亿次浮点运算。

 技术是真的牛，产品呢？

 作为特斯拉的AI技术主管，Karpathy在CVPR上的分享介绍了特斯拉自动驾驶技术的优势，不仅安全，还非常前沿。

 不过特斯拉一直是「最差的质量可靠性」和「最好的消费者满意度」结合体，这不，有的车主技术还没体验上，就被质量伤透了心......

 据外媒报道，刚刚交付的Model S Plaid出问题了，国外一车主刚刚提车，撕膜后发现安全气囊组件没有固定......

这可是花了89190刀（约合人民币57万）买的车!

特友大呼：I can’t believe it... Why,  Tesla!

 这伤心不止亿点点......