理想 NPN 先验网... - @德卤爱开车的微博 - 微博


理想 NPN 先验网络(一):

理想的 Neural Map Prior For Autonomous Driving 是什么?

简单来说,主要是两个点:

  • 离线(云端)特征更新:看一次路口看不清楚,那就多看几次。
  • 在线(车端)地图推理:这次路口没看清楚,就想一下上次是什么样的,再看。

在线地图推理,结合以前的信息进行感知,看的更远。

在线地图推理这里使用了公认最先进的智能驾驶感知技术栈 BEV 网络作为基础, 从俯视的角度将每个摄像头的信息组合到一起,这样各个摄像头之间的信息能够共享,识别能够更加精准,稳定。

但是实时感知的局限性在于,在复杂的道路上,常常需要移动一定的角度才能获取足够多的信息。

对于决策规划来说,感知信息不够多和精准让决策变得很艰难。

对于人类驾驶员来说,一般我们会通过经验,即使没有看到目标路口的车道线也可以做出正确的操作,因为我们有之前的经验信息。

这里的整体工作流也非常类似,使用之前的经验,进行信息补全,最后保证感知结果的更加可靠。

当然,整体来看,这与实时感知车道线与高精地图信息融合作为最终环境感知结果的方法依然类似,只不过这里使用的并非是高精地图测绘结果作为输入,而是特征中间值作为隐式输入。

这里有一个很有意思的「隐式表达」的概念。

常规的已经感知出车道线结果再与高精地图进行融合的方式,可以称之为:「显式融合」。

即具有相当的可解释性,有经验的工程师是可以完全看懂的,也可以被直接描述。

而理想这里的表达方式更加倾向于隐式表达,也就是,一切规则由神经网络自行学习完成,无法被直接描述。

模型能力逐渐变强的当下,能够覆盖更多子任务,很多中间层显式的表达可以用隐式的方式完成,例如原来单摄像头感知后融合,到现在多摄像头 BEV 完成的隐式融合。

理想的先验地图和感知结果融合的方式,都属于此列,这也是算力充足的情况下,人工智能发展的趋势。

https://weibo.com/2816866443/4914332984941095