自动驾驶中高精地图的大规模生产:视觉惯导技术在高德的应用

导读:导航、驾驶辅助、自动驾驶等技术的不断发展对地图的精细程度提出了更高的要求。常规的道路级地图对于智能交通系统存在很多不足,针对自动驾驶应用的需求,我们提出了利用视觉惯导技术制作高精地图的方法。

本文将首先介绍视觉和惯导的主流设备,视觉惯导融合的框架和关键技术,高德在基于视觉方式生成高精地图道路标志和地面标识要素的计算方案,最后总结了这项技术在高精地图精度上所面临的挑战和未来发展方向。

 

视觉惯导技术具有广泛前景

高精地图是自动驾驶的核心技术之一,精准的地图对无人车定位、导航与控制,以及安全至关重要。随着自动驾驶的不断发展,越来越多的车企选择和地图供应商合作。高精度地图需要考虑规模和实时的问题,高德能面向不同品牌车型提供大规模的数据服务,在高精地图行业具有领先优势。

目前,高德完成了全国超过32万公里高等级道路的高精地图数据,采用了搭配激光雷达采集、图像视觉惯导融合两种方式。

通过图像视觉惯导结合的方式采集数据,一方面能大大降低成本。另一方面,基于图像视觉的高精地图在识别上具有一定优势,能提高车道级别要素作业的效率。因此,这项技术在大规模高精地图生产中具有广泛的前景。

高精地图由高精度的地图要素矢量信息组成,获取这些高精度的地图要素信息,一方面是通过识别视觉图像获取地图要素目标,另一方面通过惯导信息获取车辆高精度的位置和姿态,两方面融合得到对应的矢量地图要素。

视觉惯导硬件工具篇

视觉设备

主流视觉设备按照工作方式的不同,相机可以分为单目相机(Monocular)、双目相机(Stereo)和深度相机(RGB-D)三大类。

单目相机结构简单,成本低,劣势在于照片是三维到二维的映射平面,缺少深度信息,无法通过单张图片来计算场景中物体与我们之间的距离,只有运动才能估计深度。

双目相机由两个单目相机组成,但彼此之间的距离(基线)是已知的。我们通过基线来估计每个像素的空间位置。双目相机测量到的深度范围与基线相关,基线距离越大,能够测量到的就越远。

所以,无人车上搭载的双目相机通常会是个很大的家伙。它的缺点是配置与标定均较为复杂,其深度量程和精度受双目的基线与分辨率所限,而且视差的计算非常消耗计算资源。

深度相机原理是通过红外结构光,类似激光传感器,主动向物体发射光并接收返回的光,测出物体与相机之间的距离。这部分并不像双目相机那样通过软件计算来解决,而是通过物理的测量手段,所以相比于双目相机可节省大量的计算。

深度相机缺点是可能存在测量范围窄、噪声大、视野小、易受日光干扰、无法测量透射材质等诸多问题,室外场景较难应用。

针对高精地图需要大规模生产的需求,单目相机因其成本低,安装简单的特点是目前主流的高精地图视觉设备。

惯导设备

惯性导航系统(简称惯导)是一种不依赖于外部信息、也不向外部辐射能量的自主式导航系统。工作环境不仅包括空中、地面,还可以在水下。

惯导的基本工作原理是以牛顿力学定律为基础,通过测量载体在惯性参考系的加速度,将它对时间进行积分,且把它变换到导航坐标系中,就能够得到在导航坐标系中的速度、偏航角和位置等信息,被广泛应用在军事、测绘、资源勘探、机器人、自动驾驶等领域。

惯导系统具有抗干扰、自主性强、数据频率高、稳定性好等优点。按漂移率从小到大可分为导航级、战术级、工业级、车载级和消费级。目前自动驾驶和高精地图制作领域多选用战术级的惯导设备,以满足高精定位需求。

此外,惯导系统已发展出挠性惯导、光纤惯导、激光惯导、微机电系统惯导等多种方式。其中微机电系统(Micro-electromechanical Systems, MEMS)具有体积小、重量轻、功耗低、价格便宜、抗冲击等优点,被广泛应用,目前已拓展至中低精度的战术级应用领域。

惯导系统单独使用时会有累计误差,实际应用中多与以GPS和北斗为代表的全球导航卫星系统(Global Navigation Satellite System, GNSS)等辅助系统构成组合系统,得到载体的全局位置。

当卫星信号丢失时,通过惯导积分可以获取较为准确的实时位姿推算。对于不要求实时性的测绘应用,通过平滑算法能获取更高的定位精度。

在移动测绘领域,惯导的另一个作用是配合激光和相机等外部传感器。通过与GNSS耦合得到的载体位姿,可为图片姿态及激光脉冲发射姿态提供高精高频定位,经过传感器间的外部标定,将对应的信息投射到全局三维坐标系。

惯导的另一种组合方式是与视觉传感器耦合构成视觉惯性里程计(Visual Inertial Odometry,VIO)。视觉传感器在纹理丰富的场景中SLAM效果较好,但是如果遇到移动物体占据照片主体或者特征较少的场景,视觉传感器会失效。

融合惯导数据能提高整体定位精度和连续性。MEMS惯导单元广泛存在于智能手机当中,苹果公司推出的ARkit和谷歌公司推出的ARcore框架都提供了相应的VIO实现,以支持增强现实应用。

多传感器融合的定位导航方案已经成为趋势, 惯导系统首先与GNSS组合,再结合图像、激光雷达等传感器构成的组合导航系统是目前自动驾驶及高精地图制作领域的研究热点和发展方向。

视觉惯导框架及关键技术

目前主流的视觉惯导融合框架分为两部分:前端和后端。前端提取传感器数据构建模型用于状态估计,后端根据前端提供的数据进行优化,最后输出相机的位置、姿态和全局地图,架构如图所示:

视觉惯导技术框架中前端和后端的优化是关键技术,本文介绍的是采用滑动窗口的模式进行视觉融合惯导的局部相对优化,当初始化失败的时候考虑融入纯视觉SFM加惯导对齐的方式进行初始化,相对优化之后会有一个全局的优化,最后对整个地图做绝对的优化。

高德高精地图生产技术方案

高精地图的生产主要从两类要素进行,一类是道路标志牌,例如路面导向指示牌,红绿灯等;一类是地面标识,例如车道分割线,导向箭头等。两种类别的地图要素均要先计算出位置,然后把要素和路网关联,得到要素的属性信息和几何信息。

地图要素的生产把人工作业和自动化提取融为一体。首先,通过外业采集的数据进行图像和轨迹的解算,获取自动化所需的视觉惯导信息,根据视觉惯导融合技术生成地图要素,在自动化地图的基础上采用人工进行Web编辑的模型,提高地图要素的精度,最后存储到对应的数据库中去。

感知结果示例:

生成地图示例:

展望

基于惯导视觉的高精地图生产方案有很多,国内外公司像Moment、宽凳科技,lvl5等都在研究,但是从目前市面上看,由于设备成本限制,基于视觉的高精地图精度极限在10cm。

后续,基于视觉的高精地图发展可能是朝着多源数据融合的方向,即同一道路多次采集,不同设备多次采集获取的数据源融合在一起,提高精度的同时提高地图更新的时效。

高德扎根于地图行业,有丰富的地图数据源,有行业领先的自动化生产技术和成熟的工艺流程,为未来基于多元视觉惯导融合的高精地图生产打下了坚实的基础,这些都会进一步推动自动驾驶的发展。

<center>关注高德技术,找到更多出行技术领域专业内容</center>

原文地址:https://www.cnblogs.com/amap_tech/p/11282086.html

时间: 2024-11-05 20:25:16

自动驾驶中高精地图的大规模生产:视觉惯导技术在高德的应用的相关文章

深度|余凯:基于深度学习的自动驾驶之路

2016年是一个非常重要的历史节点,标志着知行合一的人工智能系统将走向历史舞台.它改变的不光是下围棋,会改变很多很多事情.——余凯 在“2016年智能汽车•上海论坛”之“ADAS与自动驾驶趋势论坛”上,地平线机器人创始人兼CEO余凯博士发表了题为“基于深度学习的自动驾驶之路”的主题演讲. 这里有技术普及,有行业观察,还有对未来生活的美好展望.你想知道的有关深度学习和自动驾驶的一切,我们今天都告诉你. 1深度学习 · 诞生与成长 每个人都在讲大数据,就像每个中学生都在讲“性”,但是他们从来没有经历

是时候停止自动驾驶汽车上路了

全世界每天都会发生很多的车祸,车撞车.人撞车.车撞人的事故层出不穷,有的车祸惨不忍睹,有的只是小打小闹,然而所有的车祸都不及这一次的车祸意义重大,这是因为司机在使用特斯拉的自动驾驶功能时,车辆无故出现车祸,显然给大行其道的自动驾驶汽车蒙上了一层巨大的阴影. 国家公路交通安全管理局向媒体公布了一项调查结果,他们发现特斯拉出现的两次车祸都是因为司机采用了自动驾驶功能.特斯拉的自动驾驶功能是较为主流和先进的技术,采用摄像头.雷达和传感器来引导车辆变道或者直行,甚至于停车.调整车速依靠的都是这个系统.在

国内首次深度学习自动驾驶,阿波罗不再只是计划:来自百度开发者中心的观察报告

导读:从世界上首个可在真实道路上实现端到端模式的高级自动驾驶模型Road Hackers,到百度和汽车零部件厂商合作开发的车载可计算平台 BCU,从诞生之初就备受关注的"阿波罗计划"逐渐揭开了它神秘的面纱.而正如百度智能汽车事业部总经理顾维灏在主题演讲中所说,这些,不过仍是阿波罗计划的凤毛麟角. 2017年6月8日,上海 CES Asia 现场. 作为新智元特派员,我置身于上海新国际展览中心 N3 智能驾驶主题馆,被众多汽车品牌的未来炫酷车型所包围.一瞬间,仿佛回到了一个多月前同样在这

百度携手长安汽车,Apollo生态引领自动驾驶进入量产时代

"挥师重庆",这是众多媒体对百度与长安汽车这次携手合作的描述.8月23日在重庆2018智博会开幕之际,百度董事长兼CEO李彦宏与长安汽车总裁朱华荣,共同见证了双方在自动驾驶领域战略合作协议的签订.长安汽车执行副总裁谭本宏.百度副总裁兼智能驾驶事业群总经理李震宇.智能驾驶事业群组合作发展部与综合管理部总经理尚国斌,长安汽车总裁助理兼战略规划部部长赵非等双方领导出席了签约仪式. 玺哥认为,这次百度与长安汽车战略合作协议的签订,起码有两重意义:1.这标志着无人驾驶即将进入"量产时代

Google Waymo 2017自动驾驶安全技术报告(一)

2017年10月Google Waymo向美国交通部提交了一份43页的安全报告,报告中详细说明了Waymo如何装备和训练自动驾驶车辆,从而避免驾驶中的一般和意外情况发生.这份报告对Waymo的自动驾驶技术进行了详细的解读,希望能够对自动驾驶从业者带来一些启发. 自动驾驶技术的必要性 2013年在全球有120万人死于交通事故:2016年美国有37461人死于道路交通事故:2015年美国有240万人在交通事故中受伤:94%美国发生的交通事故中由于人为失误引起;2/3的人在一生中至少遭遇一次酒驾事故:

李彦宏收到无人车罚单的四个月后,北京自动驾驶新规终于出台!

中国自动驾驶相关法律法规的空白终于被打破了,就在今天,北京市交通委发布了相关指导文件,符合规定的自动驾驶汽车,终于可以正式上路了. 而媒体们在转载这条消息时,都要cue一下前脚上路,后脚吃罚单的李彦宏.四个月前百度在AI开发者大会上,李彦宏乘着自动驾驶汽车从五环赶往现场,结果很快就因变道压实线被开了罚单.这张开给无人车的罚单成了一支flag,让自动驾驶厂商们更加急迫的追问有关自动驾驶的交通法律法规.那场景就像学霸们已经做了充足的准备,就等着老师出考卷来大展身手了. 现在交管部门给了交待,我们又把

[AutoCars(一)]自动驾驶汽车概述(下)

本文将介绍自动驾驶汽车决策系统的相关技术,包含路线规划.行为选取.运动规划和控制子系统. 1.路线规划 路线规划子系统负责计算出一条穿过道路网的路线,让自动驾驶汽车能从起始位置到达用户定义的终点位置.如果将道路网表示为一个加权的有向图,其边权重表示遍历一个道路片段的成本,则计算路线的问题就可约简为在一个加权有向图中寻找最短路径的问题.但是,对于大型道路网,经典最短路径算法(比如 Dijkstra和 A*)的复杂性时间是不实用的. 用于道路网中路线规划的方法能在查询时间.预处理时间.空间用量.对输

吴恩达《深度学习》-课后测验-第三门课 结构化机器学习项目(Structuring Machine Learning Projects)-Week2 Autonomous driving (case study) (case study)( 自动驾驶 (案例研究))

Week2 Autonomous driving (case study) (case study)( 自动驾驶 (案例研究)) \1. To help you practice strategies for machine learning, in this week we'll present another scenario and ask how you would act. We think this "simulator" of working in a machine l

Google Waymo自动驾驶安全技术报告(二)

Waymo的技术在公开道路上.封闭测试场.仿真器进行了广泛的测试,所以可以保证自动驾驶系统的每一部分在其ODD内都有强大.可靠.安全的处理能力. Waymo的自动驾驶系统由三个相互独立.严格测试的子系统组成: 1)经过OEM认证的基础车辆系统: 2)传感器和计算机等内部硬件系统: 3)做出所有驾驶决策的自动驾驶软件系统: 这些子系统组合起来构成一个完整的自动驾驶系统,然后我们对其进行进一步的测试和验证.对各个系统的测试和验证可以确保自动驾驶车辆满足我们对系统设定的所有安全要求. 3. Testi