第8章 视觉建图与定位本章介绍机器视觉在定位建图中的应用。智能驾驶中的视觉建图主要是利用视觉感知结果结合多传感器对周围环境的3D几何及拓扑关系进行重建而定位则是利用重建之后的地图结合多传感器确定自车在世界坐标系中的位姿同时提供局部地图用于轨迹规划。定位与建图是L2以及L 2 \mathrm{L}2L2智能驾驶必不可少的模块不但可以提供自车全局位置还可以用于辅助感知及轨迹规划。1在感知中定位结果一方面可提供目标物在图像中的大致位置让感知计算集中在兴趣区域从而减少感知的计算量如红绿灯、标志牌的检测等另一方面地图可以提供超视距信息受限于摄像头的有效范围视觉感知无法实现超视距对视觉感知结果进行补充这对于高速或城区十字路口等场景非常重要。2在轨迹规划中地图可以提供准确的车道信息以及车道之间的关联关系在十字路口区域还会提供虚拟车道用于引导车辆拐弯或者掉头。3一些地图还会保留驾驶员的驾驶先验信息例如驾驶路线用于提供舒适、符合驾驶习惯的驾驶轨迹。4在智能驾驶中感知提供实时的环境信息而地图提供记忆信息两者融合之后形成环境模型图8-1用于下游的轨迹规划。图8-1 自动驾驶中地图的作用随着感知技术尤其是BEV感知的发展其能够提供的信息越来越多需要记忆的信息越来越少导致智能驾驶正从“重地图”往“轻地图”甚至“无地图”的方向发展。在这个过程中建图和定位技术都在发生变化本章也会对这些技术进行详细介绍。8.1 视觉建图首先学习高精地图High Definition Map相关概念及特点。高精地图是一种专门为智能驾驶服务的地图。与传统只能提供道路Road级信息的导航地图不同图8-2高精地图具有两个特点首先是精度更高高精地图的相对精度能到厘米级而导航地图的精度在米级别其次是元素更丰富高精地图可提供车道、车道边界线、道路上各种交通设施如路牌和信号灯、周围的护栏等并且提供这些元素之间的拓扑关系。典型的高精地图一般包含以下信息。a)传统导航地图b) 高精地图图8-2 传统导航地图与高精地图1. 物理层物理层又包括基础图层和几何图层。基础图层是高精地图的基础被用作构建所有其他层的参考层它提供高精度的三维地理空间表示例如道路、建筑物和其他结构的位置和形状图8-3。尽管基础图层对环境的表示精确而密集但由于缺乏有意义的特征支持理解环境的能力有限。高精地图中的几何图层提供了有关道路环境几何的详细信息包括道路宽度、车道数量、每条车道的中心线、每条道路中车道的边界以及路面高程的信息。这些特征都可以用基本的几何图元点、线、多线和多边形来表达例如交通标志的位置可以用一个点来表示。车道中心线或边界可以由一组相互连接的线段表示人行横道可以用多边形表示。2. 拓扑层为了便于高效的存储和使用高精地图一般被划分为特定大小的Section如500 m × 500 m 500\mathrm{m}\times 500\mathrm{m}500m×500m。在使用的时候需要拓扑层提供道路网络的拓扑结构以及各种几何元素之间的连接关系图8-4。常用的拓扑关系包括车道之间的连接关系前驱、后继、左右相邻等、十字路口的虚拟车道以及灯牌和车道的关联关系等。这些拓扑关系对于轨迹规划非常重要。图8-3 高精地图的物理层图8-4 高精地图中的拓扑层3.定位图层高精地图会将定位相关的元素组合成定位图层比如地图中的物理层。此外为了应对一些极端场景隧道、城区峡谷等的定位退化问题高精地图还会存储一些特殊的信息用于辅助定位例如LiDAR点云图层或者视觉关键点图层等。高精地图在使用过程中需要通过一个“地图引擎”来管理调度实现定位导航功能。地图引擎的主要职责包括1资源调度负责高精地图数据的管理和分发确保车辆能够根据当前位置和目的地获取所需的地图信息。通过高效的资源调度地图引擎能够在车辆需要时迅速提供高精度地图数据优化系统性能减少资源消耗。2导航支持提供给车辆精确的道路、POI等信息帮助车辆规划行驶路径。地图引擎提供的精确导航信息可提高路线规划的效率和安全性使无人车能够在复杂的道路环境中安全高效地行驶。8.1.1 高精建图高精地图一般由具备甲级测绘资质的图商采用LiDAR配以高精度的定位设备采集制作。国内具备甲级测绘资质的图商主要有高德、百度以及四维图新等。以百度Apollo高精地图为例其制作包含数据采集、数据处理、元素识别及人工验证等步骤图8-5。图8-5 百度Apollo高精地图制作流程1数据采集百度采取的是激光雷达和摄像头二者相结合的制图方案。该方案的基础传感器配置有平装的64线激光雷达和16线激光雷达。其中64线激光雷达用于道路路面采集由于其扫描高度比较低还需要一个斜向上装的16线激光雷达用于检测高处的红绿灯、标牌等信息。其他传感器有高精度GPS、IMU、长焦相机以及短焦相机等。2数据处理传感器采集到的数据分为点云和图像两大类。L4级自动驾驶汽车对地图的精度要求非常高因此Apollo在制图过程中处理的数据也以点云为主。得到点云之后需要对其进行拼接处理利用RTK结合SLAM技术对点云的Pose进行优化将点云拼接成一个完整的点云地图。之后点云地图压缩成可用于做标注的反射地图再基于反射地图来绘制高清地图。3元素识别主要是通过深度学习技术在反射地图上进行道路元素的识别和提取包括车道线、斑马线、路沿等道路元素。同时对采集的图像通过视觉感知提取杆、灯、牌等元素及其属性结合Lidar点云可以完善高精地图的信息。4人工验证人工验证环节包括识别车道线是否正确对信号灯、标志牌进行逻辑处理路口虚拟道路逻辑线的生成等。因为自动化处理不可能做到100 % 100\%100%准确所以须再进行一轮人工验证进行保底。验证人员需要从云端下载需要验证的路段数据然后把自动处理之后的高精地图数据和对应位置的图像信息进行比对找出错误的地方并进行更正。修正后的数据上传到云端经过加密处理后发布。虽然高精地图的制作流程已经实现了高度的自动化但是受限于采集设备的可扩展性高精地图的更新周期太长地图的鲜度无法保障这直接影响了高精地图的使用和推广。高精地图目前主要存在以下挑战1覆盖范围不足目前图商的高精地图仅覆盖了全国的高速路和部分城区快速路。城区由于RTK遮挡、路面磨损以及场景复杂度高建图难度很大全国仅有为数不多的几座城市实现了高精地图覆盖。2鲜度低高精地图的更新过程涉及大量的数据采集、处理和验证严重影响了地图的鲜度。经常会出现地图和实际场景不符的情况例如道路施工、车道线改线等这对自动驾驶车辆的安全行驶造成严重影响。3法规限制在不同国家和地区关于数据采集和处理的法律法规差异会限制高精地图的使用。例如一些国家对地图数据的海外传输有严格的限制这不仅影响了地图更新的效率也限制了自动驾驶技术的国际化发展。8.1.2 众包建图为解决高精地图制作成本高、可扩展性差的问题人们开始采用“众包”方式对地图进行重建。众包建图主要利用广泛分布的量产车辆作为数据采集的主体通过车载摄像头、GPS及IMU等传感器收集道路数据并利用车辆端上的算力进行初步的数据处理如道路元素提取及局部地图重建。之后将每辆车的端上处理结果上传到云端进行聚合处理形成地图。众包建图的方式受限于车辆传感器的精度和端上的算力其几何精度比高精地图差相对精度在分米级高精地图为厘米级拓扑关系与高精地图相当。此外众包地图通过统计大量的车辆行驶轨迹可以提供比高精地图更加符合用户习惯的驾驶路线。众包地图能够运行的前提是要有足够量的部署众包建图方案的车辆否则地图的鲜度也无法得到保障。众包建图的创建流程主要包括单趟成图、云端聚合和自动化地图更新三个主要部分。1单趟成图单趟成图主要是利用车载感知模块提供的感知结果路面要素、空中要素等结合GPS、IMU以及轮速计等传感器进行建图得到一条路线的地图重建结果重建的内容包括物理层和拓扑层。单趟成图之后数据量大幅度减少一般1 k m 1\mathrm{km}1km仅需要十几KB的存储量便于数据上传。单趟成图的质量依赖感知结果对于高速、城区快速路等简单的场景采用前视感知便可以满足建图需求。对于城区等复杂场景前视难以支持完整的地图重建主要原因是前视感知受视角限制无法对复杂形状的路沿等元素进行描述。此时需要用到BEV感知技术。2云端聚合单趟重建的矢量结果上传到云端之后利用GPS提供的全局定位信息将位于同一区域的单趟地图进行元素级别的匹配关联之后进行图优化完成地图的聚合。聚合之后的地图在区域上更加完整而且具有更高的准确性和鲁棒性。3自动化地图更新成图之后当有新的数据上传时自动化地图更新模块会自动将单趟地图和云端地图进行匹配关联并且判断是否发生变化一旦检测到异常便会触发地图更新系统对地图进行自动更新。众包建图所涉及的元素和高精地图基本一致包含物理层和拓扑层。与高精地图不同的是众包地图可以实现定制化例如可以增加特殊的定位图层也可以通过统计大量的车辆行驶轨迹提供比高精地图更加符合用户习惯的驾驶路线。虽然相较于高精地图众包地图在成图效率和鲜度上有明显优势但众包地图也存在一些挑战1数据一致性问题众包建图涉及大量车辆和设备不同型号车辆传感器选型、安装位置都不相同数据格式和质量也可能不同数据的一致性较差增加了数据处理的复杂性。2算力问题车载算力不足导致车端单趟成图无法处理复杂的场景严重影响了众包建图的自动化程度和性能上限。3车队规模小众包建图的前提是有足够多、分布足够广的车辆以提升建图的效率及鲜度但目前部署中高阶智能驾驶系统的车辆数量偏少无法支持众包建图的正常运转。8.1.3 重感知轻地图高精地图和众包建图都存在各自的局限和挑战一种新的地图模式正在成为主流即“重感知轻地图”模式这种模式逐渐成为行业趋势。在智能驾驶系统中感知提供的实时环境信息和地图提供的先验信息融合之后形成环境模型用于下游的轨迹规划。在自动驾驶发展初期实时感知能力弱高精地图成为实现智能驾驶功能的“拐杖”但高昂的成本和过低的鲜度无法满足智能驾驶的需求这种模式是一种“重地图”的模式。随着BEVTransformer等算法的落地智能驾驶开始进入“轻地图”模式。车端实时感知能力增强对地图的依赖程度降低地图仅需要车道拓扑信息、坡度曲率等关键要素。在未来随着实时感知能力持续提升对地图的依赖程度还会持续下降只需要SD导航地图提供全局导航规划与交通规则、禁入规则等先验信息即所谓的“无图”模式。轻地图意味着自动驾驶系统降低了对高精地图的依赖程度转向以“实时感知”为主要技术路径。地图的“轻”主要体现在两个方面。1更“轻”的地图要素从高精地图到SDPro地图再到SD地图地图元素在逐渐减少。2更“轻”的采集方式从专业采集车为主到记忆行车、众包地图为主。目前行业内尚未统一SDPro、HD Lite、HQ以及S D \mathrm{SD }SD等轻地图的定义表8-1这些概念都可以粗略定义为精度和地图信息数量介于导航地图SDMap和高精地图HDMap之间的一类车载地图这些地图的定位都是为了补充实时感知的不足。以下以SDPro地图作为轻地图的统称。SDPro地图对精度的要求不高一般在米级别地图元素主要侧重地图的拓扑关系如车道数目、车道关联关系以及交通信号灯和地图的绑定关系等仅保留路口等复杂场景处的3D几何信息。这主要是因为对于直行道等简单场景车端感知可以提供准确的道路几何信息但是比较难以获取拓扑信息而在十字路口等场景车端感知受限于视距难以获取完整的3D几何信息需要地图对这些信息进行记忆保存。“重地图”“轻地图”和“无图”模式下地图形式的详细对比见表8-1。对于L2级别的自动驾驶而言“超视距感知要素”如坡度曲率等是SDPro地图的核心要素可以帮助车载智驾系统提前决策判断。对于L 2 \mathrm{L}2L2级自动驾驶而言“道路拓扑结构”是SDPro地图的核心要素可以帮助解决路口博弈、无保护左转等难题。表 8-1 重地图、轻地图和无图模式下的地图形式对比类型导航地图SD MapSD Pro 地图/HQ 地图高精地图HD Map信息级别道路级车道级车道级相对精度10m米级绝对精度0.5m 内 相对精度10~20cm道路信息车道数量、属性信息道路拓扑结构、车道数量、车道线属性虚线、实线、道路限速信息车道数量、颜色、宽度、属性、道路拓扑结构、车道级限速信息道路对应关系模糊道路对应关系如向左前方行驶的提示红绿灯对应的绑路关系停止线、待行区、人行横道、豁口、公交车站、红绿灯位置、各灯对应的绑路关系绿化带、桥墩、栏杆、路沿等静止环境定位对比特征图层写入地图的驾驶规则无推荐变道触发、变道抑制等手写规则的区域触发变道点、变道抑制、功能禁用等手写规则的精准定位点导航指令模糊导航指令模糊的导航指令精确的导航指令图示十字路口结果目前轻地图的实现方式主要有两种一种是记忆行车又称专线模式或者通勤模式另一种是8.1.2小节介绍的众包地图。记忆行车会记忆用户点到点的行驶路线和环境特征保存路线之后系统可以根据这条路线完成点到点的领航辅助驾驶即带路线记忆的LCC。记忆行车是在实时感知能力不足的前提下主机厂想要尽快“去高精地图”实现扩城的退而求其次的选择。记忆行车对用户走过的路线在车端进行多次地图重建从而实现用户常用路段的地图覆盖和天级别的地图更新遍历的次数越多智能驾驶的性能越接近高精地图。车端自建图也存在一些挑战。首先是采集的地图质量低下地图一般需要在动态物体较少的时段完成采集而通勤时段的交通繁忙周围繁杂的车辆会造成严重的遮挡其次该方法难以实现完整的地图重建地图一般需要遍历所有的路口进出车道实现完整的地图覆盖而固定的通勤路段无法覆盖所有车道与路口通行方向导致用户会很明确地体验到地图不完整带来的自动驾驶缺失。此外单车多趟建图仍然在测绘政策的灰色地带无法保证之后的可行性。众包地图是将车辆感知结果上传到云端完成绘制的地图它利用搭载激光雷达、摄像头等传感器的乘用车辆在行驶过程中收集道路感知结果并上传到云端在云端完成地图的构建具体的细节已在8.1.2小节进行了详细介绍本小节不再展开介绍。8.2 视觉定位视觉定位是利用视觉感知结果进行车辆定位的技术。根据是否使用先验地图可将视觉定位技术分为基于地图的定位和轻地图中的定位两类方法。基于地图的定位核心原理是利用视觉感知结果与先验地图进行匹配得到全局定位信息。而轻地图中的定位更侧重相对定位其核心技术是视觉与多传感器融合的里程计技术。下面对这两种方法进行详细介绍。8.2.1 基于地图的定位基于地图的定位主要是利用视觉感知结果和先验地图进行匹配并且结合多传感器融合技术实现车辆的全局定位。视觉感知结果主要分为2D感知即透视视角和BEV感知两种方式。2D感知实现容易对算力要求不高但是只能提供简单的信息例如高速场景的车道线比较适合高速或者城区快速路场景。而BEV感知能够描绘更加复杂的路面元素例如路沿形状为定位提供更多的信息比较适合城区复杂的场景。基于地图的定位用到的先验地图主要是HDMap或者众包地图中的定位图层包括物理层或者关键点图层。图8-6展示了一个典型的利用前视2D图像感知进行定位的方案输入HDMap通过前视图像以及低成本的GPS和轮速计输出高精地图的车辆全局姿态。该方案整体上是一个扩展卡尔曼滤波状态估计器其中观测信息主要是视觉感知结果、GPS提供的全局位置以及轮速计提供的速度具体的数学模型可参考4.3.4和4.3.5小节。前视图像经过感知模块得到车道线、路面离散要素箭头等、灯牌杆等元素同时地图引擎提供的局部地图与感知结果进行匹配形成观测信息。通过最小化两者的偏差获取最优的姿态估计图8-7。在这个过程中比较关键的是感知结果和矢量地图的匹配一种常用的做法是将2D感知结图8-6 基于矢量高精地图和2D前视感知结果定位的具体流程果通过局部的平面假设转换到3D空间之后直接和地图进行匹配。另一种方法是将地图投影回图像进行匹配两者的区别主要在于状态估计的观测方式前者是线性的后者是非线性的。图8-7 2D图像感知结果用于定位前视图像能够提供车道线以及灯牌杆等感知结果用于定位但是由于视野以及矢量提取表达能力的限制只能提供拓扑结构比较简单的元素如平行的车道线等无法处理复杂的拓扑结构例如复杂的路沿等而这些复杂的拓扑结构对于城区场景的定位非常重要。随着BEV感知技术的发展这一问题得到了解决BEV感知输出的矢量结构图8-8用于定位拓宽了视觉定位的场景应用范围。图8-8 BEV感知结果用于定位随着深度学习技术在智能驾驶领域的大规模应用其也被用到定位中。图8-9所示为一种典型的基于BEV感知的定位方法BEV-Locator该方法的输入是周视图像和HDMap其中周视图像经过基础网络提取特征之后再通过Transformer模块转换到BEV空间同时HD Map也通过编码器得到特征层。这两个特征层被送入跨模态的Transformer进行融合最后由一个全连接层MLP输出得到6自由度6-DOF的自车姿态实现自车定位。基于BEV感知的定位充分利用了数据驱动的特性减少了开发的难度能够处理较为复杂的环境比如城市大型路口或GPS信号缺失的情况。基于深度学习的定位方法比较有代表性的还有VLocNetHourglassNet及RelocNet等基于深度学习的定位方法在精度和泛化性上仍然存在较大的提升空间还需不断优化。图8-9 基于BEV感知的定位基于矢量地图的定位方法能够满足大部分智能驾驶场景的需求但是在一些有挑战性的场景如城区十字路口、地库等矢量元素本身就较少提供的约束不足无法提供稳定的定位。为了解决这个问题人们开始尝试利用视觉关键点图层进行定位图8-10。视觉关键点图层一般是通过SFMStructure From Motion算法重建得到的具体的输入图像通过特征提取、特征匹配、三角量测及Bundle Adjustment等过程获得相机的位姿和稀疏的3D点云并且每个点都有两种不同粒度描述子作为唯一识别符一种用于图像级别的检索实现场景识别另一种是关键点级别的匹配用于计算位姿。图8-10 基于视觉关键点的定位图8-11所示为一种基于关键点图层进行定位的算法。该算法中视觉关键点图层通过SFM重建生成其中两种关键点都来自深度学习模型一种关键点用于全局匹配提供图像匹配对另一种关键点用于局部匹配即通过Pnp算法得到全局位姿态这些关键点会被存储起来作为定位图层使用。在进行定位时Query图像送入网络中提取这两种特征点分别经过全局和局部匹配得到该图像的全局位姿态同时结合卡尔曼滤波等多传感器状态估计方法得到高频、连续的全局定位结果。基于关键点的定位非常适合矢量特征较少的区域或GPS丢失的区域但是相较于矢量地图关键点图层存储的数据量较大对存储和检索速度有一定的需求。图8-11 基于检索的全局定位RelocNet算法对关键点图层的定位算法进行了简化整个过程中仍然需要保存图像的特征但是不再保存关键点的特征从而极大地减少了存储量。在进行定位的时候图像的特征会和存储的特征进行最近邻检索检索到的特征一并送入一个网络中输出位姿图8-12。这种方法虽然简单但稳定性和泛化性仍需要提升尚未达到可落地的程度。图8-12 基于显式地图的定位8.2.2 轻地图中的定位在轻地图模式下智能驾驶系统对先验地图的依赖变弱因此不再需要高精度的全局定位与此同时车端实时建图的重要性提升因此对相对定位的精度和鲁棒性有更高的要求。视觉相对定位的核心技术是视觉里程计一般分为滑动窗优化和滤波两种方法。滑动窗优化方法是一种局部的图优化方法它对固定时间内的关键帧姿态、3D点的位置同时进行优化代表性的方法是VINS-Fusion、VINS-Mono和VINS-Mobile。而滤波方法则是基于马尔可夫假设的状态估计方法代表性的方法是MSCKF两者的详细介绍参见4.3.4和4.3.5小节。需要指出的是学术界在进行里程计估计时大都采用视觉关键点而在业界早期的视觉定位受限于端上的算力和场景的限制一般都是采用视觉感知得到的元素如灯牌杆、车道线、路沿、路面箭头等。对于元素较少的场景则没有办法给定位系统提供足够充分的约束导致定位出现偏差。随着车端算力的提升尤其是大算力芯片的出现业界开始采用关键点的方法进行定位用AI芯片实现关键点的提取和匹配以保证特征提取和匹配的效率。关键点的定位方法更加具备通用性能够处理各种复杂的场景。随着深度学习的发展研究者开始采用深度学习的方法直接估计里程计最经典的比例SfMLearner。如图8-13所示SfMLearner由Depth CNN和Pose CNN两个网络构成前者输入单帧图像I t I_{t}It输出单目深度估计D t D_{t}Dt后者输入相邻两帧的图像{ I t − 1 , I t } \{I_{t - 1}, I_{t}\}{It−1,It}输出两帧相邻图像之间的位姿变化T t → t − 1 T_{t\rightarrow t - 1}Tt→t−1。在实际应用时对连续帧帧间的位姿变换进行累积就可以得到视觉里程计。SfMLearner训练的时候采用自监督的方式在推理的时候两个网络独立使用。SfMLearner原理简单也较易实现但是其最大的问题在于精度和泛化性与传统方法相比还有一定的差距。图8-13 SfMLearner算法架构为进一步提升 SFMLEarner 的性能DOCDeep Online Correction算法结合了深度学习和传统方法的优势可以在线对 Pose 进行优化。如图 8-14 所示模型在线推理的时候利用当前帧的光度误差图通过梯度回传直接更新当前帧网络预测的姿态。该方法相比 SFMLEarner 在精度和泛化性上都有大幅度的提升。图8-14 DOC算法架构8.3 业界案例本节将从行车及泊车两个场景介绍目前业界视觉定位和建图的方案。8.3.1 行车场景在行车场景中本节重点介绍 Tesla 的 FSD、Mobileye 的 REM、华为的 RoadMap、地平线的 NaviNet 以及百度的 Apollo 五个业界视觉建图和定位方案。1. TeslaTesla 在 2022 年 AI DAY II 中公布了其视觉建图方案图 8-15该方案采用了众包建图的路线在实现上分为车端单次重建和云端聚合两个模块。Tesla 的车端单趟建图是一个以视觉与多传感器轮速计、IMU、GNSS融合的里程计。神经网络模块对 8 路 Camera 提取特征包括 Keypoints、Polylines、Pano-seg、Ground 等里程计模块通过对这些特征进行跟踪、重建和优化实时输出频率为100 H z 100\mathrm{Hz}100Hz的位姿态、3D 场景结构3D 稀疏点及 3D Polylines 等、路面细节以及传感器的在线标定参数图 8-15。Tesla 的车端单次重建精度可以达到R T E 1.3 % \mathrm{RTE} 1.3\%RTE1.3%R R E 0.14 ∘ / 100 m \mathrm{RRE} 0.14^{\circ} / 100\mathrm{m}RRE0.14∘/100m。单趟重建的结果上传云端进行全局聚合以实现更加完整、精度更高的地图构建。Tesla 的云端聚合分为 Course Alignment、Pairwise Matching、Joint Optimization 以及 Surface Refinement 四个步骤其中 Couse Alignment 主要是利用 GNSS 信息对单趟地图进行粗略对齐Pairwise Mathcing 则是利用几何特征对地图进行更加精细的匹配Joint Optimization 对几何元素和 Pose 进行图优化输出初始的路面 Surface表达为 Mes 形式Surface Refinement 模块利用重投影误差和光度一致性约束对 Surface Mesh 进行进一步优化得到最终的重建结果图 8-16。Tesla 的建图方案是一种轻地图的方案地图形式类似 SD Pro Map地图中更多地保留了拓扑关系。云端建图模块生成的物理层主要是进行标注生成感知模型所需的训练数据。在定位的时候更加侧重相对定位利用端上单趟重建的局部地图为下游规划提供所需要的信息。2. MobileyeMobileye首次在2016年国际消费类电子产品展览会International Consumer Electronics ShowCES上推出其众包建图方案REMRoad Experience Management技术以取代传统的HD Map。如图8-17所示Mobileye REM一共包含五个部分①采集Harvesting通过部署 Mobile 智能驾驶方案的车辆进行道路数据采集并且在车端进行单趟建图②加密上传Anonymizing Encrypting车端采集的数据通过加密和匿名上传到云端③聚合Aggregation云端离线建图算法同步更新区域内的地图④下发Distribute高精地图实时下发到车端⑤定位Localization车端基于高精地图重定位精度大约在10 c m 10\mathrm{cm}10cm范围内。Mobileye 是在业界最早提出视觉众包建图技术的方案商但是其方案仍然是重地图的模式依赖地图先验信息进行定位和轨迹规划众包地图的元素和使用方式基本与 HDMap 一致只是重建的方式发生变化。图8-15 Tesla车端单次重建示例图片来源Tesla AI DAY 2022图8-16 Tesla云端全局聚合图片来源Tesla AI DAY图8-17Mobileye的REM建图方案图片来源www-mobileye.com3. 华为图8-18所示为华为RoadMap整体架构分为三部分车端数据采集和处理、云端数据收集和地图制作以及车端地图播放。在数据采集与处理上RoadMap采用了视觉和Lidar数据利用视觉感知方案获取语义信息利用Lidar获取准确的测距信息从而保证车端建图的准确性。与MobileyeREM在车端重建矢量地图不同RoadMap重建的是简单的语义点云地图车道线、斑马线、地面标识等如图8-19所示对点云进行压缩之后上传到云端进行优化得到完整的点云地图。之后在点云地图上依次进行车道线检测、十字路/停止线/交叉线检测、拓扑图生成最终得到矢量元素和拓扑关系图8-20。图8-18 华为RoadMap整体架构图8-19 华为RoadMap车端数据处理图8-20 华为RoadMap云端众包数据收集红色众包采集过的道路云端构图完成后其他车辆经过该地图覆盖的区域后便可以下载该轻量化的语义地图进行导航和定位图8-21。定位和之前车端数据处理一样提取前视相机的语义特征通过和下载的语义地图进行匹配匹配结果作为状态估计的观测最终得到当前车辆的位姿。图8-21 华为RoadMap云端地图生产4. 百度作为国内的主要图商之一百度高精地图主要采用采集建图的模式进行这在8.1.1节中已经进行了详细介绍。这里主要介绍百度Apollo定位方案。如图8-22所示Apollo视觉定位方案是基于地图的定位和业界大多数方案商基本一致主要包含3D特征地图获取、图像特征检测、特征匹配定位以及定位数据融合等几个部分。给定初始全局Pose可由GPS提供后地图引擎提供当前的局部地图作为3D特征地图同时深度学习模块从输入的图像中提取特征。图像特征和3D地图特征进行匹配结果作为观测输入到融合模块中进行多传感器融合得到最终的定位结果。8.3.2 泊车场景泊车场景下的定位和建图与行车场景主要有以下不同1泊车场景缺少GNSS信号没有全局定位信息。2对定位的精度要求更高通常需要达到厘米级别才能满足泊车的需求。3场景光照条件较弱、重复结构多、重定位的挑战性大。解决这些问题的关键在于建图时设计特殊的定位图层例如关键点图层。此外一些有激光雷达的量产车辆也会采用Lidar进行建图和定位以保证高精度的定位。图8-22 百度Apollo定位方案泊车场景的建图有两种方式一种是采集车的方式利用高精度的传感器进行重建类似于行车场景下的高精地图重建另一种是记忆泊车模式采用车辆上的传感器进行建图该模式只对特定路线的地图进行重建图8-23。在定位时主要采用匹配定位的方式另外需要增加关键点或者点云图层的重定位模块以应对定位失败后的功能重启。本小节中我们主要介绍业界泊车场景的视觉建图定位方案。图8-23 地库泊车定位图片来源AVP-SLAM1. 小鹏小鹏在2021年6月推出VPAValet Parking Assist停车场记忆泊车功能图8-24该功能主要通过“语义地图 匹配算法”的方式实现。建图阶段通过量产车采集和识别泊车场景的环境元素结合IMU和轮速计实现单趟路线的矢量建图。在运行VPA时通过实时的感知结果与地图进行匹配对车辆进行全局定位实现路径规划从而让车辆准确复现记忆的路线。VPA功能会自动检测车辆进地库和出地库的动作从而准确开启泊车场景的定位程序并在整个泊车过程中保持准确定位。图8-24 小鹏的VPA记忆泊车图片来源https://bbs.xiaopeng.com2. 华为华为ADS2.0中的代客泊车技术能够实现室外到室内不同楼层间的自主泊车功能图8-25实现的过程是先建图之后利用地图进行定位。与其他方案商不同ADS2.0使用了激光雷达进行建图和定位。地图中除了矢量图层之外还包含点云图层在定位时激光雷达和点云图层进行匹配实现更高精度的定位同时也能够适应暗光、弱纹理等视觉容易退化的环境。图8-25 华为ADS2.0代客泊车功能图片来源华为3. 大疆大疆泊车解决方案可以实现在0 ∼ 30 k m / h 0 \sim 30 \mathrm{~km} / \mathrm{h}0∼30km/h的速度范围内辅助驾驶员或完全自主代客泊车并且支持在室内、室外、露天或封闭停车场泊车和远距离自主召唤功能。与小鹏的方案类似大疆的方案采用了视觉建图和定位的方案在建图时利用车端感知系统提供的元素结合 IMU 和轮速计进行矢量地图构建在定位时则采用地图匹配的方式结合多传感器状态估计实现图 8-26。图8-26 大疆智能泊车传感器布局方案图片来源https://auto.dji.com