微型飞行器的计算机视觉Friedrich Fraundorfer奥地利格拉茨科技大学计算机图形与视觉研究所3.1 简介本章讨论了计算机视觉在微型飞行器（MAV）控制方面的最新进展。MAV通常表示如多旋翼直升机一类的小型无人机，例如四旋翼直升机。图3.1所示为配备数码摄像机进行控制和三维建图的MAV。图3.1 装有数码摄像机的用于控制和环境建图的微型飞行器（MAV）。所描述的 MAV 是在 SFLY 项目中开发的（Scaramuzza 等，2014）MAV有很大的潜力用于各种应用，例如，搜索和救援场景、监视、工业检查、配送服务等。MAV可以携带多种传感器，不过有严格的重量限制。几乎所有类型的MAV都能携带数码摄像机，这使得它们有可能拍摄空中图像，或者，一般来说，从无法到达的有利位置拍摄图像。这种功能已经支持了大量的应用。然而，驾驶MAV需要大量的训练，需要飞行员的持续关注。它还要求MAV在视线范围内工作。这些限制可以通过一个自动驾驶系统来克服，其主要任务是保持MAV在一个点上悬停。在室外环境中，这可以通过GPS来实现；然而，MAV在室内操作不能依赖 GPS，需要为自动驾驶系统更换传感器。最近，机载摄像机已成功应用于这样的自动驾驶系统。计算机视觉算法从摄像机图像中计算出微型飞行器的自我运动，在大多数情况下，这些测量值与惯性测量单元的测量值融合在一起，用于控制回路使微型飞行器悬停。为了取得这些成果，必须克服一些严重的挑战：1）图像处理的机载处理能力有限。2）对于控制来说，高帧率是必要的。3）高可靠性。4）单一摄像机的自我运动估计无法测量度量尺度。一个主要的观点是，融合惯性测量单元（IMU）和基于摄像机的测量允许鲁棒和有效的自我运动估计算法。除了自我运动估计，摄像机图像也可以用于环境感知和解释。从摄像机图像中，可以计算出环境的3D地图，用于自主导航和探索。能够在3D中绘制环境地图实现无碰撞导航，这是MAV自主运行的先决条件。接下来，介绍和讨论了用于MAV控制、3D制图、自主导航和场景解释的计算机视觉方法。在许多出版物中，从杂技表演到快速和动态巧妙的操作，MAV惊人的飞行性能已经被展示（Mellinger等，2011，2010；Michael等，2010；Mueller等，2011；Schoellig等，2010）。然而，到目前为止，这些令人印象深刻的性能只能在一个特殊的区域内进行（Lupashin等，2011；Michael等，2010），在这个区域内，跟踪系统（通常是摄像机观察MAV的标记）从外部计算MAV的准确位置和方向。带有机载传感器的系统远远达不到这些性能参数。当然，使用机载传感器的MAV控制是一个需要深入研究的领域，其目标是通过机载传感器实现上述功能。这项研究不仅局限于作为机载传感器的数码摄像机，还包括激光测距仪、深度摄像机或不同传感器的组合（Achtelik等，2009，2011；Ahrens等，2009；Bachrach等，2009；Bills等，2011；Bloesch等，2010；Eberli等，2011；Engel等，2014；Forster等，2014；Grzonka等，2012；Herisse等，2008；Hrabar等，2005；Klose等，2010；Loianno和Kumar，2014；Nieuwenhuisen等，2015；Shen等，2011、2012及2013；Yang等，2014；Zingg等，2010；Zufferey和Floreano，2006）。3.2 系统和传感器本节简要介绍了 MAV 的系统设计和传感器。所描述的系统设计来自 Pixhawk MAV 平台（Meier 等，2012），但它是许多其他 MAV 平台的典范（Achtelik 等，2011；Scaramuzza 等，2014；Schmid 等，2014）。系统设计如图 3.2 所示，一个主要的特点是存在一个用于飞行控制的低级处理单元和一个用于图像处理和高级任务（例如，路径规划）的高级处理单元。低级处理单元的主要任务是状态估计和状态控制。状态估计必须以高的更新速率运行，并以 IMU、数字罗盘和可视姿态的测量作为输入。姿态控制器使用这些测量来控制电机。状态估计和控制必须实时运行，因此，它是直接在微控制器上实现的。关于低级控制过程的详细信息可以在Bouabdallah等（2004）和Mahony等（2012）的研究中找到。然而，图像处理和高级任务需要强大的机载计算机；因此，MAV也配备了一个标准的，但规模较小的Linux计算机。这些计算机在MAV上运行图像处理、视觉定位、障碍物检测、绘图和路径规划。视觉定位模块计算出 MAV 的 6 自由度姿态。将视觉位姿反馈给状态估计器进行位置控制。立体处理模块从前向立体像对中计算实时视差图，这些视差图用于视觉定位模块和地图模块。MAV的最小传感器组包括由三轴加速度计和三轴陀螺仪组成的IMU。这种IMU可以跟踪用于姿态控制的MAV的姿态。数字罗盘和气压传感器通常用于保持恒定的航向和恒定的高度。对于自动悬停和任何类型的自动导航所必需的位置控制，一个能够实现完整6自由度姿态测量的传感器是必要的，在这种情况下可以使用数码摄像机来解决这个问题。图3.2 以立体系统和光流摄像机为主要传感器的自主Pixhawk MAV平台系统框图3.3 自我运动估计在大多数方法中，自我运动估计是通过融合来自IMU的信息和类似于Scar-amuzza等（2014）的视觉测量来实现的。通过传感器融合，可以在较高的更新速率下可靠地计算出飞行器的姿态。视觉测量在这个过程中是必不可少的，因为惯性测量的积分会积累大量的漂移。3.3.1 利用惯性和视觉测量进行状态估计状态估计是一种使用扩展卡尔曼滤波器（EKF）融合惯性和视觉测量的滤波方法。状态估计器的输入是IMU的陀螺仪和加速度计在高更新速率下的转速和加速度，以及在低更新速率下的摄像机姿态。状态估计工作流程如图3.3所示。摄像机姿态由3个转动参数和3个平移参数组成的6自由度变换来表示，需要包含测量的不确定性。图3.3 松耦合视觉-惯性融合状态估计工作流程根据视觉位姿估计器（单眼、立体视觉），摄像机的位姿可能包含一个未知的比例因子。IMU 的测量包括 3 个转速参数和 3 个加速度参数。EKF 的状态包括车辆姿态、比例因子和 IMU 的偏差。对于状态估计，使用高速率 IMU 测量，车辆状态可以及时地向前传播。当视觉测量可用（以较低的更新速率）时，使用视觉姿态执行 EKF 更新步骤。3.3.1.1 传感器模型车辆位姿由IMU在世界坐标系中的位姿表示。摄像机传感器是通过旋转和平移来获得IMU坐标系的偏移量。这种转换可以通过校准步骤进行计算，也可以包含在状态估计中。图3.4展示了不同的坐标系。IMU测量每个三轴ωm\omega_{\mathrm{m}}ωm周围的角速度和每个三轴ama_{m}am上的加速度。这些测量受到噪声的干扰，并带有偏差。真正的角速度系统用ω\omegaω和真正的加速度aaa表示ω=ωm−bω−nω(3.1) \omega = \omega_ {m} - b _ {\omega} - n _ {\omega} \tag {3.1}ω=ωm−bω−nω(3.1)a=am−ba−na(3.2) a = a _ {m} - b _ {a} - n _ {a} \tag {3.2}a=am−ba−na(3.2)式中，bωb_{\omega}bω和bab_{a}ba分别是角速度和加速度的偏差，这些偏差是非静态的，包含在待估计的状态中；nωn_{\omega}nω和nan_{a}na是建模为加性高斯白噪声的噪声参数，通常可以从传感器数据表中获取。3.3.1.2 状态表示和EKF滤波车辆状态包含以下重要的参数x={ pwi,vwi,qwi,bw,ba,λ,pic,qic}(3.3) x = \left\{p _ {w} ^ {i}, v _ {w} ^ {i}, q _ {w} ^ {i}, b _ {w}, b _ {a}, \lambda , p _ {i} ^ {c}, q _ {i} ^ {c} \right\} \tag {3.3}x={pwi,vwi,qwi,bw,ba,λ,pic,qic}(3.3)图3.4 视觉-惯性状态估计所涉及的坐标系示意图式中，pwip_w^ipwi是车辆在世界坐标系中的位置（IMU的位置），它包含三个参数(x,y,z)(x, y, z)(x,y,z)；vwiv_w^ivw