3.1 图像处理基础图像处理是视觉感知系统的底层支撑主要解决“如何获得可信、可计算的视觉数据”这一核心问题。本节从成像原理出发介绍数字图像的表示方式与基本处理流程重点围绕相机模型、成像几何以及标定与校正等关键技术展开为后续的目标检测、分割与三维理解建立统一、精确的视觉坐标基础是从像素走向高层语义的第一步。3.1.1 相机模型与标定相机模型用于描述三维世界中的点如何通过光学成像过程投影到二维图像平面是计算机视觉中最基础、也是最核心的几何模型之一。准确的相机模型不仅决定了图像与真实世界之间的空间映射关系还直接影响目标定位、三维重建、SLAM 与机器人视觉等任务的精度。1. 相机成像模型在实际应用中最常用的是针孔相机模型Pinhole Camera Model。该模型假设光线通过一个理想的小孔投影到成像平面其核心思想是透视投影关系。三维空间点在世界坐标系下经过一系列坐标变换最终映射为图像中的二维像素点。1成像过程相机成像模型的成像过程通常经历以下坐标系转换世界坐标系→相机坐标系→成像平面坐标系→像素坐标系。其中世界坐标系描述物体在真实环境中的位置相机坐标系以相机光心为原点成像平面坐标系反映理想投影位置像素坐标系则与图像分辨率和像素排列方式相关。2针孔相机模型的数学表达具象化数学模型在理想情况下相机成像可抽象为针孔相机模型。三维空间点Pw(Xw,Yw,Zw,1)T在世界坐标系中经由相机外参变换到相机坐标系PcRt01Pw其中R∈R3×3旋转矩阵t∈R3×1平移向量随后三维点通过透视投影映射到像素平面其齐次坐标形式为suv1KRtXwYwZw1其中s为尺度因子uv为像素坐标。2. 相机内参与外参相机模型中的参数通常分为内参Intrinsic Parameters和外参Extrinsic Parameters两类。1内参描述相机自身的成像特性包括焦距、主点位置以及像素尺度因子等决定了三维点如何投影到图像平面。内参矩阵反映的是相机“怎么看世界”。内参决定了相机如何看世界在数学中通过内参矩阵描述相机自身的成像属性其标准形式为Kfdx0u00fdyv0001其中f相机焦距dx,dy像素在x/y方向上的物理尺寸u0v0主点坐标光轴与像素平面的交点。2外参描述相机在世界坐标系中的位置与姿态通常由旋转矩阵和平移向量组成用于刻画相机“站在世界的哪里、朝向哪里”。R相机姿态朝向t相机位置。外参决定了“相机站在世界的哪里、朝向哪里”。总之内参和外参共同构成完整的投影模型使得三维空间点可以被精确映射到二维图像中。3. 相机标定的意义在实际系统中相机的内参与外参往往未知或存在偏差因此需要通过相机标定Camera Calibration进行估计。相机标定的目标是利用已知几何结构的标定物如棋盘格、圆点阵列通过多幅图像反向求解相机参数从而建立准确的成像模型。高质量的标定结果是畸变矫正、三维测量、视觉定位等任务的前提一旦标定不准后续算法即使再复杂也难以获得可靠结果。4. 面向人形机器人的外参动态性问题在传统静态视觉系统中相机外参通常被视为固定参数而在人形机器人场景中外参具有显著的动态性1头部转动与行走扰动相机通常安装在机器人头部随颈部关节转动行走过程中还会受到振动与姿态变化影响。2IMU融合更新外参实际系统中外参需结合IMU、关节编码器数据实时更新RcamworldRimuworld⋅Rcamimu3对感知任务的影响外参更新不及时会直接导致下面的问题地面高度估计偏差障碍物距离判断错误抓取目标空间定位失准。5. 标定基本流程典型的相机标定流程包括1采集多角度、多位置的标定板图像2提取稳定、精确的特征点如棋盘格角点3建立二维像素点与三维世界点之间的对应关系4通过优化方法求解相机内参和外参5评估重投影误差验证标定精度。这一过程本质上是一个非线性优化问题目标是最小化理论投影点与实际观测点之间的误差。6. 工程实践中的注意事项在真实应用中相机标定应尽量覆盖相机视场的不同区域避免只在局部区域采样同时需要保证标定板的平整性与特征点检测精度。对于多相机系统还需进行外参一致性标定以保证各相机之间的空间关系准确可靠。总之通过建立精确的相机模型与标定结果视觉系统才能实现从二维像素到三维空间、再到高层语义理解的可靠映射。3.1.2 畸变矫正在理想针孔相机模型中空间直线在图像中仍应保持为直线但在真实相机系统中由于镜头结构、制造工艺及装配误差等因素成像往往会产生不同程度的几何畸变。畸变若不加以处理将直接破坏相机模型的准确性使前一节建立的投影关系失效。因此畸变矫正是相机标定之后、所有高层视觉算法之前必须完成的关键步骤在人形机器人视觉系统中尤为重要。1. 畸变的类型与成因实际工程中最常见的畸变主要包括以下两类。1径向畸变Radial Distortion径向畸变由镜头曲率引起随着像素点到主点距离的增大而加剧表现为图像“鼓起”或“内缩”常见形式包括桶形畸变图像向外膨胀广角镜头中较为常见枕形畸变图像向内收缩多见于长焦镜头。2切向畸变Tangential Distortion切向畸变主要由镜头与成像平面不完全平行、光轴偏移等装配误差造成表现为图像局部拉伸或倾斜常出现在低成本或长期使用的相机系统中。2. 畸变的数学模型具象化表达在畸变建模中通常先将像素坐标归一化到相机坐标系下xXZ,yYZ令r2x2y21径向畸变模型径向畸变常用多项式模型表示xradx1k1r2k2r4k3r6yrady1k1r2k2r4k3r6其中k1,k2,k3为径向畸变系数。2切向畸变模型xtan2p1xyp2(r22x2)ytanp1(r22y2)2p2xy其中p1,p2为切向畸变系数。3完整畸变模型xdxradxtanydyradytan该模型将理想点映射为畸变后的观测点。3. 畸变参数的获取方式畸变参数通常在相机标定过程中与内参、外参同时求解。以张正友标定法为例通过多幅棋盘格图像利用非线性优化方法使投影点与实际观测点的重投影误差最小从而联合估计KRtk1k2k3p1p2在工程实践中常用的畸变参数配置包括普通镜头k1,k2,p1,p2广角或鱼眼镜头增加k3或采用专用鱼眼模型。4. 畸变矫正的基本流程畸变矫正的核心思想是根据畸变模型将畸变图像中的像素点反向映射到理想成像平面。其典型流程如下1使用标定结果获取内参矩阵与畸变系数2将像素坐标转换为归一化相机坐标3根据畸变模型进行反向映射计算4通过插值方法生成矫正后的图像。在具体实现层面通常采用查找表LUT或映射矩阵以满足实时性要求。5. 人形机器人场景下的畸变矫正要点1对距离估计的影响畸变未矫正会导致边缘区域目标位置明显偏移使机器人在抓取或避障时出现距离误判。2对多传感器融合的影响在“视觉–IMU”或“视觉–激光雷达”融合中畸变会破坏不同传感器之间的几何一致性。3实时性与计算代价人形机器人需在嵌入式算力平台上运行通常在系统初始化阶段预计算畸变映射表以降低在线计算开销。4长期运行稳定性镜头老化或结构微变可能引起畸变参数漂移必要时需重新标定或在线微调。6. 工程实践建议标定时应尽量覆盖图像边缘区域以准确估计径向畸变对广角与鱼眼相机优先采用专用畸变模型对关键任务抓取、行走、操作应在矫正后的图像坐标系中完成几何计算定期评估畸变矫正前后的重投影误差变化作为系统健康度指标。总之畸变矫正是连接理想数学模型与真实成像系统的“校准桥梁”。只有在消除镜头畸变影响后视觉系统才能保证几何一致性和空间精度为人形机器人后续的目标检测、三维感知与动作执行提供可靠输入。