1. 从“单词”到“视觉单词”DBoW如何让机器人看懂世界想象一下你走进一个巨大的图书馆里面摆满了你从未读过的书。现在我需要你快速找到一本和《哈利·波特与魔法石》内容最相似的书。你不可能一页一页去读最聪明的办法是什么你会先看看书名、目录或者快速翻看几页找找有没有“魔法学校”、“魔杖”、“咒语”这些标志性的关键词。如果另一本书里也频繁出现这些词那它很可能就是你要找的奇幻冒险故事。DBoWBag of Words词袋模型在视觉SLAM同步定位与地图构建里干的就是这么一件事它教机器人如何快速“看懂”一张图片并用一套“视觉关键词”来概括它从而在成千上万张历史图片中迅速找到“似曾相识”的那一张。这个过程我们称之为回环检测是SLAM系统知道自己是否回到了曾经到过的地方、从而修正累积误差的关键。你可能觉得这很玄乎但它的思想源头其实特别朴素就来自我们处理文本的老办法。在文本分析里“词袋模型”会把一篇文章或一句话无视语法和语序简单地看作一堆单词的集合。比如“我爱吃苹果”和“苹果很好吃我爱”在词袋模型眼里核心都是“我”、“爱”、“吃”、“苹果”这几个词的组合因此它们被认为是相似的。那么怎么把处理文字的方法用到处理图像上呢核心就在于找到图像的“单词”。对于文本单词是现成的对于图像我们需要自己制造“视觉单词”。这通常分两步走第一步从图像中提取大量局部特征比如用ORB、SIFT这类算法得到的特征描述子。你可以把这些描述子想象成图像上一个个独特“兴趣点”的“身份证”每个“身份证”是一串数字比如256位的二进制串。第二步我们需要一个庞大的“视觉词典”里面定义了成千上万个标准的“视觉单词”。每个新提取的描述子都会去这个词典里找到和它最像的那个“单词”作为自己的代表。最终一张图片就被表示成了一个由这些视觉单词构成的“词袋”。这样一来复杂的图像匹配问题就转化成了相对简单的单词统计和比对问题。机器人不需要记住每一张图片完整的像素信息只需要记住它的“视觉单词摘要”。当它来到一个新地方提取当前图像的单词摘要然后去和历史摘要库关键帧库里快速翻找看看有没有单词构成高度相似的“摘要”。如果有那很可能就是回到了老地方。这个思路听起来简单但在工程实践中如何高效地创建拥有数万甚至数十万单词的视觉词典又如何实现毫秒级的快速查找就是DBoW模型大显身手的地方了。接下来我们就深入它的核心看看这棵神奇的“词汇树”是如何构建和工作的。2. 构建视觉词典一棵枝繁叶茂的“词汇树”直接维护一个包含十万个“视觉单词”的扁平化列表无论是创建还是查找效率都会低得可怕。这就好比你的词典不是按拼音或偏旁部首排序而是胡乱堆在一起找任何一个字都得从头翻到尾。DBoW的聪明之处在于它用了一种非常高效的数据结构——k叉树通常是k10也就是“词汇树”来组织它的视觉词典。这棵树不是凭空想象的而是通过机器学习中的聚类方法“训练”出来的。2.1 词汇树的训练从“大杂烩”到“精细分类”训练一棵词汇树就像是在给海量的图像特征描述子建立一个多级分类体系。我来打个比方假设我们收集了来自各种场景城市、森林、室内、海滩的100万个ORB特征描述子我们的目标是创建一棵深度为L5、分支数K10的树最终会有 K^L 10^5 100,000个叶子节点即10万个视觉单词。训练过程是这样的树根第0层我们把100万个描述子全部放在根节点。这是一个巨大的“大杂烩”。第一层分类第1层我们对根节点下的这100万个描述子运行K-means聚类算法目标是将其分成K10类。聚类完成后我们就得到了10个“聚类中心”每个中心可以看作是对某一类描述子的抽象。这10个中心就成为了根节点的10个子节点。现在每个描述子根据它与哪个聚类中心最相似被分配到这10个子节点中的一个。比如节点1可能主要包含来自“建筑角点”的描述子节点2主要包含“树叶纹理”的描述子。逐层细化第2层到第L层我们重复上述过程。对于第一层的每一个节点比如那个“建筑角点”节点我们对其下属的所有描述子可能有几万个再次进行K10的聚类。这样每个第一层节点又衍生出10个子节点树就长到了第二层。第二层的节点对特征的分类更加精细比如“建筑角点”节点下可能又分出了“窗户角点”、“门框角点”、“砖缝”等更细的类别。到达叶子第L层这个过程一直持续到我们设定的深度L比如5层。当到达第L层时我们就不再继续分裂了。这一层的每一个节点就是一个视觉单词Visual Word。该节点在最后一次聚类中计算出的聚类中心就是这个单词的“标准模样”。由于树是K叉、深度L所以最终我们会得到 K^L 个叶子节点即 K^L 个视觉单词。训练完成后我们保存这棵树的结构以及每一个节点尤其是叶子节点的聚类中心向量。至于当初用来训练的那100万个原始描述子就可以丢掉了。我们得到的是一个具有强大归纳和分类能力的“视觉词典”框架。任何新的、从未见过的图像特征描述子都可以通过这棵树被分类到某一个具体的视觉单词下。2.2 逆向文件频率IDF给单词加上“含金量”标签在文本处理中像“的”、“是”、“在”这样的词几乎每篇文章都有它们虽然出现频繁但区分不同文章的价值极低。相反“黑洞”、“量子”、“基因组”这类词一旦出现就能强烈暗示文章的主题。在视觉词典里也一样有些视觉单词比如某些非常普通的边缘或斑点会出现在几乎每一张图像里而有些单词比如一个特定商标的图案、一个独特的雕塑纹理则只会在少数特定场景出现。DBoW通过引入TF-IDF权重来量化每个视觉单词的重要性。其中最关键的是逆向文件频率IDF。它的计算思路是如果一个单词在词典的所有图像或关键帧中出现的频率很高即很多图像都包含它那么它的IDF值就低权重小反之如果一个单词很罕见只出现在少数图像中那么它的IDF值就高权重大。在SLAM系统运行过程中我们会用所有关键帧的图像来持续更新这个IDF权重。具体来说系统会统计每个视觉单词在总的关键帧中出现的频率。一个单词出现的帧数越多它的区分度就越低其IDF权重就会被调低。这样当用词袋向量表示一张图像时那些罕见的、具有高区分度的视觉单词会贡献更大的分值使得图像匹配更加准确。这就像在图书馆找书时“魔法”这个词可能很多书都有但“魂器”这个词一旦出现就能极大地缩小范围到《哈利·波特》系列。3. 图像如何变成“词袋”描述子的快速“查字典”流程现在我们有了训练好的词汇树视觉词典和每个单词的IDF权重。当机器人看到一张新图片时它需要快速将这张图片转换成DBoW能理解的格式——一个加权词袋向量。这个过程非常快是回环检测实时性的保证。假设我们对当前图像提取了N个ORB特征点每个点对应一个256位的二进制描述子。对于每一个描述子我们执行以下“查字典”操作从词汇树的根节点开始。将当前描述子与当前节点的所有K个子节点的聚类中心进行比较计算汉明距离或欧氏距离。选择距离最近的那个子节点进入该节点。重复步骤2和3直到到达叶子节点。这个叶子节点所代表的视觉单词就是当前描述子所对应的单词。遍历完图像中所有的N个描述子后我们就得到了一个包含多个视觉单词的集合。但直接记录集合效率不高DBoW将其表示为一个稀疏的向量——词袋向量BowVector。这个向量的长度等于视觉词典的大小即叶子节点总数例如10万。向量中每个视觉单词对应一个位置。如果该单词在图像中出现了其位置的值就不是简单的计数1而是该单词的TF-IDF权重。具体计算是单词权重 TF * IDF。其中TF词频该单词在当前图像中出现的次数除以当前图像的总单词数即N进行归一化。这代表了该单词对这张图片的“代表性”。IDF逆向文件频率如前所述从训练或在线更新的词典中获取代表了该单词在整个环境中的“稀缺性”或“区分度”。最终一张复杂的图像就被压缩成了一个高维稀疏向量。这个向量不仅包含了图像中有哪些视觉特征单词还通过权重告诉系统哪些特征更重要。两张内容相似的图片它们的词袋向量在那些高权重的单词上会有很高的重合度。在实际代码中例如DBoW2库你会看到BowVector本质上是一个std::mapWordId, WordValue键是单词ID值就是计算好的TF-IDF权重。4. 实战核心DBoW在视觉SLAM中的两大杀手锏应用理解了原理和表示方法我们来看看DBoW在ORB-SLAM这类经典视觉SLAM系统中到底扮演什么角色。它的作用绝不仅仅是“锦上添花”而是关系到系统能否稳定运行的关键模块。4.1 高效回环检测在历史中寻找“似曾相识”这是DBoW最广为人知的应用。SLAM系统在长时间、大范围运行时由于传感器噪声和计算误差其估计的机器人轨迹和构建的地图会产生漂移就像你蒙着眼睛走路走得越久偏差越大。回环检测就是让系统认出曾经到过的地方从而提供一个强约束来校正这些累积误差。传统方法的困境如果没有DBoW想做回环检测你可能需要把当前帧和之前所有的关键帧逐一进行特征匹配。假设有1000个历史关键帧每帧有1000个特征点那就是百万量级的匹配计算根本无法实时。DBoW的解决方案离线准备系统在运行过程中会为每一个新加入的关键帧计算其词袋向量BowVector并存入一个数据库。在线查询当新的一帧图像到来时不一定是关键帧可能是普通帧系统同样计算它的词袋向量。快速粗筛选系统不会去和所有历史关键帧比较而是利用词袋向量进行快速相似度计算。DBoW库提供了高效的score函数通过比较两个BowVector的L1范数或L2范数可以快速得到一个相似性分数。这个过程非常快因为它只涉及稀疏向量的运算。生成候选帧系统会取出与当前帧相似度分数最高的若干帧例如前10名作为回环检测的候选帧。这一步就从上万次的暴力匹配降低到了几十次向量内积运算。几何验证粗筛选出的候选帧未必是真的回环。DBoW只负责“提名”最终“裁决”需要更严格的几何验证。通常系统会对当前帧和每一个候选帧进行直接的特征匹配然后使用RANSAC算法估计两帧之间的运动变换本质矩阵或单应矩阵。如果匹配点数量足够多且估计出的运动在物理上合理比如没有巨大的尺度差异才最终确认这是一个有效的回环。我在实际项目中调试ORB-SLAM2时就深刻体会到DBoW这一步粗筛选的重要性。它像一个高效的“预筛选器”排除了99%以上不相关的帧让后续计算量巨大的几何验证只需在极少数候选帧上进行从而保证了整个回环检测模块的实时性。关闭DBoW的回环检测系统在大场景下几乎无法可靠运行。4.2 加速特征匹配从“大海捞针”到“按图索骥”除了回环检测DBoW还有一个经常被忽略但同样重要的功能加速帧与帧之间的特征匹配。在视觉SLAM的跟踪线程中我们需要将当前帧的特征点与局部地图点进行匹配或者与参考关键帧进行匹配。局部地图里可能有成千上万个地图点每个点都有对应的特征描述子暴力匹配的代价依然很高。DBoW的词汇树在这里可以作为一个分级索引。还记得吗每个特征描述子在转化为视觉单词的过程中它从根节点到叶子节点的路径是唯一的。这条路径上的每一个中间节点都可以看作是对该描述子所属类别的一次粗划分。加速匹配的策略如下 假设我们要为当前帧的一个特征点Fa在包含1000个描述子的集合S中寻找最匹配的那个。普通暴力匹配需要将Fa与集合S中的1000个描述子逐一计算距离。利用词汇树的匹配首先对Fa进行“查字典”得到它对应的视觉单词Word_a同时我们也记录下它从根节点到Word_a所经过的路径比如经过了节点Node1, Node3, Node5。我们知道与Fa最相似的特征点极有可能和它属于同一个视觉单词或者至少属于同一个父节点下的兄弟单词。因此我们不需要搜索整个集合S。我们可以只搜索那些也被分配到Word_a的描述子或者更进一步搜索那些被分配到Word_a的父节点Node5下的所有单词的描述子。这样搜索范围就从1000个急剧缩小到了可能只有几十个。在这个大大缩小了的候选集合里进行最近邻搜索速度会快上几个数量级。在ORB-SLAM2的代码中你可以看到在ORBmatcher::SearchByBoW这个函数里就利用了词袋信息来加速两帧之间的特征匹配。它通过比对两帧图像的词袋向量只对那些拥有相同视觉单词的特征点尝试进行匹配避免了无谓的计算。实测下来在特征点数量较多时这种方法的匹配速度比暴力匹配快5-10倍而且准确率并不下降因为不同单词下的特征点本来就不相似强行匹配反而会引入噪声。5. 工程实践在ROS中集成与使用DBoW3理论说得再多不如动手跑一跑。DBoW的作者提供了非常优秀的开源库DBoW3它是DBoW2的改进版更容易集成和使用。下面我以在Ubuntu系统和ROS环境下为例带你走一遍从安装、训练词典到实际使用的核心流程。5.1 安装与词汇训练首先我们需要从源码编译安装DBoW3库。它依赖OpenCV和Boost通常系统里都有。# 1. 克隆代码 cd ~/your_workspace/src git clone https://github.com/rmsalinas/DBow3.git cd DBow3 # 2. 创建编译目录并编译 mkdir build cd build cmake .. make -j4 # 使用4个核心并行编译 # 3. 安装到系统可选方便后续链接 sudo make install安装完成后最关键的一步是训练你自己的视觉词典。虽然DBoW3自带了一个基于ORB特征的通用小词典但对于你的特定场景比如室内办公环境、城市道路、无人机航拍自己训练一个词典会极大提升回环检测的准确率。训练需要你准备一个具有代表性的图像数据集。这些图像应该覆盖你机器人可能遇到的各种视觉元素。# 假设我们已经将DBoW3的example工具编译好了 cd ~/your_workspace/src/DBow3/build/example/tools # 准备一个存有大量训练图片的文件夹路径例如 /path/to/your/image_dataset/ # 以及一个输出词典文件的路径例如 my_vocabulary.yml.gz ./create_vocabulary /path/to/your/image_dataset/ my_vocabulary.yml.gz这个create_vocabulary程序会遍历你数据集中的所有图片提取ORB特征然后用这些特征按照我们第二章讲的方法训练一棵词汇树。在命令行中你通常需要指定一些关键参数比如词汇树的分支数-k和深度-L。例如-k 10 -L 5会创建一个10叉5层包含10^5100,000个单词的词典。更大的K和L意味着更精细的单词分类但也会增加内存占用和训练时间。对于大多数室内外场景k10, L5或k10, L6是一个不错的起点。5.2 在C项目中加载与使用词典训练好后我们就可以在SLAM项目中加载并使用它了。下面是一个高度简化的示例展示了核心步骤#include DBoW3/DBoW3.h #include opencv2/opencv.hpp #include vector int main() { // 1. 加载训练好的词典 DBoW3::Vocabulary vocab; const std::string vocab_file my_vocabulary.yml.gz; if (!vocab.load(vocab_file)) { std::cerr 无法加载词典文件: vocab_file std::endl; return -1; } std::cout 词典加载成功共有 vocab.size() 个视觉单词。 std::endl; // 2. 创建数据库用于存储关键帧的词袋向量 DBoW3::Database db(vocab, false, 0); // 参数使用词典不启用直接索引层数0 // 3. 模拟处理图像提取特征并转换为词袋向量 cv::Mat image cv::imread(current_frame.jpg, cv::IMREAD_GRAYSCALE); std::vectorcv::KeyPoint keypoints; cv::Mat descriptors; // 使用ORB特征提取器 cv::Ptrcv::ORB orb cv::ORB::create(1000); // 提取1000个特征点 orb-detectAndCompute(image, cv::noArray(), keypoints, descriptors); // 4. 将描述子矩阵转换为词袋向量 DBoW3::BowVector bow_vec; vocab.transform(descriptors, bow_vec); // 核心转换函数 // 5. 将当前帧的词袋向量添加到数据库并查询相似帧 int frame_id 0; // 假设这是第0帧 db.add(bow_vec); // 添加到数据库 DBoW3::QueryResults ret; // 查询与当前帧最相似的前4个结果设置最低相似度分数为0.001 db.query(bow_vec, ret, 4, 0.001); std::cout 查询结果 std::endl; for (const auto r : ret) { std::cout 帧ID: r.Id , 分数: r.Score std::endl; // r.Score 是相似度值越大越相似 // 通常需要设定一个阈值比如 0.05才认为是有效的候选回环 } // 6. 可选保存和加载数据库 db.save(database.yml.gz); // DBoW3::Database loaded_db; // loaded_db.load(database.yml.gz); return 0; }这段代码勾勒出了使用DBoW3的核心流程加载词典、提取特征、转换词袋、存入数据库、查询相似。在实际的SLAM系统中步骤3-5会在一个循环中执行为每一帧或每一个关键帧服务。查询到的ret结果就是回环检测的候选帧列表后续需要交给几何验证模块进行严格确认。5.3 参数调优与踩坑经验直接套用默认参数往往效果不佳这里分享几个我踩过坑后总结的调优经验词典规模K和L这是最重要的参数。词典太小如K5L4单词数625单词区分度不够容易导致误匹配把看起来有点像但实际不同的地方当成回环。词典太大如K10L7单词数1000万每个单词包含的特征过于具体对视角和光照变化过于敏感容易漏检回环因为同一地方两次看到的特征可能被分到不同的单词。我的经验是对于地面机器人室内外场景100k到1M个单词是一个比较实用的范围对应K10, L5或6。特征点数量与质量DBoW的输入是特征描述子。如果你提取的特征点本身就不稳定或数量太少再好的词典也无济于事。确保你的特征提取器如ORB参数合理能在不同光照条件下提取到足够数量且重复性好的特征点。在纹理匮乏的区域如白墙、天空DBoW的效果会大打折扣。相似度分数阈值db.query返回的分数需要设定一个阈值来判断是否为候选回环。这个阈值不是固定的它和词典、场景都有关。通常需要在你的数据集上做一些实验。一个常用的策略是取“当前帧与最近10个关键帧的平均相似度”的N倍例如3倍作为阈值高于此阈值的才进入候选。这可以自适应场景的视觉变化程度。时间一致性检查一个可靠的系统不能因为单次分数高就判定为回环。ORB-SLAM2中使用了“时间一致性组”检查一个真正的回环其候选帧应该在时间上连续多帧都被检测到。比如连续3帧都检测到与同一个历史关键帧相似那么这个回环的可信度就非常高。这能有效过滤掉偶然的相似。DBoW是一个强大的工具但它不是“银弹”。它解决了“快速筛选”的问题但最终的确认必须交给基于几何的验证。将词袋的快速性和几何的精确性结合起来才能构建一个既快又准的鲁棒SLAM系统。