【大作业-63】基于YOLO26的交通手势识别系统YOLO26模型介绍YOLO26是Ultralytics于2026年发布的最新一代YOLO模型代表了目标检测领域的重大技术突破YOLO系列发展简史YOLO的诞生与演进YOLOYou Only Look Once系列是计算机视觉领域最具影响力的实时目标检测算法家族。自2016年YOLOv1诞生以来该系列经历了26个版本的迭代版本年份核心创新性能(mAP)YOLOv12016首次实现单阶段端到端检测63.4%YOLOv22017引入锚框机制、批量归一化78.6%YOLOv32018多尺度预测、FPN结构85.5%YOLOv42020Mosaic数据增强、CIoU损失92.7%YOLOv52020PyTorch工程化、易用性提升93.2%YOLOv82023Anchor-Free、解耦检测头94.0%YOLOv102024无NMS架构、一致双分配94.6%YOLO262026端到端高效视觉AI待公布YOLO26的定位YOLO26最早在YOLO Vision 2025(YV25)大会上首次亮相重点围绕真实世界视觉系统中的训练方式部署效率规模化落地能力YOLO26核心特性1. 端到端高效架构YOLO26实现了真正的端到端检测消除了传统管道中的多个中间环节传统检测流程: 图像输入 → 特征提取 → 区域提案 → 分类回归 → NMS后处理 → 输出 YOLO26流程: 图像输入 → 特征提取 → 直接输出 → 无需NMS2. Anchor-Free无锚框设计YOLO26采用Anchor-Free机制摆脱了预定义锚框的束缚传统Anchor-Based方法预定义一组anchor boxes网络预测相对于anchor的偏移量需要手动设计或聚类得到anchorYOLO26 Anchor-Free方法直接预测边界框的4个值l, t, r, b不需要预定义anchor更简单、更灵活3. 任务支持YOLO26支持五大计算机视觉任务目标检测Object Detection实例分割Instance Segmentation图像分类Image Classification姿态估计Pose Estimation定向边界框检测OBB4. 模型规格YOLO26提供五种型号覆盖从边缘设备到企业级系统的全场景需求型号参数量适用场景n (nano)~2M移动端、边缘设备s (small)~5M轻量级应用m (medium)~15M通用场景l (large)~25M高精度需求x (xlarge)~50M企业级应用网络结构详解整体架构YOLO26采用经典的Backbone Neck Head三段式结构┌─────────────────────────────────────────────────────────────────┐ │ 输入图像 │ └─────────────────────────────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────────────────────────────┐ │ Backbone主干网络 │ │ ┌──────────────────────────────────────────────────────────┐ │ │ │ CSPDarknet (改进版) │ │ │ │ ├── Stem层图像预处理 │ │ │ │ ├── C2f模块特征提取 │ │ │ │ └── SPPF模块空间金字塔池化 │ │ │ └──────────────────────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────────────────────────────┐ │ Neck特征融合网络 │ │ ┌──────────────────────────────────────────────────────────┐ │ │ │ PANet路径聚合网络 │ │ │ │ ├── 上采样路径深层特征 → 浅层特征 │ │ │ │ └── 下采样路径浅层特征 → 深层特征 │ │ │ └──────────────────────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────────────────────────────┐ │ Head检测头 │ │ ┌──────────────────────────────────────────────────────────┐ │ │ │ 解耦检测头Decoupled Head │ │ │ │ ├── 分类分支Classification │ │ │ │ ├── 回归分支Regression │ │ │ │ └── 中心度分支Centerness │ │ │ └──────────────────────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────────────────────────────┐ │ 输出 │ │ • 类别预测80类COCO │ │ • 边界框回归x, y, w, h │ │ • 置信度分数 │ └─────────────────────────────────────────────────────────────────┘核心模块详解1. Backbone主干网络YOLO26的Backbone基于CSPDarknet改进包含以下核心组件C2f模块改进版继承自YOLOv8的C2f结构融合了GhostNet的高效特征提取思想通过Bottleneck实现特征复用C2f模块结构: 输入 → Conv → Split → Bottleneck×N → Concat → Conv → 输出 ↓ 特征分支1 ↓ 特征分支2 → ... → BottleneckSPPF模块空间金字塔池化使用多个不同大小的池化核融合多尺度特征增强对不同尺度目标的检测能力2. Neck特征融合网络采用**PANetPath Aggregation Network**结构上采样路径将高层语义信息向下传递下采样路径将底层位置信息向上传递实现多尺度特征融合3. Head检测头采用**解耦检测头Decoupled Head**设计解耦检测头结构: 特征图输入 │ ├─────────────────────┬─────────────────────┐ ↓ ↓ ↓ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ 分类分支 │ │ 回归分支 │ │ 中心度分支│ │ Conv3x3 │ │ Conv3x3 │ │ Conv3x3 │ │ Conv1x1 │ │ Conv1x1 │ │ Conv1x1 │ │ Sigmoid │ │ Softmax │ │ Sigmoid │ └─────────┘ └─────────┘ └─────────┘ │ │ │ ↓ ↓ ↓ 类别概率 边界框坐标 中心度分数损失函数创新YOLO26损失函数组成YOLO26的损失函数由三部分组成L Y O L O 26 L c l s L b o x L d f l \mathcal{L}_{YOLO26} \mathcal{L}_{cls} \mathcal{L}_{box} \mathcal{L}_{dfl}LYOLO26LclsLboxLdfl1. 分类损失Classification Loss采用Varifocal Loss变焦损失标准Focal Loss的问题只关注正负样本的难易程度不考虑预测质量Varifocal Loss的改进结合质量预测和分类对正负样本采用不对称加权公式L V F L − q ⋅ ( q ⋅ log ( p ) ( 1 − q ) ⋅ log ( 1 − p ) ) ⋅ α p ⋅ ( 1 − q ) γ \mathcal{L}_{VFL} -q \cdot (q \cdot \log(p) (1-q) \cdot \log(1-p)) \cdot \alpha^p \cdot (1-q)^\gammaLVFL−q⋅(q⋅log(p)(1−q)⋅log(1−p))⋅αp⋅(1−q)γ其中q qq质量分数IoUp pp预测概率α \alphaα平衡参数γ \gammaγ聚焦参数2. 边界框损失Box Loss采用CIoUComplete IoU LossL C I o U 1 − I o U ρ 2 ( b , b g t ) c 2 α ⋅ v \mathcal{L}_{CIoU} 1 - IoU \frac{\rho^2(b, b^{gt})}{c^2} \alpha \cdot vLCIoU1−IoUc2ρ2(b,bgt)α⋅v其中I o U IoUIoU预测框与真实框的交并比ρ 2 \rho^2ρ2中心点距离c cc覆盖两框的最小框对角线距离α \alphaα权重参数v vv长宽比一致性3. 分布焦点损失Distribution Focal Loss, DFL将边界框回归转化为分布预测问题将连续坐标离散化使用softmax预测每个位置的概率通过交叉熵损失优化传统方法直接预测坐标值 (如 x100) DFL方法 预测概率分布 [0.01, 0.02, 0.05, 0.90, ...] 期望值 Σ(p_i × position_i)4. 动态标签分配Task-Aligned AssignerYOLO26采用Task-Aligned Assigner进行动态标签分配根据分类得分和IoU动态分配正负样本解决了传统静态分配的局限性提升了训练效果和收敛速度与前代版本对比YOLO26 vs YOLO11特性YOLO11YOLO26架构CSPDarknet改进版CSPDarknet检测头解耦头增强解耦头损失函数Varifocal CIoU DFL优化版复合损失NMS传统NMS端到端无NMSCPU推理基准提升43%边缘部署支持优化支持多任务5大任务5大任务增强YOLO26 vs YOLOv10特性YOLOv10YOLO26无NMS一致双分配改进端到端训练优化ProgLossProgLoss STAL小目标检测基准显著提升纳米型号有性能更强核心升级点训练优化引入ProgLoss渐进损失平衡引入STAL小目标感知标签分配显著提升小目标检测准确率推理效率CPU推理速度提升43%nano型号更适合移动应用和边缘设备端到端设计消除NMS后处理降低管道复杂性加快结果输出性能评测COCO数据集性能注意以下数据为官方预览数据实际发布时可能有所变化型号mAP(%)延迟(ms)FPS参数量YOLO26-n38.50.81250~2MYOLO26-s45.21.2833~5MYOLO26-m51.82.0500~15MYOLO26-l55.33.5286~25MYOLO26-x58.15.2192~50M边缘设备性能设备YOLO11-nYOLO26-n提升iPhone 1460 FPS85 FPS42%Raspberry Pi 525 FPS40 FPS60%Jetson Nano45 FPS65 FPS44%Intel Neural Compute35 FPS50 FPS43%部署与实践环境安装# 安装ultralyticspipinstallultralytics# 或从源码安装gitclone https://github.com/ultralytics/ultralyticscdultralytics pipinstall-e.快速推理fromultralyticsimportYOLO# 加载模型modelYOLO(yolo26n.pt)# 推理resultsmodel(image.jpg)# 显示结果results[0].show()训练自定义数据集fromultralyticsimportYOLO# 加载预训练模型modelYOLO(yolo26n.pt)# 训练model.train(datadataset.yaml,epochs100,imgsz640,batch16,devicecuda)模型导出# 导出为ONNX格式model.export(formatonnx)# 导出为TensorRT格式model.export(formatengine)# 导出为TFLite格式移动端model.export(formattflite)参考资料YOLO26 正式开源!面向边缘视觉AI的新一代YOLO模型从YOLO到YOLO26:10年迭代封神YOLO26模型解析:端到端高效视觉AI实现版本号突袭!官方预览:YOLO26正式宣布YOLO系列发展历程本文档将持续更新敬请期待后续教程…实验报告一、项目选题背景与意义1.1 研究背景随着城市化进程的加快和机动车保有量的持续增长交通管理面临着前所未有的挑战。传统的交通管理方式主要依赖人工指挥和固定信号灯系统难以应对日益复杂的交通状况。在某些特殊场景如临时交通管制、施工区域指挥、重大活动安保等中交警的手势指挥仍然是不可或缺的交通管理手段。然而人工手势指挥存在效率低、标准化程度低、难以大规模部署等问题。近年来深度学习技术在计算机视觉领域取得了突破性进展尤其是卷积神经网络CNN和目标检测算法的快速发展为手势识别提供了强有力的技术支撑。YOLOYou Only Look Once系列模型作为实时目标检测的代表性算法以其速度快、精度高的特点在各类视觉识别任务中得到了广泛应用。1.2 项目目标本项目基于YOLO26深度学习模型设计并实现一套交警手势识别系统。该系统能够通过摄像头实时采集交通场景图像自动识别交警的不同手势动作并将识别结果以可视化的方式展示。通过本项目期望达到以下目标技术目标利用YOLO26模型实现9种交警手势的准确识别包括停止、直行、左转、右转、减速、变道、靠边停车等常见指挥手势。应用目标开发友好的图形用户界面GUI使用户能够方便地加载模型、选择检测源、查看识别结果实现端到端的完整应用。教学目标通过完整的项目实践使学生掌握深度学习项目开发的基本流程包括数据准备、模型训练、模型测试、模型部署和应用开发等环节。1.3 技术选型本项目选择YOLO26作为核心模型主要基于以下考虑性能优势YOLO26是Ultralytics发布的最新一代YOLO模型在COCO数据集上达到了业界领先的检测精度同时保持了较快的推理速度非常适合实时手势识别场景。易用性Ultralytics提供了完整的Python API和丰富的预训练模型库便于快速上手和二次开发。可扩展性YOLO架构支持目标检测、实例分割、图像分类等多种任务可以方便地扩展到其他交通场景识别任务。社区支持YOLO系列拥有活跃的开源社区和丰富的学习资源便于问题解决和技术交流。二、数据集构建2.1 数据集概述本项目使用的数据集是专门针对交警手势识别任务构建的数据集包含了9种常见的交通指挥手势。数据集采用YOLO格式进行标注每张图像对应一个同名的txt标注文件标注格式为类别编号 中心x坐标 中心y坐标 宽度 高度均为归一化坐标。2.2 数据集结构数据集目录结构如下demo/ ├── images/ │ ├── train/ # 训练集图像 │ └── test/ # 测试集图像 └── labels/ ├── train/ # 训练集标注 └── test/ # 测试集标注2.3 数据集配置文件项目使用YAML格式的配置文件来描述数据集信息# 数据集路径配置train:../demo/images/train# 训练集路径val:../demo/images/test# 验证集路径# 类别数量nc:9# 类别名称names:[stop,# 停止straight line,# 直行none,# 无手势left turn,# 左转transferred,# 变道right turn,# 右转slow down,# 减速lane change,# 换道pull over# 靠边停车]2.4 数据增强为了提高模型的泛化能力和鲁棒性在训练过程中采用了多种数据增强策略几何变换随机水平翻转、随机旋转±15°、随机缩放0.5-1.5倍颜色变换随机亮度调整、随机对比度调整、随机饱和度调整图像质量随机模糊、随机噪声Mosaic增强将4张图像拼接成一张丰富训练样本三、模型训练3.1 训练环境深度学习框架PyTorch目标检测库Ultralytics YOLO硬件配置NVIDIA GPU建议显存8GB以上软件环境Python 3.8CUDA 11.03.2 训练配置模型训练使用以下超参数配置# 训练参数epochs100# 训练轮数imgsz640# 输入图像尺寸batch16# 批次大小device0# 使用GPU训练# 优化器参数optimizerAdamW# 优化器lr00.001# 初始学习率lrf0.01# 最终学习率因子momentum0.937# 动量weight_decay0.0005# 权重衰减# 数据增强hsv_h0.015# 色相增强hsv_s0.7# 饱和度增强hsv_v0.4# 亮度增强degrees15.0# 旋转角度translate0.1# 平移scale0.5# 缩放shear0.0# 剪切perspective0.0# 透视变换flipud0.0# 上下翻转fliplr0.5# 左右翻转mosaic1.0# Mosaic增强mixup0.0# MixUp增强copy_paste0.0# Copy-Paste增强3.3 训练过程模型训练过程如下数据加载使用YOLO内置的DataLoader自动加载训练集和验证集图像预训练权重使用YOLO26的预训练权重进行迁移学习加快收敛速度前向传播将图像输入模型得到预测框和类别概率损失计算计算分类损失、置信度损失和边界框回归损失的加权总和反向传播根据损失值计算梯度更新模型参数学习率调度使用余弦退火策略动态调整学习率模型保存定期保存最优模型权重便于后续测试和部署3.4 训练技巧在训练过程中采用以下技巧提高模型性能迁移学习使用在COCO数据集上预训练的权重初始化模型早停机制当验证集损失连续多个epoch不再下降时停止训练模型EMA使用指数移动平均技术稳定训练过程多尺度训练在训练过程中随机改变输入图像尺寸四、模型测试4.1 测试流程模型训练完成后需要在测试集上评估模型性能。测试流程包括加载训练好的模型权重对测试集图像进行推理使用NMS非极大值抑制过滤重叠检测框计算各项评估指标4.2 评估指标本项目使用以下指标评估模型性能Precision精确率预测为正的样本中实际为正的比例Recall召回率实际为正的样本中被正确预测的比例mAP0.5IoU阈值为0.5时的平均精度mAP0.5:0.95IoU阈值从0.5到0.95的平均精度4.3 测试代码实现fromultralyticsimportYOLO# 加载模型modelYOLO(best.pt)# 在测试集上评估resultsmodel.val(dataAAA.yaml,imgsz640,batch16,conf0.25,# 置信度阈值iou0.45# IOU阈值)# 打印评估结果print(fmAP50:{results.box.map50:.4f})print(fmAP50-95:{results.box.map:.4f})五、模型推理5.1 推理流程模型推理是将训练好的模型应用于新图像的过程主要步骤如下加载模型权重读取输入图像图像预处理缩放、归一化模型前向推理后处理NMS、结果解析结果可视化5.2 推理代码实现fromultralyticsimportYOLO# 加载模型modelYOLO(best.pt)# 对单张图像进行推理resultsmodel.predict(test.jpg,conf0.25,# 置信度阈值iou0.45,# IOU阈值imgsz640,# 输入图像尺寸saveTrue,# 保存结果save_txtTrue,# 保存标注文件save_confTrue# 保存置信度)# 处理推理结果forresultinresults:boxesresult.boxesforboxinboxes:# 获取类别名称和置信度clsint(box.cls[0])conffloat(box.conf[0])class_namemodel.names[cls]print(f检测到:{class_name}, 置信度:{conf:.2f})5.3 支持的推理源本项目支持多种推理源图像文件支持JPG、PNG、BMP等常见图像格式视频文件支持MP4、AVI、MOV等常见视频格式文件夹支持批量处理文件夹中的所有图像摄像头支持实时视频流推理六、图形化界面开发6.1 技术选型图形用户界面GUI采用PyQt5框架开发主要基于以下考虑功能强大PyQt5提供了丰富的GUI组件满足各种界面需求跨平台一次开发可在Windows、Linux、macOS等多平台运行信号槽机制PyQt5的信号槽机制便于处理异步事件社区活跃拥有丰富的学习资源和示例代码6.2 界面设计图形界面采用双标签页设计包含以下主要区域标签页一模型加载模型文件选择与加载模型类别显示推理参数配置置信度、图像尺寸、IOU阈值标签页二模型检测检测源选择图像/视频/文件夹/摄像头原始图像显示区域检测结果显示区域进度条显示右侧面板历史记录检测结果历史列表结果保存与查看6.3 核心代码结构# 主窗口类classYOLOGUI(QMainWindow):def__init__(self):# 初始化UIself._init_ui()def_init_ui(self):# 创建标签页self.tab_widgetQTabWidget()self.tab_widget.addTab(self._create_model_tab(),模型加载)self.tab_widget.addTab(self._create_detect_tab(),模型检测)# 模型加载线程classModelLoader(QThread):finishedpyqtSignal(bool,str,list)progresspyqtSignal(int)defrun(self):# 后台加载模型modelYOLO(self.model_path)self.finished.emit(True,model_name,classes)# 检测线程classDetector(QThread):frame_readypyqtSignal(object,object)finishedpyqtSignal(str)defrun(self):# 后台进行目标检测resultsself.model.predict(frame)result_frameresults[0].plot()self.frame_ready.emit(orig_frame,result_frame)6.4 界面功能特点模型加载支持选择本地.pt模型文件显示模型可识别的类别参数调节提供置信度阈值、图像尺寸、IOU阈值等参数的调节控件多源检测图像文件单张图片检测视频文件自动保存为MP4格式文件夹批量图片检测摄像头实时视频流检测实时显示上下布局显示原始图像和检测结果历史记录自动保存检测结果到本地支持历史记录查看和播放视频播放历史记录中的MP4文件支持播放控制播放/暂停/停止七、项目总结与展望7.1 项目总结本项目成功实现了基于YOLO26的交警手势识别系统主要工作包括数据集构建构建了包含9种交警手势的标注数据集模型训练使用YOLO26模型完成了手势识别模型的训练模型测试在测试集上验证了模型的识别性能推理开发实现了多种推理源的模型推理功能界面开发使用PyQt5开发了友好的图形用户界面7.2 技术收获通过本项目主要收获包括掌握了YOLO系列目标检测模型的使用方法学会了数据集的构建和标注方法熟悉了PyQt5图形界面开发技术了解了深度学习项目的完整开发流程7.3 改进方向后续可从以下方向进行改进模型优化尝试更先进的模型架构或模型压缩技术数据增强增加更多训练数据和增强策略功能扩展增加手势识别之外的功能如车辆检测、车道线检测等性能优化优化推理速度支持更多实时应用场景