框架定位MMDetection3D 是 OpenMMLab 生态中专注于3D目标检测、3D语义分割、多模态感知的工业级框架支持点云、单/多视角图像、多传感器融合等输入广泛适配自动驾驶、机器人导航、工业质检等场景。其模块化设计Backbone→Neck→Head与 MMSegmentation 完全对齐可快速复用2D生态的成熟模块。 一、MMDetection3D 所有核心 Backbone骨干网络Backbone 是3D感知的特征提取核心负责从原始3D数据点云/体素/图像中提取底层特征支持三类骨干所有Backbone均可在配置文件中通过backbone:字段直接调用部分支持预训练权重加载。1. 点云专用 Backbone3D 特征提取核心专为点云稀疏性、无序性设计的骨干是3D感知的基础核心。BackboneMMDetection3D 配置标识核心特点适配场景PointNetPointNet2Backbone多尺度分组MSG/SG融合局部全局特征点云分割/检测的经典基线3D语义分割、小目标检测PVCNNPVCNNBackbone体素化稀疏卷积高效处理大规模点云算力-精度平衡优秀大场景3D检测、自动驾驶PointPillarsPointPillarsBackbone点云柱式编码Pillarization将点云转为伪图像适配2D CNN加速推理实时3D检测、自动驾驶部署DGCNNDGCNNBackbone动态图卷积建模点云邻域关联特征表达能力强于PointNet高精度3D分割、学术研究PointTransformerPointTransformerBackbone自注意力机制建模长距离特征关联精度超传统CNN算力稍高高精度3D分割、学术研究PAConvPAConvBackbone位置感知动态图卷积动态调整邻域关联分割精度SOTA高精度3D分割、工业级验证2. 图像复用 Backbone多模态融合基础直接复用 MMSegmentation 的2D骨干用于多模态检测中的图像特征提取配置标识与 MMSeg 完全一致。Backbone配置标识核心特点适配场景ResNetResNet/ResNetV1c残差连接解决梯度消失V1c为分割优化版支持空洞卷积改造多模态检测、图像特征增强SwinTransformerSwinTransformer窗口自注意力层级融合全局感受野强适配BEV感知算法多模态BEV检测、高精度场景MobileNetV3MobileNetV3深度可分离卷积参数量极小速度极快单目实时3D检测、边缘部署3. 多模态融合 Backbone点云图像联合特征提取并行提取点云与图像特征解决多模态空间错位问题适配多传感器融合场景。Backbone配置标识核心特点适配场景MVXBackboneMVXBackbone双分支并行提取点云图像特征支持早期/晚期融合多传感器融合、自动驾驶BEVBackboneBEVBackbone提取鸟瞰图BEV特征将图像特征投影到3D空间适配时序融合大规模多模态检测、Waymo/nuScenes 二、MMDetection3D 所有核心 Neck颈部特征融合网络Neck 负责对 Backbone 输出的多尺度特征进行融合、增强、重采样、空间对齐解决3D任务中尺度不一致、点云稀疏性、多模态空间错位等问题配置文件中通过neck:字段调用。1. 点云专用 Neck专为点云特征设计的融合模块适配点云专用 Backbone。Neck配置标识核心原理适配 Backbone/算法PointPillarsNeckPointPillarsNeck柱式特征上采样2D FPN融合将伪图像特征转为3D检测特征PointPillars、实时检测CenterPointNeckCenterPointNeck多尺度体素特征融合增强中心点检测的鲁棒性CenterPoint、单阶段检测FPSSGNeckFPSSGNeck特征金字塔稀疏卷积融合多尺度点云特征适配两阶段检测PartA2、PointRCNNPointFPNPointFPN点云特征金字塔融合高/低尺度特征提升小目标分割精度PointNet、3D语义分割2. 多模态融合 Neck解决点云与图像的空间错位问题适配多模态 Backbone。Neck配置标识核心原理适配 Backbone/算法BEVFeatureExtractorBEVFeatureExtractor将图像特征通过相机内外参投影到BEV空间融合时序特征SwinTransformer、BEVFormerFusionNeckFusionNeck点云图像特征加权融合动态调整模态权重MVXNet、多模态检测 三、MMDetection3D 所有核心 Head检测/分割头Head 负责最终的3D目标检测框预测、语义分割掩码生成是算法任务的直接输出模块配置文件中通过bbox_head:/seg_head:字段调用。1. 3D 目标检测 HeadHead配置标识核心原理适配算法Anchor3DHeadAnchor3DHead基于锚框的检测头预测3D框的偏移、尺寸与类别经典两阶段检测核心PointRCNN、PartA2、PointPillarsCenterHeadCenterHead中心点检测头预测目标中心点、尺寸与朝向单阶段检测的主流方案CenterPoint、BEVFormerVoteHeadVoteHead投票机制生成候选框再细化检测结果适配稀疏点云场景VoteNet、室内目标检测PartA2HeadPartA2Head两阶段检测头第一阶段生成体素提议第二阶段细化3D框精度极高PartA2、KITTI高精度检测2. 3D 语义分割 HeadHead配置标识核心原理适配算法PointSegHeadPointSegHead直接预测每个点的类别适配点云分割算法PointNet、DGCNNSPVCNNHeadSPVCNNHead稀疏卷积分割头处理百万级点云支持端到端训练SPVCNN、SemanticKITTI分割PAConvHeadPAConvHead位置感知卷积输出分割掩码精度超传统图卷积PAConv、ScanNet分割️ 四、MMDetection3D 官方内置支持的所有数据集类型MMDetection3D 实现了统一的数据集加载接口BaseDataset支持自动下载、标注解析、多模态对齐覆盖通用3D检测、城市场景、室内导航、遥感分割等主流任务同时支持自定义数据集。1. 3D 目标检测数据集数据集名称核心信息标注格式适配场景KITTI 3D3类Car/Pedestrian/Cyclist7481训练/7518测试点云单视角图像KITTI/txt自动驾驶基线、算法复现nuScenes10类1000场景多传感器激光雷达6摄像头雷达大规模多模态nuScenes/json高精度多模态检测、工业级自动驾驶Waymo Open Dataset4类Vehicle/Pedestrian/Cyclist/Sign1200场景超大规模点云图像Waymo/tfrecord工业级自动驾驶、大场景检测SUN RGB-D37类10335训练/2860验证室内点云RGB-D图像适配机器人导航SUNRGBD/json室内目标检测、机器人感知2. 3D 语义分割数据集数据集名称核心信息标注格式适配场景ScanNet V220类1513场景室内点云RGB-D细粒度标注ScanNet/ply室内语义分割、机器人导航S3DIS13类6个区域室内点云小样本分割基准S3DIS/label小样本3D分割、学术研究SemanticKITTI8类22序列室外点云自动驾驶语义分割基准SemanticKITTI/bin室外语义分割、自动驾驶 五、MMDetection3D 完整模型详解含图片中所有模型按功能分类覆盖图片中所有模型文件标注核心架构、特点与适配场景1. 基础点云检测/分割算法基线首选模型文件核心架构BackboneNeckHead核心特点适配场景point_rcnn.pyPointNet FPSSGNeck Anchor3DHead首个两阶段点云检测算法精度高但速度较慢经典基线KITTI 3D检测基线、学术复现pointnet2_ssg.pyPointNet2Backbone单尺度分组 PointSegHead单尺度局部特征融合算力低、速度快ScanNet/S3DIS 室内分割、入门验证pointnet2_msg.pyPointNet2Backbone多尺度分组 PointSegHead多尺度局部特征融合分割精度更高复杂场景3D分割、小目标检测votenet.pyPointNet VoteHead投票机制生成目标中心点适配稀疏点云SUN RGB-D 室内目标检测、机器人导航dgcnn.pyDGCNNBackbone动态图卷积 PointSegHead动态图卷积建模点云邻域关联特征表达更强高精度3D分割、学术研究parta2.pyPVCNN FPSSGNeck PartA2Head两阶段体素检测KITTI Car检测AP达92%精度天花板KITTI高精度检测、工业级验证2. 实时点云检测算法部署首选模型文件核心架构核心特点适配场景hv_pointpillars_secfpn_kitti.pyPointPillarsBackbone PointPillarsNeck Anchor3DHead柱式编码2D FPN速度达20FPS工业部署标准自动驾驶实时检测、KITTIhv_pointpillars_secfpn_waymo.pyPointPillarsBackbone PointPillarsNeck Anchor3DHead适配Waymo大规模点云支持4类目标检测Waymo工业级自动驾驶hv_pointpillars_fpn_nus.pyPointPillarsBackbone PointPillarsNeck Anchor3DHead适配nuScenes多传感器数据集支持10类目标nuScenes多模态检测hv_pointpillars_fpn_lyft.pyPointPillarsBackbone PointPillarsNeck Anchor3DHead适配Lyft数据集优化小目标检测自动驾驶基线验证hv_pointpillars_fpn_range100_lyft.pyPointPillarsBackbone PointPillarsNeck Anchor3DHead针对100米远距离点云优化高速场景自动驾驶hv_second_secfpn_kitti.pySECONDBackbone SECFPNNeck Anchor3DHead体素化稀疏卷积PointPillars的经典前身实时检测基线hv_second_secfpn_waymo.pySECONDBackbone SECFPNNeck Anchor3DHead适配Waymo大规模点云优化稀疏卷积效率Waymo工业级部署centerpoint_02pillar_second_secfpn_nus.pyPointPillarsBackbone CenterPointNeck CenterHead中心点检测柱式编码速度达30FPSnuScenes实时多目标检测centerpoint_01voxel_second_secfpn_nus.pyVoxelBackbone CenterPointNeck CenterHead体素化中心点检测精度略高于Pillar版本高精度实时检测3. 多模态/单目感知算法低成本方案模型文件核心架构核心特点适配场景smoke.pyResNet SMOKENeck SMOKEHead单目图像3D检测基于关键点回归速度达30FPS低成本自动驾驶、单相机感知fcos3d.pyResNet FPNNeck FCOS3DHead单目无锚框3D检测精度比SMOKE更高单目高精度检测imvotenet_image.pyResNet VoteHead单目图像点云融合检测提升小目标鲁棒性室内多模态检测、机器人导航mask_rcnn_r50_fpn.pyResNet-50 FPNNeck MaskRCNNHead2D实例分割用于多模态检测中的图像特征增强多模态感知辅助cascade_mask_rcnn_r50_fpn.pyResNet-50 FPNNeck CascadeMaskRCNNHead级联式2D实例分割精度更高高精度多模态融合4. 高精度/前沿算法学术研究模型文件核心架构核心特点适配场景3dssd.pyPointNet 3DSSDNneck Anchor3DHead单阶段稀疏点云检测精度与速度平衡大规模点云检测groupfree3d.pyPointTransformerBackbone GroupFree3DHead无分组点云检测自注意力建模全局特征高精度3D检测、顶会复现h3dnet.pyH3DNetBackbone H3DNetHead分层点云特征融合小目标检测精度高复杂场景3D检测faf3d.pyFAF3DBackbone FAF3DHead多模态特征对齐融合解决空间错位问题高精度多模态检测paconv_ssg.pyPAConvBackbone PointSegHead位置感知动态图卷积特征表达强于DGCNN高精度3D分割paconv_cuda_ssg.pyPAConvBackboneCUDA加速 PointSegHead位置感知卷积的CUDA优化速度提升2-3倍高精度实时分割pgd.pyPGDBackbone PGDHead生成式点云检测伪点云增强小目标鲁棒性小样本3D检测 六、模块经典搭配与选型建议MMDetection3D 的解耦设计让模块可自由组合合理搭配能大幅提升精度与速度结合官方最佳实践给出核心搭配原则Backbone与Neck搭配点云专用BackbonePointPillars/PVCNN优先配PointPillarsNeck/CenterPointNeck图像复用BackboneResNet/Swin优先配FPN/BEVFeatureExtractor多模态BackboneMVXBackbone优先配FusionNeck算法与模块搭配PointPillars → PointPillarsBackbone PointPillarsNeck Anchor3DHeadCenterPoint → VoxelBackbone CenterPointNeck CenterHeadBEVFormer → SwinTransformer BEVFeatureExtractor CenterHeadVoteNet → PointNet VoteHead数据集与算法搭配通用3D检测 → KITTI/nuScenes PointPillars/CenterPoint室内导航 → SUN RGB-D VoteNet/imvotenet_image工业级自动驾驶 → Waymo PointPillars_secfpn_waymo/BEVFormer3D语义分割 → ScanNet/S3DIS PointNet/PAConv。 七、一键运行配置模板全场景所有配置基于 MMDetection3D 1.x 稳定版兼容 MMEngine/MMCV直接替换路径少量参数即可启动训练/测试。场景1实时3D检测PointPillars-KITTI工业级部署首选速度与精度平衡极佳。# PointPillars 一键训练配置KITTI_base_[../_base_/models/pointpillars.py,../_base_/datasets/kitti-3d-3class.py,../_base_/schedules/cyclic_40e.py,../_base_/default_runtime.py]# 【可修改参数】核心项data_root/your/path/to/kitti# KITTI数据集根路径work_dir./work_dirs/pointpillars_kittigpu_ids[0]batch_size4# 16G单卡→424G→8lr0.001# batch翻倍则lr翻倍# 数据集配置无需改按官方规范datadict(samples_per_gpubatch_size,workers_per_gpu2)启动命令# 训练python tools/train.py configs/your_folder/pointpillars_kitti.py# 测试python tools/test.py configs/your_folder/pointpillars_kitti.py work_dirs/pointpillars_kitti/best_epoch_xx.pth --show-dir work_dirs/pointpillars_kitti/results场景2多模态SOTA检测BEVFormer-nuScenes大规模多模态检测首选适配Waymo/nuScenes。# BEVFormer 一键训练配置nuScenes_base_[../_base_/models/bevformer.py,../_base_/datasets/nuscenes-3d.py,../_base_/schedules/schedule_12e.py,../_base_/default_runtime.py]# 【可修改参数】核心项data_root/your/path/to/nusceneswork_dir./work_dirs/bevformer_nuscenesgpu_ids[0]batch_size1# 16G单卡→124G→2lr0.00006 八、通用使用关键指南数据集目录规范严格遵循官方结构点云/图像/标注路径需与配置中data_root/img_dir/ann_dir对应。参数调整原则批次大小batch_size16G显卡→基础值24G×232G×4批次翻倍则学习率lr同步翻倍核心否则训练不收敛。输入尺寸显存足够→增大尺寸如512→896精度更高显存不足→减小尺寸如512→384。多卡训练启动命令加--gpu-ids即可如python tools/train.py config.py --gpu-ids 0 1。模型导出部署支持 ONNX/TensorRT/TorchScript 一键导出如python tools/export_model.py config.py work_dirs/best.pth ./output --format onnx结果可视化测试时加--show-dir保存3D检测/分割结果加--show实时可视化。