1. 从零开始理解我们的任务与工具箱大家好我是老张在AI和计算机视觉这块儿摸爬滚打了十来年尤其喜欢折腾视频理解相关的模型。今天想和大家聊聊一个非常具体、也非常有实战价值的任务如何用MMA2MMAction2框架和TimeSformer模型高效地训练一个Kinetics400数据集的子集。我知道一看到“视频理解”、“Transformer”、“大规模数据集”这些词很多刚入门的朋友可能就有点发怵觉得这玩意儿肯定特别复杂得有好几台顶级GPU服务器才能玩得转。其实不然很多时候我们做研究或者产品原型验证并不需要把整个包含40万视频的Kinetics400全集都跑一遍。相反选取一个具有代表性的子集进行快速迭代和实验是更聪明、更高效的做法。这不仅能帮你快速验证想法还能极大节省计算资源和时间成本特别适合高校实验室、个人开发者或者小团队。那么我们手头的“工具箱”是什么呢MMA2MMAction2这是一个基于PyTorch的开源视频理解工具箱由OpenMMLab社区维护。你可以把它想象成一个功能极其强大的“瑞士军刀”里面集成了各种视频动作识别、时序动作定位等任务的模型、数据集加载器和训练流水线。它的配置化驱动设计让实验变得非常灵活你不用改核心代码改改配置文件就能切换模型、调整参数这对科研和快速实验来说简直是福音。TimeSformer这是Facebook AI在2021年提出的一种用于视频分类的纯Transformer架构。它的核心思想很巧妙把视频的一小段比如8帧看作是一系列时空“补丁”patches然后通过“分治”的注意力机制Divided Space-Time Attention来分别学习空间同一帧内不同部位的关系和时间不同帧之间同一部位的变化信息。相比传统的3D卷积网络TimeSformer在精度和效率上都有不错的表现尤其是在一些需要长程时序建模的任务上。Kinetics400子集Kinetics400是一个巨型的视频动作识别数据集包含400个人类动作类别每个类别有至少400段视频总计约30万段。我们这里说的“子集”可能是你根据自己的研究兴趣比如只关注“体育运动”相关的类别或者为了快速验证从中挑选出的几十个类别、几千个视频。处理子集的关键在于如何正确地组织数据格式让MMA2能够识别和读取。所以咱们今天的目标很明确假设你已经有了一个自己筛选好的Kinetics400子集视频文件我将手把手带你走通从原始MP4视频到最终训练出一个TimeSformer模型的完整流程。我会分享我踩过的坑、调试参数的经验以及如何用有限的GPU资源比如2-4张卡把这件事办得又快又好。准备好了吗我们开始吧。2. 万事开头难数据准备与预处理实战数据准备是深度学习项目里最“脏活累活”但又是最基础的一环。对于视频任务我们通常不会直接把视频文件喂给模型因为直接解码和读取视频流在训练时I/O开销太大。标准的做法是预先将视频抽帧保存为一系列图片rawframes然后模型训练时直接读取这些图片序列。MMA2完美支持这种格式。2.1 获取与组织你的Kinetics400子集首先你得有自己的子集视频文件。假设你已经通过一些渠道这里不讨论具体来源下载好了视频并且按照类别文件夹整理好了。比如你的data/目录结构是这样的data/ ├── train/ │ ├── brushing_hair/ │ │ ├── video_001.mp4 │ │ └── video_002.mp4 │ ├── playing_guitar/ │ │ └── video_003.mp4 │ └── ... └── val/ ├── brushing_hair/ │ └── video_004.mp4 └── ...train和val分别对应训练集和验证集每个子文件夹的类名就是动作标签。记住这个结构我们后续的脚本会依赖它。2.2 关键一步视频抽帧生成Rawframes这是将视频数据转化为MMA2可读格式的核心步骤。MMA2官方提供了抽帧脚本我们直接拿来用就行。我强烈推荐使用OpenCV来抽帧因为它兼容性好不依赖复杂的视频编码库。假设你的MMA2项目根目录是/path/to/mmaction2而你的数据放在/path/to/data。我们进入MMA2的tools/data/kinetics/目录那里有我们需要的脚本。但为了方便我通常会把关键脚本复制到我的数据目录附近来操作。方法一使用官方脚本推荐官方提供了一个bash脚本extract_rgb_frames_opencv.sh但它内部调用的还是Python脚本。我们直接使用Python脚本更灵活。核心脚本是build_rawframes.py。打开终端执行以下命令cd /path/to/mmaction2 python tools/data/build_rawframes.py \ /path/to/data/train/ \ /path/to/data/rawframes_train/ \ --level 2 \ --ext mp4 \ --task rgb \ --new-short 256 \ --use-opencv我来解释一下这几个关键参数第一个参数输入视频的根目录/path/to/data/train/。脚本会递归地在这个目录下寻找.mp4文件。第二个参数输出rawframes的根目录/path/to/data/rawframes_train/。抽出的图片帧会按照和输入视频相同的目录结构存放。--level 2这表示输入目录的结构层级。2代表根目录/类别名/视频文件.mp4。如果你的结构是根目录/视频文件.mp4没有类别子文件夹那就用--level 1。--ext mp4指定视频文件的后缀名。--task rgb抽取RGB帧。如果是光流则需要先提取TV-L1光流那是另一个流程。--new-short 256将视频的短边缩放到256像素长边按比例缩放。这是一个常用的预处理可以减小数据体积并加速后续读取。--use-opencv指定使用OpenCV进行抽帧这是最稳妥的方式。执行后你会看到类似这样的输出结构data/ ├── rawframes_train/ │ ├── brushing_hair/ │ │ ├── video_001/ │ │ │ ├── img_00001.jpg │ │ │ ├── img_00002.jpg │ │ │ └── ... │ │ └── video_002/ │ │ └── ... │ └── ... └── rawframes_val/ └── ... (结构同train)注意这里有个非常重要的细节生成的图片命名格式默认是img_%05d.jpg例如img_00001.jpg。有些早期的代码或教程可能会生成frame_%05d.jpg。MMA2默认寻找的是img_前缀的文件。如果你发现后续训练报错说找不到图片第一件事就是检查这个命名。如果错了不用重新抽帧写个简单的批量重命名脚本改一下就行。对于验证集val只需将命令中的输入输出路径改为/path/to/data/val/和/path/to/data/rawframes_val/再运行一次即可。2.3 生成训练和验证所需的标注文件有了图片帧我们还需要告诉MMA2每个视频片段对应哪个标签以及它有多少帧。这就需要生成train.txt和val.txt这两个标注文件。文件内容格式是固定的每一行代表一个样本brushing_hair/video_001 300 0 playing_guitar/video_003 250 1 ...第一部分视频片段相对于rawframes_train或rawframes_val根目录的路径不带帧图片文件夹名。例如brushing_hair/video_001对应rawframes_train/brushing_hair/video_001/这个文件夹。第二部分该视频片段的总帧数。这个数字必须准确因为MMA2的SampleFrames组件会依赖它来采样。你可以写个脚本统计每个文件夹下jpg文件的数量。第三部分该视频的标签ID从0开始的整数。你需要为你的每个动作类别分配一个唯一的ID比如brushing_hair是0playing_guitar是1。如何生成这个文件呢写一个Python脚本是最直接的。这里我分享一个我常用的脚本思路import os from pathlib import Path rawframes_root /path/to/data/rawframes_train ann_file_path /path/to/data/train.txt # 获取所有类别并建立标签映射 class_names sorted([d for d in os.listdir(rawframes_root) if os.path.isdir(os.path.join(rawframes_root, d))]) label_map {name: idx for idx, name in enumerate(class_names)} with open(ann_file_path, w) as f: for class_name in class_names: class_dir Path(rawframes_root) / class_name # 遍历每个视频文件夹 for video_dir in class_dir.iterdir(): if video_dir.is_dir(): # 计算该文件夹下jpg文件的数量 num_frames len(list(video_dir.glob(img_*.jpg))) if num_frames 0: # 确保不是空文件夹 relative_path f{class_name}/{video_dir.name} label label_map[class_name] f.write(f{relative_path} {num_frames} {label}\n) else: print(f警告: {video_dir} 中没有找到图片帧。)运行这个脚本记得修改根目录路径你就能得到正确的train.txt。对验证集rawframes_val执行同样的操作生成val.txt。3. 模型训练的核心配置文件深度解析数据准备好了接下来就是重头戏配置训练过程。MMA2的一切都由配置文件.py文件驱动这既是它的优点灵活也是新手觉得最难的地方。别怕我们一点点拆解。我们以TimeSformer的官方配置文件为基础进行修改。3.1 找到并复制基础配置文件MMA2的配置文件都在configs/目录下。TimeSformer的配置文件通常在configs/recognition/timesformer/里。我们选择一个基础配置比如timesformer_divST_8x32x1_15e_kinetics400_rgb.py。这个文件名包含了关键信息divST表示使用了分治时空注意力8x32x1表示clip长度为8帧帧间隔为32即从视频中每隔32帧取一帧共取8帧15e表示训练15个epochkinetics400_rgb表示在Kinetics400 RGB数据上训练。首先我们把它复制一份到我们的工作目录或者直接在原目录下新建一个修改版比如叫timesformer_divST_8x32x1_100e_kinetics400_subset_rgb.py表示我们要训练100个epoch并且用于我们的子集。3.2 逐部分修改配置文件打开这个配置文件你会发现它由多个部分组成我们逐一击破。第一部分模型架构 (model)这部分通常不需要大改除非你想修改模型结构。但有几个关键点要检查pretrained: 这里指定了TimeSformer在ImageNet上预训练的权重路径。MMA2已经提供了下载好的权重链接一般保持不动即可。它会自动下载如果本地没有的话。num_frames: 采样帧数对应文件名中的8。如果你的视频都很短可以考虑减少这个数比如4。num_classes:这是你必须修改的地方原始配置是400Kinetics400全集类别数。你的子集有多少类这里就改成多少。比如你有13个类别就改成13。第二部分数据集设置 (dataset_type,data_root,ann_file_*))这是修改的重灾区必须和你本地的数据路径对上。dataset_type RawframeDataset # 保持不动因为我们用的是rawframes格式 data_root /path/to/data/rawframes_train # 训练集rawframes根目录 data_root_val /path/to/data/rawframes_val # 验证集rawframes根目录 ann_file_train /path/to/data/train.txt # 训练集标注文件 ann_file_val /path/to/data/val.txt # 验证集标注文件 ann_file_test /path/to/data/val.txt # 测试集标注文件通常先用验证集代替切记把/path/to/替换成你实际的绝对路径使用相对路径有时会出问题建议先用绝对路径确保无误。第三部分数据流水线 (train_pipeline,val_pipeline)流水线定义了数据从图片加载到最终形成模型输入张量的每一步操作。对于训练集 (train_pipeline)SampleFrames: 采样策略。clip_len8, frame_interval32表示从整个视频中每隔32帧取1帧共取8帧形成一个片段clip。如果你的视频平均长度较短可以减小frame_interval比如改成16或8以确保能采到足够的帧。RandomRescale和RandomCrop: 数据增强。随机缩放和裁剪是提高模型泛化能力的常用手段。Flip: 随机水平翻转概率为0.5。验证集流水线 (val_pipeline) 通常不包含随机性操作而是使用确定的Resize和CenterCrop。第四部分数据加载设置 (data)这部分配置DataLoader。videos_per_gpu:这是非常重要的参数也叫batch size per GPU。它决定了每张GPU每次训练加载多少个视频样本。这个值受你的GPU显存限制。对于TimeSformer输入尺寸是(batch, 3, 8, 224, 224)显存占用较大。在24GB显存的3090上这个值可能只能设为2或4。你需要根据实际情况调整。如果训练时出现CUDA out of memory错误首先尝试调小这个值。workers_per_gpu: 每个GPU的数据加载子进程数。用于加速数据读取。如果CPU核心多可以设置为2,4,8。如果数据读取成为瓶颈可以适当调高。但注意不是越高越好有时设置太高反而会拖慢速度。我一般从4开始尝试。train,val,test: 这里引用了前面定义的数据集路径、标注文件和流水线一般不需要改动。第五部分优化器与学习率策略 (optimizer,lr_config)optimizer: 原始配置使用SGD。lr0.005这个学习率是针对8卡GPU每卡videos_per_gpu2的总batch size为16的情况设置的。这是一个非常重要的经验学习率需要根据总batch size进行线性缩放。如果你只用2张卡每卡batch size为2那么总batch size是4是原配置的1/4。此时学习率也应该大致缩放为原来的1/4即lr0.005 / 4 0.00125。这是一个常用的启发式规则。lr_config: 学习率调整策略。policystep表示在指定epoch进行阶梯下降。step[5, 10]表示在第5和第10个epoch时下降。因为我们计划训练100个epoch所以需要调整这个列表比如改成step[40, 80]让模型在后期再下降学习率。total_epochs: 总训练轮数改成你计划的100。第六部分训练策略与工作目录 (evaluation,checkpoint_config,work_dir)evaluation: 验证设置。interval1表示每1个epoch在验证集上评估一次。这里有一个超级实用的技巧如何保存验证集上性能最好的模型而不是只保存最后一个epoch的模型你需要修改这里evaluation dict( interval1, save_besttop_k_accuracy, # 或者 mean_class_accuracy根据哪个指标保存最佳模型 rulegreater, # 指标越大越好 metrics[top_k_accuracy, mean_class_accuracy])这样训练过程中会自动将验证集上top_k_accuracy最高的模型权重保存为best_top_k_accuracy_epoch_*.pth。这避免了最后模型过拟合的风险。checkpoint_config: 检查点保存设置。interval1表示每个epoch都保存一次权重。如果你磁盘空间紧张可以设为interval5或10。work_dir: 训练日志和模型权重的输出目录。建议改成你自己的路径例如./work_dirs/timesformer_subset_exp1。这样每次实验的结果都清晰独立。4. 启动训练与多GPU实战配置文件精心调整好后激动人心的训练环节就要开始了。MMA2提供了非常方便的多GPU训练脚本。4.1 单机多卡训练命令假设你修改好的配置文件路径是configs/recognition/timesformer/my_timesformer_config.py并且你有4张可用的GPUGPU索引为0,1,2,3。那么训练命令非常简单cd /path/to/mmaction2 bash tools/dist_train.sh configs/recognition/timesformer/my_timesformer_config.py 4 --validatetools/dist_train.sh: MMA2封装好的分布式训练启动脚本。第一个参数你的配置文件路径。第二个参数使用的GPU数量。这里是4。--validate: 这是一个可选参数但强烈建议加上。它会在训练过程中按照配置文件中evaluation的interval设置定期在验证集上评估模型。执行这条命令后脚本会自动启动4个进程每个进程绑定一张GPU并开始分布式训练。你会看到终端输出每个epoch的训练损失、学习率以及验证集上的准确率等信息。4.2 训练过程监控与问题排查训练开始后别干等着。要学会看日志。观察Loss曲线正常的训练训练损失train loss应该随着epoch增加而稳步下降验证损失val loss先降后升可能意味着过拟合。观察验证集准确率这是我们最关心的指标。top_k_accuracy通常是top-1和top-5和mean_class_accuracy会打印出来。如果准确率一直不上升可能是学习率太大或太小或者模型容量对于你的任务来说不足/过拟合。GPU利用率使用nvidia-smi命令查看GPU使用情况。如果利用率很低比如长期低于50%可能是workers_per_gpu设置得太小数据加载成了瓶颈也可能是videos_per_gpu设置得太小GPU计算资源没吃满。常见错误CUDA out of memory 显存炸了。立即调小videos_per_gpu。也可以尝试在配置文件的model部分加入test_cfgdict(max_testing_views1)来减少验证时的视图数虽然主要影响测试。找不到图片或标注 仔细检查data_root和ann_file的路径是否正确以及ann_file中的路径格式、帧数是否正确。这是最常见的问题。Loss为NaN 学习率可能设得太高了尝试降低学习率。也可能是数据预处理有问题比如归一化参数不对。4.3 恢复训练与模型测试如果训练中途因为某种原因中断了你可以从最近保存的检查点恢复训练而不是从头开始。假设你的work_dir是./work_dirs/exp1里面有一个epoch_50.pth的权重文件。bash tools/dist_train.sh configs/recognition/timesformer/my_timesformer_config.py 4 --validate --resume-from ./work_dirs/exp1/epoch_50.pth加上--resume-from参数并指定检查点路径即可。优化器状态、学习率调度器的状态也会被恢复。训练完成后你可以使用tools/test.py脚本在测试集上评估最终模型或最佳模型的性能。但通常我们在训练时通过--validate已经得到了验证集上的最佳模型可以直接用它进行后续的推理或部署。5. 进阶技巧与避坑指南走通了整个流程你已经成功了一大半。但要想做得更好、更高效这里还有一些我实战中总结的“锦囊妙计”。5.1 学习率与Batch Size的“炼丹”艺术前面提到了学习率随总batch size线性缩放的规则Linear Scaling Rule但这只是一个起点。在实际操作中你还需要微调。Warmup策略对于Transformer类模型在训练初期使用一个小的学习率逐步“预热”Warmup到预设值有助于稳定训练。MMA2的lr_config支持warmup参数。你可以尝试添加lr_config dict( policystep, step[40, 80], warmuplinear, # 或 constant warmup_iters5, # 用5个epoch进行warmup warmup_ratio0.001) # 起始学习率为 base_lr * warmup_ratio更精细的调度除了step还可以尝试cosine余弦退火调度它能让学习率在后期缓慢下降可能找到更优的解。Batch Size的影响增大batch size通常能让训练更稳定收敛更快但需要更大的显存。如果受限于显存无法增大可以尝试使用梯度累积Gradient Accumulation。虽然MMA2原生配置没有直接参数但你可以通过修改optimizer_config或自定义训练循环来实现。简单来说就是让小batch size多次前向传播的梯度累加起来再一次性更新权重模拟大batch size的效果。5.2 数据增强的“调味”作用数据增强是防止过拟合、提升模型泛化能力的利器。除了配置文件里默认的随机缩放裁剪和翻转MMA2还支持很多其他增强比如ColorJitter随机调整亮度、对比度、饱和度和色调。RandomRotate随机旋转。在pipeline中添加这些增强就像给数据“加调料”。但要注意增强不是越多越好过于激进的增强可能会破坏视频中动作的语义信息。对于Kinetics这类以人物动作为主的数据集色彩抖动和轻微旋转通常比较安全。5.3 处理类别不平衡问题如果你的子集里某些类别的视频数量远多于其他类别模型可能会偏向于多数的类别。解决方法有样本重采样Oversampling在DataLoader中让少数类别的样本有更高的概率被采样到。MMA2的RawframeDataset可以通过repeat参数或自定义sampler来实现。损失函数加权在cls_head的损失函数中通常是CrossEntropyLoss为每个类别设置不同的权重少数类别的权重更大。这可以在配置文件的model-cls_head里设置lossdict(typeCrossEntropyLoss, class_weight[...])权重列表需要你自己根据类别频率计算。选择更合适的评估指标当类别不平衡时整体的top-1 accuracy可能具有欺骗性。mean_class_accuracy每个类别的准确率取平均更能反映模型在各个类别上的均衡表现。这也是为什么配置文件中同时监控这两个指标。5.4 实验管理与日志分析当你尝试不同的超参数学习率、数据增强、模型微调时良好的实验管理习惯至关重要。给work_dir起有意义的名字比如timesformer_lr1e-3_bs8_crop320一眼就能看出这次实验的关键设置。利用TensorBoard或MMLab的视觉化工具MMA2训练时会生成work_dir下的log.json文件。你可以使用tools/analysis_tools/analyze_logs.py脚本绘制损失和准确率曲线直观比较不同实验的效果。记录每一次改动哪怕只是微小的参数调整也最好用文本文件记录在work_dir里说明改动原因和预期目标。时间久了你会发现这是一笔宝贵的财富。最后我想说基于MMA2和TimeSformer进行子集训练就像搭积木。MMA2提供了稳定、模块化的框架TimeSformer提供了强大的模型能力而你的任务就是理解每一块“积木”的作用并把它们正确地组合起来解决你自己的实际问题。这个过程肯定会遇到报错、精度不理想等情况这太正常了。多看看终端报错信息多检查配置文件路径和数据格式大部分问题都能迎刃而解。希望这篇详细的实践指南能帮你少走弯路更快地在视频理解的世界里做出有意思的东西。如果在实践过程中遇到具体问题欢迎随时交流讨论。