Nemo Skills视觉语言模型评估MMMU-Pro等视觉基准测试完全教程【免费下载链接】SkillsA project to improve skills of large language models项目地址: https://gitcode.com/gh_mirrors/ne/Skills想要全面评估视觉语言模型的跨学科理解能力吗Nemo Skills提供了终极的视觉语言模型评估解决方案这个强大的框架让您能够轻松评估模型在MMMU-Pro等复杂视觉基准上的表现。无论是学术研究还是工业应用Nemo Skills都能为您提供完整的视觉语言模型评估工具链。什么是Nemo Skills视觉语言模型评估 Nemo Skills是一个专门用于提升大型语言模型能力的项目集合它支持从合成数据生成、模型训练到广泛基准测试评估的全流程开发。在视觉语言模型评估方面Nemo Skills提供了完整的解决方案特别针对需要图像和文本联合理解的复杂任务。Nemo Skills的视觉语言模型评估功能支持多种流行的视觉基准测试其中最引人注目的是MMMU-Pro——一个强大的多学科多模态理解基准。这个基准测试评估视觉语言模型在各个学术领域的专家级任务其中图像对于问题解决至关重要。核心功能亮点 ✨1. 全面的视觉基准支持Nemo Skills目前主要支持以下视觉语言模型基准MMMU-Pro多学科多模态理解专业版基准支持10选项多项选择题评估遵循AAIArtificial Analysis Intelligence方法论原始基准来源MMMU/MMMU_Pro数据集2. 灵活的图像处理能力视觉语言模型评估使用标准的vllm服务器类型但增加了多模态支持自动将本地图像路径转换为base64数据URL支持HTTP/HTTPS图像URL和预编码的base64数据URL与任何vLLM支持的视觉语言模型无缝协作3. 便捷的配置系统VLM提示配置支持YAML文件中的两个额外字段image_field: image_path # 输入数据中包含图像路径的字段名 image_position: before # before或after - 图像相对于文本的位置快速开始MMMU-Pro评估指南 步骤1环境准备与安装首先克隆Nemo Skills仓库git clone https://gitcode.com/gh_mirrors/ne/Skills cd Skills pip install -e .步骤2数据准备视觉语言模型基准测试需要单独下载图像文件ns prepare_data mmmu-pro --data_dir/workspace/ns-data --clustercluster这个命令会自动下载并准备MMMU-Pro基准测试所需的所有数据和图像文件。步骤3运行评估选项A指令跟随型视觉语言模型如Qwen3-VL-4B-Instructfrom nemo_skills.pipeline.cli import wrap_arguments, eval eval( ctxwrap_arguments(inference.temperature0 inference.tokens_to_generate16384), clusterslurm, output_dir/workspace/mmmu-pro-eval, server_typevllm, server_gpus1, modelQwen/Qwen3-VL-4B-Instruct, benchmarksmmmu-pro, data_dir/workspace/ns-data, )选项B推理增强型视觉语言模型如Qwen3-VL-30B-A3B-Thinkingfrom nemo_skills.pipeline.cli import wrap_arguments, eval eval( ctxwrap_arguments(inference.temperature0.7 inference.tokens_to_generate131072), clusterslurm, output_dir/workspace/mmmu-pro-eval, server_typevllm, server_gpus8, model/hf_models/Qwen3-VL-30B-A3B-Thinking, benchmarksmmmu-pro, data_dir/workspace/ns-data, )关键技术配置详解 ⚙️图像路径解析策略Nemo Skills支持多种图像路径格式格式示例行为相对路径images/test.png相对于输入JSONL目录解析绝对路径/data/images/test.png直接使用HTTP URLhttps://example.com/img.png传递给vLLM数据URLdata:image/png;base64,...传递给vLLMvLLM配置优化技巧基于vLLM VLM文档的最佳实践对于纯图像推理添加--limit-mm-per-prompt.video 0以节省内存设置--max-model-len 128000适用于大多数用例默认262K消耗更多内存使用--async-scheduling以获得更好的性能这些可以通过server_args参数传递eval( server_args--limit-mm-per-prompt.video 0 --max-model-len 128000 --async-scheduling, ... )高级评估功能 1. 多样本评估与统计分析您可以在基准名称后添加:重复次数来使用高温进行多次评估用于多数投票或估计passkns eval \ --clusterlocal \ --server_typeopenai \ --modelmeta/llama-3.1-8b-instruct \ --server_addresshttps://integrate.api.nvidia.com/v1 \ --benchmarks mmmu-pro:4 \ --output_dir/workspace/test-eval使用多个样本时评估会自动计算标准差和标准误差指标这些指标包含在{metric_name}_statistics字典中。2. 自定义评估参数您可以自定义评估的任何部分# 自定义推理参数 inference.temperature0.6 inference.top_p0.8 inference.tokens_to_generate32768 # 自定义提示配置 prompt_configgeneric/math # 自定义评估参数 eval_config.timeout603. 集群数据管理对于大型基准测试如ruler直接在集群上准备数据更高效ns prepare_data \ --data_dir/workspace/ns-data \ --clusterslurm \ mmmu-pro基准测试架构解析 ️基准定义结构每个基准测试都作为nemo_skills/dataset内的一个独立文件夹存在。对于MMMU-Pro相关文件包括nemo_skills/dataset/mmmu-pro/__init__.py定义基准默认配置nemo_skills/dataset/mmmu-pro/prepare.py数据准备脚本nemo_skills/prompt/config/vlm/mmmu-pro.yaml提示配置MMMU-Pro配置详解让我们看看MMMU-Pro的默认配置# nemo_skills/dataset/mmmu-pro/__init__.py REQUIRES_DATA_DIR True METRICS_TYPE multichoice EVAL_SPLIT test GENERATION_ARGS prompt_configvlm/mmmu-pro eval_typemultichoice提示配置定义了图像字段和位置# nemo_skills/prompt/config/vlm/mmmu-pro.yaml image_field: image_path image_position: before user: |- Answer the following multiple choice question. The last line of your response should be in the following format: Answer: A/B/C/D/E/F/G/H/I/J (e.g. Answer: A). {problem}实际应用案例 案例1学术研究评估假设您正在进行视觉语言模型的跨学科理解研究可以使用Nemo Skills快速评估不同模型在MMMU-Pro上的表现# 评估多个视觉语言模型 MODELS(Qwen/Qwen3-VL-4B-Instruct Qwen/Qwen3-VL-30B-A3B-Thinking llava-hf/llava-1.5-7b-hf) for MODEL in ${MODELS[]}; do ns eval \ --clusterslurm \ --output_dir/workspace/mmmu-pro-eval-${MODEL##*/} \ --server_typevllm \ --server_gpus4 \ --model$MODEL \ --benchmarksmmmu-pro \ --data_dir/workspace/ns-data done案例2模型性能对比分析使用Nemo Skills的统计功能进行详细的性能对比# 运行多次评估以获得统计显著性 ns eval \ --clusterslurm \ --output_dir/workspace/mmmu-pro-stats \ --server_typevllm \ --server_gpus8 \ --modelQwen/Qwen3-VL-30B-A3B-Thinking \ --benchmarksmmmu-pro:10 \ --data_dir/workspace/ns-data # 汇总结果并分析方差 ns summarize_results --clusterslurm /workspace/mmmu-pro-stats最佳实践与性能优化 1. 内存优化策略视觉语言模型通常需要大量内存来处理高分辨率图像。以下优化策略可以帮助使用量化模型如果可能使用4位或8位量化版本调整图像分辨率根据任务需求适当降低图像分辨率分批处理对于大批量评估使用适当的批处理大小2. 并行化配置Nemo Skills支持在Slurm集群上进行大规模并行评估eval( clusterslurm, server_typevllm, server_gpus8, # 使用8个GPU num_jobs4, # 并行运行4个作业 modelQwen/Qwen3-VL-30B-A3B-Thinking, benchmarksmmmu-pro, data_dir/workspace/ns-data, )3. 结果分析与可视化评估完成后结果会保存在output_dir/metrics.json中。您可以使用以下命令重新计算和重新打印所有基准测试的指标ns summarize_results --clustercluster output_dir故障排除与常见问题 ❓问题1图像加载失败症状评估过程中出现图像路径解析错误。解决方案确保图像文件已正确下载到data_dir指定的目录检查图像路径格式是否正确验证文件权限和存储空间问题2内存不足症状GPU内存不足错误。解决方案减少批处理大小inference.batch_size1使用内存优化参数server_args--limit-mm-per-prompt.video 0考虑使用较小的模型或量化版本问题3评估速度慢症状单个样本评估时间过长。解决方案增加server_gpus数量启用异步调度--async-scheduling优化vLLM配置参数扩展与自定义 ️添加新的视觉基准测试要创建新的视觉基准测试请遵循以下流程在nemo_skills/dataset中创建新文件夹创建prepare.py文件输出split.jsonl输入文件创建__init__.py文件包含基准默认配置创建新的评估类如果无法重用现有类创建新的指标类如果无法重用现有类自定义提示模板您可以提交新的提示文件到您的git仓库并引用它prompt_config/nemo_run/code/path to committed .yaml注意完整路径需要以.yaml结尾总结与展望 Nemo Skills为视觉语言模型评估提供了一个强大、灵活且易于使用的框架。通过支持MMMU-Pro等先进的视觉基准测试研究人员和开发者可以全面评估模型的多模态理解能力。主要优势包括完整的评估流程从数据准备到结果分析的一站式解决方案灵活的配置支持自定义提示、推理参数和评估设置大规模并行轻松扩展到Slurm集群上的数千个GPU统计严谨性内置方差分析和不确定性估计易于扩展简单的API用于添加新的基准测试和评估方法无论您是学术研究人员评估最新的视觉语言模型还是工业开发者优化产品性能Nemo Skills都能为您提供专业的视觉语言模型评估工具。立即开始使用解锁视觉语言模型评估的全部潜力相关资源官方文档docs/evaluation/vlm.md基准测试源码nemo_skills/dataset/mmmu-pro/提示配置nemo_skills/prompt/config/vlm/mmmu-pro.yaml【免费下载链接】SkillsA project to improve skills of large language models项目地址: https://gitcode.com/gh_mirrors/ne/Skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考