如何在AMD EPYC CPU上部署Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0？超详细步骤教程

如何在AMD EPYC CPU上部署Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0超详细步骤教程【免费下载链接】Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0是由AMD使用TorchAO为ZenDNN优化的CPU推理创建的量化版本基于Qwen2.5-VL-7B-Instruct模型专为AMD EPYC CPU设计支持图像文本到文本的转换任务。模型概述 核心特性模型架构Qwen2_5_VLForConditionalGeneration支持文本和图像输入输出文本硬件支持AMD EPYC CPU仅CPU推理系统要求Linux操作系统推理引擎vLLM v0.18.0量化框架TorchAO v0.16.0量化方法8位动态激活、8位权重量化对称映射兼容技术栈ZenDNN v5.2.1ZenTorch v5.2.1PyTorch v2.10.0TorchAO v0.16.0vLLM v0.18.0准备工作 ️环境要求确保您的系统满足以下条件AMD EPYC CPULinux操作系统足够的内存建议至少64GB安装依赖使用以下命令安装所需的Python包pip install --extra-index-url https://download.pytorch.org/whl/cpu \ --extra-index-url https://wheels.vllm.ai/cpu/ \ torch2.10.0cpu \ vllm0.18.0 \ torchao0.16.0 \ transformers \ huggingface_hub克隆仓库git clone https://gitcode.com/hf_mirrors/amd/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0 cd Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0配置环境变量 ⚙️设置以下环境变量以优化性能# vLLM CPU运行时调优 export VLLM_CPU_KVCACHE_SPACE40 # KV缓存的主机内存GB数 export VLLM_CPU_OMP_THREADS_BIND0-63 # NUMA本地核心 # TorchInductor配置 export TORCHINDUCTOR_FREEZING1 export TORCHINDUCTOR_AUTOGRAD_CACHE1 export TORCHINDUCTOR_CACHE_DIR./.torchinductor_cache/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0 # 必需的CPU运行时库 export LD_PRELOADpath to lib/libtcmalloc_minimal.so.4:path to lib/libiomp5.so${LD_PRELOAD::$LD_PRELOAD}提示使用以下命令查找所需库的路径find / -name libtcmalloc_minimal.so.4 find / -name libiomp5.so然后将找到的目录替换上述命令中的path to lib模型量化过程 该模型使用TorchAO进行量化下面是量化过程的简要概述步骤1创建量化配置from transformers import TorchAoConfig from torchao.quantization import Int8DynamicActivationInt8WeightConfig from torchao.quantization.quant_primitives import MappingType quantization_config TorchAoConfig( Int8DynamicActivationInt8WeightConfig( version2, act_mapping_typeMappingType.SYMMETRIC, ), modules_to_not_convert[lm_head], )步骤2加载并量化模型from transformers import AutoModelForVision2Seq quantized_model AutoModelForVision2Seq.from_pretrained( Qwen/Qwen2.5-VL-7B-Instruct, dtypetorch.bfloat16, device_mapcpu, quantization_configquantization_config, )步骤3保存量化模型quantized_model.save_pretrained(./Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0, safe_serializationFalse)步骤4保存tokenizerfrom transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained(Qwen/Qwen2.5-VL-7B-Instruct, trust_remote_codeTrue) tokenizer.save_pretrained(./Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0)注意safe_serializationFalse是必需的因为torchao的量化张量子类目前无法以safetensors格式序列化。运行推理 虽然项目中没有提供完整的推理脚本但您可以使用以下代码作为参考进行简单的推理测试import torch from transformers import AutoModelForVision2Seq, AutoTokenizer model AutoModelForVision2Seq.from_pretrained( ./Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0, device_mapcpu, trust_remote_codeTrue ) tokenizer AutoTokenizer.from_pretrained( ./Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0, trust_remote_codeTrue ) # 文本输入示例 input_text What are we having for dinner? input_ids tokenizer(input_text, return_tensorspt) output model.generate(**input_ids, max_new_tokens30) print(tokenizer.decode(output[0], skip_special_tokensTrue))性能评估 该模型已使用lm-evaluation-harness针对BF16未量化基线进行了评估。在ChartQA基准测试中量化模型的性能仅比基线低0.29%展示了出色的性能保留率。要重现评估结果可以运行以下命令mkdir -p ${TORCHINDUCTOR_CACHE_DIR} lm_eval \ --model vllm-vlm \ --model_args pretrainedamd/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0,tokenizerQwen/Qwen2.5-VL-7B-Instruct,dtypebfloat16 \ --tasks chartqa \ --batch_size auto \ --trust_remote_code \ --apply_chat_template \ --log_samples \ --output_path .注意事项 ⚠️1.** 版本锁定 **此模型使用TorchAO v0.16.0量化仅与PyTorch v2.10.0 / ZenDNN v5.2.1兼容。在其他PyTorch版本上可能无法正确加载。2.** CPU专用 **该模型专为AMD EPYC CPU推理优化不适合GPU推理。3.** 内存要求 **确保系统有足够的内存来运行模型特别是KV缓存需要大量内存。许可证信息 本模型与源模型遵循相同的许可证分发。详情请参见LICENSE文件。修改版权所有 (c) 2026 Advanced Micro Devices, Inc. 保留所有权利。【免费下载链接】Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen2.5-VL-7B-Instruct-da8w8-torchao-v0.16.0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考