DAMOYOLO-S模型ONNX格式导出与跨平台推理如果你训练好了一个DAMOYOLO-S模型想把它用在不同的地方——比如一个Python写的Web服务、一个C开发的桌面应用或者一个.NET的移动端程序你可能会发现直接拿着PyTorch的模型文件到处跑不太现实。每个框架、每个平台都有自己的“脾气”直接部署常常会遇到各种兼容性问题。这时候ONNX格式就成了一个很好的“中间人”。它就像一种通用的模型语言能让你的模型在不同的框架和硬件上顺畅运行。今天我就来手把手带你走一遍这个流程怎么把PyTorch版的DAMOYOLO-S模型转换成ONNX格式然后分别在Python、C和.NET环境里把它用起来。整个过程我会尽量讲得直白让你能跟着一步步做下来。1. 准备工作理清思路与环境搭建在开始动手之前我们先花几分钟把要做的事情和需要的东西理清楚。这样后面操作起来会更顺畅。1.1 我们要做什么简单来说就是三步走转换把我们手头训练好的PyTorch模型通常是一个.pth文件通过PyTorch内置的工具转换成标准的ONNX格式文件一个.onnx文件。处理在转换过程中处理一些DAMOYOLO模型特有的算子比如后处理的非极大值抑制NMS确保它们能被ONNX运行时正确识别和执行。同时设置好模型的输入输出尺寸让它能灵活应对不同大小的图片。验证在三个不同的“舞台”上Python、C、.NET分别加载这个ONNX文件输入一张图片看看它能不能正确地输出检测框和类别证明转换是成功的。1.2 需要准备什么你的电脑上需要安装好以下东西。如果还没装可以先花点时间装一下。Python环境这是我们的起点和主要操作环境。建议使用Python 3.8或更高版本。PyTorch用于加载原始模型和进行转换。你可以去PyTorch官网根据你的系统Windows/Linux/macOS和是否有GPUCUDA版本选择对应的安装命令。ONNX ONNX Runtimeonnx包用于转换和检查模型文件onnxruntime包用于在Python环境下运行推理。用pip安装就行pip install onnx onnxruntime如果你打算在GPU上跑可以安装onnxruntime-gpu。DAMOYOLO代码和模型你需要有训练DAMOYOLO-S模型的源代码以及最终保存的模型权重文件比如damoyolo-s.pth。确保你的代码里包含了模型的定义。C环境可选如果你想尝试C推理需要一个C编译器如GCC, MSVC和ONNX Runtime的C库。可以从ONNX Runtime的GitHub发布页面下载预编译包。.NET环境可选如果你想尝试.NET推理需要安装.NET SDK6.0或更高版本并通过NuGet包管理器安装Microsoft.ML.OnnxRuntime包。好了基础的东西齐了我们正式开始。2. 核心步骤导出ONNX模型这是最关键的一步转换的质量直接决定了后面能不能用得好。我们一步步来。2.1 加载你的PyTorch模型首先在你的Python脚本里像往常一样把模型结构和权重加载进来。假设你的模型定义在一个叫model.py的文件里。import torch from model import DAMOYOLO_S # 请根据你的实际代码调整导入方式 # 1. 初始化模型结构 model DAMOYOLO_S(num_classes80) # 类别数根据你的数据集调整例如COCO是80类 model.eval() # 非常重要将模型设置为评估模式 # 2. 加载训练好的权重 checkpoint torch.load(path/to/your/damoyolo-s.pth, map_locationcpu) # 注意权重文件的键名可能需要与模型状态字典匹配有时需要手动映射 model.load_state_dict(checkpoint[model] if model in checkpoint else checkpoint) print(PyTorch模型加载成功。)2.2 准备一个示例输入并执行转换ONNX转换需要一个“样例输入”来追踪模型的计算图。我们需要创建一个符合模型输入要求的假数据dummy input。import torch.onnx # 1. 创建一个示例输入张量 # DAMOYOLO通常接受 [batch_size, channels, height, width] 格式的输入 # 这里我们设置动态的批次(batch)和尺寸(height, width)方便部署时灵活调整 batch_size 1 channels 3 height 640 # 常见的输入尺寸可根据你的训练配置调整 width 640 dummy_input torch.randn(batch_size, channels, height, width, devicecpu) # 2. 定义输入和输出的名称以及动态维度 input_names [images] output_names [output0] # 输出名可能需要根据模型结构调整 # 设置动态轴让模型支持可变的批次大小和图片尺寸 dynamic_axes { images: {0: batch_size, 2: height, 3: width}, # 输入是动态的 output0: {0: batch_size} # 输出批次也是动态的 } # 3. 执行导出 onnx_model_path damoyolo-s.onnx torch.onnx.export( model, # 要转换的模型 dummy_input, # 模型输入示例 onnx_model_path, # 输出ONNX文件路径 input_namesinput_names, output_namesoutput_names, dynamic_axesdynamic_axes, # 启用动态轴 opset_version13, # ONNX算子集版本11或以上对目标检测模型支持较好 do_constant_foldingTrue, # 优化常量减小模型大小 verboseFalse # 是否打印详细信息 ) print(fONNX模型已成功导出至: {onnx_model_path})关键点解释model.eval()这行代码至关重要。它会让模型中的某些层如Dropout、BatchNorm固定下来确保转换和推理时行为一致。动态轴dynamic_axes这是我们实现“一次转换多处灵活使用”的秘诀。它告诉ONNX模型的输入图片的batch_size、height、width维度是可以变化的。这样在部署时你就不必拘泥于导出时用的640x640尺寸了。opset_version算子集版本。版本越高支持的算子越多、越新。对于包含较新算子的模型如某些后处理可能需要更高的版本。如果导出失败提示算子不支持可以尝试升级到更高版本如14, 15。2.3 验证导出的ONNX模型导出完成后别急着关掉Python。我们先简单检查一下这个ONNX文件是否有效结构是否正确。import onnx # 加载并检查模型 onnx_model onnx.load(onnx_model_path) onnx.checker.check_model(onnx_model) print(ONNX模型格式检查通过。) # 打印模型输入输出信息 import onnx.helper as helper graph onnx_model.graph print(f\n模型输入:) for inp in graph.input: print(f Name: {inp.name}, Shape: {inp.type.tensor_type.shape}) print(f\n模型输出:) for out in graph.output: print(f Name: {out.name}, Shape: {out.type.tensor_type.shape})如果这一步没有报错并且打印出的输入输出形状符合预期比如输入是[batch_size, 3, height, width]那么恭喜你ONNX模型已经成功诞生了3. 跨平台推理实战现在我们让这个ONNX模型在不同的环境下“活”起来。3.1 Python环境推理这是最直接的方式我们用ONNX Runtime来跑。import onnxruntime as ort import numpy as np import cv2 # 1. 创建ONNX Runtime推理会话 # 提供者‘CPUExecutionProvider’表示使用CPU如果想用GPU可以改为‘CUDAExecutionProvider’ session ort.InferenceSession(onnx_model_path, providers[CPUExecutionProvider]) # 2. 准备真实输入数据这里以读取一张图片为例 def prepare_input(image_path, target_size(640, 640)): img cv2.imread(image_path) img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 调整尺寸并归一化这里是一个简单的预处理请根据你的训练预处理方式调整 img_resized cv2.resize(img_rgb, target_size) input_data img_resized.transpose(2, 0, 1).astype(np.float32) / 255.0 # HWC to CHW, 归一化 input_data np.expand_dims(input_data, axis0) # 增加批次维度 - [1, 3, H, W] return input_data, img.shape[:2] # 返回原始图像尺寸用于后处理 input_data, orig_shape prepare_input(test.jpg) input_name session.get_inputs()[0].name # 3. 运行推理 outputs session.run(None, {input_name: input_data}) # outputs 是一个列表包含了模型的所有输出 print(f推理完成输出数量: {len(outputs)}) print(f第一个输出的形状: {outputs[0].shape}) # 4. 后处理解析输出得到框、分数、类别 # 注意DAMOYOLO的输出格式需要根据其具体设计来解析。 # 这里假设输出是[1, 8400, 85]格式YOLOv8常见格式85 4(框坐标) 1(置信度) 80(类别概率) prediction outputs[0] # shape: [1, 8400, 85] # 你需要在这里实现非极大值抑制(NMS)等后处理步骤将张量转换为具体的检测框。 # 这部分代码依赖于你的模型输出结构此处省略具体实现。3.2 C环境推理对于追求性能的桌面或嵌入式应用C是常见选择。你需要先配置好ONNX Runtime的C开发环境。一个简单的CMakeLists.txt配置示例cmake_minimum_required(VERSION 3.16) project(ONNXInferenceDemo) set(CMAKE_CXX_STANDARD 17) # 假设你已经将ONNX Runtime的库和头文件解压到了项目目录下的 onnxruntime 文件夹中 include_directories(${CMAKE_CURRENT_SOURCE_DIR}/onnxruntime/include) link_directories(${CMAKE_CURRENT_SOURCE_DIR}/onnxruntime/lib) add_executable(inference_demo main.cpp) target_link_libraries(inference_demo onnxruntime)C推理核心代码片段main.cpp#include onnxruntime/core/session/onnxruntime_cxx_api.h #include opencv2/opencv.hpp #include iostream int main() { // 1. 初始化ONNX Runtime环境 Ort::Env env(ORT_LOGGING_LEVEL_WARNING, test); Ort::SessionOptions session_options; // 2. 创建会话并加载模型 Ort::Session session(env, Ldamoyolo-s.onnx, session_options); // 3. 获取模型输入输出信息 auto input_name session.GetInputNameAllocated(0, Ort::AllocatorWithDefaultOptions()); Ort::TypeInfo input_type_info session.GetInputTypeInfo(0); auto input_tensor_info input_type_info.GetTensorTypeAndShapeInfo(); std::vectorint64_t input_shape input_tensor_info.GetShape(); std::cout Input name: input_name.get() std::endl; // 4. 准备输入数据 (使用OpenCV读取和预处理图片此处省略详细预处理代码) cv::Mat image cv::imread(test.jpg); // ... 图像预处理resize, BGR2RGB, 归一化转CHW... std::vectorfloat input_tensor_values; // 填充预处理后的数据 std::vectorint64_t current_input_shape {1, 3, 640, 640}; // 当前推理的尺寸 // 5. 创建输入Tensor auto memory_info Ort::MemoryInfo::CreateCpu(OrtArenaAllocator, OrtMemTypeDefault); Ort::Value input_tensor Ort::Value::CreateTensorfloat( memory_info, input_tensor_values.data(), input_tensor_values.size(), current_input_shape.data(), current_input_shape.size() ); // 6. 运行推理 const char* input_names[] {input_name.get()}; const char* output_names[] {output0}; // 根据你的模型输出名调整 std::vectorOrt::Value output_tensors session.Run( Ort::RunOptions{nullptr}, input_names, input_tensor, 1, output_names, 1 ); // 7. 处理输出 float* output_data output_tensors[0].GetTensorMutableDatafloat(); // ... 后处理逻辑 ... std::cout C推理完成 std::endl; return 0; }3.3 .NET环境推理C#示例对于Windows桌面应用、Web后端或移动端开发.NET平台结合ONNX Runtime也非常方便。通过NuGet安装Microsoft.ML.OnnxRuntime包。using System; using Microsoft.ML.OnnxRuntime; using Microsoft.ML.OnnxRuntime.Tensors; using SixLabors.ImageSharp; // 用于图像处理需安装SixLabors.ImageSharp包 using SixLabors.ImageSharp.PixelFormats; using SixLabors.ImageSharp.Processing; class Program { static void Main(string[] args) { // 1. 创建推理会话 using var session new InferenceSession(damoyolo-s.onnx); // 2. 获取输入信息 var inputMeta session.InputMetadata; var inputName session.InputNames.First(); var inputShape inputMeta[inputName].Dimensions; // 例如 [-1, 3, -1, -1] // 3. 准备输入数据使用ImageSharp加载和预处理图片 using ImageRgb24 image Image.LoadRgb24(test.jpg); // 调整尺寸 image.Mutate(x x.Resize(640, 640)); // 将图像数据转换为CHW格式的浮点数组并归一化 float[] inputData new float[1 * 3 * 640 * 640]; // ... 遍历image像素填充inputData ... // 4. 创建输入Tensor var dimensions new int[] { 1, 3, 640, 640 }; using var inputTensor new DenseTensorfloat(inputData, dimensions); var inputs new ListNamedOnnxValue { NamedOnnxValue.CreateFromTensor(inputName, inputTensor) }; // 5. 运行推理 using IDisposableReadOnlyCollectionDisposableNamedOnnxValue results session.Run(inputs); // 6. 处理输出 var outputTensor results.First().AsTensorfloat(); var outputData outputTensor.ToArray(); // ... 后处理逻辑 ... Console.WriteLine(.NET推理完成); } }4. 总结走完这一趟你应该已经成功地把一个PyTorch训练的DAMOYOLO-S模型变成了一个可以在Python、C、.NET等多个平台上运行的ONNX模型了。整个过程的核心其实就两点一是正确设置动态轴让模型能适应不同尺寸的输入二是在不同环境下按照ONNX Runtime的要求准备好输入数据。实际部署时你可能会遇到更多细节问题比如在不同硬件CPU/GPU上的性能优化、更复杂的后处理集成到ONNX图中、或者处理视频流等。但有了这个基础流程大部分问题都有了解决的起点。下次当你需要把AI模型塞进一个全新的应用环境时不妨先想想“能不能先转成ONNX试试”获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。