【背景】我使用llamafactory这个框架LoRA了微调了Qwen3-8B这个纯文本的大模型并将LoRA权重和原始的模型权重合并得到最终的模型。然后使用llama.cpp将合并后的权重转换为gguf格式使用llama.cpp部署这个转换后的gguf模型使用没有问题根据模型回答确实学到了训练集的内容。但是将这个gguf格式的模型导入到ollama后再次运行模型直接胡说八道输出如下【解决方法】使用llamafactory合并模型的时候生成的Modelfile文件将模型导入到ollama这个文件中包含了这个微调后模型推理的正确模板使用这个模板就没有问题了。【实操过程】1. 编辑modelfile文件将转换后的gguf文件和这个modelfile文件放到同一个路径下这个modelfile文件也可以改个名字例如2000.modelfile只要是最后的后缀是.modelfile就可以了。然后改下这个文件里面的gguf模型路径我这里把modelfile文件和gguf文件放到同一个路径下了所以FROM后面的路径直接写相对路径就可以了例如2. 导入ollama在终端进入模型和modelfile文件所在路径使用以下命令导入ollamaollama create 2000 -f 2000.modelfile其中create后面的2000是ollama中显示的模型名字-f后面就是前面编辑的modelfile文件。当类似下图出现“success”字样就代表成功了3. 验证使用ollama list看看ollama中已有的模型可以看到前面设置的名为2000的模型可以正常显示了。然后使用ollama run 2000推理一下试试模型名称后面的latest可以不用管。一般就没问题了。