1. 微调数据格式为什么它比模型本身还重要朋友们不知道你们有没有过这样的经历好不容易搞到了一个不错的开源大模型比如LLaMA或者Qwen兴致勃勃地准备用自己的数据给它“开开小灶”结果第一步就卡住了——数据格式不对。模型读不懂你的数据就像你给一个只会说中文的朋友看一篇全英文的说明书他只能一脸茫然地看着你。我刚开始玩模型微调的时候也在这个坑里摔过好几次。当时觉得数据嘛不就是文本丢进去吗结果训练出来的模型要么胡说八道要么干脆不输出。后来才明白数据格式是模型和你的意图之间的一座桥。桥没搭好再好的模型也到不了你想去的地方。简单来说微调数据格式就是一套“规则”它告诉模型两件事第一你给它的数据里哪些部分是“问题”指令哪些部分是“期望的答案”回复。第二这些数据是按照什么结构组织起来的比如是简单的一问一答还是多轮复杂的对话是单纯的文本还是包含了图片、视频不同的微调任务指令跟随、对话、偏好学习和不同的微调框架比如LLaMA-Factory、Hugging Face Transformers对这座“桥”的形状有不同的要求。如果你用错了格式轻则训练效率低下模型学不到东西重则直接报错训练都无法开始。所以在动手写代码、跑训练之前花点时间彻底搞清楚数据格式绝对是事半功倍、避免返工的关键一步。这份指南就是我结合自己踩过的坑和实战经验为你梳理的一份“格式手册”目标是让你看完就能动手避开我当年走过的弯路。2. 基石格式详解从Alpaca开始在众多格式中Alpaca格式可以说是最经典、应用最广的基石。它结构清晰特别适合指令微调任务也就是教模型学会理解和执行各种人类指令。2.1 预训练格式让模型“博览群书”在深入指令微调之前我们先看看最简单的格式——预训练格式。它的目标不是教模型回答问题而是让它“大量阅读”积累语言知识和世界知识。这种格式极其简单就是一个纯文本的列表。[ {text: 这是一段很长的文档内容可能来自维基百科、书籍、网页文章等等。模型的目标是学习预测下一个词所以不需要任何标注。}, {text: 另一段完全独立的文档内容。每一条记录都是一个独立的文本片段。} ]关键点每条数据只有一个text字段里面放的就是原始的、未经标注的文本。这些文本通常来自互联网海量语料领域尽可能多样目的是让模型掌握语言的统计规律和事实性知识。在训练时模型会以“自回归”的方式根据前面的词预测下一个词。你不需要也无法在数据中指定哪里是问题哪里是答案。实战踩坑记录 我最初以为预训练数据就是随便找些txt文件扔进去。结果发现如果文本质量太差比如大量广告、乱码或者文本片段太短比如只有几个词训练效果会大打折扣。后来我的做法是先用一些简单的规则清洗数据比如过滤掉过短行、去除特殊字符再把相关的长文档拼接在一起确保每个text字段都有足够的上下文长度比如至少512个token。这能显著提升模型学习的效率。2.2 指令监督微调格式手把手教学这才是Alpaca格式的精华所在也是我们最常使用的格式。它的核心是模拟“老师教学生”的过程老师给出指令和可能的输入学生模型给出正确答案。[ { instruction: 将以下中文翻译成英文。, input: 人工智能正在改变世界。, output: Artificial intelligence is changing the world., system: 你是一个专业的翻译助手。, history: [ [你好请帮我翻译。, 你好我可以帮你翻译。请提供需要翻译的文本。], [今天的天气真好。, The weather is really nice today.] ] } ]我们来拆解每个字段instruction(必填)这是核心指令告诉模型要做什么。比如“总结以下文章”、“写一首诗”、“解释这个概念”。一定要清晰、明确。input(选填)指令的补充信息或上下文。比如要翻译的文本、要总结的文章内容。如果指令已经包含了所有信息例如“讲一个笑话”这里可以留空字符串。output(必填)这就是我们期望模型给出的“标准答案”或“示范回答”。质量越高越好。system(选填)系统提示词用于设定模型的角色、行为规范或知识背景。比如“你是一个乐于助人的AI助手”、“你是一位资深律师”。这个信息通常会在对话开始时一次性注入。history(选填)历史对话记录。这是一个列表的列表每个子列表是[用户消息, 助手消息]的一轮对话。这个字段非常强大它使得单条数据可以承载多轮对话的微调让模型学会在连续上下文中进行回复。两个至关重要的细节我踩过的坑拼接规则在训练时instruction和input会被拼接起来中间加一个换行符\n共同作为模型的输入。所以如果你的指令是“翻译”输入是“你好”那么模型看到的完整输入是“翻译\n你好”。在设计数据时要考虑到这种拼接后的自然性。历史记录的使用history里的内容同样会被用于训练。这意味着你不仅提供了当前轮次的“问答对”作为监督信号历史对话中的每一轮问答也都会成为模型的学习材料。这要求你的历史对话数据质量也要有保障。一个更复杂的多轮对话示例{ instruction: 根据我们的聊天历史我上次提到的项目进展如何, input: , output: 根据历史记录您上周三提到的‘智能客服系统’项目当前已完成需求评审进入UI设计阶段预计下周开始前端开发。, history: [ [我想开发一个智能客服系统有什么建议, 建议先从明确业务场景和知识库构建开始...], [好的那我们先梳理场景。主要场景是售前咨询和售后问题处理。, 明白针对这两个场景我们可以设计不同的对话流程和知识库分支...] ] }这个例子展示了如何利用history字段让模型具备“记忆”和“上下文理解”能力这对于构建对话机器人至关重要。3. 从“学会回答”到“学会选择”偏好学习格式指令微调教会了模型“如何回答”但现实中往往存在多个可能的回答有的回答质量高、有帮助、无害有的则可能啰嗦、有偏见甚至有害。如何让模型学会区分好坏选择更优的回答这就需要偏好学习数据格式。3.1 直接偏好优化格式DPO格式是目前最流行的偏好学习方法之一。它不需要训练一个复杂的奖励模型直接通过对比“好答案”和“坏答案”来微调模型。[ { instruction: 如何泡一杯好茶, input: , chosen: 泡一杯好茶需要注意水温、茶具和冲泡时间。例如冲泡绿茶宜用80-85°C的水避免闷泡以免苦涩而红茶则可用沸水充分激发香气。首先温杯洁具然后置茶注水后根据茶叶种类等待相应时间即可品饮。, rejected: 喝茶就把茶叶放杯子里倒热水就行了没什么讲究的都一样。 } ]chosen(必填)被人类标注者或更强大模型如GPT-4评判为“更优”的回答。它应该更有帮助、准确、无害、详细。rejected(必填)被评判为“更差”的回答。它可能不准确、敷衍、含有有害内容或不符合指令。DPO数据的核心挑战在于构建高质量的对比对。我常用的方法有人工标注对于核心领域数据找专家进行人工评判质量最高但成本也高。模型打分使用GPT-4等强大模型对同一个问题生成的多个回答进行评分和排序选取最好和最差的。规则过滤对于“拒绝回答有害问题”这类任务可以用规则生成一些“坏答案”例如直接输出有害信息对应的“好答案”则是礼貌拒绝。注意chosen和rejected必须是针对同一个instructioninput产生的不同回答。模型学习的目标是对于相同的输入它输出chosen回答的概率应该远高于输出rejected回答的概率。3.2 KTO格式更高效的偏好信号DPO需要明确的“好/坏”成对数据但有时候我们只有单条数据的反馈比如用户点了个“赞”或“踩”。KTO格式就是为了解决这个问题。[ { instruction: 用Python写一个快速排序函数。, input: , output: def quick_sort(arr):\n if len(arr) 1:\n return arr\n pivot arr[len(arr) // 2]\n left [x for x in arr if x pivot]\n middle [x for x in arr if x pivot]\n right [x for x in arr if x pivot]\n return quick_sort(left) middle quick_sort(right), kto_tag: true }, { instruction: 解释什么是机器学习。, input: , output: 机器学习就是电脑自己学东西跟人差不多看多了就会了。, kto_tag: false } ]kto_tag(必填)这是一个布尔值标签。true表示这个output是令人满意的desirablefalse表示是不令人满意的undesirable。与DPO不同KTO的每条数据都是独立的它不要求严格的“配对”。你只需要对每个模型输出打上“满意”或“不满意”的标签即可。这使得我们可以利用大量现成的用户反馈数据如点赞/点踩日志来训练模型数据获取成本大大降低。如何选择DPO还是KTO如果你有精心标注的、成对的“好/坏”答案DPO通常效果更直接、更稳定。如果你拥有的是海量的、带二分类标签如点赞/点踩的交互数据KTO能更好地利用这些数据效率更高。4. 超越文本多模态数据格式现在的LLM早已不局限于文字。像LLaVA、Qwen-VL这样的多模态大模型可以理解图像、视频甚至音频。微调这类模型数据格式也需要相应扩展。4.1 图像数据格式核心思想是在对话中插入特殊的图像标记image并在数据中指定图像文件的路径。[ { messages: [ {role: user, content: image\n这张图片里是什么动物}, {role: assistant, content: 这是一只正在草地上休息的柯基犬它有着黄白色的毛发和短腿。} ], images: [path/to/your/image1.jpg] } ]关键点messages这里采用了更接近对话的格式类似于后文会讲到的ShareGPT格式其中role可以是user或assistant。在用户消息中用image标记来表示图像插入的位置。images(必填)一个列表包含图像文件的路径。路径可以是本地绝对路径也可以是相对路径但务必确保在训练时这些路径是有效的并且图像文件可访问。数量一致images列表中的图像数量必须与messages中image标记的数量严格一致。如果用户消息是“imageimage比较这两张图片”那么images列表里就应该有两个路径。4.2 视频与音频数据格式原理与图像类似使用video和audio标记。// 视频数据示例 { messages: [ {role: user, content: video\n这个视频中的人物在做什么运动}, {role: assistant, content: 视频中的人物正在打羽毛球他正在进行一次高远球扣杀。} ], videos: [path/to/badminton.mp4] } // 音频数据示例 { messages: [ {role: user, content: audio\n这是什么乐器演奏的声音}, {role: assistant, content: 这是小提琴演奏的声音旋律来自《梁祝》。} ], audios: [path/to/violin.mp3] }实战提醒处理视频和音频数据时计算和存储开销远大于文本和图像。通常需要对视频进行帧采样对音频进行特征提取如MFCC然后将这些特征与文本一起输入模型。在准备数据时你需要确认你使用的微调框架如LLaMA-Factory支持哪种形式的视频/音频输入是原始文件路径还是预处理后的特征文件路径。5. 对话的终极形态ShareGPT/OpenAI格式当你需要构建复杂的、多轮的、可能涉及工具调用的对话系统时Alpaca格式的history字段就显得有些力不从心了。这时ShareGPT格式以及其子集OpenAI格式是更强大的选择。5.1 核心对话结构ShareGPT格式以conversations列表为核心真实地模拟了多轮对话的流转。[ { conversations: [ {from: human, value: 今天北京的天气怎么样}, {from: gpt, value: 我需要查询实时天气信息请稍等。}, {from: function_call, value: {\name\: \get_weather\, \arguments\: {\city\: \北京\}}}, {from: observation, value: {\weather\: \晴\, \temperature\: \22°C\, \humidity\: \45%\}}, {from: gpt, value: 今天北京天气晴朗气温22摄氏度湿度45%是个好天气。} ], system: 你是一个智能天气助手可以调用工具查询实时天气。, tools: [{\name\: \get_weather\, \description\: \查询指定城市的实时天气\, \parameters\: {...}}] } ]角色解析human: 用户说的话。必须出现在奇数位置第1、3、5...条。gpt/assistant: 模型助手的回复。必须出现在偶数位置第2、4、6...条。function_call: 模型决定调用某个外部工具/函数时发出的请求。它包含函数名和参数。observation: 外部工具/函数执行后返回的结果。必须紧接着对应的function_call之后出现。system和tools这两个字段是可选的。system用于设定助手角色tools以JSON Schema格式描述助手可以调用的工具列表。它们为模型提供了工具调用的“说明书”。5.2 偏好学习的ShareGPT格式ShareGPT格式同样支持偏好学习结构非常直观。{ conversations: [ {from: human, value: 如何学习Python编程} ], chosen: { from: gpt, value: 学习Python可以分几步走1. 打好基础学习语法和核心概念变量、循环、函数等。2. 通过小项目实践比如写个爬虫或数据分析脚本。3. 深入学习特定领域库如Web开发的Django/Flask或机器学习的PyTorch。推荐从《Python Crash Course》这类实践性强的书开始同时多在Stack Overflow和GitHub上学习和参与。 }, rejected: { from: gpt, value: 学Python就去网上找教程看就行了很简单不用买书。 } }注意这里的conversations只包含了对话的起点用户问题而chosen和rejected则是两个完整的助手回复消息。这种格式清晰地分离了对话上下文和偏好对比对。5.3 OpenAI格式一种简洁变体OpenAI API使用的格式可以看作是ShareGPT格式的一个简化子集它主要标准化了角色字段去除了function_call等扩展。[ { messages: [ {role: system, content: 你是一个幽默的翻译官。}, {role: user, content: 把‘你好世界’翻译成法语并带点诗意。}, {role: assistant, content: Ah, ‘Bonjour, le monde!’ 这声问候如同塞纳河畔的第一缕晨光轻轻叩响世界之门。} ] } ]使用role(system,user,assistant) 替代了from。结构更紧凑被Hugging Face等生态广泛支持是进行通用对话微调非常方便的格式。6. 实战格式转换与数据清洗了解了各种格式但我们的原始数据往往是混乱的文本、CSV、甚至是从网页爬取的HTML。如何把它们变成模型能“吃”的干净数据这里分享几个我常用的脚本片段。6.1 从CSV到Alpaca格式假设你有一个CSV文件有三列question,context,answer。import pandas as pd import json # 读取原始数据 df pd.read_csv(raw_data.csv) formatted_data [] for _, row in df.iterrows(): item { instruction: 根据给定上下文回答问题。, # 你的通用指令 input: f上下文{row[context]}\n问题{row[question]}, # 将上下文和问题拼接到input output: row[answer] } formatted_data.append(item) # 保存为JSONL格式每行一个JSON对象这种格式处理大文件更高效 with open(alpaca_formatted.jsonl, w, encodingutf-8) as f: for item in formatted_data: f.write(json.dumps(item, ensure_asciiFalse) \n) print(f转换完成共{len(formatted_data)}条数据。)6.2 处理多轮对话历史将原始的、平铺的对话日志转换成带history的Alpaca格式或ShareGPT格式是个常见需求。def convert_chat_log_to_alpaca(chat_log): chat_log: 一个列表格式为 [[user1, msg1], [user2, msg2], ...] 假设user1是用户user2是助手。 formatted_items [] for i in range(0, len(chat_log), 2): # 每次取一轮对话用户助手 if i 1 len(chat_log): break # 忽略最后孤立的用户消息 user_msg chat_log[i][1] assistant_msg chat_log[i1][1] # 构建历史当前轮之前的所有对话轮次 history [] for j in range(0, i, 2): if j 1 i: history.append([chat_log[j][1], chat_log[j1][1]]) item { instruction: user_msg, # 将当前用户消息作为instruction input: , # 本例中没有单独的input output: assistant_msg, history: history } formatted_items.append(item) return formatted_items6.3 数据清洗与质量检查格式对了数据质量不过关训练照样失败。我通常会运行一个质量检查脚本def validate_alpaca_dataset(data_list): 检查Alpaca格式数据集的基本质量 required_keys [instruction, output] errors [] for idx, item in enumerate(data_list): # 1. 检查必填字段 for key in required_keys: if key not in item: errors.append(f行{idx}: 缺少必填字段 {key}) continue if not item[key] or not item[key].strip(): errors.append(f行{idx}: 字段 {key} 为空或仅包含空白字符) # 2. 检查instruction和output的长度过短可能是噪声 if len(item.get(instruction, ).strip()) 3: warnings.append(f行{idx}: instruction过短可能无效) if len(item.get(output, ).strip()) 5: warnings.append(f行{idx}: output过短可能无效) # 3. 检查history格式如果存在 if history in item and item[history]: if not isinstance(item[history], list): errors.append(f行{idx}: history不是列表) else: for h_idx, turn in enumerate(item[history]): if not isinstance(turn, list) or len(turn) ! 2: errors.append(f行{idx}: history第{h_idx}轮格式错误应为[user_msg, assistant_msg]) if errors: print(发现严重错误) for err in errors[:10]: # 只打印前10个错误 print(err) return False if warnings: print(发现警告) for warn in warnings[:10]: print(warn) return True7. 如何为你的任务选择格式看到这里你可能有点眼花缭乱了。别急我帮你总结了一张决策表你可以像查手册一样快速找到适合你的格式。对比维度Alpaca 格式ShareGPT/OpenAI 格式核心设计目标单轮指令驱动任务如问答、翻译、摘要多轮对话与工具调用如客服机器人、API交互代理数据结构以instruction、input、output为主体的JSON对象以conversations/messages列表为核心的多角色对话链对话历史处理通过history字段列表的列表记录相对隐式通过conversations列表顺序自然体现显式且灵活角色交互逻辑仅区分用户指令和模型输出无显式角色标签支持多种角色标签human,gpt,function_call,observation交互逻辑清晰工具调用支持不支持原生工具调用需通过指令隐式描述原生支持通过function_call和observation显式实现典型应用场景- 指令跟随模型如Alpaca- 领域知识问答- 文本结构化生成- 多轮对话模型如Vicuna- 客户服务系统- 需要实时数据查询的交互如天气、计算优势- 结构简洁任务导向清晰- 适合快速构建单轮任务数据集- 支持复杂对话流和外部工具集成- 更贴近真实人机交互场景局限- 多轮对话需手动拼接history- 缺乏动态工具交互能力- 数据格式更复杂- 需要严格遵循角色位置规则奇偶性选择建议如果你的任务主要是“一问一答”比如做一个翻译机器人、摘要工具或者用领域知识做问答Alpaca格式是你的首选。它简单直接易于构建和调试。如果你要构建一个能聊天的助手需要处理多轮对话上下文很长或者需要根据历史信息进行回复ShareGPT格式更合适。它的对话流表达更自然。如果你的助手需要调用外部工具/API比如查天气、查数据库、执行计算那么必须使用ShareGPT格式因为它原生定义了工具调用的协议function_callobservation。如果你在做偏好学习两种格式都支持。DPO/KTO通常用Alpaca式结构而复杂的对话偏好则用ShareGPT的chosen/rejected结构。如果你处理图片/视频/音频在LLaMA-Factory等框架中多模态数据通常基于类似ShareGPT的messages结构并增加images/videos等字段。请务必查阅你所使用框架的最新文档。最后无论选择哪种格式一致性是关键。确保你的整个数据集中同名字段的结构和含义完全相同。在开始大规模训练前先用几百条数据跑一个快速的测试训练验证数据能被正确加载和训练这能帮你节省大量排错时间。数据格式就像烹饪的食谱步骤清晰、材料准备得当才能炒出一盘好菜。希望这份指南能成为你微调LLM时手边那份靠谱的食谱。