GLM-4-9B-Chat-1M微调教程基于PEFT的长文本领域适配1. 引言你是不是遇到过这样的情况手头有一个很强大的大语言模型但在你的专业领域表现总是不尽如人意比如处理法律文档时抓不住重点分析医疗报告时理解不够深入或者处理超长技术文档时总是丢失关键信息今天我要分享的就是如何用PEFT技术对GLM-4-9B-Chat-1M这个支持百万级上下文的大模型进行领域适配微调。这个模型本身就支持约200万中文字符的超长文本处理但通过我们的微调它能更好地理解你的专业领域内容。我会用最简单直白的方式手把手带你完成整个微调过程。即使你之前没有太多深度学习经验跟着步骤走也能轻松上手。2. 环境准备与快速部署2.1 硬件要求先说说硬件需求。虽然GLM-4-9B是个90亿参数的大模型但通过PEFT微调我们对硬件的要求其实很友好GPU内存至少24GB如RTX 4090、A5000等系统内存32GB以上硬盘空间50GB可用空间用于存储模型和数据集如果你没有这么强的硬件也可以考虑使用云服务比如租用带A100的云服务器按小时计费也很划算。2.2 软件环境安装打开你的终端我们一步步来设置环境# 创建虚拟环境 conda create -n glm4-finetune python3.10 conda activate glm4-finetune # 安装核心依赖 pip install torch2.1.0 torchvision0.16.0 torchaudio2.1.0 --index-url https://download.pytorch.org/whl/cu118 pip install transformers4.37.0 pip install peft0.6.0 pip install datasets2.14.0 pip install accelerate0.24.0 pip install bitsandbytes0.41.0 # 安装其他工具包 pip install tiktoken tensorboard这些包都是微调过程中必需的特别是peft和bitsandbytes它们能让我们用更少的资源完成微调。2.3 模型下载GLM-4-9B-Chat-1M模型可以从Hugging Face或ModelScope下载from transformers import AutoModelForCausalLM, AutoTokenizer model_name THUDM/glm-4-9b-chat-1m tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.bfloat16, device_mapauto, trust_remote_codeTrue )第一次运行时会自动下载模型大概需要18GB的存储空间。如果下载速度慢可以考虑先下载到本地再加载。3. 理解PEFT和LoRA3.1 为什么用PEFT传统微调需要更新模型的所有参数这就像为了学一门新课要把所有知识重新学一遍既费时间又耗资源。PEFTParameter-Efficient Fine-Tuning就像是在原有知识基础上只学习新内容效率高得多。3.2 LoRA的工作原理LoRALow-Rank Adaptation是PEFT的一种具体实现方式。它的核心思想是模型在适应新任务时不需要改变所有参数只需要在关键位置添加一些小的调整矩阵。想象一下你在调整一张照片的颜色。你不需要重新画整张画只需要加几个滤镜就能达到想要的效果。LoRA做的就是类似的事情——它学习一些小的调整矩阵这些矩阵和原始权重结合后就能让模型适应新任务。3.3 LoRA的优势训练速度快只需要训练很少的参数内存占用少可以在消费级GPU上运行避免灾难性遗忘原始能力保持得更好易于切换不同的适配器可以快速切换4. 数据准备与处理4.1 数据格式要求对于领域适配微调我们需要准备问答格式的数据。每个样本应该包含指令、输入和输出{ instruction: 请分析以下法律条款的风险点, input: 第十条 甲方应在收到货物后15日内支付货款逾期每日按未付金额的千分之一支付违约金..., output: 该条款存在以下风险点1. 违约金比例可能过高根据《合同法》第114条..., domain: legal }4.2 数据预处理代码def preprocess_function(examples): # 构建对话格式 conversations [] for i in range(len(examples[instruction])): conversation [ {role: user, content: examples[instruction][i] \n examples[input][i]}, {role: assistant, content: examples[output][i]} ] conversations.append(conversation) # 应用聊天模板 tokenized tokenizer.apply_chat_template( conversations, paddingFalse, truncationTrue, max_length8192, # 根据你的需求调整 return_tensorsNone ) return {text: tokenized}4.3 长文本处理技巧GLM-4-9B-Chat-1M支持超长上下文但训练时我们还是要做些优化def chunk_long_text(text, max_length2048): 将长文本分块处理 tokens tokenizer.encode(text) chunks [] for i in range(0, len(tokens), max_length): chunk tokens[i:i max_length] chunks.append(tokenizer.decode(chunk)) return chunks5. LoRA配置与训练5.1 LoRA配置参数from peft import LoraConfig, get_peft_model lora_config LoraConfig( r16, # 秩的大小影响适配器参数量 lora_alpha32, # 缩放参数 target_modules[ # 要适配的模块 query_key_value, dense, dense_h_to_4h, dense_4h_to_h ], lora_dropout0.05, # Dropout比例 biasnone, # 偏置处理方式 task_typeCAUSAL_LM # 任务类型 ) # 应用LoRA配置 model get_peft_model(model, lora_config) model.print_trainable_parameters()5.2 训练参数设置from transformers import TrainingArguments training_args TrainingArguments( output_dir./glm4-lora-finetuned, per_device_train_batch_size1, # 批大小根据GPU内存调整 gradient_accumulation_steps8, # 梯度累积步数 learning_rate2e-5, # 学习率 num_train_epochs3, # 训练轮数 logging_dir./logs, logging_steps10, save_steps500, eval_steps500, fp16True, # 混合精度训练 optimpaged_adamw_8bit, # 优化器 max_grad_norm0.3, # 梯度裁剪 warmup_ratio0.03, # 预热比例 lr_scheduler_typecosine, # 学习率调度器 report_totensorboard, remove_unused_columnsFalse )5.3 开始训练from transformers import Trainer trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_dataseteval_dataset, data_collatorlambda data: {input_ids: torch.stack([f[0] for f in data]), attention_mask: torch.stack([f[1] for f in data]), labels: torch.stack([f[0] for f in data])} ) # 开始训练 trainer.train() # 保存适配器 trainer.save_model()6. 训练技巧与优化6.1 内存优化技巧训练大模型时内存管理很重要# 使用梯度检查点 model.gradient_checkpointing_enable() # 使用8bit优化器 training_args.optim paged_adamw_8bit # 使用Flash Attention如果支持 model.config.use_flash_attention True6.2 学习率调度合适的学习率调度能显著提升效果# 使用余弦退火调度 training_args.lr_scheduler_type cosine training_args.warmup_ratio 0.1 # 10%的训练步数用于预热 # 或者使用线性调度 training_args.lr_scheduler_type linear training_args.warmup_steps 1006.3 早停策略防止过拟合设置早停策略from transformers import EarlyStoppingCallback early_stopping EarlyStoppingCallback( early_stopping_patience3, # 连续3次验证集性能不提升就停止 early_stopping_threshold0.01 # 提升小于1%认为没有提升 ) trainer.add_callback(early_stopping)7. 模型评估与测试7.1 评估指标训练完成后需要评估模型效果def evaluate_model(model, test_dataset): results trainer.evaluate(eval_datasettest_dataset) print(fPerplexity: {math.exp(results[eval_loss]):.2f}) print(fLoss: {results[eval_loss]:.4f}) # 人工评估一些样本 for i in range(5): sample test_dataset[i] input_text tokenizer.decode(sample[input_ids]) # 生成回复 outputs model.generate( input_idssample[input_ids].unsqueeze(0), max_length1024, temperature0.7, do_sampleTrue ) generated_text tokenizer.decode(outputs[0], skip_special_tokensTrue) print(fInput: {input_text[:100]}...) print(fGenerated: {generated_text[:200]}...) print(---)7.2 领域特异性测试针对你的领域设计测试用例# 法律领域测试 legal_test_cases [ 请分析这份合同中的风险点甲方应在收到货物后15日内支付货款..., 这份劳动合同中哪些条款可能违反劳动法, 如何修改这份NDA协议以更好地保护商业秘密 ] # 医疗领域测试 medical_test_cases [ 根据这份病历患者的可能诊断是什么, 这份检验报告显示了哪些异常指标, 请解释这个手术方案的风险和收益 ]8. 模型部署与使用8.1 加载微调后的模型训练完成后可以这样加载和使用模型from peft import PeftModel # 加载基础模型 base_model AutoModelForCausalLM.from_pretrained( THUDM/glm-4-9b-chat-1m, torch_dtypetorch.bfloat16, device_mapauto, trust_remote_codeTrue ) # 加载LoRA适配器 model PeftModel.from_pretrained(base_model, ./glm4-lora-finetuned) # 合并适配器可选提升推理速度 model model.merge_and_unload()8.2 推理代码def chat_with_model(model, tokenizer, query, max_length1024): # 构建对话格式 conversation [{role: user, content: query}] # 应用模板 inputs tokenizer.apply_chat_template( conversation, add_generation_promptTrue, return_tensorspt ).to(model.device) # 生成回复 with torch.no_grad(): outputs model.generate( inputs, max_lengthmax_length, temperature0.7, do_sampleTrue, top_p0.9, pad_token_idtokenizer.eos_token_id ) # 解码回复 response outputs[0][len(inputs[0]):] return tokenizer.decode(response, skip_special_tokensTrue) # 使用示例 response chat_with_model(model, tokenizer, 请分析这份法律文档的风险点) print(response)8.3 批量处理对于需要处理大量文档的场景def batch_process_documents(documents, batch_size4): results [] for i in range(0, len(documents), batch_size): batch documents[i:ibatch_size] batch_results [] for doc in batch: try: result chat_with_model(model, tokenizer, f请分析以下文档{doc}) batch_results.append(result) except Exception as e: batch_results.append(f处理失败{str(e)}) results.extend(batch_results) return results9. 常见问题解决9.1 内存不足问题如果遇到内存不足可以尝试# 减少批大小 training_args.per_device_train_batch_size 1 training_args.gradient_accumulation_steps 16 # 使用梯度检查点 model.gradient_checkpointing_enable() # 使用8bit量化 from bitsandbytes import BitsAndBytesConfig quantization_config BitsAndBytesConfig( load_in_8bitTrue, llm_int8_threshold6.0 )9.2 训练不收敛如果训练效果不好# 调整学习率 training_args.learning_rate 1e-5 # 尝试更小的学习率 # 增加训练数据 # 或者使用数据增强 # 调整LoRA参数 lora_config LoraConfig( r32, # 增加秩 lora_alpha64, lora_dropout0.1 )9.3 过拟合问题防止过拟合的方法# 增加Dropout lora_config.lora_dropout 0.2 # 使用权重衰减 training_args.weight_decay 0.01 # 早停策略 training_args.load_best_model_at_end True training_args.metric_for_best_model eval_loss10. 总结通过这篇教程我们完整走了一遍GLM-4-9B-Chat-1M的PEFT微调流程。从环境准备、数据预处理到LoRA配置和训练技巧每个环节都提供了实用的代码示例和建议。实际用下来PEFT确实是个好东西让我们能用有限的资源微调大模型。GLM-4-9B-Chat-1M本身的长文本能力就很强加上领域适配后在专业场景下的表现提升很明显。不过也要注意微调效果很大程度上取决于数据质量。建议先从小的数据集开始验证流程没问题后再扩大数据规模。训练过程中要多观察loss曲线及时调整参数。如果你刚开始接触大模型微调可能会遇到各种问题这是正常的。多尝试几次熟悉了整个流程后就会顺利很多。记得在训练前备份重要数据训练过程中保存检查点这样即使中断也能从最近的位置继续。希望这篇教程对你有帮助。如果在实践中遇到问题欢迎在评论区交流讨论。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。