在自然语言生成NLG领域GPT2 凭借轻量化、易部署的特性成为中文场景下文本创作的优选模型之一。本文将以 “GPT2 中文歌词生成模型” 为例从代码解析、核心原理到实战优化手把手教你实现歌词自动续写功能让机器也能写出有 “氛围感” 的中文歌词。一、技术背景GPT2 与中文文本生成GPT2 是 OpenAI 推出的基于 Transformer 架构的因果语言模型核心能力是 “根据前文预测下文”非常适合文本续写、创作类场景。而针对中文优化的 GPT2 模型如本次使用的 gpt2-chinese-lyric在中文歌词、诗歌等创作场景中做了针对性微调能更好地贴合中文韵律和语义习惯。本次实战的核心目标是基于本地部署的 GPT2 中文歌词模型输入一句经典歌词前缀如周杰伦《不能说的秘密》中的 “最美的不是下雨天是曾与你躲过雨的屋檐”让模型自动续写完整的歌词内容。二、环境准备1. 依赖安装首先需安装核心依赖库PyTorch 为模型运行提供底层张量计算支持transformers 库封装了 GPT2 模型的加载、推理全流程# 安装PyTorch适配CPU/GPU根据硬件选择对应版本 pip install torch2.4.1 torchvision0.18.1 torchaudio2.4.1 # 安装Hugging Face Transformers库模型加载/推理核心 pip install transformers2. 模型准备本次使用的 “gpt2-chinese-lyric” 模型可从 ModelScope、Hugging Face 等平台下载下载后存放至本地指定路径本文路径为D:\pyproject\flaskProject\langchainstudy\modelscope\gpt2-chinese-lyric需根据实际路径调整。三、核心代码解析接下来逐行拆解核心代码理解 GPT2 文本生成的完整流程1. 库导入加载核心依赖import torch from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM, BertTokenizer, GPT2LMHeadModel, TextGenerationPipelinetorchPyTorch 核心库提供张量计算和设备管理能力BertTokenizer中文 GPT2 模型常兼容 BERT 分词器用于将文本转换为模型可识别的 token 索引GPT2LMHeadModelGPT2 的核心模型类带语言建模头专门用于文本生成任务TextGenerationPipelinetransformers 封装的文本生成管道简化 “编码 - 推理 - 解码” 全流程。2. 模型与分词器加载# 本地模型路径注意修正路径笔误pyprojecgt→pyproject model_dir rD:\pyproject\flaskProject\langchainstudy\modelscope\gpt2-chinese-lyric # 加载分词器与本地GPT2模型配套 tokenizer BertTokenizer.from_pretrained(model_dir) # 加载GPT2模型weights_onlyFalse允许加载完整权重适配中文模型 model GPT2LMHeadModel.from_pretrained(model_dir,weights_onlyFalse)分词器是 “文本→模型输入” 的桥梁将中文文本拆分为一个个 token并映射为数字索引GPT2LMHeadModel.from_pretrained()从本地路径加载预训练模型权重无需重新训练即可直接推理。3. 创建文本生成管道# 封装模型和分词器创建推理对象 text_generator TextGenerationPipeline(model,tokenizer)TextGenerationPipeline是 transformers 的 “懒人神器”—— 无需手动处理文本编码、张量转换、结果解码只需传入文本即可直接生成续写内容大幅降低推理门槛。4. 执行文本生成# 输入歌词前缀调用生成管道 out text_generator( 最美的不是下雨天是曾与你躲过雨的屋檐, truncationTrue, max_new_tokensNone, max_length100, do_sampleTrue ) # 打印生成结果 print(out)这是核心推理步骤关键参数解读truncationTrue若输入文本长度超过模型最大限制自动截断避免报错max_length100生成文本的总长度输入前缀 续写内容不超过 100 个 tokenmax_new_tokensNone不单独限制续写的 token 数由max_length控制总长度do_sampleTrue启用 “采样生成” 策略而非贪心搜索让生成结果更多样化贪心搜索会选概率最高的 token结果单调。5. 结果输出执行代码后输出结果格式如下核心是generated_text字段[{generated_text: 最美的不是下雨天是曾与你躲过雨的屋檐\n回忆的画面荡着秋千梦开始不甜\n你说把爱渐渐放下会走更远\n或许命运的签只让我们遇见\n只让我们相恋这一季的秋天\n飘落后才发现这幸福的碎片要我怎么捡}]结果是一个列表每个元素是字典generated_text对应完整的续写文本。四、优化技巧让生成效果更优原始代码能实现基础功能但在生成质量、性能、稳定性上还有优化空间1. 设备加速利用 GPU 提升推理速度默认情况下模型运行在 CPU 上若有 NVIDIA GPU可添加设备配置代码# 优先使用CUDAGPU无则用CPU device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) # 模型移至GPU # 创建管道时指定设备 text_generator TextGenerationPipeline(model, tokenizer, devicedevice.index if device.type cuda else -1)2. 参数调优提升生成文本的自然度参数作用推荐值temperature控制生成随机性值越低越保守贴近原文越高越随机0.7~0.9top_k仅从概率前 k 个 token 中采样减少无意义内容50~100no_repeat_ngram_size禁止 n 元语法重复避免 “的的”“啊啊” 等冗余内容2max_new_tokens单独限制续写的 token 数替代 max_length更直观50~80优化后的生成代码out text_generator( 最美的不是下雨天是曾与你躲过雨的屋檐, truncationTrue, max_new_tokens50, # 仅续写50个token temperature0.8, top_k50, no_repeat_ngram_size2, do_sampleTrue )3. 结果解析提取核心文本原始输出是字典列表可添加解析逻辑直接输出可读文本generated_text out[0][generated_text] print(续写结果\n, generated_text)五、扩展应用场景Web 化部署结合 Flask/FastAPI 将功能封装为接口实现网页端歌词生成批量生成读取歌词前缀列表批量生成多版歌词供创作参考风格定制基于特定歌手的歌词语料微调 GPT2 模型生成更贴合该歌手风格的歌词多场景适配替换模型为 gpt2-chinese-poetry实现古诗续写替换为 gpt2-chatbot实现聊天机器人。六、总结本文基于 GPT2 中文歌词模型完成了从环境准备、代码解析到效果优化的全流程实战核心要点如下GPT2 的因果语言模型特性天然适配文本续写任务中文微调模型可贴合歌词、诗歌等场景TextGenerationPipeline大幅简化了文本生成的推理流程无需手动处理编码 / 解码通过调整temperature、top_k等参数可平衡生成文本的 “多样性” 和 “合理性”结合 GPU 加速和参数调优能显著提升生成效率和文本质量。本次实战的代码仅需少量修改即可适配各类中文文本生成场景无论是歌词创作、文案生成还是对话机器人GPT2 都能成为轻量化、易部署的优选方案。完整代码# 导入PyTorch核心库提供张量计算、设备管理等基础能力是模型运行的底层支撑 import torch # 导入Transformers库中GPT2文本生成所需组件 # pipeline/AutoTokenizer/AutoModelForCausalLM备用组件本文未直接使用 # BertTokenizer中文GPT2模型适配的分词器将文本转为模型可识别的token索引 # GPT2LMHeadModelGPT2核心模型类带语言建模头专为文本生成设计 # TextGenerationPipeline封装好的文本生成管道简化“编码-推理-解码”全流程 from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM, BertTokenizer, GPT2LMHeadModel, \ TextGenerationPipeline # 可选若环境中PyTorch版本不兼容执行此命令安装指定版本根据硬件选择CPU/GPU版本 # pip install torch2.4.1 torchvision0.18.1 torchaudio2.4.1 # 模型路径配置 # 本地GPT2中文歌词模型的存放路径注意路径中pyprojecgt为笔误实际需修正为pyproject model_dir rD:\pyprojecgt\flaskProject\langchainstudy\modelscope\gpt2-chinese-lyric # 加载分词器 # 加载与本地GPT2模型配套的BERT分词器 # 作用是将中文文本拆分为一个个token最小语义单元并映射为数字索引模型仅能识别数字 tokenizer BertTokenizer.from_pretrained(model_dir) # 加载GPT2模型 # 加载本地GPT2中文歌词模型 # from_pretrained从指定路径加载预训练权重无需重新训练即可直接推理 # weights_onlyFalse允许加载完整的模型权重中文微调模型需此配置避免权重加载失败 model GPT2LMHeadModel.from_pretrained(model_dir,weights_onlyFalse) # 创建文本生成推理管道 # 封装模型和分词器为文本生成管道 # 无需手动处理“文本编码→张量转换→模型推理→结果解码”流程直接输入文本即可生成内容 # 是Transformers库简化推理的核心工具大幅降低新手使用门槛 text_generator TextGenerationPipeline(model,tokenizer) # 执行歌词续写推理 # 调用生成管道基于输入的歌词前缀生成续写内容 # 输入参数歌词前缀 生成策略参数 out text_generator( 最美的不是下雨天是曾与你躲过雨的屋檐, # 输入的歌词前缀上下文 truncationTrue, # 若输入文本过长自动截断至模型最大长度避免报错 max_new_tokensNone, # 不单独限制新生成的token数由max_length控制总长度 max_length100, # 生成文本的总长度前缀续写不超过100个token do_sampleTrue # 启用采样生成而非贪心搜索 # 贪心搜索会选概率最高的token结果单调采样生成结果更多样 ) # 打印生成结果 # 输出生成的完整结果格式为列表字典核心内容在generated_text字段 print(out)