大模型部署时最常遇到的一个问题就是显存不够。模型越来越大硬件却不可能无限升级量化因此成了工程落地绕不开的一环。这两年接触过的量化方案里GPTQ、AWQ和量化感知训练QAT算是三种比较有代表性的路线各有各的适用场景也各有各的坑。三种方法各是什么路数GPTQ和AWQ都属于后训练量化也就是模型训练完成之后再做压缩不需要重新训练模型这个特点让它们在工程上非常讨喜。GPTQ的核心思路是逐层做量化补偿最小化量化前后每一层输出的误差。它会把权重分组每组单独计算缩放因子然后通过类似牛顿迭代的方法调整量化参数让精度损失尽量小。LLaMA Factory的文档里提到GPTQ可以把FP16精度的模型量化到4-bit显存节省大约75%同时推理速度明显提升。AWQ的出发点不太一样它关注的是激活值。实际观察发现模型里只有一小部分权重真正重要——那些对应着大激活值幅度的通道对量化误差特别敏感。AWQ的做法是保留这些关键通道不量化或者给它们更高的精度其余部分正常量化。一个比较明显的优势是AWQ需要的校准数据集比GPTQ小在指令微调过的模型和多模态模型上表现更好。量化感知训练QAT则是另一条路。它不是训练完再量化而是在训练或微调的过程中就模拟量化效果让模型自己适应低精度表示。代价是需要重新训练或微调成本高不少但精度损失通常也是最小的。实际效果怎么对比从一些公开的实验数据来看不同量化方法的表现差异还是挺明显的。有一份针对LLaMA系列模型的评测显示在4-bit量化的场景下几种主流方法的表现都还算不错但AWQ普遍有轻微的优势。当量化到3-bit时差距就开始拉大了——AWQ在LLaMA-3 8B上还能保持9.83的困惑度和54.65%的准确率而同样条件下OmniQuant已经掉到了17.53和36.09%。MT-Bench的多轮对话评测也反映了类似的趋势。在Vicuna-7B模型上AWQ量化后的平均分是6.03非常接近FP16原版的6.00而GPTQ降到了5.71。在Llama-2-7B-Chat上AWQ的表现甚至比原版还好一点6.62 vs 6.54GPTQ则是5.83。还有一个值得注意的现象是训练越充分的模型量化时信息损失往往越大。LLaMA-3的训练数据比LLaMA-2多了好几倍模型学到的信息更密集压缩成低比特时丢掉的东西也就更多。这在2-bit这种极限场景下尤其明显GPTQ在LLaMA-3-8B上2-bit量化后的困惑度直接飙到了647基本没法用了。什么时候该用哪个GPTQ和AWQ都是后训练量化不需要重新训练部署成本低适合绝大多数需要快速上线的场景。两者之间的选择取决于具体需求和模型类型如果模型是通用的预训练模型且硬件对GPU计算优化要求较高GPTQ通常是更稳妥的选择因为它对GPU的利用更充分如果模型是指令微调过的或者需要处理多模态任务AWQ往往表现更好而且校准数据需求更少。下面是简单的代码示例分别展示GPTQ和AWQ的加载方式。GPTQ 4-bit量化加载from auto_gptq import AutoGPTQForCausalLM model AutoGPTQForCausalLM.from_quantized( TheBloke/Llama-3-8B-GPTQ, use_safetensorsTrue, device_mapauto )AWQ 4-bit量化加载from awq import AutoAWQForCausalLM model AutoAWQForCausalLM.from_pretrained( TheBloke/Llama-3-8B-AWQ, device_mapauto )QAT则更适合对精度要求极高的场景——比如医疗、金融等领域几个百分点的准确率下降都不可接受。虽然训练成本高但这是把精度损失降到最低的有效手段。PyTorch官方提供了QAT的支持可以在训练过程中插入量化模拟节点让模型在低精度下学会更鲁棒的表示。选型建议梳理一下大致可以按这个思路来决策如果追求快速部署对精度损失容忍度尚可优先考虑后训练量化路线。GPTQ和AWQ的选型上可以先用模型做一个小规模的校准实验用同样的校准数据集分别量化然后在验证集上看看效果哪个好就用哪个——毕竟不同模型架构和任务类型对量化方法的偏好确实存在差异。如果对精度有极致要求或者模型将在资源受限的边缘设备上长期运行QAT值得投入训练成本。特别是在模型本身就需要微调的场景下顺势做QAT并不会增加太多额外开销但效果比后训练量化要稳不少。量化这件事说到底是个取舍的艺术。没有绝对的好坏只有适合不适合。把几种方法的原理和适用边界搞清楚到具体项目里该用什么自然就有数了。