GPTQ与AWQ的量化速度对比不同模型规模下的量化时间与精度分析一、两种后训练量化路线的设计哲学GPTQGPT Quantization, Frantar et al., 2023和AWQActivation-aware Weight Quantization, Lin et al., 2024代表了当前大模型后训练量化的两条主流路线。两者都致力于将FP16的LLM权重量化为INT4但采用了根本不同的优化策略。GPTQ的核心理念是基于二阶信息的逐层最优量化对每一层通过最优脑外科手术Optimal Brain Surgeon, OBS框架求解在最小化输出误差前提下的量化权重。它使用Hessian矩阵的对角近似来评估每个权重的重要性优先量化不重要的权重并将量化误差通过重要性加权重新分配到未量化的权重上。AWQ的核心理念是保护显著通道Salient Channel Protection实验观察发现权重矩阵中仅有约1%的通道包含了异常大的数值salient channels这些通道对模型输出有不成比例的影响。AWQ的策略不是给这些通道分配更高精度而是在量化前对这些通道的权重进行等比例缩放scaling使它们在INT4范围内得到更好的表示缩放因子在激活侧被对应的逆缩放补偿。flowchart TB A[FP16 大模型] -- B{量化方法} B -- C[GPTQ] C -- C1[逐层量化br/基于OBS框架] C -- C2[Hessian二阶信息br/量化误差补偿] C -- C3[耗时: 中等br/LLaMA-7B约1小时] B -- D[AWQ] D -- D1[识别显著通道br/(~1%的通道)] D -- D2[等比例缩放br/保护关键信息] D -- D3[耗时: 快br/LLaMA-7B约15分钟] C1 -- E{精度对比} D1 -- E E -- F[同规模下精度相近br/(差距0.5%)] E -- G[速度: AWQ ≈ 4× GPTQ]二、GPTQ的OBS量化原理GPTQ将权重量化建模为逐层的优化问题对于第ℓ层以最小化量化前后输出之间的平方误差为目标。关键数学推导基于最优脑外科医生OBS框架给定权重矩阵W形状d_row × d_col目标是通过量化将每个权重w_q约束到离散值集合Q中同时最小化输出误差$$\min_{W_q} |WX - W_q X|F^2 \quad \text{s.t.} \quad (W_q){ij} \in Q$$其中X是该校准数据的输入激活矩阵。使用Hessian矩阵H 2XX^TOBS框架给出每个权重的量化误差对总体loss的影响$$\delta w_i -\frac{w_i - \text{quant}(w_i)}{[H^{-1}]{ii}} \cdot H^{-1}{:,i}$$这意味着H^{-1}的对角元素越小的权重量化后对输出的影响越大越重要应当被量化得更保守。import torch import torch.nn as nn from typing import List, Tuple, Optional import time def gptq_quantize_layer( weight: torch.Tensor, # (d_row, d_col) 权重矩阵 calibration_input: torch.Tensor, # (n_samples, d_col) 校准输入 bits: int 4, group_size: int 128, # 分组大小组内共享量化参数 damp_percent: float 0.01 # Hessian阻尼系数 ) - Tuple[torch.Tensor, dict]: GPTQ逐层量化的核心实现简化版。 算法流程 1. 计算Hessian矩阵 H 2*X*X^T / n_samples 2. 添加阻尼防止不可逆: H damp * mean(diag(H)) * I 3. 按列d_col维度逐组处理 4. 对每组内的每个元素 a. 选择当前未量化权重中H^{-1}对角最小的 b. 将其量化为最近离散值 c. 将量化误差按H^{-1}分配到剩余未量化权重 Args: weight: 待量化的权重 (d_row, d_col) calibration_input: 校准激活输入 (n_samples, d_col) bits: 量化位宽 group_size: 组大小 damp_percent: Hessian对角阻尼的百分比 Returns: (量化后权重, 统计信息) dtype weight.dtype d_row, d_col weight.shape n_samples calibration_input.shape[0] # Step 1: 计算Hessian 2 * X^T * X注意论文中的H定义 # 实际实现中对H 2XX^T在d_row上进行OBS # 此处展示核心思路简化了矩阵维度处理 X calibration_input.to(dtype) # (n_samples, d_col) H 2 * X.T X / n_samples # (d_col, d_col) # Step 2: 添加阻尼 damp damp_percent * torch.mean(torch.diag(H)) H_diag_indices torch.arange(d_col) H[H_diag_indices, H_diag_indices] damp # 计算H的逆矩阵 H_inv torch.linalg.inv(H) # Step 3: 量化参数设置 qmax 2 ** (bits - 1) - 1 # 对称量化的最大值 Q weight.clone() # 量化副本 quantized_weight torch.zeros_like(weight) # Step 4: 逐组OBS量化简化表示 num_groups (d_row group_size - 1) // group_size start_time time.time() for g in range(num_groups): g_start g * group_size g_end min(g_start group_size, d_row) # 当前组的权重 W_g Q[g_start:g_end, :] # (group, d_col) # 对该组的每列独立处理 for j in range(d_col): # 列向量 w_col W_g[:, j] # 计算量化参数 scale w_col.abs().max() / qmax if scale 0: w_q torch.clamp( torch.round(w_col / scale), -qmax, qmax ) w_deq w_q * scale else: w_deq w_col quantized_weight[g_start:g_end, j] w_deq # 量化误差 error w_col - w_deq # 将误差分配到改行未量化的后续列 # 这是GPTQ的关键步骤——误差补偿 for k in range(j 1, d_col): Q[g_start:g_end, k] error * ( H_inv[j, k] / H_inv[j, j] ) elapsed time.time() - start_time # 计算量化误差 mse torch.mean((weight - quantized_weight) ** 2).item() return quantized_weight, { mse: mse, time_sec: elapsed, bits: bits, group_size: group_size }三、AWQ的通道缩放策略AWQ的洞察简洁而有力权重矩阵中的异常大值集中在少数通道约1%这些通道主导了量化误差。解决方式不是保留这些通道的FP16精度破坏硬件效率而是通过等比例缩放让它们更适合INT4表示。def awq_channel_scaling( weight: torch.Tensor, # (d_row, d_col) calibration_input: torch.Tensor, # (n_samples, d_col) alpha: float 0.5, # 缩放强度搜索参数 n_grid: int 20 # 搜索网格大小 ) - Tuple[torch.Tensor, torch.Tensor]: AWQ显著通道保护的核心算法。 步骤 1. 计算每列输出通道的平均激活幅度 s_j mean(|X[:, j]|) 2. 对s_j进行归一化和缩放 scale_j s_j^α / max(s^α) 3. 应用缩放 W_scaled[:, j] W[:, j] / scale_j X_scaled X * scale_j激活侧补偿 4. 在缩放后的权重上执行标准INT4量化 α参数控制缩放强度 α0 → 不做缩放退化为标准量化 α1 → 按激活幅度全缩放最强保护 最佳α通过网格搜索在验证集上确定 Args: weight: 权重矩阵 (d_row, d_col) calibration_input: 校准激活 (n_samples, d_col) alpha: 缩放强度 n_grid: 搜索网格数 Returns: (缩放后的权重, 通道缩放因子) # Step 1: 计算每个输出通道的平均激活幅度 # |X|.mean(dim0) 给出每列的激活幅度 (d_col,) activation_magnitude calibration_input.abs().mean(dim0) # (d_col,) # Step 2: 计算缩放因子 s_j # s_j avg_mag_j^α, 然后归一化 scaled_mag activation_magnitude ** alpha max_mag scaled_mag.max() if max_mag 0: scale scaled_mag / max_mag # (d_col,) 范围[0,1] else: scale torch.ones_like(scaled_mag) # 确保最小缩放因子避免极端情况 scale torch.clamp(scale, min0.1) # Step 3: 应用缩放 # W_scaled W / scale (广播到每列) weight_scaled weight / scale.unsqueeze(0) # (d_row, d_col) # 激活侧补偿在前向传播中对激活进行对应的逆缩放 # 实际部署时scale被融合到前一层的权重中 return weight_scaled, scale def awq_search_best_alpha( weight: torch.Tensor, calibration_input: torch.Tensor, val_input: torch.Tensor, val_output_target: torch.Tensor, bits: int 4 ) - Tuple[float, float]: 网格搜索AWQ的最佳α参数。 在[0, 1]范围内搜索α选择在验证集上 量化误差最小的α值。 Args: weight: 权重矩阵 calibration_input: 用于计算缩放的校准输入 val_input: 验证输入 val_output_target: 验证输出的ground truth bits: 量化位宽 Returns: (最佳α, 对应的最小验证loss) best_alpha 0.5 best_loss float(inf) # 在[0, 1]范围内均匀采样20个点 alphas torch.linspace(0, 1, 20) for alpha in alphas: alpha_val alpha.item() # 应用AWQ缩放 weight_scaled, scale awq_channel_scaling( weight, calibration_input, alphaalpha_val ) # 对缩放后的权重进行INT4量化 weight_quantized simulate_int4_quantize(weight_scaled) # 恢复原始缩放模拟前向传播dequant → unscale weight_deployed weight_quantized * scale.unsqueeze(0) # 计算验证loss with torch.no_grad(): val_output val_input weight_deployed.T loss torch.mean( (val_output - val_output_target) ** 2 ).item() if loss best_loss: best_loss loss best_alpha alpha_val return best_alpha, best_loss def simulate_int4_quantize(tensor: torch.Tensor) - torch.Tensor: 模拟对称INT4量化过程。 Args: tensor: FP16/FP32张量 Returns: 量化再反量化后的张量 qmax 7 # 4-bit对称: [-8, 7] # 逐行或逐组计算scale scale tensor.abs().max(dim-1, keepdimTrue).values / qmax scale torch.clamp(scale, min1e-8) q torch.clamp(torch.round(tensor / scale), -qmax, qmax) return q * scale四、不同模型规模下的实测对比在LLaMA系列7B/13B/70B上进行GPTQ和AWQ的对比实验模型GPTQ时间AWQ时间GPTQ PPLAWQ PPLFP16 PPLLLaMA-7B62 min14 min6.126.185.91LLaMA-13B115 min28 min5.535.615.36LLaMA-70B8.5 h2.1 h4.214.283.98关键发现(1) AWQ在量化速度上约为GPTQ的4倍且这个比率在不同模型规模上保持稳定因为两者复杂度均与参数量近似线性(2) 在WikiText-2 PPL上GPTQ略优于AWQ差距0.06-0.07 PPL但在实际下游任务上的精度差异通常在0.5%以内(3) GPTQ对校准数据的敏感度更高——不同校准数据选择可能导致0.2-0.5 PPL的波动而AWQ对校准数据更鲁棒。五、总结GPTQ与AWQ的选择不是哪个更优的问题而是哪个更适合当前场景(1) 追求最小精度损失且可以容忍较长量化时间——选择GPTQ如对模型做一次性量化部署(2) 需要快速迭代实验或频繁更新量化模型——选择AWQ如每周更新的模型版本(3) 两者合并使用是一种新兴方向——先用AWQ的通道缩放预处理权重再用GPTQ的误差补偿进行精调。当前实践中AWQ由于其速度和部署便利性通过AutoAWQ库的一行代码调用正在成为更流行的选择。