一、论文基本信息论文名称The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks作者Jonathan Frankle, Michael Carbin会议ICLR 2019论文链接https://openreview.net/forum?idrJl-b3RcF7arXiv 链接https://arxiv.org/abs/1803.03635Lottery Ticket Hypothesis是模型剪枝和稀疏神经网络研究中非常重要的一篇论文。这篇论文提出了一个非常有影响力的观点一个随机初始化的密集神经网络中存在一些稀疏子网络如果这些子网络保留原始初始化并被单独训练它们可以达到与原始密集网络相当的测试性能。这些稀疏子网络被称为winning tickets也就是“中奖彩票”。这篇论文关注的不是传统意义上的训练后模型压缩而是一个更深层的问题为什么一个被剪枝得到的稀疏网络可以训练好进一步说它想回答的是稀疏网络能训练好是因为稀疏结构本身好吗是因为继承了密集网络训练后的权重吗还是因为某些稀疏子网络在初始化时就具有特殊优势这正是 Lottery Ticket Hypothesis 最有价值的地方。二、为什么叫 Lottery TicketLottery Ticket 直译是“彩票”。这个名字来自一个很形象的比喻。假设我们随机买了很多张彩票其中可能有一张中奖了。中奖之前我们并不知道哪一张是中奖票。只有开奖之后才能知道哪张票中奖了。神经网络初始化也是类似的。一个随机初始化的密集神经网络中包含大量不同的子网络。每个子网络都可以看作一张彩票。大多数子网络可能训练不好但其中可能有一些子网络在初始化时就“运气很好”。这些子网络通常同时满足两个条件结构合适初始化合适。如果找到它们并让它们保留自己的原始初始化重新训练它们就能达到和完整密集网络接近的性能。这些子网络就是winning tickets。所以Lottery Ticket Hypothesis 的核心不是说“任意稀疏网络都能训练好”而是说密集网络中存在某些特殊的稀疏子网络它们在初始化阶段就已经具备良好的可训练性。三、论文要回答的问题在这篇论文之前模型剪枝通常遵循经典流程训练密集网络 → 剪枝 → 微调这也是 Han 等人在 Learning both Weights and Connections 中使用的流程。这个流程说明训练好的大网络中存在大量冗余连接可以剪掉一部分然后通过微调恢复性能。但是这里有一个自然问题既然剪枝后得到的是一个稀疏网络那么能不能一开始就直接训练这个稀疏网络也就是说我们希望把流程从Train Dense → Prune → Fine-tune Sparse变成Train Sparse from Scratch如果可以这样做就不需要先训练大模型也不需要后续剪枝和微调训练成本会大幅降低。但是早期经验表明剪枝得到的稀疏结构如果随机初始化后从头训练往往很难达到原始密集网络的性能。于是Lottery Ticket Hypothesis 提出了一个更细的问题剪枝得到的稀疏网络训练不好的原因到底是结构不行还是初始化不行这篇论文的答案是稀疏结构和初始化需要匹配某些稀疏子网络只有在保留原始初始化时才能有效训练。四、Lottery Ticket Hypothesis 的核心表述论文中的核心假设可以概括为随机初始化的密集前馈网络中包含一些子网络这些子网络在单独训练时可以在相似训练迭代次数内达到与原始网络相当的测试精度。用更直观的话说就是一个大网络在初始化时已经包含了一些小而强的子网络。这些小子网络之所以能训练好是因为它们“中了初始化彩票”。它们并不是随便一个稀疏结构而是具有特殊连接结构和特殊初始权重的组合。这篇论文的 arXiv 摘要中也明确指出密集随机初始化网络中存在一些子网络这些子网络在单独训练时能达到与原网络相当的测试精度并且这些 winning tickets 拥有使训练特别有效的初始权重。论文还报告在 MNIST 和 CIFAR-10 上的若干全连接与卷积网络中经常可以找到小于原模型 10% 到 20% 大小的 winning tickets。五、论文方法如何找到 Winning Ticket论文使用的是Iterative Magnitude Pruning简称IMP也就是“迭代幅值剪枝”。它的基本流程如下随机初始化一个密集网络保存初始权重训练该密集网络得到训练后权重根据权重幅值剪掉一部分最小权重得到 mask$将保留下来的权重重置回初始值在固定 mask 下重新训练稀疏子网络如果需要更高稀疏率重复以上过程。最关键的一步是重置回原始初始化。七、为什么要重置回原始初始化这是论文最关键的设计。假设我们只做普通剪枝后微调得到好的性能并不能说明稀疏子网络本身容易训练。因为它可能只是继承了密集网络训练后的好权重。换句话说普通剪枝后微调验证的是训练好的大网络里能不能压缩出一个小网络而 Lottery Ticket 想验证的是初始化时的大网络里是否已经包含一个可训练的小网络所以必须把剪枝后的子网络重置回原始初始化。如果重置后还能训练好说明这个子网络并不是靠继承训练后权重才成功而是在初始化阶段就具备良好的可训练性。这就是 winning ticket 的含义。八、Iterative Magnitude Pruning 具体流程论文使用迭代剪枝而不是一次性剪枝。一次性剪掉大量权重可能太激进容易误删重要连接。迭代剪枝更加稳定。假设每轮剪掉一定比例 p的剩余权重例如 20%。第 k 轮后保留比例为如果每轮剪掉 20%那么 5 轮之后保留比例为也就是大约保留 32.8% 的权重。九、论文中的实验模型和数据集论文主要在小规模和中等规模视觉任务上进行实验包括MNIST 上的全连接网络MNIST 上的 LeNetCIFAR-10 上的卷积网络CIFAR-10 上的 VGG 类网络。论文报告在 MNIST 和 CIFAR-10 上的若干全连接和卷积前馈网络中可以稳定找到大小小于原模型 10% 到 20% 的 winning tickets。在这个规模以上这些 winning tickets 训练速度更快并且测试精度可以达到甚至超过原始网络。需要注意的是原始 LTH 论文主要集中在相对较小的网络和数据集上。对于更深、更大规模的模型直接重置回初始化并不总是有效后续研究提出了 weight rewinding 等改进方法。十、Winning Ticket 为什么能训练好为什么某些稀疏子网络能“中奖”可以从几个角度理解。1. 过参数化网络包含大量候选子网络一个密集网络可以看作许多子网络的组合。如果网络足够大那么其中可能包含大量不同结构的稀疏子网络。这些子网络有的训练不好有的训练得好。过参数化使得网络在初始化时就拥有巨大的搜索空间。因此大网络中更容易包含一些“幸运”的子网络。2. 好的初始化让梯度流更稳定神经网络能否训练好不仅取决于结构也取决于初始化。一个好的初始化可以让信号和梯度在网络中稳定传播。如果某个稀疏子网络的初始权重刚好让训练过程比较顺利那么它就更容易达到较好性能。这就是论文中“winning ticket has won the initialization lottery”的含义。3. 剪枝过程识别出了训练中重要的连接IMP 不是随机选子网络而是先训练完整网络再根据训练后的权重幅值判断哪些连接重要。训练后的大权重往往对应对任务更有贡献的连接。因此IMP 找到的 mask 不是随机 mask而是由训练过程筛选出的有效连接集合。4. 原始初始化和 mask 是匹配的winning ticket 的关键是而不是同样的 mask如果换一个随机初始化可能就不是 winning ticket。这说明稀疏结构和初始权重之间存在匹配关系。这也是 LTH 最深刻的地方。十一、LTH 和 Han 剪枝的本质区别维度Han PruningLottery Ticket Hypothesis目标模型压缩理解稀疏子网络可训练性流程Train-Prune-RetrainTrain-Prune-Rewind-Retrain剪枝后权重训练后权重 $\mathbf{w}_T$原始初始化 $\mathbf{w}_0$关注点剪完后能否恢复精度稀疏子网络能否从头训练方法性质工程压缩方法机制分析与假设验证关键词稀疏连接、微调winning ticket、初始化、rewind可以这样理解Han 剪枝问训练好的大网络能不能压缩LTH 问大网络初始化时是否已经包含可训练的小网络这两个问题相关但并不相同。十二、LTH 和“从头训练剪枝结构”的关系很多人容易把 LTH 理解成剪枝得到的小网络可以从头训练。这个说法不够准确。LTH 更准确的说法是剪枝得到的小网络在保留原始初始化时可以重新训练。这里的“原始初始化”非常关键。如果使用相同结构但换一个新的随机初始化性能可能下降。所以 LTH 不是简单支持剪枝结构可以随机初始化重新训练。结构重要初始化也重要。十三、LTH 对模型剪枝研究的影响LTH 对后续研究影响很大。1. 推动训练前剪枝如果密集网络中存在 winning tickets那么一个自然问题是能不能在训练前就找到它这启发了很多训练前剪枝方法例如 SNIP、GraSP、SynFlow 等。这些方法希望在初始化阶段就判断连接重要性从而避免完整训练再剪枝。2. 推动动态稀疏训练动态稀疏训练不固定 mask而是在训练过程中不断删除和生长连接。它试图在训练期间寻找好的稀疏结构而不是先训练密集网络。这可以看作对 LTH 问题的另一种回答。3. 推动稀疏初始化研究LTH 强调初始化的重要性因此后续很多研究关注什么样的稀疏初始化更容易训练mask 和初始化如何匹配初始权重符号是否重要是否存在数据无关的好子网络4. 影响大模型剪枝思考在大模型时代完整训练成本极高。LTH 的思想提示我们大模型中可能也存在大量有效子网络但如何高效找到它们是关键。不过LLM 场景通常更关注训练后剪枝、结构化剪枝和少量校准数据剪枝而不是从头训练稀疏子网络。参考链接[1] The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural NetworksVerifying your browser | OpenReview[2] arXiv: The Lottery Ticket Hypothesishttps://arxiv.org/abs/1803.03635[3] Linear Mode Connectivity and the Lottery Ticket Hypothesis[1912.05671] Linear Mode Connectivity and the Lottery Ticket Hypothesis