摘要本次学习探讨了神经网络压缩的必要性及其核心技术。针对资源受限环境如移动设备与嵌入式系统下部署大型模型的需求分析了网络剪枝与知识蒸馏等压缩方法的原理与应用。网络剪枝通过移除冗余参数或神经元实现模型轻量化而知识蒸馏则借助教师网络指导学生网络学习以在减少参数规模的同时保持模型性能。这些方法为在存储与计算能力受限的场景中高效部署机器学习模型提供了可行的技术路径。AbstractThis study examines the necessity of neural network compression and its core techniques. To address the need for deploying large models in resource-constrained environments (such as mobile devices and embedded systems), it analyzes the principles and applications of compression methods including network pruning and knowledge distillation. Network pruning achieves model lightweighting by removing redundant parameters or neurons, while knowledge distillation guides a student network to learn from a teacher network, maintaining model performance while reducing parameter scale. These methods provide viable technical pathways for efficiently deploying machine learning models in scenarios with limited storage and computational capabilities.一模型量化原因到目前已经了解了很多大型的模型如Bird或GPT本次学习了解的是我们能不能将这些大型的模型简化缩小使其有较少量的参数的情况下效果与原来没有很大差别。首先我们为什么会在意网络压缩这件事呢因为在很多时候我们需要将这些模型用在资源受限的情况下如将这些机器学习的模型运行在智能手表或者无人机上这些设备只有比较小的存储空间运算能力受限所以如果我们的模型太过巨大手表就可能会运行不了这就需要网络压缩了。对此也会有疑问为什么不先将资料传输到云端在云端运算完之后再将结果传回这是因为对于要及时反馈的事件时通过云端计算再传回可能会因为时延太长而引发问题其次因为要传输云端这时隐私又是一个问题。二网络压缩技术1.网络剪枝Network Pruning①网络剪枝网络剪枝顾名思义就是要把network中的一些参数把它“剪掉”。因为在一个大型的网络中会有大量的参数而这些参数中每一个参数不一定会被用到为了节省空间以及节约运算资源就可以将它们“剪掉”。就如脑神经元在人刚出生时脑神经元数量少链接也少但是随着年龄的增长链接会变多同时有些连结也会慢慢消失。网络剪枝的框架如下进行先训练一个最大的网络模型接着去测评在这个模型中每一个参数或神经元的重要性然后将不重要的神经元或者参数从模型中移除这样便可以得到一个小型网络。通常如上步骤完成后模型的效率及正确率就会较原来会低一点因为有些参数被移除所以这个网络当然是受到一些损伤的。但是可以通过将这个小型网络重新微调也可再重新评估参数的重要性再进行调整若此反复几次便可得到比较小的网络这时它的正确率较原来正确率也许就没有太大差别。前面说到修建的参考单位可以是参数或者神经元用这两者参考单位在实际操作上是有较为显著的差距的。如果以参数为单位这时将一个参数去除得到的网络形状可能会是不规则这就导致在实操时由于定义每一层输入几个神经元输出几个神经元对于这种不规则网络就会很难操作。就算做好了由于GPU是将网络的运算看作一个矩阵的乘法但是当网络不规则时就不容易用矩阵的乘法进行加速。下面再看看一个文献中的效果图这个文献想要展示的就是以参数为单位做剪枝时遇到的问题。先看紫色的这条线是Sparsity其是指有多少百分比的参数被剪枝掉观察发现这个先与1很接近表示有接近95%以上的参数被剪枝掉。但是正常取出95%的参数只剩下5%的参数时网络应该会变得很小运算变快但是发现实际上并没有加速多少。所以参数剪枝不见得是一个特别有效的方法。若以神经元为单位来剪枝这时移除一些神经元之后网络架构还是规则的。②为什么不从小模型直接训练我们正常是先训练一个大模型后再将其缩小而且小的模型与大的模型正确率没差很多那为什么不直接训练一个小模型呢一个普遍的答案是大的网络好训练如果直接训练一个小的网络往往得不到跟大的网络一样的正确率。对此有一个彩票假说该理论认为一个大型稠密网络中可能存在一个稀疏的子网络“中奖彩票”在单独训练时能达到与原网络相当的精度。剪枝的目的就是找到这个子网络。这个彩票假说在实验上被证实的方式与网络的剪枝非常相关。如下现在有一个大的网络在这个网络中一开始的参数是随机初始化的之后便可以得到一组训练完的参数用紫色表示接着用网络剪枝的技术将一些紫色的参数丢掉得到比较小的网络。若这时将这个小型网络中的参数重新随机初始化以一个一样大的小型网络就会发现训练不出来。但是对于这个较小的网络在重新初始化参数时用的与开始时的参数一样就可以训练出来。对于这个彩票假说也有一篇有趣的研究解构彩票假说。在这个研究中有两个结果一个是通过不同的剪枝策略发现某两个剪枝策略是最有效的。另外一个结果是初始化参数只要不改变参数的正负号就可以将小的网络训练起来也就是说正负号是初始化参数能否训练好的关键。对此也有反驳彩票假说的文章《Rethinking the Value of Network Pruning》。这篇文章试了两个给数据集以及不同的模型得出下面结果其在Scratch-E直接训练小的模型时用的参数初始化是真随机而不是彩票假说中的在原数据集中随机抽取得到的结果确实与从大模型剪枝过来的小模型是有差距的。但是在实验Scratch-B中在更新参数时多更新几个EPOD之后得到的结果就要比剪枝得来的结果要好。所以彩票假说中小模型不好训练是否真实还有待研究。2.知识蒸馏Knowledge Distillation知识蒸馏与网络剪枝是有类似之处知识蒸馏是先训练一个大的模型被称为教师网络模型通过这个模型来得到小的模型也就是学生网络模型其与网络剪枝不一样的是其小的网络是更具大的教师网络模型进行学习的。其学习方法如下假如现在要完成后的是手写数字辨识就将资料输入到教师模型中教师模型就会产生分布结果接着就是给学生看一样的图片其不是通过正确答案进行学习而是将老师的输出看作正确答案进行学习。为什么认为知识蒸馏有用是因为教师神经网络会给学生网络额外的咨询就如让学生辨识手写“1”是有点困难的因为其与7和9都是相似的而老师就会告诉说明“1”能否分别是没有关系的只要知道这个手写数对应的分布就饿可以了。这种方式就比小模型用正确答案来学习结果要好很多。甚至只要教师告诉学生哪些数字之间有关系就可以让让学生在完全没有看到某些数字训练资料之下就可以将这个些数字学会。这个教师神经网络不一定是要一个巨大的网络其甚至可以是多个网络的组合。这个组合是选多个结果中的一个或所有结果取平均当作最终结果。在使用知识蒸馏也有一个小技巧就是稍微更改Softmax的函数即在函数中做期望值之前将每一个数值都除上一个T这个T是需要调整的一个参数起作用就是将原本比较集中的分布使其变得分散点。就如下总结本次课程系统介绍了神经网络压缩的背景与主要技术。首先阐述了模型压缩的现实必要性即在存储与算力有限的边缘设备中直接部署大型模型面临效率与延迟的挑战。在此基础上重点讲解了网络剪枝与知识蒸馏两类核心方法网络剪枝通过训练后评估参数重要性并剪除冗余部分再经微调恢复性能其中以神经元为单位的剪枝更具实用性知识蒸馏则通过教师网络输出的软标签指导学生网络学习借助分布信息提升小模型的泛化能力。此外课程还探讨了“彩票假说”及其争议揭示了剪枝过程中初始化与结构选择的重要性。总体而言神经网络压缩技术通过模型精简与知识迁移为实现高效、轻量的边缘智能部署奠定了方法论基础并在实际应用中体现出重要的工程价值。