近日，由西南财经大学统计研究中心何九军博士生和林华珍教授合作完成的论文“Olica: Efficient Structured Pruning of Large Language Models without Retraining”在机器学习与人工智能顶级学术会议《Proceedings of the 42 st International Conference on Machine Learning（ICML2025）》上正式发表。
 
内容简介
神经网络结构化剪枝作为一种关键的模型压缩技术，通过移除冗余结构（如神经元）有效降低模型复杂度并缩短推理时间。然而，传统针对大模型的剪枝方法通常需要大量计算资源和数据对模型进行再训练以恢复性能，限制了其实际应用。为应对这一挑战，本文提出一种高效的大模型剪枝框架，仅需少量校准数据即可完成剪枝，无需再训练，同时能够最大限度地保持模型性能。我们发现，大模型中的核心模块（即多头注意力层）本质上仅依赖于两种类型的矩阵乘积。通过将这两种乘积分别视为整体，并采用主成分分析（PCA）提取其中的关键信息，所提方法能够有效剔除冗余成分而不破坏原始模型结构，从而避免了对再训练的依赖。此外，我们还设计了一种快速分解策略，将计算复杂度降低至注意力头数的平方分之一。针对前馈神经网络（FFN）层在剪枝过程中出现的误差累积问题，本文提出一种基于岭回归闭式解的低秩近似线性校正方法，用于重构FFN层的残差。该方法不仅无需再训练，也不会引入过多额外参数。实验结果表明，与传统剪枝方法相比，本文方法将数据需求降低了上百倍，显著减少了运行时间和GPU内存占用，同时保持了剪枝后模型的优异性能。
作者简介
何九军，西南财经大学统计研究中心博士研究生，研究方向包括大模型应用、深度学习理论等。
林华珍（通讯作者），西南财经大学统计研究中心教授，研究领域包括深度学习理论、非参数方法、生存数据分析、函数型数据分析等。