COMPOT是一种创新的Transformer模型训练后压缩框架，全称为“用于Transformer压缩的校准优化矩阵普罗克鲁斯正交化”。该框架旨在解决现有压缩方法的局限性。传统的压缩方法常依赖于截断奇异值分解，但强制共享单一子空间即使在中等压缩率下也可能导致精度下降。而稀疏字典学习虽然提供了更灵活的子空间联合表示，但其迭代更新过程往往效率较低。
COMPOT的核心是一种无需训练的压缩方案。它利用一个小的校准数据集来估计稀疏的权重分解。该方法采用正交字典，从而能够对字典进行闭式的普罗克鲁斯更新，并对系数进行解析式的单步稀疏编码，完全避免了耗时的迭代优化过程。
为了在全局压缩预算下处理不同网络层对压缩的敏感性差异，COMPOT进一步引入了一次性的动态分配策略。该策略能够自适应地重新分配各层的压缩率，实现更精细的压缩控制。
广泛的实验表明，COMPOT在多种模型架构和任务上，均能持续提供优于主流低秩和稀疏基线方法的压缩与精度权衡。此外，该框架与训练后量化技术完全兼容，可用于实现极致的模型压缩。该方法为高效部署大型Transformer模型提供了一种新的有效途径。
