一、知识蒸馏概述 知识蒸馏，是指将复杂的模型中所包含的知识迁移到简单的模型中，使得简单模型能够具备复杂模型的性能，从而减小了模型的计算负担，同时保证了模型的准确性。 知识蒸馏通过从…