知识蒸馏

简单来说,就是使用教师模型的输出/中间层输出训练学生模型,使得学生模型在保持体积的情况下体积更小

知识蒸馏