这种方式其实并不会大幅降低学生模型的训练成本.

[软标签|softLabe]的蒸馏，才有可能大幅降低学生模型的训练成本。但是软标签蒸馏的前提是教师和学生模型是同构的，并且开源