前言：最近在想办法压缩有rnn的网络，所以查看了这篇文章
出处：University of Waterloo（滑铁卢大学）
代码：https://github.com/qiangsiwei/bert_distill
论文：https://arxiv.org/pdf/1903.12136.pdf
Abstract
本文作者认为轻量级基础网络在没有进行网络结构更改，额外的训练数据或额外特征以外，依然可以具备很强的竞争能力。作者就提出了使用BERT-大模型对BiLSTM进行蒸馏，得到的结果是与BERT相比，参数少了近100倍，推理时间提升了15倍；
结论：该文的方法不进行详细的描述，总言之，作者在预测得分层使用了欧式距离进行了蒸馏，并使用了teacher网络对未知标签的数据进行预测，然后将这部分未知标签的数据用于了小模型的蒸馏，实际结果就是小模型的性能是得到了提升，但是（个人觉得）不知道是蒸馏起了作用，还是因为新添了数据所以小模型性能得到了提升；
版权声明：本文为qq_22764813原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。