本文主要介绍一篇年代久远但意义重大的论文A Neural Probabilistic Language Model(2003),其意义重大的一点在将神经网络引入语言模型的训练中,并得到了词向量这个副产物,即万物皆可Embedding的由来就在这里。
本文采用最通俗的例子来讲这个神经元模型的原理、代码和缺点。
一、原理
1、原型图

1、首先拿到一篇文章,需要把文章中的词全部提取出来并去重,得到V VV ,初始化词向量C CC(一个∣ V ∣ |V|∣V∣x m mm大小的矩阵,m),
版权声明:本文为qq_27297393原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。