神经网路语言模型(NNLM)详细介绍

本文主要介绍一篇年代久远但意义重大的论文A Neural Probabilistic Language Model(2003),其意义重大的一点在将神经网络引入语言模型的训练中,并得到了词向量这个副产物,即万物皆可Embedding的由来就在这里。

本文采用最通俗的例子来讲这个神经元模型的原理、代码和缺点。

一、原理

1、原型图

在这里插入图片描述

1、首先拿到一篇文章,需要把文章中的词全部提取出来并去重,得到V VV ,初始化词向量C CC(一个∣ V ∣ |V|Vx m mm大小的矩阵,m),


版权声明:本文为qq_27297393原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。