Neural Factorization Machines for Sparse Predictive Analytics（2017）

Neural Factorization Machines for Sparse Predictive Analytics（2017）

(0) 个人小结

该文提出了一种新的模型 NFM，将FM中特征交叉项替换成深度神经网络，该模型由输入层、Embedding层、Bi-Interaction层、隐藏层和输出层组成，其中Bi-Interaction层可以学习特征的二阶信息。这个模型是FM与Deep串行方式连接，该模型可以学习特征之间深层次的信息。

(1) 研究目标

提出一种新的模型 – NFM

(2) 背景 & 问题描述

在推荐领域，数据一般非常稀疏，传统FM无法学习特征的深层次信息（FM一般用于学习特征的一阶和二阶特征信息，高阶特征信息面临复杂度高的问题）。Wide&Deep、DeepCross难以训练，易出现过拟合和梯度消失问题（NFM就没有这些问题了吗？？）。

(3) 研究方法

NFM模型的公式如下：

其中前两项和FM一样，后一项的$f(x)$是使用深度神经网络来实现。

$f(x)$的实现模型如下：

其中Embedding层是输入层向稠密向量的映射，只取非零特征的Embedding，然后将其输入至B-Interaction层，改成的操作为：

可以通过化简来降低其计算的复杂度（思路和FM化简类似），化简后为：

所以最终模型的等价公式为：

(4) 结论与展望

设计更好的神经网络“部件”（例如：该模型中的B-Interaction层）或新的网络架构，或者应用到其他领域如：搜索排序、定向广告等。