A Capsule Network for Recommendation and Explaining What You Like and Dislike
Chenliang Li, Cong Quan, Li Peng, Yunwei Qi, Yuming Deng, Libing Wu
Wuhan University, Alibaba Group
https://arxiv.org/pdf/1907.00687.pdf
用户评论中包含了丰富的语义信息，从这些信息中可以推断用户对商品的各个属性的偏好。目前为止，已经有很多基于深度学习的方法对用户评论进行探索，进而用于推荐系统。这些方法中的注意力机制主要用于识别对评价预测比较重要的单词或者商品的属性。
但是，如果不利用评论详情，仅根据用户的视角以及对应的程度很难判断用户对某个属性喜欢还是不喜欢。作者们将用户观点和商品属性对作为一个逻辑单元。根据评论挖掘有价值的逻辑单元进而对评价进行解释，并且将对应的观点解析出来有利于更好地预测评分，同时具有一定的可解释性。
为此，作者们提出一种基于胶囊网络的模型基于用户评论来预测评分，该模型简称CARP。针对每个用户-商品对，CARP能够根据评论抽取有价值的逻辑单元，同时推断相应的情感。
该模型首先从用户对商品的评论中提取视角和态度，然后基于视角和态度来推导每个逻辑单元的表示。利用双向一致路由协议提出了一种新的情感胶囊网络结构，它可以识别有价值的逻辑单元，还可以提取用户商品层面的基于情感的表示，进而用于评分预测。
本文在7个真实数据集上进行了大量实验，这些数据集的特性各异。结果表明本文方法相对近期的sota模型在准确率方面具有很大提升。进一步分析表明，该模型能够在更精细的粒度上成功发现具有可解释性的原因。
亚马逊上的用户评论示例如下
本文所提出的CARP由两部分构成
其中情感胶囊网络包含两个胶囊网络，积极胶囊网络和消极胶囊网络，无需人工打标签，也无需额外的nlp工具
本文的主要贡献如下
本文方法相对之前方法的优势在于
CARP的网络结构图示如下
其中上下文编码描述如下
逻辑单元的定义如下
情感胶囊网络构成及表示如下
现有路由协议的缺陷在于
算法流程如下
双一致算法伪代码如下
其中式5为
预测函数形式如下
多任务学习目标函数定义如下
为了解决数据不平衡问题（具体表现为正样本远多于负样本），上述函数需要改造
数据集准备时的配置及特殊处理如下
对比的算法有以下几个
超参数设置如下
数据集统计信息如下
其中density计算方式为#ratings/#users/#items
几种方法的效果(MSE)对比如下
其中PMF对应的论文为
Probabilistic Matrix Factorization, NIPS 2007
代码地址
https://github.com/fuhailin/Probabilistic-Matrix-Factorization
RBLT对应的论文为
Rating-Boosted Latent Topics: Understanding Users and Items with Ratings and Reviews, IJCAI 2016
CMLE对应的论文为
Collaborative Multi-Level Embedding Learning from Reviews for Rating Prediction, IJCAI 2016
DeepCoNN对应的论文为
Joint Deep Modeling of Users and Items Using Reviews for Recommendation, WSDM 2017
代码地址
https://github.com/chenchongthu/DeepCoNN
D-Attn对应的论文为
Interpretable Convolutional Neural Networks with Dual Local and Global Attention for Review Rating Prediction, Recsys 2017
代码地址
https://github.com/seongjunyun/CNN-with-Dual-Local-and-Global-Attention
TransNet对应的论文为
TransNets: Learning to Transform for Recommendation, Recsys 2017
代码地址
https://github.com/rosecatherinek/TransNets
TARMF对应的论文为
Coevolutionary Recommendation Model: Mutual Learning between Ratings and Reviews, WWW 2018
MPCN对应的论文为
Multi-Pointer Co-Attention Networks for Recommendation, KDD 2018
代码地址
https://github.com/vanzytay/KDD2018_MPCN
ANR对应的论文为
ANR: Aspect-based Neural Recommender, CIKM 2018
代码地址
https://github.com/almightyGOSU/ANR
CARP-RA中RA源于
Dynamic Routing Between Capsules NIPS 2017
代码地址
https://github.com/adambielski/CapsNet-pytorch
不同位次下比例（正负之比）以及不同的λ的影响图示如下
不同个数的视角/方面下CARP的效果对比如下
不同迭代次数对RBiA的影响如下
代码地址
https://github.com/WHUIR/CARP
我是分割线
您可能感兴趣
KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)
RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET
SIGIR2018|选择性GBDT(SelGB)用于排序学习(已开源)
ijcai2017|CTR经典模型DeepFM,FNN,PNN,W&D,LR,FM对比(哈工大诺亚方舟提出CTR模型)
ICML2019|一种基于强化学习的推荐系统(GAN用户模型,佐治亚理工学院联合蚂蚁金服提出且已开源)
ICML2018|GBDT中如何寻找影响较大样本(普林斯顿大学联合Yandex提出并开源)
IJCAI2019|基于对抗变分自编码的协同过滤框架VAEGAN
聊聊XGBoost CatBoost LightGBM RF GBDT
IJCAI2019|新型特征增广GBDT--AugBoost(已开源)
IJCAI2019|清华大学提出并开源新型梯度提升决策树(梯度提升分段线性回归树)
新型梯度提升决策树GBDT-SPARSE(谷歌微软FaceBook加州大学联合提出)
ICML2019|深度学习鼻祖之一Bengio提出并开源图马尔科夫神经网络
GBDT,LR,深度学习如何联合发力(以推荐系统和游戏为例)
大规模GBDT系统应用场景及效果对比(LightGBM,XgBoost,DimBoost等)
新型在线预测模型DeepGBM(基于GBDT扩展的深度学习框架)