情感分析之PMI互信息

PMI（Pointwise Mutual Information）,这里当然不是指经济上的那个PMI，而是点互信息，作用是衡量两个随机变量的相关性。可以用于情感分析中的情感分数计算，计算公式如下：
$$pmi(w_1,w_2)=log(\frac{p(w_1,w_2)}{p(w_1)\ast p(w_2)})=log(\frac{p(w_1|w_2)}{p(w_1)})=log(\frac{p(w_2|w_1)}{p(w_2)})$$
如果$w_1$和$w_2$分布是相互独立的，那么$p(w_1,w_2)=p(w_1)\ast p(w_2)$，此时有$pmi(w_1,w_2)=log1=0$。相反，如果$w_1$和$w_2$的分布不是相互独立的，那么$p(w_1,w_2)>p(w_1)\ast p(w_2)$，并且相关性越强$pmi$的值越大，说明$w_1$和$w_2$共现携带的信息越多,越容易共同出现。