Sigmoid 和 Logit

sigmoid

$$S(t)=\frac{1}{1+e^{-t}}$$
sigmoid 为一从[-∞, ∞] 到[0,1]的映射，也就是说在分类其中，为了要求最后的输出不是一个任意实数而是一个表示概率的[0,1]之间的数，需要用到sigmoid

logit

$$logit(p)=\log \left(\frac{p}{1-p}\right)=\log (p)-\log (1-p)=-\log \left(\frac{1}{p}-1\right)$$
反之，logit 为一个从[0,1]到[-∞, ∞]的映射。
logit函数中的p为概率，那么$\frac{p}{1-p}$代表什么？
在概率中定义 $$probability:p=\frac{某事发生的次数}{所有事件的总次数}$$
$$odds:p=\frac{某事发生的次数}{某事件不发生的概率}$$
例如在赌博中，玩家赢的概率为0.1，那么其odds为$\frac{1}{9}$，因此为了保证公平，庄家要出9倍的赌注。

而logit，为log-it， 这其中的it就是odds

由
$$S(logit(p))=\frac{1}{1+e^{-logit(p)}}=p$$
可知logit与sigmoid互为逆函数

总之logit是给他一个概率值，他输出的是一个[-∞，∞]的实数，而sigmoid是给他一个任意实数，他将其转化为可以代表概率的数值