二分法求最大似然估计r语言_最大似然估计之-伯努利分布、二项分布、多类别分布、多项分布...

本文记录使用最大似然估计求解伯努利分布、二项分布、categorical分布、多项分布参数的推导过程。

伯努利分布:

假设样本

大小为

，则似然函数

次抛硬币的结果是正面朝上出现了

次，则似然函数可以记为

对上式取

，

对

求偏导，令偏导数等于0，

二项分布:

假设样本

大小为

，则似然函数

观察上式，等号右边可以拆分为

所以，似然函数可以写为

对上式取

，

对

求偏导，令偏导数等于0，

不难求解:)，

categorical分布:

假设样本

大小为

，则似然函数

假设

次抛骰子的结果是第

面朝上出现了

次，则似然函数可以记为

对上式取

，

注意

有限制条件

，类似这种变量带有限制条件的函数求极值，我们可以用拉格朗日乘数法，得到带参数限制的似然函数，

对

求偏导，令偏导数等于0，

得到，

对

求和，

可以得到，

所以，

多项分布:

假设样本

大小为

，则似然函数

观察上式，等号右边可以拆分为

对上式取

，

注意

有限制条件

，类似这种变量带有限制条件的函数求极值，我们可以用拉格朗日乘数法，得到带参数限制的似然函数，

对

求偏导，令偏导数等于0，

得到，

对

求和，

可以得到，

所以，

以上四个分布，使用最大似然估计

的值等于正面朝上的次数/总次数。