误差的高斯分布与最小二乘估计的等价性
误差的高斯分布与最小二乘估计的等价性
假设有N维向量x 1 , x 2 , . . . , x N , x i ∈ R n x_1,x_2,...,x_N,x_i\in R^nx1,x2,...,xN,xi∈Rn
观测值Y：y 1 , y 2 , . . . , y N , y i ∈ R n y_1,y_2,...,y_N,y_i\in R^ny1,y2,...,yN,yi∈Rn
定义线性方程：y i = w T x i , w ∈ R n y_i=w^Tx_i,w\in R^nyi=wTxi,w∈Rn
拟合误差：e i = y i − w T x i e_i=y_i-w^Tx_iei=yi−wTxi
假设误差符合标准正太分布：e i ∼ N ( 0 , 1 ) e_i\sim N(0,1)ei∼N(0,1)
即概率密度函数： e i ∼ 1 2 π e − e i 2 2 e_i\sim\frac{1}{\sqrt{2\pi}}e^{-\frac{e_i^2}{2}}ei∼2π1e−2ei2
似然函数
最小化误差
求解权重最优解
最终得到的w和最小二乘估计得到的结果是一致的。
版权声明：本文为weixin_42521167原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。