第三课复习

（一）公式1：局部权重回归
解释：结合权重训练theta。其中w为。（参数tau自己设定）如图所示：

要求该曲线的回归函数的话，如果用线性回归法， 得到的误差会比较大，所以要从局部的权重来考虑求解该曲线的回归。当|x(i)-x|的值很小时（离该点很近时），对应的w(i)相对来说就较大，该点值的重要性就越来越大，最大值为1（当x(i)-x为零时），反之，当|x(i)-x|很大时（相对距离较远）,w(i)就越来越小，该点值的重要性就很小。用一个课后习题举个例子：
1-5-b：在范围【1150~1599】内，给出光谱点，然后通过最小化误差公式：求出theta，然后画出hypothesis曲线（h（theta））。首先对J（theta）做一个变形，如图所示（手写的）：


好了，剩下的就是matlab代码和图像了，结果如图所示：

local_weighted_regression代码：

function hy = local_weighted_regrssion(X, Y, tau)
    s1 = size(X,1);
    s2 = size(Y,1);
    if (s1 ~= s2)
        error('size X(%d) and size Y(%d) are not same',s1,s2);
    end
    XX = [ones(s1,1), X];
    hy = zeros(s1,1);
    for ii = 1:s1
        ww = exp(-(X - X(ii)).^2/(2*tau)^2)
        W = diag(ww);
        theta = (XX'*W*XX)\(XX'*W*Y);
        hy(ii) = XX(ii,:)*theta;
    end
end

plot代码

load quasar_train.csv;
cor = quasar_train(1,:);
cor = cor';
train_da = quasar_train(2,:);
train_da = train_da';
figure;
hold on;
plot(cor,train_da,'k*');
hy = local_weighted_regression(cor,train_da,5);
plot(cor,hy,'r-','linewidth',2);
legend('original','hytpothesis')

如图，红色曲线就是根据权重画出来的猜测值。
然后这节课剩下的就是最大似然函数的一些推导和分类问题的简单概念，剩下的内容第四节课一起复习。