一、线性回归

1.概念

对于一组特征，使用线性方程来进行拟合，对结果进行预测，公式如下：

线性回归选取的损失函数是均方误差，均方误差表示所有样本到该预测函数的欧式距离最小，代价函数如下：

对每一个θ进行求导，便可以求取θ的值：

更新：

，其中α为学习率

a.通常α取0.001，根据实验结果依次增加三倍，比较实验结果。0.001，0.003，0.01，0.03，0.1 b.θ更新到什么时候停止？每次更新后，带入θ值可以求得J(θ)的值，比较当前的J(θ)与上一次的值，如果变化很小，则可认为达到收敛；或者不断增加迭代次数，可视化观察J(θ)的曲线图。

使用L1范数(权值为非0的权值和)称为Lasso回归，使用L2范数(权值平方和)称为岭回归。正则化项称为惩罚函数，目的解决过拟合问题，代价函数变为：

这里使用的是L2范数，J(θ)称为岭回归

逻辑回归由线性回归转变而来，线性回归用来预测具体的值，如果遇到分类问题如何解决呢？这里还是使用线性回归来拟合数据，然后再对其预测值进行0 1 映射(使用sigmod函数)，因此得到的逻辑回归模型为：

sigmod函数就是形式S形状的函数，存在上限、下限

这里可以均方误差作为代价函数，但是图像非凸函数，使用梯度下降很难求得其收敛值，因此这里借助于极大似然估计的概念来设计逻辑回归的代价函数：对于二分类：

X01概率1-pp

似然函数：

对数形式：

对于逻辑回归本身求得就是偏向某类的概率hθ(x)：逻辑回归似然函数：

对数形式：这里求得极大似然估计，前面取符号，即可求得满足代价函数的最小值，于是得到逻辑回归的代价函数如下：

1/m不影响函数的功能。故求得对θ的偏导为：

与线性回归相似，正则化可以使用L1范数、L2范数，这里使用L2范数得到的代价函数为：

至此，已经了解掌握了线性回归、逻辑回归的性质、代价函数的来由，推导，虽然本文并未写出详细步骤，但关键性步骤的推导已经指明，新手可以先简要查阅相关文献资料，简要了解线性回归与逻辑回归，便可非常了解两种回归。学习多遍，其义自见。