机器学习中最小二乘和梯度下降法的个人理解

提前说明一下，这里不涉及数学公式的推到，只是根据自己的理解来概括一下，有不准确的地方，欢迎指出。

最小二乘：我们通常是根据一些离散的点来拟合出一天直线，这条直线也就是我们所说的模型，最小二乘也就是评价损失函数（loss）的一个指标。最小二乘就是那些离散的点与模型上拟合出的点做一个差的平方，然后将所有差的平方进行累加就得到了最小二乘的函数。

梯度下降: 我们知道某一点的梯度也就是函数在该点的一个偏导数，由几何意义可知沿着梯度的方向就是该点变换（或是增长）速度最快的方向，所以，当我们对该点梯度进行取反的时候，也就是该点下降最快的方向，所以我们可以通过该方法找到函数局部的最小值。