机器学习中的梯度下降（ Gradient Descent）算法

前言

梯度下降（Gradient Descent，GD）算法主要分为三种：批量梯度下降（Batch Gradient Descent，BGD）算法、随机梯度下降（Stochastic Gradient Descent,SGD）算法、和小批量梯度下降(Mini Batch Gradient Descent，MBGD)算法。

（理解梯度下降算法之前先弄懂方向导数、偏导数、偏导函数、全导数、梯度）

参考链接：https://blog.csdn.net/m0_37957160/article/details/113678344?spm=1001.2014.3001.5501

1、什么是梯度？

梯度是一个向量，其方向是函数在点P变化最快的方向，其大小是函数在点p处的最大增长率。

2、梯度下降（Gradient Descent，GD）

从四个方面一步步的去展开GD算法，1线性回归、2损失函数、3梯度、4梯度下降算法。

1线性回归

线性回归之前的博客已经讲过，此处简单略过，比如下边是一个城市人口和商场利润的散点图：