我们知道：一元二次方程：y = f(x) = x^2 + 2 * x + 1 = (x + 1)^2，当x = -1时，f(x)达到最小值0。
对方程求导数y’ = f’(x) = 2 * x + 2。也就是说y’随着x的变化而变化，当x = -1时，导数为0，而在这个时候，f(x)也恰好达到最小值。
另外，当x = -4时，y = 9，导数y’ = -6。红色的直线是x = -4时, f(x)的切线。沿着导数y’的反方向移动可以到达x = -1，即到达f(x)的最小值0。
相反，如果x = 2，y = 9，导数y’ = 6。沿着导数y’的反方向移动也可以到达x = -1，即到达f(x)的最小值0。
综合上述两种情况，只要沿着导数y’的反方向移动就可以到达f(x) 的最小值。
而且非常有意思的一点是，当x从-4往导数y’的反方向移动时，导数y’的值也不断的发生变化。如果我们每次都只让x移动一小步，则y’的值也逐渐增大。我们定义如下一个方程：
x = x - lr * dx。dx是x在当前点的导数，lr是一个比较小的正数，例如0.01，我们可以把lr看作是步长。
如果把x = x - lr * dx这个方程执行1000次，我们就可以发现无论x的初始值是多少，x都会变成接近-1的值，这时f(x) = 0，导数y’接近0。这个过程称之为“梯度下降”。
我们用Python代码实现上述过程：
运行结果如下：
深度神经网络(DNN)的优化过程，本质上就是求一个复杂函数的全局最小值，我们同样可以使用上述“梯度下降”的方式进行优化。对于复杂函数，我们可能无法写出其导数的表达式，但是我们可以用PyTorch算出某一个点的导数值。下面我们就用PyTorch的方式实现上述过程：
最终输出结果：
小结一下：
我们通过一个一元二次方程求最小值的方式，引入了“梯度下降”。接着我们定义一个逐渐改变x的方程：x = x - lr * dx。
然后用Python代码，分别用手动计算梯度和用PyTorch计算梯度等两种方式，通过上述方程逐渐逼近导数为0的点，并计算出导数为0时的x和y的值。这两种方式计算得到的结果是一样的。
我们将在后续课程中讨论PyTorch中的数据类型和内置方法。
ps:
1、最近“改行”玩AI了，争取由浅入深写一些AI方面的帖子。这是自己的成长记录，也为后来人种一些小树。
2、最先入门的是TensorFlow，但是Tensorflow糟糕的兼容性逼着我重新用PyTorch入门，实属无奈。。。真希望能有一个好用的国产编程语言，好用的国产AI工具。