网络训练过程就是找到一个最优解,你可以想成一个开口向上的二次函数,我们要求函数得最小值,它的最优点就二次函数的最小值点,其实我们是可以通过数学公式直接求出最小值点的,但是实际的遇到的问题,我们需要求解的问题不像二次函数那么简单,最小值点没有公式可以直接求(有公式直接求就不需要神经网络这种方法了),所有需要通过在需要求解的函数上设置一个初始点,然后通过梯度下降的方法不断使这点逼近最优值的那个点。 回到初始化值重不重要这个问题,我的回答是重要,但是官方一般都是默认选用了一种比较好的初始化值给大家直接使用,所以其实大部分工作者网络最开始的网络随机初始化值基本都是一样的,所以初始化值可以当作一个固定值来看待。
关于初始化影响大不大:就相当于我们爬山 目的是达到山顶 初始值就是你的起始位置 现在官方一般有默认的初始值 相当于默认把你先送到了二峰 你再爬山。 所以初始化当然重要 如果你初始化在山底 还不一定能顺利达到山顶呢。
-------------秋名山翻车的
感谢波波
版权声明:本文为qq_47166690原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。