paddle torch 梯度突然变为0

记录一个惨痛的教训，正在复现ranger优化器。花了两天时间调试，不是试图在优化器里去直接修改梯度，因为这不知道什么时候会突然导致你的梯度变为0.

正确做法是将梯度的数据从parameter分离出来，而不是直接对parameter进行操作

版权声明：本文为qq_26136211原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。