基于mindspore 1.7框架,在同等超参数下(与pytorch框架下超参数一致),数据集包括Imagenet,Cifar10(rescale 224),训练Resnet,Vit,Cswin时,设置amp_level="O2"(半精度)时,cswin不收敛,vit,resnet收敛,而设置amp_level="O0"(全精度)时,三个模型都正常收敛。一致找不到原因?有谁知道可能的原因吗?
解答:
官网中有精度调优的总结
MindSpore模型精度调优实战(一)精度问题的常见现象、原因和简要调优思路
MindSpore模型精度调优实战(二)精度调试调优思路
MindSpore模型精度调优实战(三)常见精度问题简介
试试能不能解决问题
版权声明:本文为xi_xiyu原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。