MindSpore半精度和全精度下模型不收敛

基于mindspore 1.7框架,在同等超参数下(与pytorch框架下超参数一致),数据集包括Imagenet,Cifar10(rescale 224),训练Resnet,Vit,Cswin时,设置amp_level="O2"(半精度)时,cswin不收敛,vit,resnet收敛,而设置amp_level="O0"(全精度)时,三个模型都正常收敛。一致找不到原因?有谁知道可能的原因吗?

解答:

官网中有精度调优的总结

MindSpore模型精度调优实战(一)精度问题的常见现象、原因和简要调优思路

华为云论坛_云计算论坛_开发者论坛_技术论坛-华为云

MindSpore模型精度调优实战(二)精度调试调优思路

华为云论坛_云计算论坛_开发者论坛_技术论坛-华为云

MindSpore模型精度调优实战(三)常见精度问题简介

华为云论坛_云计算论坛_开发者论坛_技术论坛-华为云

试试能不能解决问题


版权声明:本文为xi_xiyu原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。