关于如何使用mmseg训练自己的数据集在csdn上已经有很多大佬分享,我就不班门弄斧了
这篇文章主要记录一下在训练过程中出现的一些问题及思考
在所有的配置都完成后开始训练,出现了内存爆炸的bug(服务器性能很强所以不是数据太多的问题),一开始认为是使用的danet网络中有attention机制所以导致出bug,所以换了简单的unet,依然是相同的问题->在评估的时候出现:
DataLoader worker (pid 5992) is killed by signal:Killed
而且每次都停止在相同的评估顺序上,debug了很久都没有发现问题,最后怀疑可能是RepeatDataset 中次数为40000导致数据非常庞大,改为4000就可以顺利训练和评估了
那么问题来了,为什么repeat大了10倍就会内存爆炸呢?
从源代码开始看,加载图数据时会加载标注文件中所有样本的信息,然后进行一系列数据预处理和数据增强,repeatdataaet是重复某个小数据集多次。
版权声明:本文为m0_54167819原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。