Batch Normalization（BN）在什么时候用比较合适？

1.在CNN中，

(a).BN作用在非线性映射前，当神经网络收敛速度缓慢时候，或者梯度爆炸无法训练时候可以考虑用BN，

(b).一般情况也可以用BN来尝试加快训练速度，提高模型的精度。

2.不适用于动态的网络结构和RNN网络

1. BN比较适用的场景是：每个mini-batch比较大，数据分布比较接近.  在进行训练之前，要做好充分的shuffle，否则效果会差很多
2. 由于BN需要在运行过程中统计每个mini-batch的一阶统计量和二阶统计量，因此不适用于动态的网络结构和RNN网络。