CTC学习笔记（二） 训练和公式推导

整体思路

训练流程和传统的神经网络类似，构建loss function，然后根据BP算法进行训练，不同之处在于传统的神经网络的训练准则是针对每帧数据，即每帧数据的训练误差最小，而CTC的训练准则是基于序列（比如语音识别的一整句话）的，比如最大化$p(z|x)$，序列化的概率求解比较复杂，因为一个输出序列可以对应很多的路径，所有引入前后向算法来简化计算。

前期准备

1. 输入
   $x$,长度为T
2. 输出集合
   $A$表示正常的输出
   $A^{\prime }=A\bigcup \{blank\}$表示输出全集
   $A^{\prime T}$表示输入x对应的输出元素集合
3. 输出序列
   $\pi$表示输出路径
   $l$表示输出label序列
   $\mathcal{F}$表示路径到label序列的映射关系
4. 概率
   $y_k^t$表示时间t输出k的概率
   $p(\pi |x)=\prod _{t=1}^T{y}_{{\pi }_t}^t$表示基于输入x的输出$\pi$路径的概率
   $p(l|x)=\sum _{\pi \in {\mathcal{F}}^{-1}(l)}p(\pi |x)$表示输出label序列的概率是多条路径的概率和。

前后向算法

考虑到计算$p(l|x)$需要计算很多条路径的概率，随着输入长度呈指数化增加，可以引入类似于HMM的前后向算法来计算该概率值。
为了引入blank节点，在label首尾以及中间插入blank节点，如果label序列原来的长度为U，那么现在变为U’=2U+1。

前向

前向变量为$\alpha (t,u)$，表示t时刻在节点u的前向概率值，其中$u\in [1,2U+1]$.
初始化值如下：
$$\alpha (1,1)=y_b^1$$
$$\alpha (1,2)=y_{l_1}^1$$
$$\alpha (1,u)=0,\forall u>2$$
递推关系：
$$\alpha (t,u)=y_{l_u^{\prime }}^t\sum _{i=f(u)}^u\alpha (t-1,i)$$
其中
$$f(u)=\{\begin{array}{ll}u-1& \text{if }{l}_u^{\prime }=blank\text{ or }{l}_{u-2}^{\prime }=l_u^{\prime }\\ u-2& \text{otherwise}\end{array}$$
注：如果l表示{c,a,t}，那么l’表示为{b,c,b,a,b,t,b}，所以原来在l中的下标u为2，在l’中的下标u变为4。
$$\alpha (t,u)=0\forall u<U^{\prime }-2(T-t)-1$$对应于上图中的右上角部分，因为时间的限制，有些节点不可能到达最后的终止节点。
根据上图，很容易理解前向的递推关系。

后向

初始化值：
$$\beta (T,U^{\prime })=1$$
$$\beta (T,U^{\prime }-1)=1$$
$$\beta (T,u)=0,\forall u<U^{\prime }-2$$
$$\alpha (1,u)=0,\forall u>2$$
递推关系：
$$\beta (t,u)=\sum _{i=u}^{g(u)}\beta (t+1,i)y_{l_i^{\prime }}^{t+1}$$
其中
$$g(u)=\{\begin{array}{ll}u+1& \text{if }{l}_u^{\prime }=blank\text{ or }{l}_{u+2}^{\prime }=l_u^{\prime }\\ u+2& \text{otherwise}\end{array}$$

取log

概率计算在log计算，避免underflow，其中log加可以通过以下形式转化：
$$ln(a+b)=lna+ln(1+e^{lnb-lna})$$
##训练

loss function

CTC的loss function使用最大似然：
$$L(S)=\sum _{(x,z)\in S}L(x,z)$$
$$L(x,z)=-lnp(z|x)$$
根据前后向变量，可以求得：
$$p(z|x)=\sum _{u=1}^{|z^{\prime }|}\alpha (t,u)\beta (t,u)$$
$|z^{\prime }|$表示z对应的label长度的U’，$\alpha (t,u)\beta (t,u)$表示t时刻经过节点u的所有路径的概率和。
$$L(x,z)=-ln\sum _{u=1}^{|z^{\prime }|}\alpha (t,u)\beta (t,u)$$

bp训练

$y_k^t$表示t时刻输出k的概率
$a_k^t$表示t时刻对应输出节点k在做softmax转换之前的值
$$\frac{\partial L(x,z)}{\partial y_k^t}=-\frac{1}{p(z|x)}\frac{\partial p(z|x)}{\partial y_k^t}$$
只需要考虑t时刻经过k节点的路径即可
$$\frac{\partial p(z|x)}{\partial y_k^t}=\sum _{u\in B(z,k)}\frac{\partial \alpha (t,u)\beta (t,u)}{\partial y_k^t}$$
其中$B(z,k)$表示节点为k的集合
考虑到
$$\alpha (t,u)\beta (t,u)=\sum _{\pi \in X(t,u)}\prod _{t=1}^T{y}_{{\pi }_t}^t$$
其中$X(t,u)$表示所有在t时刻经过节点u的路径。
所以
$$\frac{\partial p(z|x)}{\partial y_k^t}=\sum _{u\in B(z,k)}\frac{\alpha (t,u)\beta (t,u)}{y_k^t}$$
可以到损失函数对$y_k^t$偏导数
$$\frac{\partial L(x,z)}{\partial y_k^t}=-\frac{1}{p(z|x)y_k^t}\sum _{u\in B(z,k)}\alpha (t,u)\beta (t,u)$$
同时可以得到损失函数对于$a_k^t$偏导数
$$\frac{\partial L(x,z)}{\partial a_k^t}=y_k^t-\frac{1}{p(z|x)}\sum _{u\in B(z,k)}\alpha (t,u)\beta (t,u)$$
推导参考：


后续可以使用BPTT算法得到损失函数对神经网络参数的偏导。

参考

《Supervised Sequence Labelling with Recurrent Neural Networks》 chapter7

后面的技术分享转移到微信公众号上面更新了，【欢迎扫码关注交流】