1.深层、浅层、BP

• 训练
  • 监督
    • 误差自顶向下，对网络微调
    • 微调特征，使之与问题更相关
  • 非监督
    • 自下向上（greedy layer-wise traing

自动编码器

• 自动编码器
  • 无监督
  • loss：重构误差(输入，输出）最小–>尽可能复现输入
  • 输入=输出——尽可能复现输入
    • input–encoder–>code–decoder–>output
    • code：输入的特征表达
    • 若有多层，则有多个code，多个不同的表达
  • 网络结构：
    • 三层
      • 输入x->y
      • 隐藏y->z
      • 输出z
    • 公式
      • y=sigmoid(Wx+b)
      • z=sigmoid(W’y+b’)
    • 条件
      • 输入神经元数量=输出（因为要一样
      • 隐藏<输入
        • 想要得到输入的一个压缩表示、抽象表示
  • 简化：$W^{\prime }=W^T$——这样只要训练一组权值向量就可以
    • 再加一个约束，若不考虑sigmoid的话：
      • 若$W^{-1}=W^T$:正交矩阵，也就是说W是可以训练成正交矩阵的
  • 深度结构
    • 预测时，只看encoder：encoder1–>encoder2–>encoder3
    • 逐层训练（训练时才看解码过程）
      • 将input–encoder1–>code1–decoder1–>input’,训练好后，去除decoder1
      • 将input–>encoder1–>code1–encoder2–>code2–decoder2–>code1’
      • 依次让每一层都得到最小的重构误差，每一层都一个好的表达
  • 监督学习
    • encoder（已经得到了一个很好地表达，有一个好的初始值）+分类器
    • 有监督微调训练
      • 只调整分类器
      • 整体调整（端对端，更好）
  • 扩展（通过增加约束来发现输入数据的结构
    • 稀疏自编码器
      • 约束：限制使得得到的表达code尽量稀疏
        • L1范数项
        • $y=w^{T}x$
        • $loss(x,w)=||wy-x|{|}^2+\lambda {\Sigma }_j|y_j|$–>y长度小，loss要最小化，
        • z=wy
      • 稀疏容易得到更好的表达
    • 降噪自编码器
      • 存在噪声
      • 提高鲁棒性
      • 操作
        • x–>x’:以一定概率分布擦除x中项（置0）
        • x’->y–>z:loss(z,x)做误差迭代—>这样就学习到了x’(破损数据）
        • 破损数据的优点
          • 破损数据训练出来的w噪声小
          • 破损数据一定程度减轻了训练数据与测试数据的代购（去除了噪声）
          • 破损数据不影响记忆（人脑也是如此，虽然是随意擦除）
  • 栈式自编码器的优点
    • 有强大的表达能力
    • 深度神经网络的所有优点
    • 可以获得输入的层次型分组/部分-整体分解结构
      • 学习方式：逐层训练（前一层的输出是后一层的输入–依次训练

深度玻尔兹曼机DBM(deep boltzmann machine(DBM)

• Hopfield网络
  • 以确定的方式，确定神经元输出是1/0:
  • 输入>0:1,输入<0:0
• BM
  • 二值神经元：以不确定性的方式决定输出是1/0
    • sigmoid:$p(s_i=1)=\frac{1}{1+exp(-b_i-{\Sigma }_j{s}_j{w}_{ji})}$
  • 状态分布；$\frac{P_{\alpha }}{P_{\beta }}=exp(-(E(S^{\alpha })-E(S^{\beta }))/T)$
  • 状态：$P_{\alpha }=exp(-(E(S^{\alpha }))/T)$

• RBM（生成模型）
  • 二部图，层内无连接，层间全连接
  • 能量函数：$E(v,h;\theta )=-{\Sigma }_{ij}{w}_{ij}{v}_i{h}_j-{\Sigma }_i{b}_i{v}_i-{\Sigma }_j{a}_j{h}_j$
  • (v,h)联合分布（满足boltzman）：
    • $p_{\theta }(v,h)=\frac{1}{Z(\theta )}exp(-E)=\frac{1}{Z(\theta )}{\Pi }_{ij}{e}^{w_{ij}{v}_i{h}_j}{\Pi }_i{e}^{b_i{v}_i}{\Pi }_j{e}^{a_j{h}_j}=\frac{exp(-E)}{{\Sigma }_{v,h}exp(-E)}$
    • $Z(\theta )={\Sigma }_{v,h}exp(-E)$
    • ==>可以得到其他分布
      • $p_{\theta }(v,h)=\frac{exp(-E)}{{\Sigma }_{v,h}exp(-E)}$
      • $p_{\theta }(v)=\frac{{\Sigma }_{h}exp(-E)}{{\Sigma }_{v,h}exp(-E)}$
      • $p_{\theta }(h)=\frac{{\Sigma }_{v}exp(-E)}{{\Sigma }_{v,h}exp(-E)}$
      • $p_{\theta }(h|v)=\frac{exp(-E)}{{\Sigma }_{h}exp(-E)}$
      • $p_{\theta }(v|h)=\frac{exp(-E)}{{\Sigma }_{v}exp(-E)}$
  • 目标函数：$log(p_{\theta }(v))$——极大似然
    • N个样本
      • $max{\Sigma }_{i=1}^{N}log(p_{\theta }(v))$
    • $log(p_{\theta }(v))=log{\Sigma }_{h}exp(-E)-log{\Sigma }_{v^{\prime },h^{\prime }}exp(-E)$
    • 求导（梯度法、CD算法
      • $\frac{\partial log(p_{\theta }(v))}{\partial \theta }=\frac{{\Sigma }_h（exp(-E)\frac{-\partial E}{\partial \theta }）}{{\Sigma }_{h}exp(-E)}-\frac{{\Sigma }_{v^{\prime },h^{\prime }}（exp(-E)\frac{-\partial E}{\partial \theta }）}{{\Sigma }_{v^{\prime },h^{\prime }}exp(-E)}$
      • $={\Sigma }_h(p(h|v)\frac{-\partial E}{\partial \theta })-{\Sigma }_{v^{\prime },h^{\prime }}(p(v^{\prime },h^{\prime })\frac{-\partial E}{\partial \theta })$
      • $=E_{p(h|v)}(\frac{-\partial E}{\partial \theta })-E_{p(v^{\prime },h^{\prime })}(\frac{-\partial E}{\partial \theta })$（期望）
      • =正面-负面
      • 观测分布：$E_{p(h|v)}(\frac{-\partial E}{\partial \theta })$:给定观测数据之后，隐变量对于可视层的在这个状态之下的一个期望获得的结果
      • 真实分布$E_{p(v’,h’)}(\frac{- \partial E}{\partial \theta}) $:整体的学习期望，在整个网络，所有变化之下的期望的求导
    • 对于具体的参数W,a,b
      • $E=-v^{T}Wh-b^{T}v-a^{T}h$
        • $p(v,h)=\frac{1}{z}{e}^{v^{T}Wh}{e}^{b^{T}v}{e}^{a^{T}h}$
        • $p(h|v)={\Pi }_{j}p(h_j|v)={\Pi }_j=\frac{e^{(a_j+{\Sigma }_i{w}_{ij}{v}_i)h_j}}{1+e^{(a_j+{\Sigma }_i{w}_{ij}{v}_i)}}$
        • $p(v|h)={\Pi }_{j}p(v_i|h)={\Pi }_i=\frac{e^{(b_i+{\Sigma }_j{w}_{ij}{h}_j)v_i}}{1+e^{(b_i+{\Sigma }_j{w}_{ij}{h}_j))}}$
        • $\frac{-\partial E}{\partial w_{ij}}=-v_i{h}_j$
        • $\frac{-\partial E}{\partial b_i}=-v_i$
        • $\frac{-\partial E}{\partial a_j}=-h_j$
      • $\frac{\partial log(p_{\theta }(v))}{\partial \theta }=E_{p(h|v)}(\frac{-\partial E}{\partial \theta })-E_{p(v^{\prime },h^{\prime })}(\frac{-\partial E}{\partial \theta })$
        • $\frac{\partial log(p_{\theta }(v))}{\partial w_{ij}}={\Sigma }_{h_j}(p(h_j|v)v_i{h}_j)-{\Sigma }_{v^{\prime }}(p(v^{\prime }){\Sigma }_{h_j^{\prime }}(p(h_j^{\prime }|v^{\prime })v_i^{\prime }{h}_j^{\prime }))$
          • 进一步简化$=p(h_j=1|v)v_i-{\Sigma }_{v^{\prime }}(p(v^{\prime })p(h_j^{\prime }=1|v^{\prime })v_i^{\prime }))$
          • 取值0就没有了，hj=0了都
        • $\frac{\partial log(p_{\theta }(v))}{\partial b_i}={\Sigma }_{h_j}(p(h_j|v)v_i)-{\Sigma }_{v^{\prime }}(p(v^{\prime }){\Sigma }_{h_j^{\prime }}(p(h_j^{\prime }|v^{\prime })v_i^{\prime }))$
          • $=v_i-{\Sigma }_{v^{\prime }}(p(v^{\prime })v_i^{\prime })；{\Sigma }_{h_j}p(h_j^{\prime }|v^{\prime })=1$
        • $\frac{\partial log(p_{\theta }(v))}{\partial a_j}={\Sigma }_{h_j}(p(h_j|v)h_j)-{\Sigma }_{v^{\prime }}(p(v^{\prime }){\Sigma }_{h_j^{\prime }}(p(h_j^{\prime }|v^{\prime })h_j^{\prime }))$
          • $=p(h_j=1|v)-{\Sigma }_{v^{\prime }}(p(v^{\prime })p(h_j^{\prime }=1|v^{\prime })))$
      • 计算
        • v是已知的，第一项可以计算，但第二项不好计算
        • 计算第二项：采样：$E(f(x))={\Sigma }_{x}f(x)p(x)=\frac{1}{L}{\sigma }_{xf(x)}p(x)$
          • CD-K采样（与吉布斯采样存在差异
            • v0输入定
            • v0-p(h|v)->h0通过二值神经元计算
              • sigmoid:$p(s_i=1)=\frac{1}{1+exp(-b_i-{\Sigma }_j{s}_j{w}_{ji})}$
            • h0-p(v|h)->v1(采样）
            • CD-1就已经能够得到足够的精度了
              • $v={v_i}，v^{(0)}=vn $
              • 初始化$\Delta w_{ij}=0,\Delta a_i=0,\Delta b_j=0$
              • 迭代：
                • 所有j,$h_j^{(0)}p(h_j|v^{(0)})$
                • 所有i,$v_i^{(0)}p(v_i|h^{(0)})$
                • 计算梯度取平均值（批处理，每个样本都叠加