条件似然函数为：

$(1-3)$

隐藏层各神经元的条件概率为：

$(1-4)$

可视层各神经元的条件概率为：

$(1-5)$

若 $b$，$c$，$W$均为训练好的参数。对于样本集中任意一个样本点 $x_{i}= ( x_{i,1},x_{i,2},...,x_{i,n} )$(n为属性个数)，其属性值 $x_{i,j}$对应可视层神经元 $v_{j}$。根据公式(1-4)，将样本点 $x_{i}$所有属性值代入公式(1-4)，可得特征提取后的样本点 $x_{i}^{'}$。
接下来介绍如何对RBM进行训练得到参数 $b$，$c$，$W$。

2. 受限玻尔兹曼机（RBM）训练过程——对比散度算法（CD-k）
学习RBM的任务是求出参数的值，来拟合给定的训练数据。Hinton[1]提出了RBM的一个快速学习算法，即对比散度(Contrastive Divergence，CD)。由于CD-k算法中（k表示采样次数），当k=1时，即只进行一步吉布斯采样，就能达到很好的拟合效果[2]。故一般采用CD-1算法的形式，来拟合各参数的值，如图2。

图2 CD-1

对于初学者来讲，在训练RBM的过程中，并不了解如何根据样本点 $x_{i}= ( x_{i,1},x_{i,2},...,x_{i,n} )$(n为属性个数)来设置对应可视层 $v$的状态，以及如何设置隐藏层神经元的状态。此处提供一种常用的方法，并做简要说明：
对于训练集 $S$中所有样本点 $( x_{1},x_{2},...,x_{N} )$（N为训练样本点的个数），计算在第 $j$个属性下所有样本点的最大值 $\underset{i\in N}{max}(x_{i,j})$，以及最小值$\underset{i\in N}{min}(x_{i,j})$，当$\frac{x_{i,j}-\underset{i\in N}{min}(x_{i,j})}{\underset{i\in N}{max}(x_{i,j})-\underset{i\in N}{min}(x_{i,j})}$大于阈值 $\delta _{j,1}$时，则对应可视层神经元状态处于激活状态，即“1”，否则为“0”。将可视层神经元状态值，此时只有“0”和“1”，代入至公式（1-4），得到隐藏层神经元的激活概率，当激活概率大于阈值 $\delta _{j,2}$时，隐藏层神经元的状态值为“1”，否则为“0”。阈值 $\delta _{j,1}$，$\delta _{j,2}$的设定，可以根据数据集的不同有所不同，亦或是随机产生[0,1]上的随机数，作为 $\delta _{j,1}$，$\delta _{j,2}$的值。

• 参考文献：
  [1] Hinton G E. Training products of experts by minimizing contrastive divergence[J]. Neural Computation, 2002, 14(8):1771-1800.
  [2] Bengio Y. Learning Deep Architectures for AI[J]. Foundations & Trends® in Machine Learning, 2009, 2(1):1-127.
  [3] 张春霞, 姬楠楠, 王冠伟. 受限波尔兹曼机?[J]. 工程数学学报, 2015(2):159-173.