目录
人工神经网络
- 人工神经网络是一个并行、分布式处理结构，由处理 单元及其称为联接的无向通道互连而成。
- 这些处理单元具有局部内存，可以完成局部操作，该 操作由输入至该单元的信号值和存储在该单元中的信 号值来确定。
- 每个处理单元有一个单一的输出联接，输出信号可以 是任何需要的数学模型。
是一种模仿生物神经网络的结构和功能的数学模型或计算模型。
Rumelhart等提出多层网络的学习算法—BP算法(1986)
加拿大多伦多大学教授，机器学习领域的泰斗 Geoffery Hinton 及其学生 Ruslan Salakhutdinov 在《科学》上发 表了一篇论文开启了深度学习在学术界和工业界的新浪潮！
深度学习：可整合大量能够基于相同方式训练 的模块和组件，并构建拥有学习能力的机器。
传统机器学习与深度学习主要区别：特征提取。
人工神经元
处 理单元 的 功能
–对每个输入信号进行加权处理（确定其强度）；
–确定所有输入信号的组合效果（求和）；
–确定其输出（转移特性，即激励特性）；
拓扑结构
单 层网络
– 输入信号表示为向量： x = [ x 1 , x 2 , …, x d ] T ，其中每一 分量通过加权连接到各个结 点 。
– 每一个结点均可产生一个加权 和 。
– 输入和结点间采用全连 接 ， 并且都是前馈连 接 。
实际 的人 工神 经网 络和 生物 神经 网络 中有 些连 接 可能不存在。
单层网络
将偏移（阈值）当成权值。
多层网络
虽然目前有很多网络模型，但它们的结点基本上都是按层排列的。这一点模仿了大脑皮层中的网络模块。
–多层网络是由单层网络进行级联构成的，即上一层的 输出作为下一层的输入。
接收输入信号的层称为输入层。
–产生输出信号的层称为输出层。
–中间层称为隐含层，不直接与外部环境打交道。
隐含层的层数可从零到若干 层。
实际情况中，层与层之间可能有部分连接的情 况。
–接收输入信号的层称为输入层。
–产生输出信号的层称为输出层。
–中间层称为隐含层，不直接与外部环境打交道。
隐含层的层数可从零到若干 层。
实际情况中，层与层之间可能有部分连接的情 况 。
网络训练
任 务：
– 给定 n 个观测数据 { x k } ， 训练网络的各层结点之间的 连接权重 w ij ( 含偏置项 )
– 训练：相继加入训练样 本 ， 并按预定规则调整网 络 各 权重 。
有 监督的 训 练
– 希望 训 练 这 样一 个 网 络 ，对 每 个 训 练数 据， 通 过该 网 络计算之后 能尽可能输出其原先给定的 值 。
无 监督训练
–无监督的训练不要求有目标向量，网络通过自身的“经历”来学会某种功能。
–其目的是训练一个网络，使其产生的输出具有某种可理解的规律性。
–从本质上讲，该训练过程是抽取样本所隐含的统计特征。
版权声明：本文为weixin_41865104原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。