类脑和卷积神经网络什么关系
一、“类脑”概念1.在早期,类脑一般是指从软硬件上模拟生物神经系统的结构与信息加工方式。随着软硬件技术的进步,以及神经科学与各种工程技术的多方面融合发展,脑与机的界限被逐步打破。
尤其是脑机接口,在计算机与生物脑之间建立了一条直接交流的信息通道,这为实现脑与机的双向交互、协同工作及一体化奠定了基础。随之,“类脑”的概念逐步从信息域自然地延伸到生命域。
因此,以脑机互联这一独特方式实现计算或智能,也被归入“类脑研究”范畴。
2.类脑研究是以“人造超级大脑”为目标,借鉴人脑的信息处理方式,模拟大脑神经系统,构建以数值计算为基础的虚拟超级脑;或通过脑机交互,将计算与生命体融合,构建以虚拟脑与生物脑为物质基础的脑机一体化的超级大脑,最终建立新型的计算结构与智能形态。
我们不妨将类脑的英文称为Cybrain(CyberneticBrain),即仿脑及融脑之意。
其主要特征包括:A.以信息为主要手段:用信息手段认识脑、模拟脑乃至融合脑;B.以人造超级大脑为核心目标:包括以计算仿脑为主的虚拟超级脑,以及虚拟脑与生物脑一体化的超级大脑这两种形态;C.以学科交叉会聚为突破方式:不单是计算机与神经科学交叉,还需要与微电子、材料、心理、物理、数学等大学科密切交叉会聚,才有更大机会取得突破。
3.类脑研究的主要内容:类脑研究要全面实现“懂脑、仿脑、连脑”,脑认知基础、类脑模拟、脑机互联三个方面缺一不可。
因此,我们将类脑研究主要内容归纳为三个方面:信息手段认识脑、计算方式模拟脑、脑机融合增强脑(见图1)。其中,信息技术贯穿始终。
二、卷积神经网络1.卷积神经网络(ConvolutionalNeuralNetworks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(FeedforwardNeuralNetworks),是深度学习(deeplearning)的代表算法之一。
2.卷积神经网络具有表征学习(representationlearning)能力,能够按其阶层结构对输入信息进行平移不变分类(shift-invariantclassification),因此也被称为“平移不变人工神经网络(Shift-InvariantArtificialNeuralNetworks,SIANN)” 。
3.对卷积神经网络的研究始于二十世纪80至90年代,时间延迟网络和LeNet-5是最早出现的卷积神经网络 。
在二十一世纪后,随着深度学习理论的提出和数值计算设备的改进,卷积神经网络得到了快速发展,并被应用于计算机视觉、自然语言处理等领域。
4.卷积神经网络仿造生物的视知觉(visualperception)机制构建,可以进行监督学习和非监督学习,其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(grid-liketopology)特征,例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程(featureengineering)要求。
三、二者关系人工智能时代的到来,大数据可以提供给计算机对人脑的模拟训练,强大的算力可以支撑计算机能够充分利用大数据获得更多规律,进行知识的学习。
类脑智能做的面比较广,出发点是开发一个与人脑具有类似功能的模拟大脑出来,达到人类的智慧,深度学习只是其中的一个小小的分支,是对人脑研究的一个小成果,而类脑智能相对研究的比较宽泛和深入。
而卷积神经网络只是深度学习的代表算法之一。
谷歌人工智能写作项目:神经网络伪原创

神经网络的历史是什么?
沃伦·麦卡洛克和沃尔特·皮茨(1943)基于数学和一种称为阈值逻辑的算法创造了一种神经网络的计算模型写作猫。这种模型使得神经网络的研究分裂为两种不同研究思路。
一种主要关注大脑中的生物学过程,另一种主要关注神经网络在人工智能里的应用。一、赫布型学习二十世纪40年代后期,心理学家唐纳德·赫布根据神经可塑性的机制创造了一种对学习的假说,现在称作赫布型学习。
赫布型学习被认为是一种典型的非监督式学习规则,它后来的变种是长期增强作用的早期模型。从1948年开始,研究人员将这种计算模型的思想应用到B型图灵机上。
法利和韦斯利·A·克拉克(1954)首次使用计算机,当时称作计算器,在MIT模拟了一个赫布网络。纳撒尼尔·罗切斯特(1956)等人模拟了一台IBM704计算机上的抽象神经网络的行为。
弗兰克·罗森布拉特创造了感知机。这是一种模式识别算法,用简单的加减法实现了两层的计算机学习网络。罗森布拉特也用数学符号描述了基本感知机里没有的回路,例如异或回路。
这种回路一直无法被神经网络处理,直到保罗·韦伯斯(1975)创造了反向传播算法。在马文·明斯基和西摩尔·派普特(1969)发表了一项关于机器学习的研究以后,神经网络的研究停滞不前。
他们发现了神经网络的两个关键问题。第一是基本感知机无法处理异或回路。第二个重要的问题是电脑没有足够的能力来处理大型神经网络所需要的很长的计算时间。
直到计算机具有更强的计算能力之前,神经网络的研究进展缓慢。二、反向传播算法与复兴后来出现的一个关键的进展是保罗·韦伯斯发明的反向传播算法(Werbos1975)。
这个算法有效地解决了异或的问题,还有更普遍的训练多层神经网络的问题。在二十世纪80年代中期,分布式并行处理(当时称作联结主义)流行起来。
戴维·鲁姆哈特和詹姆斯·麦克里兰德的教材对于联结主义在计算机模拟神经活动中的应用提供了全面的论述。神经网络传统上被认为是大脑中的神经活动的简化模型,虽然这个模型和大脑的生理结构之间的关联存在争议。
人们不清楚人工神经网络能多大程度地反映大脑的功能。
支持向量机和其他更简单的方法(例如线性分类器)在机器学习领域的流行度逐渐超过了神经网络,但是在2000年代后期出现的深度学习重新激发了人们对神经网络的兴趣。
三、2006年之后的进展人们用CMOS创造了用于生物物理模拟和神经形态计算的计算设备。最新的研究显示了用于大型主成分分析和卷积神经网络的纳米设备具有良好的前景。
如果成功的话,这会创造出一种新的神经计算设备,因为它依赖于学习而不是编程,并且它从根本上就是模拟的而不是数字化的,虽然它的第一个实例可能是数字化的CMOS设备。
在2009到2012年之间,JürgenSchmidhuber在SwissAILabIDSIA的研究小组研发的循环神经网络和深前馈神经网络赢得了8项关于模式识别和机器学习的国际比赛。
例如,AlexGravesetal.的双向、多维的LSTM赢得了2009年ICDAR的3项关于连笔字识别的比赛,而且之前并不知道关于将要学习的3种语言的信息。
IDSIA的DanCiresan和同事根据这个方法编写的基于GPU的实现赢得了多项模式识别的比赛,包括IJCNN2011交通标志识别比赛等等。
他们的神经网络也是第一个在重要的基准测试中(例如IJCNN2012交通标志识别和NYU的扬·勒丘恩(YannLeCun)的MNIST手写数字问题)能达到或超过人类水平的人工模式识别器。
类似1980年KunihikoFukushima发明的neocognitron和视觉标准结构(由DavidH.Hubel和TorstenWiesel在初级视皮层中发现的那些简单而又复杂的细胞启发)那样有深度的、高度非线性的神经结构可以被多伦多大学杰弗里·辛顿实验室的非监督式学习方法所训练。
2012年,神经网络出现了快速的发展,主要原因在于计算技术的提高,使得很多复杂的运算变得成本低廉。以AlexNet为标志,大量的深度网络开始出现。
2014年出现了残差神经网络,该网络极大解放了神经网络的深度限制,出现了深度学习的概念。
构成典型的人工神经网络具有以下三个部分:1、结构(Architecture)结构指定了网络中的变量和它们的拓扑关系。
例如,神经网络中的变量可以是神经元连接的权重(weights)和神经元的激励值(activitiesoftheneurons)。
2、激励函数(ActivationRule)大部分神经网络模型具有一个短时间尺度的动力学规则,来定义神经元如何根据其他神经元的活动来改变自己的激励值。
一般激励函数依赖于网络中的权重(即该网络的参数)。3、学习规则(LearningRule)学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。
一般情况下,学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。例如,用于手写识别的一个神经网络,有一组输入神经元。输入神经元会被输入图像的数据所激发。
在激励值被加权并通过一个函数(由网络的设计者确定)后,这些神经元的激励值被传递到其他神经元。这个过程不断重复,直到输出神经元被激发。最后,输出神经元的激励值决定了识别出来的是哪个字母。