用户名:
    密码:
转播到腾讯微博

你的位置:首页 > 交叉学科

成素梅 郝中华:BP神经网络的哲学思考
录入: 哲学网编辑部 发表时间: 2013-11-19 点击: 1278 次 我要收藏

可能没有哪个学科能如人工神经网络一样受到如此多学科的关注。它的出现不仅对于人工智能,而且对于心理学、语言、神经生理学、哲学都具有重要意义。目前,神经网络模型有上百种,其中,误差反向传播神经网络(Error Back Propagation Neural Network),简称BP神经网络,应用最为广泛和成功,它具有强大的非线性映射能力,在处理非线性复杂问题方面具有特殊的优势,在工程、金融、医学、语言学等众多领域都有重要应用,众多认知科学都以它为模型进行探讨和分析。其联结主义工作范式不仅推动了人工智能研究的范式转换,而且具有重要的认知意义,为认知心理学、语言学等学科联结主义范式研究。带来了现实的可操作模型。文章基于对BP神经网络的历史发展和基本思想考察的基础上,对其工作范式及相关哲学问题进行思考和分析。
一 BP神经网络的历史发展
神经网络研究可追溯到19世纪末20世纪初,源于心理学、物理学、神经生理学的跨学科研究。早期研究主要着重于有关学习、视觉和条件反射等一般理论,并没有包含有关神经元工作的数学模型。1943年,美国心理学家麦克洛奇(Warren McCulloch)和数学家匹茨(Wallter Pitts)提出了第一个神经元的数学模型(MP模型),开创了人工神经网络的研究。这个模型具有重要意义,一直沿用到今天,直接影响了这一研究领域的全过程。1949年,心理学家赫布(Donald Hebb)提出了著名的Hebb学习法则:如果两个神经元都处于兴奋激活状态,那么,彼此的突触连接就会得到增强。这一法则告诉人们,神经元之间突触的连接强度是可变的,这种可变性是学习和记忆的基础。Hebb法则为构造有学习功能的神经网络模型奠定了基础。
1958年,计算机科学家罗斯勃拉特(Frank Rosenblatt)在原有MP模型的基础上增加了学习机制,做出了最早的人工神经网络模型,即感知器。罗斯勃拉特证明了两层感知器能够对输入进行分类,并且提出了带隐层处理元件的三层感知器这一重要研究方向。但是,他未能找到比较严格的数学方法来训练隐层处理单元,而且其感知器也只能进行简单的线性分类。1960年机电工程师维德罗(Bernard Widrow)和霍夫(Marcian Hoff)引进了最小均方算法(LMS),并用它构成了ADALINE神经网络,他们针对输入为线性可分的问题进行了研究,得出期望响应与计算响应的误差可能搜索到全局最小值,他们还对三层网络进行过尝试,但仍给不出数学解。后来的BP神经网络正是沿着他们的道路继续前行,在他们的思想基础上有了重大突破。
1969年,作为人工神经网络创始人的明斯基(Marrin Minsky)和佩珀特(Seymour Papert)合作出版了《感知器》一书,论证了简单的线性感知器功能有限,不能解决如“异或”(XOR)这样的基本问题,而且对多层网络也持悲观态度。这些论点给神经网络研究以沉重的打击,很多科学家纷纷离开这一领域,神经网络的研究走向长达10年的低潮时期。同时,导致神经网络走向低潮的另一原因是20世纪70年代以来,集成电路和微电子技术的迅速发展使传统的冯.诺依曼计算机进入全盛时期,很多研究神经网络的科学家都转向基于逻辑符号处理方法的人工智能研究领域。
70年代末,传统的人工智能的局限日益显露,在感知能力上与人的自然智能差距很大。人能够迅速识别和判断许多复杂事物,能从记忆的大量信息中快速提取需要的信息,而且人具有自适应、自学习以及创造知识的能力,这些都是传统计算机遥不可及的。因此人们又重新将目标转向神经网络的研究上,试图通过对人脑神经系统的结构和信息加工方式的研究寻求计算机的记忆和学习能力,从而能够解决一些复杂性问题。1982年,美国生物物理学家霍普费尔德(J. J. Hopfield)提出一种新的模型——Hopfield网络模型,首次引入能量函数的概念,使神经网络的平衡稳定状态有了明确的判据方法,并于1984年提出了网络模型实现的电子电路。Hopfield的模型不仅对人工神经网络的信息存储和提取功能进行了非线性数学概括,提出了动力方程和学习方程,还对网络算法提供了重要公式和参数,使人工神经网络的构造和学习有了理论指导。在Hopfield模型的影响下,大量学者又被激发起研究神经网络的热情,积极投身于这一领域。然而,霍普费尔德的研究成果仍未能指出明斯基等人1969年论点的错误所在,要推动神经网络研究的全面开展必须直接解除对感知器——多层网络算法的疑虑。
1986年,鲁姆哈特(David Rumelhart)等人提出的BP神经网络是神经网络发展史上的里程碑。鲁姆哈特等学者在《平行分布处理:认知的微观结构探索》一书中,完整地提出了BP算法,系统地解决了多层网络中隐单元连接权的学习问题,并在数学上给出了完整的推导。BP算法是一种反向传播学习算法,它从后向前修正各层之间的联接权值,可以求解感知器所不能解决的问题,从实践上证实了人工神经网络有很强的运算能力,否定了明斯基等人的错误结论。事实上,韦伯斯(Paul Werboss)、赫屯(Geoffrey Hinton)、威廉姆斯(Ronald Williams)、帕克(David Parker)以及杨.李.存(Yann Le Cun)之前分别独立地发现了这个算法,但都没有受到重视,这个算法因被包括在《并行分布式处理》一书中而得到普及,这与鲁姆哈特领导的PDP小组卓越的研究工作是分不开的。标准BP神经网络具有收敛速度慢、容易陷入局部极小值等局限性,国内外许多学者对其提出了很多改进措施,如增加动量项,可变学习速度的反向传播、学习速度的自适应调节等,使其不断完善。BP神经网络由于其极强的非线性映射能力迅速在各领域得到广泛应用,是目前发展较成熟、应用最成功的神经网络模型之一。
二BP神经网络基本思想
BP神经网络是误差反向传播神经网络的简称,它由一个输入层、一个或多个隐含层和一个输出层构成,每一层由一定数量的神经元构成。这些神经元如同人的神经细胞一样是相互关联的。其结构如下图所示:

BP神经网络结构图
生物神经元信号的传递是通过突触进行的一个复杂的电化学等过程,在人工神经网络中是将其简化模拟成一组数字信号通过一定的学习规则而不断变动更新的过程,这组数字储存在神经元之间的连接权重中。神经元是一个多输入单输出的非线性单元,它计算来自其他神经元的输入数据的加权和,通过该加权和的非线性函数输出一个数。网络的输入层接收输入样本信号,隐含层对输入信号进行加工处理,输出层输出处理结果。输入信号经输入层输入,通过隐含层的复杂计算由输出层输出,输出信号与期望输出相比较,若有误差,再将误差信号反向由输出层通过隐含层处理后向输入层传播。在这个过程中,通过梯度下降算法对神经元的权值进行反馈调节,将误差分摊给各层的所有单元,从而获得各单元的误差信号,以此误差信号为依据修正各单元权值,网络权值因此被重新分布。此过程完成后,输入信号再次由输入层输入网络,重复上述过程。这种信号正向传播与误差反向传播的各层权值调整过程周而复始地进行,直到网络输出的误差减少到可以接受的程度,或进行到预先设定的学习次数为止。权值不断调整的过程就是网络的学习训练过程。通过学习,网络记忆了所学样本的特征,当输入未学习过的样本时,网络也能输出合适的结果。
BP神经网络的信息处理模式具有如下特点:首先,BP神经网络最主要的优点是具有极强的非线性映射能力。理论上,对于一个三层和三层以上的BP网络,只要隐层神经元数目足够多,该网络就能以任意精度逼近一个连续非线性函数。其二,信息分布存储。人脑存储信息的特点是利用突触效能的变化来调整存储内容,即信息存储在神经元之间的连接强度的分布上,BP神经网络模拟人脑的这一特点,将信息以连接权值的形式分布于整个网络,单个神经元和联结权值没有特定的意义,只有所有权值和神经元在网络中组成一个整体才彰显意义。其三,信息并行处理。人脑是一个大规模并行与串行组合的处理系统,BP神经网络的基本结构模仿人脑,如前图所示,信息在所有并行通路同时传递,因此可以同时调动大量神经元协同工作,提高了网络的速度和功能。其四,具有容错性。生物神经系统部分不严重损伤并不影响整体功能,BP神经网络也具有这种特性,网络的高度连接意味着少量的误差可能不会产生严重的后果,部分神经元的损伤不破坏整体,它可以自动修正误差。神经网络的这种容错能力对于智能化具有重要意义。其五,自学习、自组织和自适应。人脑具有很强的自适应与自组织特性,可以通过学习适应环境,后天的学习可以开发很多功能。BP神经网络也具有初步的自适应与自组织能力,在学习或训练中改变突触权值以适应环境,可以在使用过程中不断学习完善自己的功能,并且同一网络因学习方式的不同会具有不同的功能,甚至具有创新能力,可以发展知识,以至超过设计者原有的知识水平。BP神经网络的这些特点使得它在联想记忆、图像复原、语言处理、模式识别、优化计算等众多领域都有重要应用。其工作范式具有一定的发散能力,它不是一个封闭系统,这对于智能模拟极为重要。
三BP神经网络的工作范式
传统的人工智能基于符号主义工作范式,这种工作范式提供了这样的认知观,人与计算机一样是个物理符号系统,人对客观世界的认知基元是符号,可以通过逻辑以符号的形式将客观世界表达出来。符号主义沿袭经典科学线性分析的方法,是哲学中的理性主义和还原论的继承者,它主要表征用来能进行严格推理的确定性知识。当面对复杂系统时,这种线性分析的还原方法是有问题的,因为复杂系统内部关系呈现错综的非线性嵌套,简单的线性分割会消解复杂系统的复杂实在性。对于复杂系统需要用一种动态的、整体论的方式来解读,神经网络提供了这样一种范式。
神经网络的工作范式被称为联结主义,其与传统人工智能的工作范式有着变革性的不同。联结主义认为人类智能的基本单元是神经元,认知过程是由神经元构成的网络的信息的传递,这种传递是分布并行的。联结主义试图从大脑神经元的智能活动基础上进行人工智能研究,认为人的思维基元是神经元,要进行人工智能研究就要研究大脑的结构和工作方式。神经网络的联结主义工作范式是对大脑信息处理方式的简化、抽象和模拟。目前普遍认可的大脑的功能和特征有:大脑是一个由神经元联接的巨型复杂系统,有大约10[12]个神经元,其不同的联结方式至少有6

文章的脚注信息由WordPress的wp-posturl插件自动生成


分享到:

标签 :
版权声明:版权归 哲学网:哲学学术门户网站,Philosophy,哲学家,哲学名言大全 所有,转载请注明出处!

转载请保留链接: http://www.zhexue.org/f/jiaocha/6364.html

已有 0 条评论 腾讯微博
关于我们 | 图站地图 | 版权声明 | 广告刊例 | 加入团队 | 联系我们 |
哲学网编辑部 未经授权禁止复制或建立镜像,采用Wordpress架构,采用知识共享署名进行许可
官方邮箱:admin#zhexue.org (#换成@)索非制作|优畅优化|阿里云强力驱动
ICP证号:沪 ICP备13018407号
网站加载0.913秒
知识共享许可协议