收藏本站
《电子科技大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

神经网络中的若干问题研究

吕建成  
【摘要】: 上世纪八十年代初,由于美国著名生物物理学家J.J.Hopfield教授的杰出工作,人工神经网络研究获得了复苏并很快推向高潮。此后,人工神经网络一直是科学和工程上的一个研究热点。20多年来,人工神经网络研究取得了丰硕的成果,其应用已经深入到经济、军事、工程、医学、保险、娱乐、以及科学的许多领域。由于人工神经网络固有的模拟大脑智能的属性以及强大的计算能力,人工神经网络研究深深地吸引了国际上许多优秀的科学家和一流的学术研究机构。在Harvard大学,MIT,Boston大学等都有科学家从事神经网络方面的研究。另一方面,人工神经网络的研究成果不断在许多国际一流学术刊物,如《Science》,《Nature》,《IEEE Trans.Neural Networks》等上发表。所有这些均表明了人工神经网络具有十分重要的科学地位。 本论文研究人工神经网络中十分重要和具有广泛应用的三个方面的问题:1.主分量分析(PCA)神经网络学习算法;2.支持向量机(SVM);3.一类回复式神经网络的输出收敛性。全文共分三个部分。 第一部分研究PCA神经网络学习算法。PCA是一种统计学习方法,在信号处理,模式识别,数字图像处理等领域具有非常广泛的应用。传统的数学方法如QR分解和SVD应用于PCA时遇到的主要困难在于需要大量的计算而且不能用于在线计算。PCA神经网络方法克服了传统方法所具有的缺点,特别适合于在线计算,从而具有广泛的应用领域。 PCA神经网络学习算法是PCA神经网络最重要的组成部分。迄今,科学工作们已提出了多种PCA神经网络学习算法,其中Oja的PCA学习算法,Xu的LMSER PCA学习算法,推广的Hebbian PCA学习算法(GHA)等尤其影响深远。在PCA神经网络学习算法中,收敛性是算法的最重要的性质之一,它决定了算法能否真正在实际中获得应用。较长时间来,确定性连续时间方法(DCT)一直是分析PCA神经网络学习算法的重要工具。近些年的研究表明,DCT方法获得的结果是不适用的。最近提出的确定性离散时间方法,即DDT方法,被认为是一种分析PCA神经网络学习算法的更有效但也是更难的方法。本部分采用DDT方法对PCA神经网络学习算法的收敛性进行深入研究。主要研究内容有:(1)应用确定性离散时间(DDT)方法,分析了Xu的LMSER PCA学习算法的收敛性。建立了该算法的一个不变集和最终界,并严格证明了其局部收敛性。 (2)提出了一种自适应的学习速率,保证了Oja的PCA学习算法的全局收敛性,加速了算法的学习过程。并应用DDT方法严格证明了其全局收敛性。(3)GHA算法是被广泛使用的计算多个主分量方向的算法。然而,离散的GHA算法的收敛性分析是比较困难的。通过用DDT方法,严格证明了GHA在自适应性学习速率下的离散算法的全局收敛性。(4)通过自适应性地逼近数据集的实质维,提出了一种改进的GHA算法。原有的GHA算法必须事先确定要计算的主分量方向的数量,这在实际中是不现实的,对于在线计算尤其如此。使用改进的算法,主分量方向数量能根据要求的精度自适应的收敛到数据集的实质维。因此,这个算法特别适合于在线计算。(5)分析了PCA,MCA算法的混沌现象,获得了产生混沌的条件。(6)应用PCA神经网络于医学图像配准。提出了通过简单地对齐图像的第一主分量方向和质心来实现图像快速配准的方法。 第二部分研究支持向量机(SVM)所面临的大数据样本问题和对噪声的敏感性问题。SVM在解决小样本,非线性及高维模式识别问题中表现出许多特有的优势。因而,SVM获得了广泛的应用。然而在处理大数据样本的时候,因为计算的复杂性,不但传统的优化方法不能使用,而且SVM学习过程非常缓慢。本部分提出两种方法来解决这个问题。一是改进了序列最小优化(SMO)分解算法,简化了其最小化过程,并分析了其收敛性。二是提出了用脉冲耦合神经网络(PCNN)研究SVM的新方法。通过PCNN来选择一个几乎包括所有支持向量的样本子集作为候选的支持向量子集,把原始问题转化成一个小的优化问题,从而减少计算量,加快了SVM的学习过程。更重要的是,这种方法没有损失原有SVM的泛化能力。另外,SVM对噪声非常敏感,有噪声的输入样本会使决策面严重偏离最优超平面。模糊SVM(FSVM)被提出来解决这个问题。在这一部分,对FSVM提出了一个新的从属关系计算函数,可以计算样本在输入空间或者特征空间中对决策面的贡献。进而,提高SVM的抗干扰能力,有效地改进SVM的分类准确性。 第三部分研究一类回复式神经网络(RNN)的输出收敛性问题。因为RNN具有反馈的拓扑结构和时间性的行为特征,较前馈神经网络有更强的逼近,自适应能力。也因为RNN重要的理论意义和实际的工程价值,已经得到了许多的研究。一个结构简单,有清楚的动力学行为的网络能更好的应用于实际工程中。这一部分,分析了一类具有时变输入的变时滞回复式神经网络的输出收敛性。获得了这种回复式神经网络的全局输出收敛条件,并详细证明了其全局输出收敛性。
【学位授予单位】:电子科技大学
【学位级别】:博士
【学位授予年份】:2006
【分类号】:TP183

【引证文献】
中国博士学位论文全文数据库 前2条
1 何王勇;数控机床双轴同步控制技术研究[D];华中科技大学;2011年
2 王磊;造波机网络运动控制系统建模及控制技术研究[D];大连理工大学;2012年
中国硕士学位论文全文数据库 前1条
1 李静雅;基于神经网络的输电线路可听噪声预测模型研究[D];兰州理工大学;2011年
【参考文献】
中国期刊全文数据库 前1条
1 吴锋,钱宗才,杭洽时,石明国,马东;基于轮廓的力矩主轴法在医学图像配准中的应用[J];第四军医大学学报;2001年06期
【共引文献】
中国期刊全文数据库 前10条
1 杨绪兵,韩自存;ε不敏感的核Adaline算法及其在图像去噪中的应用[J];安徽工程科技学院学报(自然科学版);2003年04期
2 陶秀凤,唐诗忠,周鸣争;基于支持向量机的软测量模型及应用[J];安徽工程科技学院学报(自然科学版);2004年02期
3 许高程;张文君;王卫红;;支持向量机技术在遥感影像滑坡体提取中的应用[J];安徽农业科学;2009年06期
4 郭立萍;唐家奎;米素娟;张成雯;赵理君;;基于支持向量机遥感图像融合分类方法研究进展[J];安徽农业科学;2010年17期
5 冯学军;;最小二乘支持向量机的研究与应用[J];安庆师范学院学报(自然科学版);2009年01期
6 邹心遥;姚若河;;基于LSSVM的威布尔分布形状参数估计(英文)[J];半导体技术;2008年06期
7 邹心遥;姚若河;;基于LSSVM的小子样元器件寿命预测[J];半导体技术;2011年09期
8 李卓远,吴为民,王旸,洪先龙;一种新的光学临近校正方法(英文)[J];半导体学报;2003年12期
9 王一丁;杨虹;;基于多目标线性规划的人脸识别方法[J];北方工业大学学报;2009年01期
10 梁万路;;代价敏感支持向量机的投影次梯度求解方法[J];兵工自动化;2011年04期
中国重要会议论文全文数据库 前10条
1 ;An effective procedure exploiting unlabeled data to build monitoring system[A];中国科学院地质与地球物理研究所第11届(2011年度)学术年会论文集(下)[C];2012年
2 ;A Novel Kernel PCA Support Vector Machine Algorithm with Feature Transition Function[A];第二十六届中国控制会议论文集[C];2007年
3 ;A Novel Proximal Support Vector Machine and Its Application in Radar Target Recognition[A];第二十六届中国控制会议论文集[C];2007年
4 ;Fault Pattern Recognition of Rolling Bearings Based on Wavelet Packet and Support Vector Machine[A];第二十七届中国控制会议论文集[C];2008年
5 ;State Estimation Model of Ferment Process Based on PSO[A];第二十九届中国控制会议论文集[C];2010年
6 常俊林;魏巍;梁君燕;;基于支持向量机的SURF改进算法[A];中国自动化学会控制理论专业委员会C卷[C];2011年
7 ;Research of Intelligent Control Model and System on Traffic Light Time[A];中国自动化学会控制理论专业委员会D卷[C];2011年
8 刘友强;李斌;奚宁;陈家骏;;基于双语平行语料的中文缩略语提取方法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
9 陈龙;吴志勇;袁春;蒙美玲;蔡莲红;;面向数字版权管理的声纹辅助认证系统[A];第十一届全国人机语音通讯学术会议论文集(一)[C];2011年
10 颜七笙;;基于PCA-SVM的动态联盟候选伙伴绩效评价方法[A];第十三届中国管理科学学术年会论文集[C];2011年
中国博士学位论文全文数据库 前10条
1 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
2 孔凡芝;引线键合视觉检测关键技术研究[D];哈尔滨工程大学;2009年
3 郑大腾;柔性坐标测量机空间误差模型及最佳测量区研究[D];合肥工业大学;2010年
4 绽琨;脉冲发放皮层模型及其应用[D];兰州大学;2010年
5 张昌明;新疆汉族、维吾尔族及哈萨克族食管癌血清蛋白质指纹图谱研究[D];新疆医科大学;2010年
6 王晓明;基于统计学习的模式识别几个问题及其应用研究[D];江南大学;2010年
7 刘卫红;垃圾邮件检测与过滤关键技术研究[D];华南理工大学;2010年
8 许伟;基于进化算法的复杂化工过程智能建模方法及其应用[D];华东理工大学;2011年
9 吴锋;基于GPU并行计算的数值模拟与燃煤锅炉系统的优化研究[D];浙江大学;2010年
10 向国齐;支持向量回归机代理模型设计优化及应用研究[D];电子科技大学;2010年
中国硕士学位论文全文数据库 前10条
1 李金华;基于SVM的多类文本分类研究[D];山东科技大学;2010年
2 刘志强;基于数据挖掘的客户行为分析和预测研究[D];山东科技大学;2010年
3 朱耿峰;支持向量机在冲击地压预测模型中的应用研究[D];山东科技大学;2010年
4 李朋勇;基于全矢高阶谱的故障诊断方法及其应用研究[D];郑州大学;2010年
5 刘磊;多泥沙河流水库优化调度研究[D];郑州大学;2010年
6 辛保兵;既有预应力混凝土梁桥剩余承载力评估方法研究[D];郑州大学;2010年
7 王巧立;微生物发酵过程的建模与优化控制研究[D];郑州大学;2010年
8 于洪霞;基于SVM的中文垃圾邮件过滤[D];哈尔滨工程大学;2009年
9 林天威;基于视频流的人脸识别系统研究[D];哈尔滨工程大学;2010年
10 张磊;基于支持向量机的反垃圾电话技术研究[D];哈尔滨工程大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 白志富,韩先国,陈五一;基于Lagrange方程三自由度并联机构动力学研究[J];北京航空航天大学学报;2004年01期
2 刘磊明;童朝南;;网络控制系统的一种统一的Markov跳变模型[J];北京科技大学学报;2007年11期
3 王建国;张玥;;基于数据挖掘的BP神经网络模型的一种改进算法[J];内蒙古科技大学学报;2008年03期
4 龙训建;钱鞠;梁川;;基于主成分分析的BP神经网络及其在需水预测中的应用[J];成都理工大学学报(自然科学版);2010年02期
5 邢伟;王加房;王国良;;具有丢包的长时延NCS的稳定性分析[J];东北大学学报(自然科学版);2008年10期
6 齐锡晶;赵亮;吴红爽;寇捷;;基于BP神经网络的沈阳房地产市场预警[J];东北大学学报(自然科学版);2010年09期
7 郭庆鼎,蓝益鹏;双位置驱动直线伺服电机三重动态同步控制[J];电工技术学报;2003年01期
8 刘福才,张学莲;基于模糊PID补偿控制的多电动机同步驱动系统[J];电工技术杂志;2002年08期
9 吴晨;许哲;何婧;许化龙;;网络控制系统建模与控制[J];电光与控制;2009年09期
10 唐光谱,郭庆鼎;基于H~∞鲁棒控制器的高精度快速同步进给技术的应用研究[J];电机与控制学报;2001年03期
中国博士学位论文全文数据库 前10条
1 樊卫华;网络控制系统的建模与控制[D];南京理工大学;2004年
2 索格罗;网络传输对控制系统性能的影响分析与控制策略研究[D];清华大学;2005年
3 陈柳;小波分析和神经网络应用于大气污染预测的研究[D];西安建筑科技大学;2006年
4 马新军;不确定时滞系统鲁棒稳定性及鲁棒控制研究[D];华南理工大学;2005年
5 王帅宇;闭环网络伺服控制技术研究[D];北京理工大学;2006年
6 何飞跃;网络化控制系统在电力系统中的应用研究[D];华中科技大学;2006年
7 胡晓娅;基于交换式以太网的网络控制系统研究[D];华中科技大学;2006年
8 张佐营;高速滚珠丝杠副动力学性能分析及其实验研究[D];山东大学;2008年
9 严怀成;网络控制系统的分析与综合[D];华中科技大学;2007年
10 张超;高阶神经网络的梯度训练算法收敛性分析[D];大连理工大学;2008年
中国硕士学位论文全文数据库 前10条
1 张杰;永磁同步电机伺服系统矢量控制的研究[D];哈尔滨工程大学;2010年
2 沈围;低速大转矩永磁同步电机控制系统研究[D];北京交通大学;2011年
3 柏春阳;基于自适应模糊PID的氯乙烯聚合釜温度控制研究[D];哈尔滨工业大学;2010年
4 缪礼锋;永磁同步伺服系统的设计与实现[D];中国科学技术大学;2011年
5 郑浩;基于人工神经网络的高层建筑结构选型[D];华侨大学;2001年
6 胡白雪;超高压及特高压输电线路的电磁环境研究[D];浙江大学;2006年
7 李亚伟;基于神经网络的智能预测系统研究与开发[D];北方工业大学;2006年
8 王国亮;基于模糊PID补偿器的多电机同步控制策略研究[D];东北大学;2006年
9 张世维;航空发动机分布式控制系统结构多目标优化[D];南京航空航天大学;2007年
10 张益南;嵌入式Modbus/TCP协议的研究与实现[D];浙江大学;2008年
【二级引证文献】
中国期刊全文数据库 前1条
1 任小萍;;数控车床对刀操作方法与技巧[J];价值工程;2012年23期
中国硕士学位论文全文数据库 前1条
1 张远;基于神经网络的NGN承载网性能评价体系的研究[D];昆明理工大学;2012年
【相似文献】
中国期刊全文数据库 前10条
1 高海华;杨辉华;王行愚;;基于PCA和KPCA特征抽取的SVM网络入侵检测方法[J];华东理工大学学报(自然科学版);2006年03期
2 陆荣秀;;浅谈支持向量机技术[J];科技广场;2006年02期
3 陆荣秀;;支持向量机技术及其应用[J];科技情报开发与经济;2006年14期
4 周小平;晏蒲柳;吴静;;基于支持向量机的网络故障在线诊断方法研究[J];武汉大学学报(工学版);2006年03期
5 彭丽芳;孟志青;姜华;田密;;基于时间序列的支持向量机在股票预测中的应用[J];计算技术与自动化;2006年03期
6 陈继超;;支持向量机技术及其应用[J];科技信息(科学教研);2007年25期
7 张金泽;段修生;李和平;单甘霖;;支持向量机技术的雷达板级电路快速故障诊断[J];火力与指挥控制;2008年02期
8 何习佳;;基于支持向量机的电力短期负荷预测研究[J];电子设计工程;2009年12期
9 郭锋;吕凝;陈绵书;刘丽丽;;基于SNPE和SVM的人脸识别[J];计算机工程与应用;2008年09期
10 王炜;王淑艳;郭小明;刘丽琴;;基于人为误差的支持向量机——AE-SVM[J];大连民族学院学报;2008年03期
中国重要会议论文全文数据库 前10条
1 赵颖;;城乡居民收入的收敛性分析[A];2010年“海右”全国博士生论坛(公共经济学)“经济社会发展转型的公共政策”学术研讨会论文集[C];2010年
2 徐元顺;刘志勇;李晓兰;陈建州;;支持向量机在水文气象中的应用[A];2008年湖北省气象学会学术年会学术论文详细文摘汇集[C];2008年
3 柳萍;姜爱芹;霍学喜;;基于Malmquist指数的中国绿茶生产率变化及收敛性分析[A];城乡统筹背景下的农业产业安全[C];2010年
4 张维存;李清泉;;关于单变量自校正控制系统的一个稳定性收敛性判据[A];1994年中国控制会议论文集[C];1994年
5 宋苏;王普;;一种鲁棒参数估计算法的有界及收敛性分析[A];2001年中国智能自动化会议论文集(上册)[C];2001年
6 田森平;谢胜利;;一种新的带有遗忘因子的迭代学习控制算法[A];第二十二届中国控制会议论文集(上)[C];2003年
7 李政;;一类二阶D型迭代学习控制算法的收敛性[A];第二十四届中国控制会议论文集(上册)[C];2005年
8 杨暄;郭成安;李建华;;改进的脉冲耦合神经网络及其在图像分割中的应用[A];第十届全国信号处理学术年会(CCSP-2001)论文集[C];2001年
9 路林吉;邵世煌;;一种可用于非线性动态延迟控制系统的闭环比例型一阶给定超前迭代学习控制算法[A];1997年中国控制会议论文集[C];1997年
10 路林吉;邵世煌;;一种可用于非线性动态延迟控制系统的开环比例型一阶给定超前迭代学习控制算法[A];1997中国控制与决策学术年会论文集[C];1997年
中国博士学位论文全文数据库 前10条
1 吕建成;神经网络中的若干问题研究[D];电子科技大学;2006年
2 陈梅香;基于SVM和GIS的梨小食心虫预测系统的研究[D];北京林业大学;2010年
3 李和成;非线性双层规划问题的遗传算法研究[D];西安电子科技大学;2009年
4 罗美菊;求解随机变分不等式问题的(拟)蒙特卡罗方法及其收敛性分析[D];大连理工大学;2010年
5 高夫征;抛物型方程组的数值方法和分析[D];山东大学;2005年
6 何世钧;电容层析成像系统的研究与应用[D];天津大学;2005年
7 司宏宗;基因表达式编程与支持向量机在疾病诊断和QSAR/QSPR中的应用研究[D];兰州大学;2006年
8 唐贤伦;混沌粒子群优化算法理论及应用研究[D];重庆大学;2007年
9 唐贤伦;混沌粒子群优化算法理论及应用[D];重庆大学;2007年
10 陈景华;空间和时间分数阶偏微分方程[D];厦门大学;2007年
中国硕士学位论文全文数据库 前10条
1 顾大可;迭代学习控制理论的算法研究[D];东北电力大学;2007年
2 刘立东;改进蚁群优化算法的研究[D];西南交通大学;2007年
3 黄增健;陕西省地区经济增长差距及收敛性研究[D];西北农林科技大学;2008年
4 时玉敏;两点边值问题高阶格式的交替分组迭代法[D];山东大学;2008年
5 杨真真;预条件Gauss-Seidel迭代法的收敛性分析[D];扬州大学;2009年
6 艾文欢;迭代学习控制算法的研究[D];兰州理工大学;2008年
7 蒋荣;求解分数阶微分方程的θ方法[D];湘潭大学;2008年
8 胡宇清;基于局部对称与反对称分裂下的拟SOR方法[D];苏州大学;2009年
9 冯艳;格子基搜索算法解优化问题的一些研究[D];大连理工大学;2006年
10 林喜梅;PSD迭代法的收敛性分析及误差估计[D];陕西师范大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026