收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

BP神经网络分类器优化技术研究

高鹏毅  
【摘要】:由于其强大的学习能力,人工神经网络特别是BP神经网络已经成为研究模式识别如人脸辨识、字符识别、车牌识别(LPR)、语音识别和信号处理等分类问题的重要工具。研究证明,神经网络的性能主要取决于三个因素:首先是用于训练神经网络的样本的特征选择方法,其次是神经网络的优化算法,最后就是神经网络隐层节点的选择方法。采用合适的特征选择模型,寻找最佳的神经网络优化算法和隐层节点的选择方法,对改善BP神经网络分类器的分类识别率具有重要的理论和实用价值。 高维特征向量会给神经网络的训练增加巨大的计算开销和“过训练”的危险,因此有必要通过特征选择的方法删除无关特征,选择最小的特征子集以保持或改善神经网络分类器的泛化性能。另一方面,以神经网络分类器的误差率作为评价准则的特征选择方法能比其它方法获得更好的性能,因此它也能更好地处理那些相关特征较多的数据集。 提出了一种混合特征选择模型用于从潜在的相关特征中选择那些最重要的特征。该模型包括两部分:filter部分与wrapper部分。在filter部分,四种不同的Filter方法分别对候选特征进行独立排序,在融合后进一步生成综合特征排序,然后根据综合排序产生遗传算法(GA)的初始种群。在wrapper部分,GA算法根据神经网络的分类准确率评价特征子集,以便搜索到最优的特征子集。实验数据表明,模型不仅能有效地减少特征子集的大小,而且还进一步提高分类识别的准确率和效果。 为了克服BP算法的缺点,提出了一种集成遗传算法和禁忌搜索算法(TS)两者优点的GTA优化算法。为了在一个大的解空间搜索到一个理想的、有利于找到最优解的初始解,训练过程分为两个阶段:首先通过GA算法找到一个理想的初始解,然后通过TS算法选择最优解。不同于其他主要的算法,在第一阶段,TS算法是从被挑选的解开始搜索进程,而不是从GA产生的新种群中的随机解开始。而当前解则是候选邻域解集中未被禁忌的最优解。为了避免重复搜索已访问过的区域,通过加入新的最优解替换较早进入禁忌表的解来更新禁忌列表。当满足禁忌条件时,则以当前解为新的搜索中心,将搜索半径减半并重新进行搜索。 经验表明,神经网络的性能主要取决于网络的结构,特别是隐层节点数。网络越小越好。然而规模小的网络比规模大的误差曲线更复杂,包含更多的局部极小点。反之,规模大的网络能获得理想的精度,但过于复杂的网络结构却可能带来过训练问题,无法取得好的泛化性能。因此,选择合适的隐层节点数是一门专门的学问。为了快速找到最合适的神经网络隐层节点数,一种新的“三点式搜索”算法被提出。 如果分类误差为一个启发函数,那么隐层节点数与分类误差的关系就是一个抛物线函数,用E(H)表示。“三点式搜索”算法首先根据6个经验公式计算出隐层节点数来确定一个搜索区间,并在该区间中选取三个点H_min, H_mid和H_max,然后根据它们之间的误差大小关系分别调整这三个点的值,逐步缩小搜索区域,最后找到一个最优的隐层节点数。 为了动态调整神经网络的隐层节点,提出了一种结合遗传算法和强化学习Agent优点的混合学习模型。在该模型中,神经网络Agent(NNAgent)和强化学习Agent(RL Agent)彼此合作完成自动调整神经网络结构的任务。NN agent负责增加或裁减隐层节点以确定最优的节点数,同时对神经网络的权值进行优化调整。RL agent接收来自NN agent的奖励,然后根据在过去的经验和累计奖励值的基础上能产生最大奖励的优化策略调整隐层节点的影响因子,而不必像AMGA算法那样需要根据很难获取的经验公式去计算合并节点的影响因子。测试结果表明,算法不仅能减少时间开销,而且更容易找到最优的全局解,提高分类器的精度。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 刘少新;杨宗凯;;基于神经网络的在线调制自动识别[J];微计算机信息;2006年17期
2 崔建国,王旭,张大千,王少曼,张威;基于磁场刺激与神经网络肌电信号的模式识别[J];仪器仪表学报;2005年S1期
3 周红英;蔺启忠;吴昀昭;王钦军;;基于AdaBoost的组合分类器在遥感影像分类中的应用[J];计算机应用研究;2007年10期
4 廖一星;;基于样本密度加权的神经网络分类器在文本分类中的应用[J];计算机应用与软件;2009年09期
5 崔栋;郭永新;焦青;胡磊;毕维民;陈迪;;眼底造影图像分割算法的研究与对比[J];微型机与应用;2011年14期
6 ;光学应用 光学工业应用[J];中国光学与应用光学文摘;2004年05期
7 廖艳苹;谢红;杨莘元;;辅助式小波神经网络的调制识别技术[J];应用科技;2006年04期
8 李雪梅;;数字识别技术探究[J];电力学报;2007年03期
9 鲁雯;宋莉;张光玉;李正美;;基于神经网络技术在乳腺钼靶x片感兴趣区域的提取新方法[J];中国医学装备;2008年02期
10 姚谦;郭子祺;袁泉;柳彩霞;;遗传算法的LVQ神经网络在遥感图像分类中的应用[J];遥感信息;2008年05期
11 耿瑞芳;曹辉;马永华;;热轧钢板表面缺陷模式分类器设计与实现[J];微计算机信息;2010年25期
12 陈维荣;;瞬态故障信号的神经网络多参量检测方法[J];学术动态报道;1998年01期
13 陈丽,葛临东;一种改进的BP神经网络调制分类器[J];微计算机信息;2005年21期
14 王兴虎;浦海晨;;一种基于神经网络的电子邮件过滤系统设计[J];福建电脑;2006年03期
15 刘书华;舒宁;;基于RBF神经网络的遥感影像分类器设计[J];测绘信息与工程;2006年02期
16 旷海兰;罗可;刘新华;徐雨明;王樱;;一种基于粗糙集理论的组合分类器构造方法[J];计算机工程与应用;2006年16期
17 程高峰;蒋晓瑜;陈昕;李强;;基于神经网络的雷达抗欺骗干扰方法[J];装甲兵工程学院学报;2006年04期
18 吴玉;陆晓君;;基于进程行为的入侵检测系统的设计[J];计算机工程;2007年03期
19 宋海涛;何明一;段渭军;王福豹;;基于无线传感器网络的声目标识别算法研究[J];电子测量技术;2007年12期
20 朱炜;贾衡天;徐玉如;秦再白;;水下目标的特征提取及识别[J];系统工程与电子技术;2008年01期
中国重要会议论文全文数据库 前10条
1 郑萍;苏中滨;贾银江;;基于BP神经网络的牲畜产量预测算法的研究[A];中国农业工程学会电气信息与自动化专业委员会、中国电机工程学会农村电气化分会科技与教育专委会2010年学术年会论文摘要[C];2010年
2 李建国;;BP神经网络在静态汽车衡轴自动识别中的应用[A];称重科技——第十届称重技术研讨会论文集[C];2011年
3 曹广真;侯鹏;郑照军;;基于BP神经网络的京津唐地区典型下垫面特征参数对气温和降水的影响研究[A];第28届中国气象学会年会——S2风云卫星定量应用与数值[C];2011年
4 王川;王克;;基于BP神经网络的我国农产品市场风险预警研究[A];纪念农村改革开放30周年学术研讨会暨建所50周年庆典论文集[C];2008年
5 张德欣;张海祥;陈友良;;基于BP神经网络的电子战系统干扰能力评估[A];全国第三届信号和智能信息处理与应用学术交流会专刊[C];2009年
6 张珂珂;王志燊;王永骥;刘磊;;基于BP网络的飞行器解耦设计[A];中南六省(区)自动化学会第二十九届学术年会论文集[C];2011年
7 陶翠翠;;改进BP神经网络在埋地金属管道腐蚀速率预测中的应用[A];科技创新与产业发展(A卷)——第七届沈阳科学学术年会暨浑南高新技术产业发展论坛文集[C];2010年
8 刘志红;燕亚菲;张雷;;BP神经网络在小麦赤霉病气象预测中的应用[A];第27届中国气象学会年会现代农业气象防灾减灾与粮食安全分会场论文集[C];2010年
9 李宁;陈定艺;刘金祥;陈晓春;丁高;;基于BP神经网络的城市建筑热环境研究[A];全国暖通空调制冷2010年学术年会论文集[C];2010年
10 郑卓;邓韫;黄康有;SUC Jean-Pierre;BERNE Serge;;冲绳海槽150ka BP以来的孢粉记录与环境变化(英文)[A];中国古生物学会第十次全国会员代表大会暨第25届学术年会——纪念中国古生物学会成立80周年论文摘要集[C];2009年
中国博士学位论文全文数据库 前10条
1 高鹏毅;BP神经网络分类器优化技术研究[D];华中科技大学;2012年
2 薛富强;进化RBF神经网络分类器研究[D];解放军信息工程大学;2009年
3 张光玉;视频对象分割算法研究[D];电子科技大学;2006年
4 刘澍;基于改进蚁群算法与神经网络的调制识别研究[D];华中科技大学;2009年
5 杨艳子;基于BP网络和稳健性分析的机械扩径工艺参数优化[D];燕山大学;2010年
6 王吉权;BP神经网络的理论及其在农业机械化中的应用研究[D];沈阳农业大学;2011年
7 李英伟;基于增量改进BP神经网络微波深度干燥模型及应用研究[D];昆明理工大学;2011年
8 孙贵香;冠心病中医证候数据库系统的构建及其BP神经网络模型的研究[D];湖南中医药大学;2008年
9 孙晓琳;基于Kalman滤波和BP神经网络的财务危机动态预警模型研究[D];哈尔滨工业大学;2010年
10 张娟;基于图像分析的梅花种类识别关键技术研究[D];北京林业大学;2011年
中国硕士学位论文全文数据库 前10条
1 刘勇;智能电镦工艺研究及主要工艺参数的BP神经网络预测[D];广东工业大学;2011年
2 王凯;基于遗传算法-BP神经网络的飞灰含碳量和NO_x的研究[D];华北电力大学(北京);2010年
3 张立琪;调节系数的BP神经网络在字符识别中的研究[D];哈尔滨工程大学;2010年
4 董正良;无刷直流电机BP神经网络控制的研究[D];西安电子科技大学;2010年
5 郑诣;基于BP神经网络的小波自适应提升格式[D];成都理工大学;2010年
6 赵明忠;基于BP神经网络和证据理论的煤矿生产物流系统评价[D];郑州大学;2010年
7 蒋闽敏;基于BP神经网络的作业成本法的应用研究和实践[D];上海交通大学;2011年
8 李雪敏;基于BP神经网络的土地可持续利用战略研究[D];西北大学;2011年
9 于涛;BP网络自适应学习率算法分析[D];大连理工大学;2011年
10 姜龙;基于BP神经网络的颜色恒常性算法[D];山东大学;2010年
中国重要报纸全文数据库 前10条
1 本报记者 李栋;珠海BP“危”中寻“机”[N];珠海特区报;2009年
2 李高超;BP中国新任总裁陈黎明:油价没有先知[N];国际商报;2009年
3 本报记者 史丰蕾;詹姆斯·皮尔斯:BP漏油促能源保险专业化[N];中国能源报;2010年
4 记者 崔茉;BP能源展望:2030年油气煤三足鼎立[N];中国石油报;2011年
5 记者 陈其珏 编辑 朱贤佳;石油四巨头出资10亿欲为BP消灾[N];上海证券报;2010年
6 媒体评论员 邱林;中国企业不必把收购BP资产看太重[N];中国高新技术产业导报;2010年
7 特派记者 张东明;全力支持BP在珠海的发展[N];珠海特区报;2011年
8 记者 闫磊;美英石油巨头“拷问日”共谴BP[N];经济参考报;2010年
9 记者 宋阳;中石油携手BP开发伊拉克油田[N];中国经济导报;2009年
10 张晓华 詹铃;BP欲变卖资产 谁会要[N];中国化工报;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978