收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

神经网络集成分类方法及其在并行计算环境中的应用研究

王征宇  
【摘要】:集成学习是一种新的机器学习范式,它通过对弱学习机进行整合,获得达到强学习机效果和质量的整体输出。集成学习从统计学上、计算上和表示上的三个方向,而不是直接从人工智能和学习算法的方向上,有效地提高了机器学习的效果,这从机器学习研究的方法论上来说是一个重大的进步。神经网络集成是指子学习机为神经网络的集成学习算法,由于人工神经网络本身就被很广泛地用于各类分类算法,所以神经网络集成也是分类器集成最常用的一种计算框架,成为目前国际机器学习和神经计算界的一个长期活跃的研究热点。现有的集成学习算法存在两个比较普遍性问题。一是通用性问题。没有一个“万能算法”能解决所有的问题,必须具体问题具体分析。二是性能问题。集成学习算法带来了数倍于单学习机模式的计算量,在实时系统或者海量数据处理系统的应用中会导致性能问题。针对上面这两类问题,本论文的研究目标主要包括:一是分别针对低维数据和高维数据这两种比较典型的分类问题,提出了更加合适的集成算法组合。二是提出针对并行性计算优化的集成算法,并将并行集成学习算法应用在并行计算框架上解决实际问题。具体如下:1、现有基于模糊积分的神经网络集成算法,一般是以衡量正确率的模糊密度为基础的,这样来确定子神经网络权重的方式不够全面。本论文设计了一个能够从正确率、误差距离和失效程度三方面更加有效和全面衡量子神经网络重要程度的模糊密度,并将其用于神经网络集成器的计算。通过对双螺旋分类问题的研究,证明了提出的神经网络集成算法在这种典型的低维度数据分类问题上的有效性。2、高维度数据的分类问题,一般都需要基于特征抽取或者特征选择的数据降维预处理。本论文设计了一种方法,通过采用多种特征抽取方法来对同一原始训练数据获得多个训练集,从而提高子神经网络差异性。在另一方面,经典的Adaboost算法在用于多类分类问题时,容易忽略整体正确率不高、但对某个类别拥有分类“特长”的子神经网络。本论文提出多维Adaboost(Multi-Dimension Adaboost,MD-Adaboost)算法,通过为子神经网络对于不同分类的输出设置独立权重,使得各个子神经网络在输出集成中能够拥有更加合理的权值,从而提高神经网络集成分类器的整体性能。该算法应用在人脸表情识别(Face Expression Recognition,FER)中获得了较好的结果。3、集成分类算法在海量数据集的训练和分类中会产生巨大的计算量,针对这个问题,本论文提出了基于Mapreduce并行计算框架和遗传算法的并行选择性神经网络集成算法(Maprduce-baesd Selective Neural Network Ensemble with GA,MSNNE-GA)。算法通过“选择”的手段降低了集成分类器的规模,同时通过使用Mapreduce框架实现了集成分类器在训练、选择和分类多个阶段的并行计算,有效缩短了算法的运行时间。实验中使用该算法更优地解决了双螺旋分类问题,同时与单个分类器相比,分类的速度也有了大大的提高。4、上面提出的MSNNE-GA算法是全局优化算法的一种,但其使用遗传算法的选择过程并行度不高,而且存在频繁的数据交换损耗。除了全局优化选择算法,选择性神经网络集成常用的方法还包括聚类。本论文提出了另一种可并行的选择性神经网络集成方法(Selective Neural Network Ensemble with K-means and PSO,SNNE-KP),通过将聚类和类内的全局优化算法(或称局部优化算法)结合起来,不仅从提高子神经网络的多样性和准确性这两个方面来共同提高神经网络集成的质量,而且还提高了算法的整体并行度。在对UCI部分数据集进行分类的实验中,SNNE-KP算法获得了更好的分类准确率。除此之外,基于Hadoop的并行计算也能有效的提高神经网络集成分类器的构造速度和分类速度。5、对基于混合神经网络计算平台(Hybrid Neural-Net Computing Platform,HNetCP)的分布式虚拟仿人机器人(Virtual Humanoid Robot,VHR)进行了扩展,将基于Hadoop的并行计算框架作为机器人的学习模块,实现了基于以上提出的SNNE-KP神经网络集成算法框架实现了人脸识别算法。在实验中完成了人脸识别与三维仿真系统的联动控制,并对集中式VHR和分布式VHR进行了对比分析。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 文习明;;基于神经网络集成的数据分析[J];现代计算机;2006年05期
2 乐晓蓉;王正群;郭亚琴;侯艳平;;基于差异性度量的选择性神经网络集成[J];扬州大学学报(自然科学版);2007年02期
3 李贝贝;;基于蜂群算法的神经网络集成[J];信息系统工程;2012年01期
4 刘爱华;刘丙杰;冀海燕;高德欣;;基于自适应神经网络集成的电子设备故障预测方法[J];解放军理工大学学报(自然科学版);2013年05期
5 吴建鑫,周志华,沈学华,陈兆乾;一种选择性神经网络集成构造方法[J];计算机研究与发展;2000年09期
6 周志华,皇甫杰,张宏江,陈祖翰;基于神经网络集成的多视角人脸识别[J];计算机研究与发展;2001年10期
7 周志华,李宁,杨育彬,陈世福;基于神经网络集成的肺癌早期诊断[J];计算机研究与发展;2002年10期
8 周志华,陈世福;神经网络集成[J];计算机学报;2002年01期
9 刘关松,徐建国,高敦岳;基于神经网络集成的舌苔分类方法[J];计算机工程;2003年14期
10 傅向华,冯博琴,马兆丰,何明;增量构造负相关异构神经网络集成的方法[J];西安交通大学学报;2004年08期
11 凌锦江,周志华;基于因果发现的神经网络集成方法[J];软件学报;2004年10期
12 李凯,黄厚宽;一种基于聚类技术的选择性神经网络集成方法[J];计算机研究与发展;2005年04期
13 傅向华,冯博琴,马兆丰,韩冰;一种异构神经网络集成协同构造算法[J];小型微型计算机系统;2005年04期
14 孟江,王耀才,王天成,巩敦卫;神经网络集成的免疫学习算法[J];中国矿业大学学报;2005年04期
15 李凯,黄厚宽;一种提高神经网络集成差异性的学习方法[J];电子学报;2005年08期
16 王正群,陈世福,陈兆乾;一种主动学习神经网络集成方法[J];计算机研究与发展;2005年03期
17 王正群,陈世福,陈兆乾;并行学习神经网络集成方法[J];计算机学报;2005年03期
18 王正群;陈世福;陈兆乾;;基于模糊划分的神经网络集成[J];南京大学学报(自然科学版);2006年01期
19 徐敏;施化吉;张晓阳;李星毅;;基于神经网络集成的专家系统模型[J];计算机工程与设计;2006年07期
20 吴建生;;旱涝灾害的遗传-神经网络集成预测方法研究[J];广西科学;2006年03期
中国重要会议论文全文数据库 前5条
1 安金霞;朱纪洪;袁夏明;;基于神经网络知识库的多神经网络集成方法[A];2009年中国智能自动化会议论文集(第六分册)[中南大学学报(增刊)][C];2009年
2 杨育荣;左瑞芹;王科俊;;基于粒子群优化的神经网络集成研究[A];系统仿真技术及其应用(第7卷)——'2005系统仿真技术及其应用学术交流会论文选编[C];2005年
3 吴月明;王益群;李莉;;基于神经网络集成的可靠性分布模型的智能识别[A];2006年全国机械可靠性学术交流会论文集[C];2006年
4 张正道;胡寿松;;基于神经网络免疫集成的非线性时间序列故障预报[A];江苏省自动化学会七届四次理事会暨2004学术年会青年学者论坛论文集[C];2004年
5 杜晓凤;丁友东;;FloatBag选择性神经网络集成及其在人脸检测中的应用[A];第十二届全国信号处理学术年会(CCSP-2005)论文集[C];2005年
中国博士学位论文全文数据库 前8条
1 沈掌泉;神经网络集成技术及其在土壤学中应用的研究[D];浙江大学;2005年
2 刘悦;神经网络集成及其在地震预报中的应用研究[D];上海大学;2005年
3 王征宇;神经网络集成分类方法及其在并行计算环境中的应用研究[D];华南理工大学;2015年
4 林民龙;基于神经网络集成的增量式学习[D];中国科学技术大学;2012年
5 张东波;粗集神经网络集成方法及其在模式识别中的应用[D];湖南大学;2007年
6 高敬阳;神经网络集成BOOSTING类算法研究[D];北京化工大学;2012年
7 戴群;基于ICBP模型的混合神经网络与多样化集成方法的研究[D];南京航空航天大学;2009年
8 陈敏之;文胸作用下女体胸部形态变化效果分析及其模拟研究[D];东华大学;2012年
中国硕士学位论文全文数据库 前10条
1 乐晓蓉;神经网络集成算法设计及分析[D];扬州大学;2007年
2 陈涓;神经网络集成的泛化能力研究及其应用[D];兰州理工大学;2009年
3 刘何秀;神经网络集成算法的研究[D];中国海洋大学;2009年
4 徐瑜;基于主动差异学习神经网络集成的电力变压器故障诊断方法研究[D];湘潭大学;2010年
5 李岩;神经网络集成及其在分类和回归问题中的应用研究[D];华北电力大学(河北);2010年
6 张冬威;基于网络聚类选择的神经网络集成方法及其在农业中的应用[D];吉林大学;2011年
7 徐敏;基于神经网络集成的图书剔旧专家系统的研究[D];江苏大学;2006年
8 孙冰;基于覆盖型神经网络集成的语音识别研究[D];南京工业大学;2006年
9 单峰;基于神经网络集成的汇率预测模型研究[D];南京航空航天大学;2004年
10 柴晨阳;基于神经网络集成的入侵检测研究[D];湖南大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978