收藏本站
《华南理工大学》 2015年
收藏 | 手机打开
二维码
手机客户端打开本文

基于云计算的神经网络并行实现及其学习方法研究

张海军  
【摘要】:随着网络技术和软件技术及云计算技术的高速发展,当前数据正以海量的方式递增,并已经进入了大数据时代。真实世界数据,比如数码照片、基因表达谱、人脸数据集或网页文本,通常具有维数高和数据量大的特点。对于传统的人工智能技术和模式识别技术等都面临如何在大数据时代下实现数据处理的挑战。比如,对于大规模的人脸数据集分类,一台计算机或工作站因为缺乏速度和存储容量很难适应实际需求。为此,非常有必要研究在大数据环境下如何实现基于多计算机集群的人工智能技术和模式识别技术。当采用人工智能方法,比如利用神经网络对相关数据进行处理时,若训练样本的数量规模不大时,单个神经网络的泛化能力和运行时间是比较理想的。然而随着识别类别及数目增加,神经网络的结构也将变得更加复杂,导致神经网络训练时间变得更长,收敛速度变得更慢,容易陷入局部最小值和更差的泛化能力等。为了解决这些问题,本论文研究和设计了由多个神经网络组成的集成神经网络(Hybrid Neural Networks,HNNs)去代替复杂的单一神经网络,并且提出了一种新颖的半监督学习算法——嵌入Softmax回归的深度信念网络(Deep Belief Network Embedded with Softmax Regress,DBNESR)作为分类器的深度学习方法。本论文所做的主要贡献如下:(1)本文提出了一种在云计算集群上,基于Map-Reduce的多层神经网络并行实现方法。也即为了满足大数据处理的需要,本文提出了一种在云计算集群上,基于Map-Reduce的误差反传BP算法被训练的全连接多层神经网络的有效映射机制。针对一个在云计算集群上的并行BP算法和一个在单一处理机上的串行BP算法,从理论上推导了实现算法所需要的时间,并且评估了在云计算集群上的并行BP算法及性能参数(加速比、数据节点的最佳数目和最小数目等)。实验结果证明,本文提出的并行BP算法比现有的算法有更好的加速比和更快的收敛速率及更少的迭代次数。(2)本文提出了一种在云计算集群上,基于Map-Reduce的径向基函数神经网络的并行实现方法,并进行了情感计算等应用研究。也即借助于云计算平台,通过网络流通和组合提供的计算能力,实现了径向基函数神经网络及学习算法的并行训练和分类识别应用,从而使径向基函数神经网络能够进行跨平台的学习,以及处理人脸识别和语音识别及情感计算等海量的高维数据。实验结果表明,本文提出的算法比基于单一计算机的传统串行训练神经网络学习算法有更快的学习速度,更高的识别率,更大的数据处理能力。(3)本文提出了一种半监督学习算法——内嵌Softmax回归的深度信念网络(DBNESR),并且设计了多种基于监督学习的分类器:BP、HBPNNs、RBF、HRBFNNs、SVM、多分类决策融合分类器(Multiple Classification Decision Fusion Classifier,MCDFC)——集成HBPNNs-HRBFNNs-SVM分类器。实验结果表明,半监督深度算法DBNESR具有较佳的、较高、较稳定的识别率;半监督学习算法比所有的监督学习算法有更好的效果;集成神经网络比单一神经网络有更好的效果;平均识别率和方差分别为BPHBPNNs≈RBFHRBFNNs≈SVMMCDFCDBNESR和BPRBFHBPNNsHRBFNNsSVMMCDFCDBNESR;这反映了DBNESR具有模拟复杂人工智能任务的能力。
【学位授予单位】:华南理工大学
【学位级别】:博士
【学位授予年份】:2015
【分类号】:TP183

【共引文献】
中国期刊全文数据库 前6条
1 费建超;芮挺;周遊;方虎生;朱会杰;;基于梯度的多输入卷积神经网络[J];光电工程;2015年03期
2 薛皓天;杨晶东;谈凯德;;一种改进的BP神经网络在手写体识别上的应用[J];电子科技;2015年05期
3 刘建伟;崔立鹏;黎海恩;罗雄麟;;概率图模型推理方法的研究进展[J];计算机科学;2015年04期
4 徐照松;元昌安;覃晓;元建;李双;;基于关联规则的语音情感中韵律特征抽取算法研究[J];计算机应用与软件;2015年09期
5 张雪英;孙颖;张卫;畅江;;语音情感识别的关键技术[J];太原理工大学学报;2015年06期
6 康岩;卢慕超;阎高伟;;基于DBN-ELM的球磨机料位软测量方法研究[J];仪表技术与传感器;2015年04期
中国重要会议论文全文数据库 前1条
1 黎海恩;刘建伟;罗雄麟;;概率图模型的变分近似推理[A];2013年中国智能自动化学术会议论文集(第四分册)[C];2013年
中国硕士学位论文全文数据库 前7条
1 周晓凤;家庭服务机器人的语音情感识别方法研究[D];华南理工大学;2013年
2 佘洪新;基于脸型的三维人脸识别方法研究[D];华中师范大学;2014年
3 程文华;基于机器学习的手机游戏软件自动化测试研究[D];浙江大学;2014年
4 沈燕;采用GSWM参数的多分类器融合语音情感识别[D];苏州大学;2014年
5 朱启敏;基于云计算平台的神经网络计算方法及其应用研究[D];华南理工大学;2014年
6 康岩;深度学习在球磨机料位软测量建模中的应用研究[D];太原理工大学;2014年
7 徐照松;关联规则挖掘在语音情感识别中的应用研究[D];广西师范学院;2014年
【相似文献】
中国期刊全文数据库 前10条
1 廖晓昕,傅予力,高健,赵新泉;具有反应扩散的Hopfield神经网络的稳定性[J];电子学报;2000年01期
2 张菊亮,章祥荪;一个新的解线性规划的神经网络(英文)[J];运筹学学报;2001年02期
3 罗公亮;从神经网络到支撑矢量机(上)[J];冶金自动化;2001年05期
4 蒋德云,张弓;谷物识别中对神经网络的优化(英文)[J];农业工程学报;2002年05期
5 王芳荣,周德义,郑咏梅,王鼎,张铁强;生物表面光谱特性识别的神经网络方法[J];吉林大学学报(信息科学版);2002年03期
6 宋光雄,何胜锋,曹辉,张峥,钟群鹏;基于Hopfield神经网络的腐蚀失效模式识别[J];金属热处理学报;2003年01期
7 王学武,谭得健;神经网络的应用与发展趋势[J];计算机工程与应用;2003年03期
8 陈有伟,李为民;基于混合训练神经网络的武器系统效能评估[J];计算机工程与应用;2003年08期
9 刘斌,刘新芝,廖晓昕;脉冲Hopfield神经网络的鲁棒H-稳定性及其脉冲控制器设计(英文)[J];控制理论与应用;2003年02期
10 刘国良,强文义,麻亮,陈兴林;基于粗神经网络的仿人智能机器人的语音融合算法研究[J];控制与决策;2003年03期
中国重要会议论文全文数据库 前10条
1 王雷;陈宗海;;神经网络在过程系统建模中的应用综述[A];'2002系统仿真技术及其应用学术论文集(第四卷)[C];2002年
2 周宗潭;胡德文;;自组织的神经网络方法和群落生长模型研究[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集(上册)[C];1995年
3 侯媛彬;易继锴;杨玉珍;陈双叶;韩崇昭;;一种能消除混沌现象的神经网络[A];1996年中国智能自动化学术会议论文集(上册)[C];1996年
4 江铭炎;江铭虎;;一种神经网络特征压缩及分类的研究[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
5 陈文新;王长富;戴蓓倩;;基于神经网络的汉语四声识别[A];第一届全国语言识别学术报告与展示会论文集[C];1990年
6 刘丰;姜建新;程俊;易克初;;一种用于语音识别的神经网络[A];第二届全国人机语音通讯学术会议论文集[C];1992年
7 梁循;;神经网络中训练样本空间的分割特性及其应用[A];1995中国控制与决策学术年会论文集[C];1995年
8 黄小原;肖四汉;樊治平;;神经网络预警系统及其应用[A];1995中国控制与决策学术年会论文集[C];1995年
9 李艳;邵日祥;方建安;邵世煌;;神经网络在功率电子及拖动控制中的应用[A];1996中国控制与决策学术年会论文集[C];1996年
10 高文忠;顾树生;平力;;静态神经网络新算法及其收敛性初探[A];1994年中国控制会议论文集[C];1994年
中国重要报纸全文数据库 前10条
1 美国明尼苏达大学社会学博士 密西西比州立大学国家战略规划与分析研究中心资深助理研究员 陈心想;维护好创新的“神经网络硬件”[N];中国教师报;2014年
2 卢业忠;脑控电脑 惊世骇俗[N];计算机世界;2001年
3 葛一鸣 路边文;人工神经网络将大显身手[N];中国纺织报;2003年
4 中国科技大学计算机系 邢方亮;神经网络挑战人类大脑[N];计算机世界;2003年
5 记者 孙刚;“神经网络”:打开复杂工艺“黑箱”[N];解放日报;2007年
6 本报记者 刘霞;美用DNA制造出首个人造神经网络[N];科技日报;2011年
7 健康时报特约记者  张献怀;干细胞移植:修复受损的神经网络[N];健康时报;2006年
8 刘力;我半导体神经网络技术及应用研究达国际先进水平[N];中国电子报;2001年
9 ;神经网络和模糊逻辑[N];世界金属导报;2002年
10 邹丽梅 陈耀群;江苏科大神经网络应用研究通过鉴定[N];中国船舶报;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026