收藏本站
《电子科技大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

云计算平台下神经网络方法研究

刘猛  
【摘要】:随着经济的发展,网络带宽的不断增长,通过网络访问远程计算资源的条件已经具备,云计算就随之产生了,“云”指的是计算资源不在本地而在网络中,对用户是透明的。近年来,Google、IBM、亚马逊和微软等IT巨头们对云计算技术和产品的普及起到了积极的推动作用。 云计算是分布式计算、并行计算的发展,主要用于处理大规模的数据,大规模数据处理和计算是数据挖掘领域中的常见问题,许多传统数据挖掘算法如分类中的神经网络算法往往只能用于小规模数据,当处理的数据规模很大时,计算量急剧增大,这无疑是许多传统数据挖掘算法的瓶颈,而云计算则恰好擅长处理海量数据和进行大规模并行计算,如果能够将传统数据挖掘算法并行化,并将之部署到云计算平台上,就可以有效地解决数据挖掘领域中的上述问题。 BP(Back Propagation)神经网络是一种按误差逆向传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。它的BP学习算法由网络信息流的正向传播和误差的反向传播更新神经元联接权值两个过程组成。当处理大规模数据时,训练网络的时间很长,因此本文把BP学习算法进行MapReduce化分解,并行运行减少算法运行时间,其主要分解方法是对网络的每一个联接权值计算反向传播生成的权值局部梯度改变量,处理所有样本后用改变量平均值对权值做一次批处理更新。接着对比分析了统计领域常用的Logistic回归分析模型,把该模型看做无隐含层的神经网络,在提出一种大规模矩阵转置和乘法运算的MapReduce化分解方法后,运用到了Logistic回归参数估计的Newton-Raphson法矩阵求解过程中,使Logistic回归也可以并行处理大规模样本数据。 论文具体实现了上述算法并部署到Hadoop云计算平台上,采用经典的数据挖掘测试数据集进行对比实验,比较了算法在单机和云计算平台下的运行差异,结果表明在保证算法准确度和精度的情况下,对大规模输入数据,经过MapReduce分解的算法能够有效减少运行时间,在用8台机器组成的实验Hadoop集群上,加速比能达到约4~5,比一般的并行系统具有更好的性能。
【学位授予单位】:电子科技大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP3;TP183

手机知网App
【共引文献】
中国期刊全文数据库 前10条
1 高志明,关岩,于洪梅,吴秀红,李井会;人工神经网络在化学中的应用进展[J];鞍山钢铁学院学报;2000年03期
2 林玎;刘伟;张治国;;自组织特征映射神经网络在厄尔尼诺事件检验中的应用[J];吉林大学学报(地球科学版);2006年04期
3 梁艳春,聂义勇;从科学研究方法论看人工神经网络研究的发展[J];吉林大学学报(信息科学版);2002年01期
4 黄亦潇,李菁菁,邵培基;基于SOM人工神经网络的客户资源分类方法研究[J];重庆大学学报(社会科学版);2003年06期
5 韩祯祥,文福栓;人工神经元网络在电力系统中应用的新进展(一)[J];电力系统自动化;1993年01期
6 行小帅,焦李成;数据挖掘的聚类方法[J];电路与系统学报;2003年01期
7 张治国,杨毅恒,夏立显;自组织特征映射神经网络在测井岩性识别中的应用[J];地球物理学进展;2005年02期
8 孙全力,王玉兰;改进SOFM网络算法及其在裂隙统计分析中的应用[J];地质灾害与环境保护;2003年02期
9 王炜;林命週;马钦忠;赵利飞;;数据挖掘及其在地震预报中的应用前景[J];国际地震动态;2005年12期
10 哈斯巴干,马建文,李启青,韩秀珍,刘志丽;基于小波融合的ASTER数据自组织特征映射神经网络分类研究[J];中国科学D辑;2003年09期
中国重要会议论文全文数据库 前9条
1 ZHANG Xiangsun;LI Zhenping;ZHOU Wenfeng Academy of Mathematics and System Sciences,CAS,Beijing 100080, China Beijing Materials Institute, Beijing 101149, China.;A Neural Network Algorithm for the (m,d)-Coloring Problem of a Graph[A];中国运筹学会第七届学术交流会论文集(上卷)[C];2004年
2 蔡中华;;自组织映射(SOM)在研究地区产业结构聚类分析的应用[A];第九届中国青年信息与管理学者大会论文集[C];2007年
3 Simon X.Yang;Max Q.-H.Meng;;An Improved Self-Organizing Map Neural Network Approach to Path Planning of a Multi-robot System[A];2003年中国智能自动化会议论文集(上册)[C];2003年
4 韩红桂;乔俊飞;;一种自组织模糊神经网络研究[A];2007年中国智能自动化会议论文集[C];2007年
5 Bogdan Sabac;Inge Gavat;Zica Valsan;;SPEAKER IDENTIFICATION USING DISCRIMINATIVE FEATURES SELECTION[A];The Proceedings of the 6~(th) International Conference on Spoken Language Processing (Volume Ⅲ)[C];2000年
6 W. Q. Liu;V. Svetha;;A Two-Stage Vector Quantization Approach via Self-Organizing Map[A];2002 6~(th) International Conference on Signal Processing Proceedings[C];2002年
7 Rongteng Wu*, Jizhou Sun, Jinyan Chen, Huabei Wu School of Computer Science and Technology, Tianjin University, Tianjin 300072, China;Video semantics discovery from the video captions and comments[A];Proceedings of Electronic Imaging and Multimedia Technology V(Part Two of Two Parts)[C];2007年
8 Zhang Yinghua~1 Sang Jinyan~(1,2) Zhang Jilin~1 1 School of Business,Tianjin University of Finance and Economics,Tianjin,P.R.China,300222 2 School of Management,Shandong University of Technology,zibo,P.R.China,255049;The Researches on Operational Model of Eco-friendly Enterprises in Tianjin Binhai New Area Based on SOM Neural Network(ID:L-010)[A];The Proceedings of the 14th International Conference on Industrial Engineering and Engineering Management(Volume B)[C];2007年
9 Ranadhir Ghosh;Musa Mammadov;Moumita Ghosh;John Yearwood;;A HYBRID CLUSTERING ALGORITHM USING TWO LEVEL OF ABSTRACTION[A];Proceedings of the Eleventh International Fuzzy Systems Association World Congress(Volume Ⅰ)[C];2005年
中国博士学位论文全文数据库 前10条
1 刘慷;超临界二氧化碳二元体系临界性质的理论研究[D];北京化工大学;2002年
2 颜学峰;高维复杂模式识别的新方法[D];浙江大学;2002年
3 聂伟荣;多传感器探测与控制网络技术——地面运动目标震动信号探测与识别[D];南京理工大学;2002年
4 王林山;可微动力系统渐近性研究及其在神经网络中的应用[D];四川大学;2002年
5 郭劲松;基于人工神经网络(ANN)的水质评价与水质模拟研究[D];重庆大学;2002年
6 胡剑锋;视网膜外网状层突触可塑性和神经回路研究:实验及模型[D];中国科学院研究生院(上海生命科学研究院);2002年
7 舒朝晖;油水分离水力旋流器分离特性及其软件设计的研究[D];四川大学;2001年
8 曹刚;基于神经网络的厌氧反应器模拟预测及其运行状态估计[D];浙江大学;2003年
9 应晓敏;面向Internet个性化服务的用户建模技术研究[D];中国人民解放军国防科学技术大学;2003年
10 谢小棉;医学序列图象ROI分割与三维可视化方法研究[D];中国人民解放军第一军医大学;2003年
中国硕士学位论文全文数据库 前10条
1 黄海;神经元非模型控制系统设计与应用[D];浙江大学;2002年
2 陈(羽中)伟;基于先验知识的神经元网络建模与应用[D];浙江大学;2002年
3 徐大宏;基于彩色图象的足球机器人视觉系统设计[D];中南大学;2002年
4 李戈;基于数据仓库的聚类数据挖掘工具的研究[D];青岛大学;2002年
5 朱红;基于人才认知的数据挖掘研究[D];昆明理工大学;2002年
6 赵春泽;高炉铁水硅含量自组织经验进化预测系统软件开发与研究[D];重庆大学;2002年
7 胡小刚;数据挖掘中决策树分类算法的研究[D];华中师范大学;2002年
8 王海霞;模糊神经网络在水质评价中的应用[D];重庆大学;2002年
9 杨光;模糊神经非模型控制算法研究[D];浙江大学;2003年
10 孙炳彤;扩展SDM模型及其在预测和识别中的应用研究[D];南京航空航天大学;2002年
【同被引文献】
中国期刊全文数据库 前10条
1 史美林,csnet4.cs.tsinghua.edu.cn,杨光信,csnet4.cs.tsinghua.edu.cn,向勇,csnet4.cs.tsinghua.edu.cn,伍尚广,csnet4.cs.tsinghua.edu.cn;一个基于Web的工作流管理系统[J];软件学报;1999年11期
2 于之虹,郭志忠;基于数据挖掘理论的电力系统暂态稳定评估[J];电力系统自动化;2003年08期
3 束洪春,孙向飞,于继来;粗糙集理论在电力系统中的应用[J];电力系统自动化;2004年03期
4 黄彦全;肖建;李云飞;邵明;黄庆;;基于量测数据相关性的电力系统不良数据检测和辨识新方法[J];电网技术;2006年02期
5 杨伟,胡军,吴军基;基于GSA的电力系统不良数据辨识算法[J];继电器;2005年22期
6 毛韶阳;李肯立;;优化K-means初始聚类中心研究[J];计算机工程与应用;2007年22期
7 周涓;熊忠阳;张玉芳;任芳;;基于最大最小距离法的多中心聚类算法[J];计算机应用;2006年06期
8 于达仁,胡清华,鲍文;融合粗糙集和模糊聚类的连续数据知识发现[J];中国电机工程学报;2004年06期
9 吴军基;杨伟;葛成;赵彤;;基于GSA的肘形判据用于电力系统不良数据辨识[J];中国电机工程学报;2006年22期
10 韩慧,毛锋,王文渊;数据挖掘中决策树算法的最新进展[J];计算机应用研究;2004年12期
中国博士学位论文全文数据库 前1条
1 罗可;数据库中数据挖掘理论方法及应用研究[D];湖南大学;2005年
中国硕士学位论文全文数据库 前6条
1 葛成;基于GSA的电力系统不良数据辨识方法研究[D];南京理工大学;2005年
2 周涓;基于最大最小距离法的多中心聚类算法研究[D];重庆大学;2006年
3 蔡东亮;基于最小二乘法的状态估计算法研究[D];山东大学;2006年
4 梁轶群;GSM-R系统差错控制与同频干扰下传输性能分析[D];北京交通大学;2007年
5 房祥飞;基于决策树的分类算法的并行化研究及应用[D];山东师范大学;2007年
6 韩雪;利用场强测试数据定位邻频干扰的算法研究[D];北京交通大学;2008年
【二级参考文献】
中国期刊全文数据库 前7条
1 吕纯濂;用NEWTON-RAPHSON迭代法解线性LOGISTIC判别系数超越方程组[J];高等学校计算数学学报;1985年04期
2 吕纯濂;广义逆矩阵的背景介绍[J];南京气象学院学报;1981年01期
3 吕纯濂,陈舜华;论Logistic判别分析中极大似然估计的存在性[J];南京气象学院学报;1992年03期
4 吕纯濂,陈舜华,范淦清;台风暴雨的逐步Logit动力统计释用预报试验[J];南京气象学院学报;1996年03期
5 吕纯濂,陈舜华;二次Logistic判别分析及其气象应用[J];气象学报;1986年03期
6 吕纯濂,陈舜华,H.Mathes,P.Zollner;逐步Logistic判别分析[J];数理统计与应用概率;1994年04期
7 吕纯濂,陈舜华;带有变量中误差的Logit回归模型及其计算[J];数值计算与计算机应用;1994年02期
【相似文献】
中国期刊全文数据库 前10条
1 李新坡,莫多闻;应用GIS和神经网络方法进行泥石流危险度评价的研究——以云南省为例[J];水土保持研究;2005年04期
2 鄢春艳;邓学雄;李伟光;赖兴余;;加工过程的神经网络自适应控制[J];江西农业大学学报;2005年06期
3 陈进;李宝华;丁忠军;崔晶晶;;陶瓷材料微波烧结腔体温度软测量研究[J];传感器与微系统;2006年03期
4 杜尚丰;李迎霞;陈亮;李俊;;温室环境神经网络建模[J];计算机测量与控制;2006年07期
5 冯芙叶;夏勇;张全举;;广义特征根问题求解的神经网络方法分析[J];东莞理工学院学报;2007年01期
6 普布贵吉;周明君;普布次仁;;神经网络方法在高原天气预报中的应用[J];西藏科技;2007年09期
7 王仁武;陈家训;;一种图片分类的序列构造神经网络方法[J];计算机工程与应用;2007年31期
8 王仁武;陈家训;;一种图片分类的序列构造神经网络方法[J];情报科学;2007年11期
9 张延顺;周战馨;房建成;;基于神经网络的开环光纤陀螺误差补偿方法[J];数据采集与处理;2008年01期
10 司兴涛;张新义;;基于神经网络的多传感器信息融合及其在机器人中的应用[J];信息通信;2010年02期
中国重要会议论文全文数据库 前10条
1 赵新刚;伊嘉瑞;张婵;韩建达;;基于遥控数据学习的小型直升机控制方法研究[A];2010中国仪器仪表与测控技术大会论文集[C];2010年
2 田小革;郑健龙;;沥青砼自适应本构模型[A];第八届全国结构工程学术会议论文集(第Ⅰ卷)[C];1999年
3 王靖涛;;建立岩土本构模型的反问题理论及神经网络方法[A];新世纪岩石力学与工程的开拓和发展——中国岩石力学与工程学会第六次学术大会论文集[C];2000年
4 田慧欣;;基于多神经网络的日前电价预测[A];天津市电机工程学会2009年学术年会论文集[C];2009年
5 谢一冈;余志堂;;利用神经网络方法研究J/Ψ能区强子鉴别问题[A];第7届全国核电子学与核探测技术学术年会论文集(二)[C];1994年
6 叶武;林成德;刘震宇;;基于神经网络的客户信用评价系统[A];新经济环境下的会计与财务问题研讨会论文集[C];2002年
7 王玉斌;李永明;王颖;;用数据挖掘和神经网络技术预测工程造价[A];第十一届全国电工数学学术年会论文集[C];2007年
8 赵亮;李熙莹;刘嘉昭;赵福利;;基于聚类神经网络算法的医学图像分割[A];2006年全国光电技术学术交流会会议文集(D 光电信息处理技术专题)[C];2006年
9 张家虎;王秀军;;结合神经网络方法和扩大训练基组构建新B3LYP泛函[A];第十届全国计算(机)化学学术会议论文摘要集[C];2009年
10 董林;袁保宗;周继成;;一种基于神经网络的汉语语音识别方法[A];第九届全国信号处理学术年会(CCSP-99)论文集[C];1999年
中国重要报纸全文数据库 前10条
1 本报记者 柴莎莎;行业云的领跑者[N];网络世界;2010年
2 ;浪潮英信NP120中小企业的海量计算平台[N];中国计算机报;2003年
3 ;中科院启动建设网格超级计算平台[N];网络世界;2008年
4 阿珍;软件云计算平台步入“战国时代”[N];电脑报;2010年
5 ;“平民化”的64位计算平台[N];中国计算机报;2003年
6 ;未来十年展望之社会计算[N];中国计算机报;2010年
7 潘青山;国家汽车计算平台工程将加快实施[N];中国汽车报;2004年
8 贾英海;云计算平台将成网络攻击众矢之的[N];电脑报;2009年
9 商报记者 吴辰光;CC视频打造个性化云计算平台[N];北京商报;2011年
10 本报记者 杨琳;将促进中国汽车业实现重大自主创新[N];中国汽车报;2005年
中国博士学位论文全文数据库 前10条
1 祝文姬;模拟电路故障诊断的神经网络方法及其应用[D];湖南大学;2011年
2 李铮;多媒体云计算平台关键技术研究[D];中国科学技术大学;2011年
3 安鹏;基于四重化冗余技术的高可信性计算平台研究[D];清华大学;2009年
4 赵丹枫;云计算平台下以Artifact为中心的BPMS体系结构研究[D];燕山大学;2012年
5 伍玉梅;近海面气象参数的反演及应用研究[D];中国科学院研究生院(海洋研究所);2006年
6 车少辉;基于神经网络方法的杉木人工林林分生长模拟研究[D];中国林业科学研究院;2012年
7 方华亮;基于网络计算的电力系统新计算模式研究[D];华中科技大学;2006年
8 陈海波;云计算平台可信性增强技术的研究[D];复旦大学;2008年
9 吴升;分布式GIS组件平台的研究与实践[D];解放军信息工程大学;2001年
10 周健;分布构件计算平台cBus的研究与实现[D];中国人民解放军国防科学技术大学;2000年
中国硕士学位论文全文数据库 前10条
1 刘猛;云计算平台下神经网络方法研究[D];电子科技大学;2011年
2 孔楠;基于云计算平台的商业服务模式研究[D];上海外国语大学;2010年
3 徐风;移动公司云计算平台原型的构建与测试[D];中南大学;2010年
4 熊琭;云计算平台的性能评测模型及其方法研究[D];华东理工大学;2013年
5 陈杰;基于神经网络方法的民用飞机先进气动力机翼设计研究[D];复旦大学;2011年
6 张棋胜;云计算平台监控系统的研究与应用[D];北京交通大学;2011年
7 谭亮;一种公共云计算平台的设计及云计算任务分派算法研究[D];华东理工大学;2013年
8 罗辑;基于OpenSees计算平台的钢管混凝土拱桥抗震性能分析[D];四川大学;2004年
9 陈思瑜;云计算平台在教学中的应用分析与研究[D];上海师范大学;2012年
10 王霄飞;基于OpenStack构建私有云计算平台[D];华南理工大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026