收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

云计算平台下神经网络方法研究

刘猛  
【摘要】:随着经济的发展,网络带宽的不断增长,通过网络访问远程计算资源的条件已经具备,云计算就随之产生了,“云”指的是计算资源不在本地而在网络中,对用户是透明的。近年来,Google、IBM、亚马逊和微软等IT巨头们对云计算技术和产品的普及起到了积极的推动作用。 云计算是分布式计算、并行计算的发展,主要用于处理大规模的数据,大规模数据处理和计算是数据挖掘领域中的常见问题,许多传统数据挖掘算法如分类中的神经网络算法往往只能用于小规模数据,当处理的数据规模很大时,计算量急剧增大,这无疑是许多传统数据挖掘算法的瓶颈,而云计算则恰好擅长处理海量数据和进行大规模并行计算,如果能够将传统数据挖掘算法并行化,并将之部署到云计算平台上,就可以有效地解决数据挖掘领域中的上述问题。 BP(Back Propagation)神经网络是一种按误差逆向传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。它的BP学习算法由网络信息流的正向传播和误差的反向传播更新神经元联接权值两个过程组成。当处理大规模数据时,训练网络的时间很长,因此本文把BP学习算法进行MapReduce化分解,并行运行减少算法运行时间,其主要分解方法是对网络的每一个联接权值计算反向传播生成的权值局部梯度改变量,处理所有样本后用改变量平均值对权值做一次批处理更新。接着对比分析了统计领域常用的Logistic回归分析模型,把该模型看做无隐含层的神经网络,在提出一种大规模矩阵转置和乘法运算的MapReduce化分解方法后,运用到了Logistic回归参数估计的Newton-Raphson法矩阵求解过程中,使Logistic回归也可以并行处理大规模样本数据。 论文具体实现了上述算法并部署到Hadoop云计算平台上,采用经典的数据挖掘测试数据集进行对比实验,比较了算法在单机和云计算平台下的运行差异,结果表明在保证算法准确度和精度的情况下,对大规模输入数据,经过MapReduce分解的算法能够有效减少运行时间,在用8台机器组成的实验Hadoop集群上,加速比能达到约4~5,比一般的并行系统具有更好的性能。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李新坡,莫多闻;应用GIS和神经网络方法进行泥石流危险度评价的研究——以云南省为例[J];水土保持研究;2005年04期
2 鄢春艳;邓学雄;李伟光;赖兴余;;加工过程的神经网络自适应控制[J];江西农业大学学报;2005年06期
3 陈进;李宝华;丁忠军;崔晶晶;;陶瓷材料微波烧结腔体温度软测量研究[J];传感器与微系统;2006年03期
4 杜尚丰;李迎霞;陈亮;李俊;;温室环境神经网络建模[J];计算机测量与控制;2006年07期
5 冯芙叶;夏勇;张全举;;广义特征根问题求解的神经网络方法分析[J];东莞理工学院学报;2007年01期
6 普布贵吉;周明君;普布次仁;;神经网络方法在高原天气预报中的应用[J];西藏科技;2007年09期
7 王仁武;陈家训;;一种图片分类的序列构造神经网络方法[J];计算机工程与应用;2007年31期
8 王仁武;陈家训;;一种图片分类的序列构造神经网络方法[J];情报科学;2007年11期
9 张延顺;周战馨;房建成;;基于神经网络的开环光纤陀螺误差补偿方法[J];数据采集与处理;2008年01期
10 司兴涛;张新义;;基于神经网络的多传感器信息融合及其在机器人中的应用[J];信息通信;2010年02期
11 王国宏;何友;张来红;;雷达对抗混合策略求解的神经网络方法[J];电子对抗;1996年03期
12 文伟宁;周兆英;;基于神经网络的视觉检测系统的研究[J];测试技术学报;1996年02期
13 张家海;胡虹;胡恒章;;组合导航软件可靠性的评估[J];哈尔滨建筑大学学报;2003年03期
14 王晓燕;韩俊宁;楼顺天;;基于盲信源分离技术的雷达信号分选研究[J];电子对抗;2005年05期
15 王鸳君;魏云冰;王万良;;基于D-S证据推理的水轮机调速器故障诊断[J];计算机与数字工程;2006年08期
16 邬再新;王凯;胡赤兵;吕洪波;;利用神经网络重构自由曲线的研究[J];科学技术与工程;2006年18期
17 李辉;张安;沈莹;程琤;;神经网络在多机动目标跟踪中的应用[J];传感技术学报;2006年06期
18 苏高利;秦钟;于强;;基于最小二乘支持向量机的农田水汽通量建模[J];生物数学学报;2007年01期
19 李纲;安璐;;基于SOM的手机电子商务交易聚类分析[J];现代图书情报技术;2008年09期
20 王永茂;高岩;;基于粗糙集神经网络的燃煤发热量预测模型[J];计算机测量与控制;2009年04期
中国重要会议论文全文数据库 前10条
1 赵新刚;伊嘉瑞;张婵;韩建达;;基于遥控数据学习的小型直升机控制方法研究[A];2010中国仪器仪表与测控技术大会论文集[C];2010年
2 田小革;郑健龙;;沥青砼自适应本构模型[A];第八届全国结构工程学术会议论文集(第Ⅰ卷)[C];1999年
3 王靖涛;;建立岩土本构模型的反问题理论及神经网络方法[A];新世纪岩石力学与工程的开拓和发展——中国岩石力学与工程学会第六次学术大会论文集[C];2000年
4 田慧欣;;基于多神经网络的日前电价预测[A];天津市电机工程学会2009年学术年会论文集[C];2009年
5 谢一冈;余志堂;;利用神经网络方法研究J/Ψ能区强子鉴别问题[A];第7届全国核电子学与核探测技术学术年会论文集(二)[C];1994年
6 叶武;林成德;刘震宇;;基于神经网络的客户信用评价系统[A];新经济环境下的会计与财务问题研讨会论文集[C];2002年
7 王玉斌;李永明;王颖;;用数据挖掘和神经网络技术预测工程造价[A];第十一届全国电工数学学术年会论文集[C];2007年
8 赵亮;李熙莹;刘嘉昭;赵福利;;基于聚类神经网络算法的医学图像分割[A];2006年全国光电技术学术交流会会议文集(D 光电信息处理技术专题)[C];2006年
9 张家虎;王秀军;;结合神经网络方法和扩大训练基组构建新B3LYP泛函[A];第十届全国计算(机)化学学术会议论文摘要集[C];2009年
10 董林;袁保宗;周继成;;一种基于神经网络的汉语语音识别方法[A];第九届全国信号处理学术年会(CCSP-99)论文集[C];1999年
中国博士学位论文全文数据库 前10条
1 祝文姬;模拟电路故障诊断的神经网络方法及其应用[D];湖南大学;2011年
2 李铮;多媒体云计算平台关键技术研究[D];中国科学技术大学;2011年
3 安鹏;基于四重化冗余技术的高可信性计算平台研究[D];清华大学;2009年
4 赵丹枫;云计算平台下以Artifact为中心的BPMS体系结构研究[D];燕山大学;2012年
5 伍玉梅;近海面气象参数的反演及应用研究[D];中国科学院研究生院(海洋研究所);2006年
6 车少辉;基于神经网络方法的杉木人工林林分生长模拟研究[D];中国林业科学研究院;2012年
7 方华亮;基于网络计算的电力系统新计算模式研究[D];华中科技大学;2006年
8 陈海波;云计算平台可信性增强技术的研究[D];复旦大学;2008年
9 吴升;分布式GIS组件平台的研究与实践[D];解放军信息工程大学;2001年
10 周健;分布构件计算平台cBus的研究与实现[D];中国人民解放军国防科学技术大学;2000年
中国硕士学位论文全文数据库 前10条
1 刘猛;云计算平台下神经网络方法研究[D];电子科技大学;2011年
2 孔楠;基于云计算平台的商业服务模式研究[D];上海外国语大学;2010年
3 徐风;移动公司云计算平台原型的构建与测试[D];中南大学;2010年
4 熊琭;云计算平台的性能评测模型及其方法研究[D];华东理工大学;2013年
5 陈杰;基于神经网络方法的民用飞机先进气动力机翼设计研究[D];复旦大学;2011年
6 张棋胜;云计算平台监控系统的研究与应用[D];北京交通大学;2011年
7 谭亮;一种公共云计算平台的设计及云计算任务分派算法研究[D];华东理工大学;2013年
8 罗辑;基于OpenSees计算平台的钢管混凝土拱桥抗震性能分析[D];四川大学;2004年
9 陈思瑜;云计算平台在教学中的应用分析与研究[D];上海师范大学;2012年
10 王霄飞;基于OpenStack构建私有云计算平台[D];华南理工大学;2012年
中国重要报纸全文数据库 前10条
1 本报记者 柴莎莎;行业云的领跑者[N];网络世界;2010年
2 ;浪潮英信NP120中小企业的海量计算平台[N];中国计算机报;2003年
3 ;中科院启动建设网格超级计算平台[N];网络世界;2008年
4 阿珍;软件云计算平台步入“战国时代”[N];电脑报;2010年
5 ;“平民化”的64位计算平台[N];中国计算机报;2003年
6 ;未来十年展望之社会计算[N];中国计算机报;2010年
7 潘青山;国家汽车计算平台工程将加快实施[N];中国汽车报;2004年
8 贾英海;云计算平台将成网络攻击众矢之的[N];电脑报;2009年
9 商报记者 吴辰光;CC视频打造个性化云计算平台[N];北京商报;2011年
10 本报记者 杨琳;将促进中国汽车业实现重大自主创新[N];中国汽车报;2005年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978