收藏本站
《长春理工大学》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

基于云计算的海量并发数据处理关键技术研究

韩朋花  
【摘要】:随着云计算技术的飞速发展,互联网用户越来越多,在网络上的交易量不断增加,网络数据呈现指数增长,网络上出现的海量数据急需处理。用传统数据处理技术对海量数据处理,会出现并发性差和效率低等问题。本文一方面研究了负载均衡,并对加权轮询算法进行改进,根据服务器的运行状态动态的计算权值。经过对加权轮询算法的改进,算法在响应时间、吞吐量和实际并发量方面都有提高。另一方面提出了海量小文件数据存储的解决方案,该方案在HDFS中增加独立的小文件数据存储模块,通过小文件合并、建立索引和数据缓存,提高HDFS对海量小文件数据存储的效率,并且HDFS的扩展性不受影响。在理论研究的基础之上,通过负载测试工具LoadRunner仿真实验,验证了改进的加权轮询算法在一定程度上能够提高算法性能。通过对元数据节点内存消耗和小文件读写效率实验测试,改进的HDFS效果更好,对以后海量小文件存储的研究有一定的指导意义。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 罗建全;;努力做好治黄电子文件的归档和利用工作[J];治黄科技信息;2006年03期
2 谈胜祥;;捕获机遇、捕获飘逝的电子文件[J];新上海档案;2005年07期
3 邹杰;;《归档文件整理规则》对电子文件整理一般要求的适用(之六)[J];档案天地;2018年03期
4 李伟;吕晓丽;;复杂产品研究试验文件归档完整性研究[J];科技创新导报;2017年18期
5 邱晓晖;;处理保密与文件归档关系的研究与探讨[J];人力资源管理;2017年10期
6 崔可红;;创建档案对文件归档的冲突和应对措施[J];信息化建设;2015年11期
7 李伟;;航天产品设计文件归档规范的研究与确立[J];办公室业务;2016年21期
8 丛巧克;;工程项目管理中文件归档影响因素与对策分析[J];化工管理;2014年35期
9 杨晓平;;房地产项目文件归档的困境与出路刍议[J];北京档案;2015年04期
10 肖晓平;;关于建设工程文件归档审查的几点思考[J];城建档案;2015年05期
11 李苹;;纸质与电子文件共存状态下的基层档案管理研究[J];山西青年;2017年03期
12 郭志敏;;创建档案对文件归档的冲突和应对措施[J];档案管理;2014年03期
13 刘丹茹;张雪;尹梅;崔晶微;;伦理审查委员会文件归档规范化的探讨[J];医学与哲学(A);2013年05期
14 张亚平;;浅谈办公自动化条件下的管理性文件归档工作[J];山西档案;2012年S1期
15 李方兵;王泽生;韩建东;;试析工程项目文件归档影响因素及应对措施[J];西北水电;2012年S2期
16 施文;;对水利工程文件归档和质量控制的思考[J];才智;2010年32期
17 李兆明;;文件归档话“万一”[J];档案时空(业务版);2005年12期
18 瞿英,曹树贵,郑香珍;分布式文件归档系统的设计[J];兰台世界;2005年02期
19 孙忠娥;;机读文件归档工作的重要性及意义[J];中国农机监理;2004年04期
20 姜金坤;;机读文件归档工作初探[J];秘书工作;1999年03期
中国重要会议论文全文数据库 前7条
1 汪亚;;江苏“永乐”档案软件文件归档缺陷解决方案[A];中国测绘学会九届四次理事会暨2008年学术年会论文集[C];2008年
2 夏江宁;;办公自动化的实现与文件归档工作[A];中国当代秘书群星文选[C];1999年
3 李慎民;;文件归档与虚拟分类[A];机关档案工作学术研讨会交流论文集[C];2004年
4 陈双玲;宋青霞;;为何文本文件归档推荐采用XML格式[A];齐鲁档案论坛——山东省档案学会2009年学术年会会刊[C];2009年
5 赵新华;;文件归档卷改件后档案接收进馆问题的思考[A];档案安全与档案服务——2011年甘肃省档案工作者年会论文集[C];2011年
6 赵玲;;银行电子文件的归档与管理[A];新情况 新热点 新方法——2009档案工作透视[C];2009年
7 ;南宁市直机关2010年档案工作成效显著[A];广西档案2011年第1期(总第104期)[C];2011年
中国重要报纸全文数据库 前10条
1 小周;理财文件归档事半功倍[N];湖北日报;2001年
2 一冰;安腾普新版ADA3.0 进一步增强文件归档能力[N];电脑商报;2009年
3 特约记者邹伟农;上海深化文件归档鉴定改革[N];中国档案报;2003年
4 苏丽荣;天津市宝坻区对文件归档情况进行年检[N];中国档案报;2004年
5 王霞;张怀珍;王林;南阳市建筑设计院加强CAD电子文件的管理与归档[N];中国档案报;2004年
6 特约记者 阚景奎;潍坊市财政局文件归档实现规范化[N];中国档案报;2005年
7 潘胜中;南宁制定机关文件归档年检办法[N];中国档案报;2005年
8 张岳;建立符合科学发展观的文件归档新机制[N];中国档案报;2007年
9 特约记者 李冰冰;内蒙古巴彦淖尔市 认真做好党委换届文件归档[N];中国档案报;2011年
10 刘顺平;档案部门应最大限度地杜绝重份文件归档进馆[N];中国档案报;2013年
中国博士学位论文全文数据库 前1条
1 周会祥;云计算平台Hadoop关键技术研究[D];北京邮电大学;2015年
中国硕士学位论文全文数据库 前10条
1 张芸;企业电子商务文件归档研究[D];华中师范大学;2018年
2 韩朋花;基于云计算的海量并发数据处理关键技术研究[D];长春理工大学;2018年
3 辛朝晖;大规模网络数据环境下的Hadoop集群优化研究[D];北京邮电大学;2018年
4 李宇文;Hadoop平台下文件副本存储改进及小文件合并存取优化的研究[D];武汉理工大学;2015年
5 张莉;电子商务文件归档管理研究[D];吉林大学;2007年
6 宋俊宜;二维码GMP文件电子管理系统项目的建立和实现[D];华东理工大学;2016年
7 盛旷;Hadoop小文件处理技术的研究和实现[D];北京邮电大学;2016年
8 林婕;面向管理的开放型通用归档工具的研究与设计[D];中山大学;2011年
9 李维维;电子与实体档案一体化安全管理系统设计与实现[D];天津大学;2015年
10 刘念;诈骗电话管控平台取证与审核功能的设计与实现[D];北京邮电大学;2016年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978