收藏本站
《西安科技大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

MapReduce模型下的图像并行化处理研究

翟锐涛  
【摘要】:近年来,伴随着云计算和大数据的兴起,网络中各应用领域所产生的数据量快速增长,已经达到PB级别甚至更高。在这些数据中,图像大数据的处理与存储已经成为各界研究的热点。MapReduce技术是一种高可靠的并行编程框架,常用于进行大数据量的并行计算,对复杂的集群环境问题有着很好的解决方案。Hadoop平台的核心之一MapReduce模型就是利用该项技术处理海量数据,目前已取得了较好成效,但不足的是对于图像文件的处理,尤其是海量小图像文件的研究还不成熟。本文针对于此问题,探讨了在MapReduce模型下图像的并行化处理,给出了一种可以作为处理海量小图像文件的新的数据平台基础架构,主要研究的内容及研究成果如下:首先,本文综述了在大数据背景下,海量图像数据处理的研究背景、研究现状及意义,并介绍了 Hadoop生态系统,包括其核心HDFS系统和MapReduce框架技术。其次,详细设计了如何改进Hadoop系统,提出组合分片方法,提高了海量小图片的处理效率,扩展了 MapReduce软件框架,使之能够很好的支持并处理图像文件。最后,本文设计并实现了在MapReduce模型下,图像的并行K-means聚类算法分析、图像的并行Sobel边缘检测算法、扩展了图像在MapReduce模型下的并行化直方图提取等操作。通过实验验证,扩展后的MapReduce模型的可行性及处理图像文件的高效性。通过指标性能分析,验证了 MapReduce模型下进行图像并行化处理的有效性,为在Hadoop平台下处理海量大数据图像文件的应用提供了一种可行的解决方案。
【学位授予单位】:西安科技大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:TP391.41

【参考文献】
中国期刊全文数据库 前10条
1 谢雪莲;李兰友;;基于云计算的并行K-means聚类算法研究[J];计算机测量与控制;2014年05期
2 赵庆;;基于Hadoop平台下的Canopy-Kmeans高效算法[J];电子科技;2014年02期
3 朱长明;张新;骆剑承;李万庆;杨纪伟;;基于样本自动选择与SVM结合的海岸线遥感自动提取[J];国土资源遥感;2013年02期
4 黄斌;许舒人;蒲卫;;基于MapReduce的数据挖掘平台设计与实现[J];计算机工程与设计;2013年02期
5 冀素琴;石洪波;;面向海量数据的K-means聚类优化算法[J];计算机工程与应用;2014年14期
6 崔朝国;刘志明;李婧;陈晓凡;;一种基于Hadoop的Scool云存储平台[J];电脑知识与技术;2013年02期
7 阮涛;那彦;王澍;;基于压缩感知的遥感图像融合方法[J];电子科技;2012年04期
8 仇李寅;邱卫东;苏芊;廖凌;;基于Hadoop的分布式哈希算法实现[J];信息安全与通信保密;2011年11期
9 多雪松;张晶;高强;;基于Hadoop的海量数据管理系统[J];微计算机信息;2010年13期
10 袁春兰;熊宗龙;周雪花;彭小辉;;基于Sobel算子的图像边缘检测研究[J];激光与红外;2009年01期
中国硕士学位论文全文数据库 前1条
1 霍树民;基于Hadoop的海量影像数据管理关键技术研究[D];国防科学技术大学;2010年
【共引文献】
中国期刊全文数据库 前10条
1 付华栋;廖一鹏;;基于NSCT及改进Canny的图像边缘检测[J];微型机与应用;2017年23期
2 李莉;;基于云计算平台Hadoop的并行k-means聚类算法设计研究[J];网络安全技术与应用;2017年12期
3 刘雨欣;张琼洁;张景景;;基于Map/Reduce的电力监控系统规则挖掘技术研究[J];控制工程;2017年10期
4 王彩峰;姚巧鸽;;嵌入式实时系统中劣质数据动态清理方法[J];科学技术与工程;2017年28期
5 吴春法;潘亚文;王敬;;基于K-means颜色聚类分割与边缘检测的文字提取[J];电脑知识与技术;2017年28期
6 唐立军;杨立君;王得玉;李文梅;;基于面向对象技术的水边线提取快速方法[J];科技创新与应用;2017年27期
7 郭文亮;;Hadoop环境下医学影像存储的设计[J];中国医疗设备;2017年09期
8 杜阳;周德强;潘萌;;基于脉冲涡流热成像的表面缺陷实验研究[J];传感器与微系统;2017年09期
9 孟令玺;李洪亮;孟令威;;基于云计算平台的虚拟资源可扩展存储算法[J];科学技术与工程;2017年24期
10 韩现代;曹雪虹;焦良葆;;钢丝绳芯输送带接头抽动检测方法[J];工矿自动化;2017年08期
中国硕士学位论文全文数据库 前10条
1 翟锐涛;MapReduce模型下的图像并行化处理研究[D];西安科技大学;2017年
2 陈威;基于Hadoop的K-means遥感影像分类算法的研究[D];江西理工大学;2017年
3 李庆君;Hadoop架构下海量空间数据存储与管理[D];武汉大学;2017年
4 邓增健;基于Hadoop的GIS网络最短路径算法研究[D];江西理工大学;2017年
5 刘震;云计算平台下遥感图像分类算法的并行化技术研究[D];南京理工大学;2017年
6 王茂洋;基于云GIS平台的贵州省生态环境监测与评价系统研究与实现[D];贵州师范大学;2016年
7 刘广杰;香格里拉市资源环境信息管理系统设计与实现[D];云南师范大学;2016年
8 李静;面向云服务的体验推广平台的设计与实现[D];哈尔滨工业大学;2016年
9 范帅军;布谷鸟搜索算法的应用研究与改进[D];西南交通大学;2016年
10 尹利;Hadoop下的个性化推荐应用研究[D];湖北大学;2016年
【二级参考文献】
中国期刊全文数据库 前10条
1 胡爱娜;蔡晓艳;;基于MapReduce的分布式期望最大化算法[J];科学技术与工程;2013年16期
2 穆瑞辉;苗国义;;基于粒子群优化的模糊K-Means目标分类算法[J];计算机测量与控制;2013年05期
3 应毅;任凯;曹阳;;基于改进的MapReduce模型的Web挖掘[J];科学技术与工程;2013年05期
4 张石磊;武装;;一种基于Hadoop云计算平台的聚类算法优化的研究[J];计算机科学;2012年S2期
5 方巍;文学志;潘吴斌;薛胜军;;云计算:概念、技术及应用研究综述[J];南京信息工程大学学报(自然科学版);2012年04期
6 陈光平;王文鹏;黄俊;;一种改进初始聚类中心选择的K-means算法[J];小型微型计算机系统;2012年06期
7 冯永玖;韩震;;海岸线遥感信息提取的元胞自动机方法及其应用[J];中国图象图形学报;2012年03期
8 牛新征;佘堃;;面向大规模数据的快速并行聚类划分算法研究[J];计算机科学;2012年01期
9 赵卫中;马慧芳;傅燕翔;史忠植;;基于云计算平台Hadoop的并行k-means聚类算法设计研究[J];计算机科学;2011年10期
10 江小平;李成华;向文;张新访;颜海涛;;k-means聚类算法的MapReduce并行化实现[J];华中科技大学学报(自然科学版);2011年S1期
中国硕士学位论文全文数据库 前5条
1 朱珠;基于Hadoop的海量数据处理模型研究和应用[D];北京邮电大学;2008年
2 刘伟;海量遥感影像数据存储技术研究[D];国防科学技术大学;2007年
3 刘露;全球海量遥感影像数据的分布式管理技术研究[D];国防科学技术大学;2007年
4 郝思宝;数字正射影像建库关键技术研究[D];南京师范大学;2007年
5 丁卫嘉;基于ORACLE GeoRaster的遥感影像库技术研究[D];中国科学院研究生院(遥感应用研究所);2006年
【相似文献】
中国期刊全文数据库 前10条
1 张伟;姜恺;刘洪;;直接模拟Monte Carlo方法并行化研究[J];计算机应用与软件;2009年09期
2 吴正娟;职为梅;杨勇;范明;;并行化的粒子群技术[J];微计算机信息;2009年36期
3 齐书阳;;迎接并行化的明天[J];软件世界;2009年06期
4 曹琳,杨学军,金国华;两种并行化机制的分析[J];计算机研究与发展;1993年09期
5 金国华,陈福接;并行化技术与工具[J];计算机研究与发展;1996年07期
6 蔡立志,童维勤,廖文昭;序列拼装程序的并行化研究与实现[J];计算机工程与应用;2003年14期
7 王伟;潘建伟;;有限差分法的并行化计算实现[J];电脑知识与技术;2008年07期
8 程锦松;;迭代法的并行化[J];安徽大学学报(自然科学版);1997年03期
9 陈再高;王玥;王建国;张殿辉;付梅艳;乔海亮;袁媛;;三维粒子模拟并行化技术研究[J];计算机工程与科学;2009年11期
10 赵凤治;地震作业数据处理并行化的几个问题[J];计算机系统应用;1994年10期
中国重要会议论文全文数据库 前10条
1 郑宇瀚;郭燕慧;;一种针对流水线任务的云计算模型基于MapReduce的改进[A];2013年中国信息通信研究新进展论文集[C];2014年
2 兰彤;冯玉才;肖伟器;;空间连接处理的并行化研究[A];数据库研究进展97——第十四届全国数据库学术会议论文集(上)[C];1997年
3 张雯;骆志刚;赵翔;王金华;靳新;;剪接比对软件sim4的并行化研究与实现[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
4 王本龙;龚凯;刘桦;;自由表面流动问题的并行化SPH方法求解[A];中国力学学会学术大会'2009论文摘要集[C];2009年
5 华中杰;徐锡山;杨树强;田胜利;;MapReduce本地优先作业调度策略研究与实现[A];第九届中国通信学会学术年会论文集[C];2012年
6 王峰;杨建俊;张天爵;许淑艳;;不同操作平台上的MCNP并行化计算[A];中国原子能科学研究院年报 2009[C];2010年
7 徐金秀;张天刚;;NCC区域气候模式算法分析及并行化实现[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
8 陈皓;罗月童;刘晓平;;基于MPI的光子映射算法并行化[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
9 曹琰;王清贤;魏强;尹中旭;;基于相容和搜索结合的并行约束求解方法[A];2013年中国智能自动化学术会议论文集(第五分册)[C];2013年
10 马智;杜雪涛;罗枫;;基于模式的网络资源模型设计[A];中国通信学会信息通信网络技术委员会2009年年会论文集(上册)[C];2009年
中国重要报纸全文数据库 前3条
1 ;服务器软件的并行化革命[N];网络世界;2006年
2 谢涛;英特尔:忽视并行化软件后果很危险[N];电脑商报;2008年
3 记者 鲁媛媛;英特尔软件进入并行时代[N];网络世界;2009年
中国博士学位论文全文数据库 前8条
1 郭琦;异构多核可重构平台指令并行化关键问题研究[D];中国科学技术大学;2015年
2 程兴国;仿生算法的动态反馈机制及其并行化实现方法研究[D];华南理工大学;2013年
3 丁晓宁;面向CFD的交互式并行化技术研究[D];西北工业大学;2002年
4 张平;并行化编译器中并行程序自动生成和性能优化技术研究[D];解放军信息工程大学;2006年
5 傅游;稀薄气体Monte Carlo数值仿真并行化技术研究与实现[D];西北工业大学;2002年
6 董春丽;并行化编译中数据和计算的自动划分及优化技术研究[D];解放军信息工程大学;2007年
7 余化鹏;复杂场景下的目标检测技术研究[D];电子科技大学;2015年
8 马威;云计算环境中高保证隔离模型及关键技术研究[D];北京交通大学;2016年
中国硕士学位论文全文数据库 前10条
1 翟锐涛;MapReduce模型下的图像并行化处理研究[D];西安科技大学;2017年
2 荣卓波;基于Hadoop的并行化算法实现及GPS数据实例分析[D];西南大学;2015年
3 赖梓昌;基于MPCore多核并行化的宽景视觉研究与实现[D];西南交通大学;2015年
4 杨睿;基于并行计算的基因序列快速比对方法研究[D];浙江大学;2015年
5 王心阳;一种基于MapReduce模型的并行化TSP算法研究[D];电子科技大学;2015年
6 赵正委;基于BSP模型的网络最大流算法的并行化研究与实现[D];电子科技大学;2014年
7 康少华;空间碎片探测软件的并行化及WCRT分析[D];北京理工大学;2015年
8 王向辉;嵌入式浏览器并行化的研究与设计[D];电子科技大学;2014年
9 孙洁;用于超电大散射计算MLFMA并行化及其关键问题的研究[D];电子科技大学;2014年
10 刘毅;LTE系统中关键算法的研究[D];电子科技大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026