收藏本站
《电子科技大学》 2013年
收藏 | 手机打开
二维码
手机客户端打开本文

面向云计算的海量数据检索技术研究与应用

王威  
【摘要】:近十多年来,互联网产业迅猛发展日新月异,不仅让投资互联网的风险投资者们盈利颇丰,也成就了一批市值百亿美元的大型互联网企业。互联网产业给新兴经济实体带来非常强劲的发展动力。全球数亿的网民、企业、事业及政府部门单位正通过互联网中得到更多的资讯、数据交换、消费和业务的推广和应用。这是一个庞大而且有层次的用户群体。 云计算正是互联网产业中一面新兴的旗帜。它结合了互联网络的优势,把大量的企业应用,个人服务等应用通过服务的方式基于互联网提供了广大的用户,比如桌面云、云存储等。面向云计算的应用与服务将是二十一世纪中最有价值、最有前景的技术。 本文以云计算为基础,重点研究分布式数据存储下非结构化数据检索技术,并采用该技术设计一套面向广电行业的新闻线索汇聚平台的Sass服务。云平台采用了Hadoop作为其分布式数据存储平台,并构建集群的基础环境。采用hbase作为分布式面向列的非结构化数据库,作为检索引擎。研究过程中,注重实用性和科学性并重的原则。 1.分析Hadoop的分布式数据存储架构,采用该架构构建检索的基础分布式技术平台。 2.研究MapReduce作业机制,采用该机制使用hbase基于列的分布式数据库进行设计,构建一个非结构化的检索引擎。 3.基于以上技术平台设计并搭建一套新闻线索汇聚业务平台。 系统按照云服务的架构设计,支撑海量的新闻线索,并提供快的检索、分类聚类的业务功能。
【学位授予单位】:电子科技大学
【学位级别】:硕士
【学位授予年份】:2013
【分类号】:TP333

手机知网App
【参考文献】
中国期刊全文数据库 前4条
1 崔杰;李陶深;兰红星;;基于Hadoop的海量数据存储平台设计与开发[J];计算机研究与发展;2012年S1期
2 毛杰;佘名高;;海量数据库查询优化研究[J];软件导刊;2010年05期
3 侯建;帅仁俊;侯文;;基于云计算的海量数据存储模型[J];通信技术;2011年05期
4 周建鸿;;海量数据库的查询优化研究及实现[J];西南民族大学学报(自然科学版);2010年04期
中国重要会议论文全文数据库 前1条
1 丁辉;张大华;罗志明;;基于Hadoop的海量数据处理平台研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
中国硕士学位论文全文数据库 前1条
1 刘丛山;基于Hadoop的文本分类研究[D];上海交通大学;2012年
【共引文献】
中国期刊全文数据库 前10条
1 杨昌尧;;数据库查询优化方法研究[J];电脑知识与技术;2011年17期
2 黄菁华;;基于业务流程的数据库应用系统优化[J];广东科技;2012年05期
3 白建新;;论云技术对石油行业的影响[J];电子制作;2013年09期
4 李亮;;全台网环境下的云视频素材转码系统的设计[J];电视技术;2013年10期
5 邢煜;;一种海量数据处理平台的解决方案[J];电脑知识与技术;2013年21期
6 钟锐;刘立刚;;基于Map-Reduce的FP-Growth算法研究[J];赣南师范学院学报;2013年06期
7 段龙方;张连堂;;基于云计算的图书馆海量数据存储研究[J];电脑知识与技术;2014年13期
8 胡小春;李陶深;王乐;陈燕;陈宁江;;基于NoSQL的大数据应用设计与性能保障方案研究[J];广西大学学报(自然科学版);2014年03期
9 赵建光;;云计算环境下并行分布式数据挖掘平台研究[J];电脑开发与应用;2014年07期
10 唐世庆;李云龙;田凤明;胡海荣;;基于Hadoop的云计算与存储平台研究与实现[J];四川兵工学报;2014年08期
中国重要会议论文全文数据库 前5条
1 丁辉;张大华;罗志明;;基于Hadoop的海量数据处理平台研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
2 生昕格;;基于hadoop的交通云数据处理平台设计[A];第七届中国智能交通年会优秀论文集——智能交通应用[C];2012年
3 Liang Chen;Jing Qiu;Xueping Gu;;Design of Cloud Computing Architecture for DIOT[A];2013教育技术与信息系统国际会议论文集[C];2013年
4 刘海光;潘毅;李立新;;基于云计算的智能电网经济调度研究[A];2013年中国电机工程学会年会论文集[C];2013年
5 郑海荣;高敬;;云计算技术与应用[A];《内蒙古通信》2014年第1-2期[C];2014年
中国博士学位论文全文数据库 前2条
1 任崇广;面向海量数据处理领域的云计算及其关键技术研究[D];南京理工大学;2013年
2 王宁;云计算环境下数据管理与任务调度优化策略研究[D];北京科技大学;2015年
中国硕士学位论文全文数据库 前10条
1 李永盛;基于PCEDM的数据查询模型研究[D];东北石油大学;2011年
2 曾雪;海量数据的快速查询算法研究[D];南京邮电大学;2012年
3 艾明;面向海量数据的云存储系统实现与应用研究[D];南京理工大学;2012年
4 王学新;第四方物流在云计算环境下的区域整合研究[D];大连海事大学;2012年
5 胡海光;钻探工程项目数据存储及其安全的应用研究[D];中国地质大学(北京);2012年
6 王贵娟;基于云计算的中小图书馆IT管理与服务研究[D];曲阜师范大学;2012年
7 宋爱青;基于Hadoop的日志分析系统的设计与实现[D];中国地质大学(北京);2012年
8 苗苗苗;数据挖掘中海量数据处理算法的研究与实现[D];西安建筑科技大学;2012年
9 李青振;基于Top-k高维检索算法的海量数据存储及调度方法研究[D];浙江工业大学;2012年
10 王振邦;基于云计算的校区服务中心建设[D];浙江工业大学;2012年
【二级参考文献】
中国期刊全文数据库 前10条
1 胡光民;周亮;柯立新;;基于Hadoop的网络日志分析系统研究[J];电脑知识与技术;2010年22期
2 王峰;雷葆华;;Hadoop分布式文件系统的模型分析[J];电信科学;2010年12期
3 张健;;云计算概念和影响力解析[J];电信网技术;2009年01期
4 韩德志;余顺争;谢长生;;融合NAS和SAN的存储网络设计与实现[J];电子学报;2006年11期
5 吴应良,韦岗,李海洲;一种基于N-gram模型和机器学习的汉语分词算法[J];电子与信息学报;2001年11期
6 林立宇;陈云海;张敏;刘晓玲;;云计算技术及运营可行性分析[J];广东通信技术;2008年12期
7 孙铁利;刘延吉;;中文分词技术的研究现状与困难[J];信息技术;2009年07期
8 朱凤华,赖树华,陈昌生,孙永强;一种并行查询优化策略[J];计算机工程;2000年12期
9 张宁,贾自艳,史忠植;使用KNN算法的文本分类[J];计算机工程;2005年08期
10 孟清,杨树强,蔡建宇,贾焰;面向海量数据统计分析查询的中间层语义缓存[J];计算机工程;2005年20期
中国硕士学位论文全文数据库 前1条
1 刘亚欣;数据库查询优化技术研究及其应用[D];大连理工大学;2006年
【相似文献】
中国期刊全文数据库 前10条
1 姚逸涛;彭宇扬;彭自成;;基于倒排表的数据检索优化系统[J];电脑与信息技术;2008年02期
2 ;国外的数据检索[J];情报知识;1982年01期
3 钟求喜;朱昕;;分布式数据检索系统的设计与实现[J];湖南大学学报(自然科学版);2010年01期
4 辛黎升;;数据检索技术在遥测信息处理中的应用[J];战术导弹技术;1984年03期
5 陈赟;胡坚;汪超亮;李子扬;;基于REST Web Services的分布式遥感数据检索技术研究[J];计算机工程与设计;2010年14期
6 王金杰;周海芳;;基于语义的遥感影像数据检索关键技术研究[J];计算机与数字工程;2012年08期
7 谌晓欢,陈志刚;永平铜矿生产数据检索系统研究及应用[J];有色冶金设计与研究;2004年04期
8 周志坚;;基于移动Agent技术的试题数据检索系统的设计[J];科技咨询导报;2007年07期
9 赵坚;;混和编程增强FoxBASE~+管理软件的功能[J];金属矿山;1993年09期
10 杨大顺,陶明华,丁青;二次分档检索法[J];计算机研究与发展;1995年06期
中国重要会议论文全文数据库 前6条
1 周荣贵;李凌伟;刘怡;;MBase中图文数据检索的反馈策略[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
2 丛日建;孙国强;;基于QB编码的数据检索方法[A];第三届全国信息获取与处理学术会议论文集[C];2005年
3 单广荣;于洪志;李应兴;满正行;;藏文古籍保护技术的元数据检索技术研究[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
4 张卫强;刘加;;网络音频数据检索技术[A];全国网络与信息安全技术研讨会论文集(下册)[C];2007年
5 刘仁进;;MICAPS2.0数据接口及数据检索程序的若干改进[A];2007年湖北省气象学会学术年会暨全省青年气象科技工作者学术交流会议学术论文详细文摘汇集[C];2007年
6 郭燕;;我国服装行业专利保护现状研究[A];中国纺织工业发展报告(2008/2009)[C];2009年
中国重要报纸全文数据库 前2条
1 徐枫宦茂盛;元数据检索按图索骥[N];计算机世界;2007年
2 徐枫宦茂盛;如何对信息资源分类[N];计算机世界;2007年
中国博士学位论文全文数据库 前1条
1 袁贞明;基于样例的空间数据检索技术研究[D];浙江大学;2005年
中国硕士学位论文全文数据库 前10条
1 庞欢;基于最优搜索的分布式数据检索技术[D];电子科技大学;2008年
2 姚臻佳;RFID公共服务体系研究与实现[D];上海交通大学;2009年
3 李博;汽车导航系统中数据检索功能的研究与实现[D];东北大学;2006年
4 赵薇;P2P技术在分布式数据检索中的应用研究[D];东北财经大学;2007年
5 韩天坛;基于Clucene的个人数据检索支撑系统的设计与实现[D];北京邮电大学;2011年
6 张卓;结构化电子病历的数据检索[D];华中科技大学;2005年
7 王威;面向云计算的海量数据检索技术研究与应用[D];电子科技大学;2013年
8 罗政煜;磁约束聚变实验海量数据检索分析研究[D];河北科技大学;2012年
9 王维敏;年度新词语隐退的个案分析[D];华东师范大学;2014年
10 崔爽;用于数据检索的Linux集群系统中的负载均衡机制研究与应用[D];吉林大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026