收藏本站
《南京邮电大学》 2014年
收藏 | 手机打开
二维码
手机客户端打开本文

基于NoSQL框架的数据查询技术的应用研究

吴秀娟  
【摘要】:随着科技信息时代的推进,互联网成为人们相互沟通、消费及娱乐的主要渠道。越来越多的不同内容和形式的数据涌现出来。原始的关系型数据库已经不再满足海量数据高利用率存储和高响应查询的需要。云计算的盛行让NoSQL技术应运而生。近几年云计算应用越来越广,基于NoSQL框架的数据查询技术已成为人们研究的热点之一。NoSQL数据库具备两个非常有用的特点,即高可用性、高扩展性,在数据查询操作时能够做出高效率的处理。 本文在分析研究现有的主要NoSQL数据库及相关技术的基础上,着重讨论了NoSQL数据库之间以及NoSQL数据库与关系型数据库之间的性能比较。本文针对单条件倒排索引查询带宽消耗较大的问题,给出了一种基于MongoDB的多条件组合的倒排索引机制,可以有效地降低带宽消耗。 本文在Hadoop和HBase数据库系统的基础上设计了一个4层的数据查询模型,实现了在数据流管理层对不同格式的数据先进行统一转换处理和在HBase上建立二级索引实现多条件查询的功能,同时通过附加地在查询层里设置热点缓存机制,以进一步提高热点查询命中率。同时给出了一种改进的基于Map/Reduce的编程模型Map-Trim-Reduce。实验分析表明该改进模型具有更好的查询性能。
【学位授予单位】:南京邮电大学
【学位级别】:硕士
【学位授予年份】:2014
【分类号】:TP311.13

手机知网App
【参考文献】
中国期刊全文数据库 前10条
1 房秉毅;张云勇;程莹;徐雷;;云计算国内外发展现状分析[J];电信科学;2010年S1期
2 邓攀;刘功申;;一种高效的倒排索引存储结构[J];计算机工程与应用;2008年31期
3 李庆红;;关系数据库近似匹配查询方法研究[J];计算机工程;2011年13期
4 马如林;蒋华;张庆霞;;一种哈希表快速查找的改进方法[J];计算机工程与科学;2008年09期
5 韩希先;杨东华;李建中;;TKEP:海量数据上一种有效的Top-K查询处理算法[J];计算机学报;2010年08期
6 朱鸿宇;刘瑰;唐福华;陈左宁;;数据库查询优化中的智能预取技术[J];计算机应用研究;2007年05期
7 潘隆禧;孙乐;;基于动态文档集的索引技术[J];计算机应用研究;2009年01期
8 毕洪宇;;利用NoSQL构建高性能全文检索系统[J];计算机与现代化;2012年03期
9 黄国林;郭丹;胡学钢;;基于通配符和长度约束的近似模式匹配算法[J];计算机应用;2013年03期
10 于洪涛;钱磊;;一种改进的分布式查询优化算法[J];计算机工程与应用;2013年08期
中国博士学位论文全文数据库 前1条
1 龙柏;并行计算平台上的数据索引技术研究[D];中国科学技术大学;2011年
【共引文献】
中国期刊全文数据库 前10条
1 周峰;王建林;于涛;赵利强;;基于虚拟仪器技术的过程实时数据管理系统研究[J];北京化工大学学报(自然科学版);2011年06期
2 李文;洪亲;滕忠坚;石兆英;;一种由B+树实现的倒排索引[J];电脑知识与技术;2011年08期
3 刘露;张云勇;房秉毅;;面向运营商的云生命周期管理研究[J];电信技术;2011年10期
4 周巍;陈清金;张云勇;房秉毅;;应用云计算技术的视频系统实现分析[J];电信技术;2011年10期
5 陈清金;周巍;张云勇;房秉毅;;云计算技术在邮件系统中的应用分析[J];电信技术;2011年10期
6 魏进武;张云勇;陈清金;;云计算推动IDC向VDC转型的研究[J];电信科学;2010年11期
7 陈清金;张云勇;潘松柏;杨光;;云计算与新一代电信IT支撑系统研究[J];电信科学;2010年11期
8 张云勇;杨光;陈清金;潘松柏;;电信OSS应用云计算技术的研究[J];电信科学;2010年11期
9 詹义;段伟希;胡晓彦;;云计算在电信IT支撑系统中的应用[J];电信科学;2011年S1期
10 吴俊;徐溟;;公有云服务计费模式比较研究[J];电信科学;2012年01期
中国重要会议论文全文数据库 前7条
1 余刚;杨新华;;专利代理机构信息化建设的意义及实施[A];发展知识产权服务业,支撑创新型国家建设-2012年中华全国专利代理人协会年会第三届知识产权论坛论文选编(第一部分)[C];2011年
2 郭炜;;业务支撑网向云计算演进的挑战[A];2011全国无线及移动通信学术大会论文集[C];2011年
3 曹沁宇;;浅谈云计算技术在客服系统中的应用[A];2011全国无线及移动通信学术大会论文集[C];2011年
4 詹义;段伟希;胡晓彦;;云计算在电信IT支撑系统中的应用[A];中国通信学会信息通信网络技术委员会2011年年会论文集(上册)[C];2011年
5 王心光;;基于虚拟机的多服务器集群技术在地铁综合监控系统的应用[A];第八届中国智能交通年会优秀论文集——轨道交通[C];2013年
6 朱芳芳;李训根;;改进的哈希表查找算法[A];浙江省电子学会2013学术年会论文集[C];2013年
7 郭杰;;基于NoSQL的持久化消息队列设计实现[A];全国冶金自动化信息网2014年会论文集[C];2014年
中国博士学位论文全文数据库 前10条
1 史艳翠;基于通信数据的上下文移动用户偏好动态获取方法研究[D];北京邮电大学;2013年
2 王金宝;云计算系统中索引与查询处理技术研究[D];哈尔滨工业大学;2013年
3 李朋;异构信息网络分析模型及其应用研究[D];重庆大学;2013年
4 王晓伟;基于概率数据库的偏好查询研究[D];国防科学技术大学;2011年
5 杨婧;大型工程项目网络化建模及关键节点分析方法研究[D];国防科学技术大学;2012年
6 郭羽成;MPI高性能云计算平台关键技术研究[D];武汉理工大学;2013年
7 郭研;资源受限的软件项目群调度问题研究[D];南京航空航天大学;2013年
8 杜辉;飞机装配工装制造执行系统中的计划与调度研究[D];南京航空航天大学;2013年
9 崔树林;基于GPU的并行矢量数据分析与索引技术研究[D];中国科学院研究生院(东北地理与农业生态研究所);2014年
10 高峰;概率数据检索、挖掘及多层文本分类问题的研究[D];复旦大学;2013年
中国硕士学位论文全文数据库 前10条
1 张艳花;基于个性化服务的科技资料管理系统设计与实现[D];南昌大学;2010年
2 葛世海;基于J2EE的站群管理平台的设计与实现[D];电子科技大学;2010年
3 李克然;基于云计算的电子商务数据管理模式研究[D];西安电子科技大学;2011年
4 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年
5 江华;基于Native XML数据库的内容管理技术的研究[D];武汉理工大学;2011年
6 薛煜阳;农业搜索引擎倒排索引缓冲机制研究[D];新疆农业大学;2011年
7 杨旌;面向云计算的虚拟机动态迁移关键技术及优化[D];中南大学;2011年
8 穆丰;雷达仿真数据库系统性能优化研究与应用[D];电子科技大学;2011年
9 董长春;基于Hadoop的倒排索引技术的研究[D];辽宁大学;2011年
10 郑西西;基于关联规则的火电厂优化目标值确定的研究[D];华北电力大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 郭盈;;一种3G网络下的LBS架构研究及实现[J];信息安全与技术;2011年05期
2 于红,王秀坤;基于值的分布式查询优化算法[J];大连理工大学学报;2005年03期
3 唐箭;;云存储系统的分析与应用研究[J];电脑知识与技术;2009年20期
4 胡晓宏;沈贺嵩;;嵌入式移动数据库系统中的数据查询[J];单片机与嵌入式系统应用;2009年03期
5 薛向阳,罗航哉,吴立德;LIFT:一种用于高维数据的索引结构[J];电子学报;2001年02期
6 彭波,李晓明;搜索引擎倒排文件的一种分块组织技术[J];电子学报;2005年02期
7 黄贤立;;NoSQL非关系型数据库的发展及应用初探[J];福建电脑;2010年07期
8 王握文;陈明;;“天河一号”超级计算机系统研制[J];国防科技;2009年06期
9 秦玲;张剑飞;郭鹏;桑丽;;浮动车交通信息处理与应用系统核心功能及实现[J];公路交通科技;2006年11期
10 谭衢霖,邵芸;雷达遥感图像分类新技术发展研究[J];国土资源遥感;2001年03期
中国博士学位论文全文数据库 前1条
1 朱霞;线程级并行的硬件技术研究[D];西北工业大学;2003年
中国硕士学位论文全文数据库 前3条
1 叶谦;基于路径模式挖掘的个人连续路径预测[D];浙江大学;2008年
2 岳莉;基于Lucene的全文检索系统的研究与应用[D];西安电子科技大学;2010年
3 苏景春;基于Lucene的全文检索系统的研究与应用[D];北京交通大学;2010年
【相似文献】
中国期刊全文数据库 前10条
1 冯升华,黄利平,方剑,李建明;多企业联合查询技术的研究与实现[J];清华大学学报(自然科学版);2001年08期
2 伊莉娜;王培东;;基于“智能克隆”的移动查询技术[J];哈尔滨理工大学学报;2008年06期
3 朱蓉;基于模糊理论的查询技术研究[J];计算机应用研究;2003年05期
4 廖湖声,郑玉明;多源空间数据库查询技术[J];北京工业大学学报;2004年02期
5 黄希琛;无编码通用词库的高倍逻辑压缩和反向查询技术原理[J];中文信息学报;1994年02期
6 王国华;;计算机图形信息的查询技术研究与实现[J];长沙航空职业技术学院学报;2006年01期
7 石静;刘永山;;基于开放区域的定量方向关系查询技术[J];计算机工程;2007年22期
8 熊剑平,贾惠波,王洪;电子档案的因特网查询技术[J];缩微技术;1997年04期
9 李增祥;;数据库SQL查询技术的优化策略[J];消费导刊;2009年10期
10 许龙飞;;数据库自然语言查询技术研究[J];计算机科学;1997年05期
中国重要会议论文全文数据库 前7条
1 李永光;王镝;王国仁;马宜菲;;基于块排序索引的生物序列局部比对查询技术(英文)[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
2 魏华;;Delphi应用程序中查询技术的实现[A];图像 仿真 信息技术——第二届联合学术会议论文集[C];2002年
3 任咏林;秦勉;任伟林;于重重;;基于XML的查询技术[A];第一届全国Web信息系统及其应用会议(WISA2004)论文集[C];2004年
4 张昱;吴年;;XML数据流的过滤与查询技术[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
5 胡皓;罗景青;;基于模糊理论的查询技术研究[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(下)[C];2006年
6 王佳;杨树强;贾焰;;面向海量数据的并行UNION查询技术研究与实现[A];2006年全国开放式分布与并行计算学术会议论文集(二)[C];2006年
7 张梅;;PB7.0通用任意字段查询技术的实现[A];贵州省自然科学优秀学术论文集[C];2005年
中国重要报纸全文数据库 前1条
1 IBM中国研究中心 潘岳;中文知识门户技术[N];光明日报;2000年
中国博士学位论文全文数据库 前2条
1 黄玉龙;基于GPU的查询技术并行化研究[D];华南理工大学;2013年
2 李先通;图数据查询技术的研究[D];哈尔滨工业大学;2009年
中国硕士学位论文全文数据库 前10条
1 石静;基于开放区域的方向关系查询技术研究[D];燕山大学;2006年
2 唐兵兵;达梦数据仓库中多维查询技术的研究[D];华中科技大学;2009年
3 曾锃;基于一阶谓词逻辑的代码查询技术[D];南京大学;2011年
4 李华强;本体存储与查询技术研究[D];北京邮电大学;2007年
5 李军;XML文档查询技术研究及在数字图书馆中的应用[D];湖南师范大学;2009年
6 岳友友;XML查询技术研究[D];重庆大学;2006年
7 黄赟炜;RDF-XML文档的索引查询技术研究与实现[D];解放军信息工程大学;2007年
8 伊莉娜;基于Agent的移动查询技术研究[D];哈尔滨理工大学;2008年
9 任俊国;多数据源可控查询技术的研究与应用[D];山东科技大学;2011年
10 吴秀娟;基于NoSQL框架的数据查询技术的应用研究[D];南京邮电大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026