收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

海量数据的高效近似近邻查询研究

周亮  
【摘要】:随着大数据时代的到来,人们往往很难在规定时间内,利用常规方法对海量数据的内容进行管理、分析和处理。但是数据规模越大,其潜在的价值也就越大。因此,如何在大数据中快速、有效地检索到相似的目标数据成为目前计算机界研究的一个热点问题。近年来,学者们提出近似最近邻检索方法,通过数据索引来加快目标数据的在线检索速度。局部敏感哈希(Locality Sensitive Hashing)与随机网格(Random Grids)是目前研究此问题的两种有效方法,但研究中发现,这两种方法都存在一定的问题。局部敏感哈希算法为了保证准确度,需要建立多张索引表,所以空间复杂度较高;随机网格方法则需要创建很多的副本,从而耗费更多的外存空间。为了解决近似近邻算法中精确度不高和占用空间过多的问题,本文结合局部敏感哈希与随机网格算法的优点,提出一种新的方法—基于网格的局部敏感哈希算法。本文算法吸取随机网格中划分网格的思想,对数据进行网格划分,这样会尽可能保留原始数据的空间近邻结构。同时,利用局部敏感哈希技术处理高维数据的优势,对网格进行检索,进而通过索引检索近邻数据。这种方法可以利用网格索引优势提高检索精度,同时也能有效地减少网络传输量。我们在MapReduce并行编程框架下,对本文算法进行了实现,实验中算法具有良好的可扩展性。实验结果表明,本文提出的算法在处理高维空间的海量数据时会表现出较好的性能。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 杨淼淇;孙纳新;柴华;;大数据时代教育模式的研究[J];计算机工程与科学;2014年S1期
2 陈飞;;“大数据”对军事外宣的影响探析[J];军事记者;2014年05期
3 石岱;;大数据带给图书馆的影响和挑战[J];黑龙江教育(理论与实践);2014年05期
4 王玉筠;;浅谈大数据背景下的图书馆服务[J];合作经济与科技;2014年09期
5 赵伟;郭军;;大数据——我该用怎样的战略眼光看待你[J];中国新通信;2014年12期
6 赵建伟;;大数据初探[J];科技资讯;2013年20期
7 潘海鹏;;浅谈电信行业大数据的意义与应用[J];电子世界;2014年03期
8 黄锴;;世界杯中大数据显大威风[J];物联网技术;2014年07期
9 缪其浩;;当情报遇到大数据——大数据热点情报跟踪的回顾与感悟[J];情报探索;2013年05期
10 桑庆兵;;大数据在高校的应用与思考[J];南通纺织职业技术学院学报;2013年02期
11 熊健;;大数据背景下的图书馆服务创新[J];河南科技;2014年11期
12 张心源;李白杨;;大数据的概念、技术及应用[J];创新科技;2013年09期
13 张剑;李灿平;;4G网络时代大数据的机遇与挑战[J];中国新通信;2013年24期
14 魏伟;;银行业应对互联网金融挑战的策略初探——基于大数据背景下的思考[J];福建金融;2014年07期
15 汪星州;;大数据视阈下出版编辑的变化[J];甘肃科技纵横;2014年08期
16 王尧;;基于大数据的数据处理方法研究分析[J];数字技术与应用;2014年06期
17 王丽丽;;大数据背景下企业档案资源的整合与利用[J];兰台世界;2014年17期
18 魏英杰;;浅谈大数据时代学术著作的出版[J];出版广角;2014年10期
19 林牧;顾萱;;大数据时代的广告生态[J];新闻世界;2013年07期
20 袁享林;;大数据时代的报纸采编转型[J];新闻研究导刊;2014年04期
中国重要会议论文全文数据库 前1条
1 康庆阳;;建立面向用户的架构推动新闻传播变革[A];中国新闻技术工作者联合会第六次会员代表大会、2014年学术年会暨第七届《王选新闻科学技术奖》和优秀论文奖颁奖大会论文集(三等奖)[C];2014年
中国硕士学位论文全文数据库 前10条
1 张占军;订阅式云存储方案设计[D];电子科技大学;2014年
2 王雪皎;大数据驱动下的数据新闻生产研究[D];电子科技大学;2015年
3 曲娜;基于网络数据的CPI典型商品采价质量优化方案研究[D];吉林大学;2016年
4 姚孟乐;大数据视野下的新闻传播变革[D];吉林大学;2016年
5 张轩昂;电商小贷发展模式研究[D];华中师范大学;2016年
6 钱裕春;基于大数据的S商业银行理财产品创新研究[D];苏州大学;2016年
7 周亮;海量数据的高效近似近邻查询研究[D];大连海事大学;2016年
8 钱劲帆;大数据视阈下的原生广告研究[D];江西财经大学;2016年
9 崔路云;基于大数据时代背景对统计学教育的几点思考[D];首都经济贸易大学;2014年
10 李佳飞;论遗忘权[D];西南政法大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978