收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

不确定TOP-K查询处理关键技术研究

肖国庆  
【摘要】:随着人类社会的进步和计算机网络技术的发展,数据信息与物质和能量并列成为世界三大资源。在信息爆炸的时代,为了从大规模数据中提取关键信息,迫切需要高效的查询处理技术。Top-k查询作为一种重要的数据管理操作,在多目标决策支持、市场分析、环境监控等领域发挥着重要的作用。此外,在众多实际应用,如无线传感器网络(WSN)、基于位置的服务(LBS)、射频识别电子标签(RFID)和Web服务等中,由于数据采集设备的局限、隐私保护的需求或网络传输延迟等原因,数据广泛具有不确定性。不确定数据管理已成为数据库研究领域的重要研究热点。虽然传统top-kk查询技术已比较成熟,但这些成果主要针对确定数据集,不能直接应用于处理不确定数据。与传统top-kk查询相比,不确定top-k查询的计算模式更加复杂,数据类型更加多样,且需要适应不同的应用场景。本文针对不确定top-k查询处理相关技术进行深入研究,主要工作如下:(1)提出了面向不确定数据的top-k范围查询处理算法。Top-k范围查询问题在许多领域中都得到了实际应用。尽管基于确定数据集的传统top-k范围查询处理技术已存在丰富的研究成果,但是由于必须考虑概率需求,这些成果均不能直接用于处理不确定数据。鉴于此,本文首次研究了不确定top-(k,l)范围(UTR)查询问题。为提高UTR查询效率,提出了高效的剪枝规则来减少该查询的搜索空间。此外,提出了一个基于多核架构OpenMP的并行不确定top-(k,l)范围(PUTR)查询处理算法。在真实和合成数据集上的实验结果验证了木文所提出算法的有效性,与已有最优的PT-k和Global-Topk查询算法相比,UTR算法能够返回更优的查询结果,且查询性能更好。与UTR算法相比,PUTR查询算法能获得超线性的加速比。(2)提出了基于不确定数据的概率逆向top-k查询处理算法。Top-k查询从产品的角度,基于用户的偏好为其选择最优的k个产品。逆向top-k查询则从产品生产者的角度,为每个产品筛选其潜在的用户。基于此,生产商可以评估该产品的潜在市场。针对不确定数据离散模型,本文首次提出了单色(MPRT)和双色(BPRT)两种概率逆向top-k查询问题及算法。文中给出了 MPRT查询的解空间划分策略并且提出了求解任意维度数据解空间的数学模型。此外,提出了有效的剪枝启发式规则以减少BPRT查询的搜索空间。在真实和合成数据集上的扩展实验验证了所提出算法的有效性和可扩展性。(3)提出了面向不确定数据的概率top-l影响力查询处理算法。基于所提出的概率逆向top-k(PRT)查询,本文首次提出了一个概率top-l影响力(PTI)查询处理算法,用以检索l个最有影响力产品。其中,一个产品的影响因子被定义为该产品的PRT查询结果集基数。依据该查询特性,提出了一系列有效的剪枝策略用于减少PTI查询的搜索空间。特别地,给出了一个产品潜在用户的上界来减少该产品的PRT查询成本。理论分析和实验验证了所提出算法的有效性和可扩展性。(4)探讨了不确定数据流的连续查询处理队列分析。随着数据搜集方法和实际应用的发展,不确定数据流管理在学术界和工业界均得到了广泛的关注。由于数据流输入的不可预测性和系统存储容量的限制,系统容量规划和服务质量(QoS)是数据流管理系统(DSMS)的两个重要属性。为此,针对不确定数据流滑动窗口模型,本文基于排队论提出了有效的方法来评估一个DSMS的内存需求、数据损失率及连续查询的元组延迟,并且基于数据损失率,确定了一个查询队列系统的最大系统存储容量。该解决方案的提出,有助于研究人员设计、管理和优化DSMS,包括分配查询队列所需的缓存、并且在满足预定QoS要求的情况下,允许用户对系统进行连续的不确定查询操作。本文工作不仅具有一定的理论价值,丰富了数据管理方面的研究内容,而且推动了不确定数据管理的实用化进程,具有较大的应用价值和实际意义。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 王爽;王国仁;;基于不确定数据的分布式Top-k查询算法[J];东北大学学报(自然科学版);2010年02期
2 辛婷婷;刘国华;;K-匿名隐私保护模型下的Top-k查询[J];计算机科学与探索;2011年08期
3 盛刚;温涛;郭权;印莹;;云计算中偏好top-k查询的正确性验证[J];吉林大学学报(工学版);2014年01期
4 张海杰;姜守旭;邹兆年;;不确定图上的高效top-k近邻查询处理算法[J];计算机学报;2011年10期
5 刘维弋;金远平;;一种基于动态修正值的分布数据流Top-K查询处理算法[J];计算机应用与软件;2009年01期
6 何盈捷;文继军;冯月利;王珊;;P2P环境下数据管理系统上的Top-k查询[J];计算机科学;2005年10期
7 甘亮;于莉莉;李润恒;贾焰;金鑫;;一种基于逆支配点集的数据流Top-k计算方法[J];计算机工程与科学;2012年06期
8 顾彦慧;赵斌;周俊生;曲维光;;Top-k相似短文本快速抽取算法[J];计算机科学与探索;2014年08期
9 张连宽;杨波;唐屹;;提高P2P下top-k搜索性能的研究[J];计算机应用研究;2009年01期
10 申德荣;于戈;寇月;聂铁铮;;可能世界内数值型不确定数据匹配模型[J];计算机应用研究;2008年09期
11 崔斌;卢阳;;基于不确定数据的查询处理综述[J];计算机应用;2008年11期
12 周逊;李建中;石胜飞;;不确定数据上两种查询的分布式聚集算法[J];计算机研究与发展;2010年05期
13 徐雪松;;时间序列不确定数据流中异常数据检测方法[J];电子设计工程;2011年19期
14 徐雪松;李玲娟;郭立玮;;基于优化策略的不确定数据流预测方法[J];计算机工程;2011年21期
15 徐雪松;沈红红;陶帆;胡晓璐;崔伟;;基于小波分析的不确定数据流异常数据检测[J];软件导刊;2011年11期
16 钱江波;王志杰;陈华辉;王海斌;;不确定数据流自适应并行连接算法及应用[J];电信科学;2012年02期
17 向剑平;乔少杰;胡剑;;基于不确定数据理论的道路相关度度量方法[J];计算机工程与设计;2012年06期
18 曹振丽;孙瑞志;李勐;;面向不确定数据的农产品追溯方法[J];农业机械学报;2013年07期
19 蒋涛;高云君;张彬;周傲英;乐光学;;不确定数据查询处理[J];电子学报;2013年05期
20 王爽;杨广明;朱志良;;基于不确定数据的频繁项查询算法[J];东北大学学报(自然科学版);2011年03期
中国重要会议论文全文数据库 前10条
1 佟星;王宏志;李建中;高宏;;基于树结构索引的带权值字符串的Top-k查询算法[A];第29届中国数据库学术会议论文集(B辑)(NDBC2012)[C];2012年
2 张丽;贾焰;邹鹏;;一种数据流上的多Top-k查询资源共享技术研究[A];第八届全国信息隐藏与多媒体安全学术大会湖南省计算机学会第十一届学术年会论文集[C];2009年
3 高聪;申德荣;于戈;聂铁铮;寇月;;一种基于不确定数据的挖掘频繁集方法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
4 周逊;李建中;石胜飞;;不确定数据上聚集查询的分布式处理算法[A];第26届中国数据库学术会议论文集(A辑)[C];2009年
5 韩璐;王朝坤;邹鹏;徐亚军;;不确定图数据上的不确定查询处理[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
6 刘德喜;万常选;刘喜平;;不确定数据库中基于x-tuple的高效Top-k查询处理算法[A];第26届中国数据库学术会议论文集(A辑)[C];2009年
7 陈红;王珊;;多阶段并行多查询处理框架[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
8 王晓伟;黄九鸣;贾焰;;分布式不确定数据上的概率Skyline计算[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年
9 何文麟;曹芳菲;陈红;;传感器网络中多近似连续范围查询的处理技术[A];第26届中国数据库学术会议论文集(A辑)[C];2009年
10 陈良刚;刘震;施伯乐;;位置相关查询处理[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
中国博士学位论文全文数据库 前10条
1 肖国庆;不确定TOP-K查询处理关键技术研究[D];湖南大学;2017年
2 李文凤;不确定性top-k查询处理研究[D];武汉大学;2014年
3 陈静玉;面向不确定数据流的聚类和模式挖掘技术研究[D];西安电子科技大学;2014年
4 马荔瑶;信任函数建模的认知不确定性数据分析与学习[D];中国科学技术大学;2016年
5 曹科研;不确定数据的聚类分析与异常点检测算法[D];东北大学;2014年
6 李佳佳;不确定数据的概率近邻查询处理技术研究[D];东北大学;2014年
7 徐传飞;面向多维不确定数据的若干查询处理关键技术的研究[D];东北大学;2013年
8 罗昌银;位置及文本相关查询处理及验证策略研究[D];华中科技大学;2015年
9 张星;不确定数据和代价敏感学习研究[D];西北农林科技大学;2017年
10 冯剑红;基于众包的数据查询处理关键技术研究[D];清华大学;2015年
中国硕士学位论文全文数据库 前10条
1 杨健;基于编辑距离字符串Top-k相似性搜索算法的研究[D];哈尔滨工业大学;2015年
2 孙祥学;基于正交区域Top-K查询的Why-Not问题研究[D];华中科技大学;2016年
3 张栋梁;Top-k文档检索算法研究[D];西安电子科技大学;2017年
4 张静;基于位置的个性化Top-k轨迹搜索[D];燕山大学;2017年
5 丁兴艳;异构图中的Top-K兴趣子图匹配算法研究[D];辽宁大学;2017年
6 吴倩;基于投影表结构的Top-k高效用模式挖掘算法的研究及并行化处理[D];华中师范大学;2017年
7 刘玉静;针对K-匿名数据的top-k查询问题研究[D];东华大学;2014年
8 姜明俊;基于Top-k的空间数据查询方法研究[D];哈尔滨工程大学;2014年
9 许岩;基于频繁子图的大规模动态图约束top-k查询方法研究[D];辽宁大学;2017年
10 黎玲利;XML数据流上的TOP-K关键字查询处理[D];哈尔滨工业大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978