收藏本站
《复旦大学》 2007年
收藏 | 手机打开
二维码
手机客户端打开本文

支持最近邻查找的高维空间索引

张军旗  
【摘要】: 在图像、生物信息、医学成像、时间序列等领域需要对大数据集进行相似性查询。通过特征转换将数据对象特征映射为高维向量空间的特征向量,把相似性查询转换为向量空间的最近邻查询,即给定查询数据q及整数k,从数据库中找出距离q最近的k个数据。为了提高查询效率,研究者提出各种索引结构管理特征向量。这些索引结构在维数升高时性能会急剧下降,即“维灾”。针对高维数据索引结构的现状,我们在该领域进行了深入研究,取得了一定的成果。 为了提高索引的检索效率,增强对高维的承受力,提出了多个具有良好性能的索引结构,并提供了利用这些高维索引支持图像相关反馈的方法。 主要内容如下: 首先,为了对聚类与查询性能之间的关系进行理论分析。提出一种新的基于聚类分解的高维度量空间B~+-tree索引,它通过聚类分解对数据进行更细致的划分来减少查询的数据访问。对聚类与查询代价的关系进行了讨论,通过查询代价模型给出了最小查询代价条件下的聚类分解数目等的理论计算公式。实验显示提出的索引方法明显优于iDistance等度量空间索引,最优聚类分解数的估计接近实际最优查询时所需的聚类参数。 然后,为了进一步改进高维数据库查询的效率。提出一种基于查询采样进行数据分布估计的方法,并在此基础上提出了一种支持最近邻查询的混合索引,即针对多媒体数据分布的不均匀性,有选择的使用树状索引和顺序扫描技术,建立统一的索引结构。建立混合索引的具体步骤为:首先通过聚类分解分割数据并建立树状索引;然后使用查询采样算法,对数据实际分布进行估计;最后根据数据分布的特性,把稀疏数据从树状索引中剪裁出来进行基于顺序扫描策略的索引,而分布比较密集的数据仍然保留在树状索引中。在五个真实的图像数据集上进行了充分的实验,结果显示提出的索引方法明显优于iDistance等度量空间索引,在维数达到三百多维时查询效率仍高于顺序扫描。实验结果还证明提出的查询采样算法在采样数据量仅为N~(1/2)(N为数据量)的情况下就可以获得的满足索引需要的分布估计结果。 最后,为了使得提出的索引结构能够在图像检索中应用,提出了利用高维索引支持用户相关反馈的方法。
【学位授予单位】:复旦大学
【学位级别】:博士
【学位授予年份】:2007
【分类号】:TP393.01

【引证文献】
中国期刊全文数据库 前1条
1 章德斌;曹丽君;梁永欣;张忠平;;支持k近邻查询的X*树索引结构[J];计算机工程与应用;2011年05期
中国博士学位论文全文数据库 前1条
1 张一飞;基于内容的医学图像检索关键技术研究[D];东北大学;2009年
中国硕士学位论文全文数据库 前1条
1 郭娟;基于自适应聚类距离边界的高维检索算法研究[D];浙江工业大学;2012年
【参考文献】
中国期刊全文数据库 前4条
1 周学海,李曦,龚育昌,赵振西,徐海燕;多维向量动态索引结构研究[J];软件学报;2002年04期
2 冯玉才,曹奎,曹忠升;一种支持快速相似检索的多维索引结构[J];软件学报;2002年08期
3 叶航军,徐光祐;基于矢量量化的快速图像检索[J];软件学报;2004年05期
4 周项敏,王国仁;基于关键维的高维空间划分策略[J];软件学报;2004年09期
【共引文献】
中国期刊全文数据库 前10条
1 刘润涛;郝忠孝;;一种极小化交叠的空间索引结构——MOSI-树[J];北京工业大学学报;2010年10期
2 李晓方;武仲科;樊亚春;周明全;柳勇光;;一种新的用于三维检索的快速邻域搜索方法[J];北京师范大学学报(自然科学版);2011年05期
3 胡波;;空间索引技术及其应用研究[J];赤峰学院学报(自然科学版);2009年11期
4 单国慧;邓伟群;华一新;庞园园;;IMPWPT运动目标时空索引的设计与实现[J];测绘科学;2011年03期
5 左小清;李清泉;;一种面向道路网3维数据的空间索引方法[J];测绘学报;2006年01期
6 周项敏,赵相国,王国仁;通过精练查询空间改善高维数据的相似性查询[J];东北大学学报;2005年09期
7 阎超德,赵学胜;GIS空间索引方法述评[J];地理与地理信息科学;2004年04期
8 郑坤;朱良峰;吴信才;刘修国;李菁;;3D GIS空间索引技术研究[J];地理与地理信息科学;2006年04期
9 何珍文;郑祖芳;刘刚;吴冲龙;;动态广义表空间索引方法[J];地理与地理信息科学;2011年05期
10 赵元;张新长;康停军;;多叉树蚁群算法及在区位选址中的应用研究[J];地理学报;2011年02期
中国重要会议论文全文数据库 前5条
1 涂丹丹;向琳;左德承;杨孝宗;;移动对象数据库管理技术[A];黑龙江省计算机学会2007年学术交流年会论文集[C];2007年
2 周项敏;王国仁;于戈;;度量空间中索引方法的研究[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
3 于利胜;张倩;王珊;张延松;;RR_tree:多维索引的关系模式实现新方法[A];第26届中国数据库学术会议论文集(A辑)[C];2009年
4 李佳佳;王波涛;陈东;喜连川优;王国仁;;分组移动对象的区域偏离监视算法[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年
5 崔江涛;肖斌;詹海生;;面向高维数据集的近邻顺序查询方法[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年
中国博士学位论文全文数据库 前10条
1 张泽宝;空间数据库的索引技术研究[D];哈尔滨工程大学;2009年
2 许浒;时空数据库聚集查询算法研究[D];华中科技大学;2010年
3 徐红波;基于空间填充曲线高维空间查询算法研究[D];哈尔滨理工大学;2010年
4 刘润涛;基于序的空间数据索引及查询算法研究[D];哈尔滨理工大学;2009年
5 董大凡;基于度量空间的P2P网络相似搜索技术研究及应用[D];南开大学;2010年
6 张翀;基于对等计算的分布式时空索引技术研究[D];国防科学技术大学;2011年
7 郑毅;LIDAR数据的城区建筑物提取技术研究[D];华中科技大学;2011年
8 何云峰;视频内容组织与索引技术研究[D];华中科技大学;2011年
9 黄健美;高维数据索引及其查询处理技术研究[D];东北大学;2009年
10 曹玉东;图像检索中的特征表示和索引方法的研究[D];北京邮电大学;2011年
中国硕士学位论文全文数据库 前10条
1 刘利军;面向港口调度管理的时空数据库索引技术研究[D];哈尔滨工程大学;2010年
2 路瑞强;基于均值和标准差的空间索引方法研究[D];哈尔滨工程大学;2010年
3 修建新;基于VAR~*树的反向最近邻查询技术的研究[D];哈尔滨理工大学;2010年
4 于波;分布式并行空间索引机制的研究[D];哈尔滨理工大学;2010年
5 刘燊;空间网络环境下基于Voronoi图的时空轨迹查询研究[D];浙江大学;2011年
6 张栋;移动对象反向k近邻查询研究[D];浙江大学;2011年
7 陈功照;城市地理信息检索服务研究[D];福建师范大学;2010年
8 赵洁;基于对象语义的图像检索[D];杭州师范大学;2010年
9 高海燕;无线传感器网络时间同步优化算法的研究[D];太原理工大学;2011年
10 李彬;医学影像资源检索平台中索引技术研究[D];沈阳工业大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 冯建辉;杨玉静;;基于灰度共生矩阵提取纹理特征图像的研究[J];北京测绘;2007年03期
2 赵娟;;基于Gabor小波和支持向量机的储粮害虫图像分割[J];电脑与信息技术;2007年03期
3 裴继红,范九伦,谢维信;聚类中心的初始化方法[J];电子科学学刊;1999年03期
4 王开军;;基于降维的聚类可视化技术[J];福建师范大学学报(自然科学版);2011年04期
5 刘金义,刘爽;Voronoi图应用综述[J];工程图学学报;2004年02期
6 王爱民,沈兰荪;图像分割研究综述[J];测控技术;2000年05期
7 王惠锋 ,孙正兴 ,王箭;语义图像检索研究进展[J];计算机研究与发展;2002年05期
8 徐志洁;王来生;杨丽明;;基于结合空间信息的FCM聚类的分水岭图像分割[J];计算机工程与应用;2008年11期
9 张强;赵政;;Z树:一个高维度的数据索引结构[J];计算机工程;2007年15期
10 吴洪;卢汉清;马颂德;;基于内容图像检索中相关反馈技术的回顾[J];计算机学报;2005年12期
中国博士学位论文全文数据库 前4条
1 周杰;医学图像特征的自动获取与基于内容检索的方法研究[D];第一军医大学;2004年
2 董道国;高维数据索引结构研究[D];复旦大学;2005年
3 崔江涛;高维索引技术中向量近似方法研究[D];西安电子科技大学;2005年
4 梁俊杰;大规模图像库的高维索引技术研究[D];华中科技大学;2007年
中国硕士学位论文全文数据库 前2条
1 金丰华;基于内容的医学图像检索[D];东南大学;2003年
2 任瑞娟;一种改进的基于LLE图像滤波的研究[D];西安电子科技大学;2008年
【二级参考文献】
中国期刊全文数据库 前1条
1 龚育昌,王卫红;e—B~+树:面向多用户数据库系统优化的索引技术[J];软件学报;1996年05期
【相似文献】
中国期刊全文数据库 前10条
1 刘星毅;;GBNN-填充缺失属性值算法[J];微计算机信息;2007年15期
2 郭艳红;邓贵仕;雒春雨;;基于信任因子的协同过滤推荐算法[J];计算机工程;2008年20期
3 徐红波;郝忠孝;;基于空间填充曲线网格划分的最近邻查询算法[J];计算机科学;2010年01期
4 熊君丽;;高维空间下基于密度的离群点探测算法实现[J];现代电子技术;2006年15期
5 李晓峰;王强;;改进的“最近邻”航迹相关算法研究[J];电子科技;2008年07期
6 刘希洋;赵建民;徐慧英;朱信忠;;基于改进型蚁群算法求解车辆路径优化问题的研究[J];计算机时代;2010年03期
7 尹柱平;李幼平;;基于用户角色与行为的协同过滤推荐算法[J];桂林电子科技大学学报;2011年03期
8 邹智荣;蔡自兴;陈白帆;;移动机器人SLAM中一种混合数据关联方法[J];小型微型计算机系统;2011年07期
9 赵春媛;移动对象数据库中的最近邻查询方法[J];油气田地面工程;2004年08期
10 马荣华;何增友;;从GIS数据库中挖掘空间离群点的一种高效算法[J];武汉大学学报(信息科学版);2006年08期
中国重要会议论文全文数据库 前10条
1 管猛;张剡;柏文阳;;基于地表的连续可见最近邻查询方法[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
2 张晓峰;王丽珍;肖清;赵丽红;;基于概念划分的连续最近邻查询研究[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
3 盛梅红;沙朝锋;宫学庆;嵇晓;周傲英;;道路网络环境中的多对象最近邻查询[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
4 刘先康;梁菁;任杰;蒋光庆;;修正最近邻模糊分类算法在舰船目标识别中的应用[A];全国第4届信号和智能信息处理与应用学术会议论文集[C];2010年
5 樊晓平;廖志芳;陈宇宙;瞿志华;;大肠癌组织自体荧光光谱数据处理新方法研究[A];第二十六届中国控制会议论文集[C];2007年
6 李传文;谷峪;李芳芳;于戈;;一种障碍空间中不确定对象的连续最近邻查询方法[A];NDBC2010第27届中国数据库学术会议论文集A辑一[C];2010年
7 刘俊岭;孙焕良;;多维度量空间中发现相互kNN(英文)[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年
8 李兰芳;刘开培;罗欢;;最近邻模式识别法在车载FSK信号检测中的应用[A];首届信息获取与处理学术会议论文集[C];2003年
9 周波;石爱国;;混沌序列最近邻多步预报算法[A];全国第五届信号和智能信息处理与应用学术会议专刊(第一册)[C];2011年
10 李雪;左万利;赫枫龄;王英;;传统Item-Based协同过滤推荐算法改进[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
中国重要报纸全文数据库 前6条
1 本报记者 姚琳;科学与追求相伴[N];广西日报;2011年
2 本报特约撰稿人 陈丹;“哈勃”为观察宇宙打开一扇新窗口[N];大众科技报;2002年
3 ;北外举办首届中国爱尔兰研究研讨会[N];中华读书报;2007年
4 何冰 辛专 ;湖南平江仍有私塾[N];北京日报;2003年
5 记者 姚琳;广西两位专家入选国家“千人计划”[N];广西日报;2011年
6 中国人民大学信息学院 潘晓;既要服务也要保护隐私[N];中国计算机报;2008年
中国博士学位论文全文数据库 前10条
1 孙冬璞;时空数据库多类型最近邻查询的研究[D];哈尔滨理工大学;2010年
2 张得天;时间依赖路网高效k最近邻查询混搭机制的研究[D];中国科学技术大学;2014年
3 李艳红;路网中移动对象最近邻及反向最近邻查询处理研究[D];华中科技大学;2011年
4 陈鹏;面向情景感知计算的时空数据管理、查询、分析与相关算法研究[D];华东师范大学;2013年
5 李支成;时空数据库复杂查询方法研究[D];华中科技大学;2012年
6 刘建伟;流数据查询系统结构及模式查询算法的研究[D];东华大学;2005年
7 万星;水电科学中若干新方法应用研究[D];四川大学;2006年
8 冷亚军;协同过滤技术及其在推荐系统中的应用研究[D];合肥工业大学;2013年
9 李聪;电子商务推荐系统中协同过滤瓶颈问题研究[D];合肥工业大学;2009年
10 徐振海;极化敏感阵列信号处理的研究[D];国防科学技术大学;2004年
中国硕士学位论文全文数据库 前10条
1 王双峰;基于平面线段的反向最近邻查询问题研究[D];哈尔滨理工大学;2010年
2 张晓峰;一种基于概念划分的不确定连续最近邻查询[D];云南大学;2010年
3 王丹丹;时空道路网最近邻查询技术[D];哈尔滨理工大学;2011年
4 王恒;基于路网的最近邻查询方法的研究[D];天津理工大学;2012年
5 张旭;面向不确定图的k最近邻查询[D];华东师范大学;2012年
6 李承芳;不确定数据上的方向最近邻查询研究[D];燕山大学;2012年
7 杜颖;不确定数据上的最近邻查询方法研究[D];燕山大学;2012年
8 俞恒舟;反向最近邻联合查询技术的研究[D];杭州电子科技大学;2013年
9 管莹莹;基于路网的近邻查询算法研究[D];天津理工大学;2013年
10 黄婷;移动数据广播环境下不确定数据概率最近邻查询研究[D];华中科技大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026