收藏本站
《浙江大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

海量图像语义分析和检索技术研究

李晓燕  
【摘要】: 随着互联网的快速发展、各种数字化设备的普及以及大规模存储设备的不断改进,全世界以各种形式产生的数字图像的数量正在以惊人的速度增长。大量使用的数字图像构成了娱乐、商业、教育等应用的基础,出现了许多大型图像数据库。海量图像信息的管理、检索及其应用得到越来越多的关注和研究,如何快速、有效地检索迅速激增的可视信息已成为一个亟待解决的问题。 基于内容的图像检索技术(CBIR)利用图像的客观视觉特征进行图像的相似匹配检索,作为一种自动的客观的反映图像内容的检索方式,在上世纪90年代被提出并逐渐蓬勃发展起来。然而,图像低层的视觉特征内容难以表达用户的高层语义理解,即存在“语义鸿沟”,这种底层内容与高层用户理解之间的差异性是目前CBIR技术难以被广泛用户所接受的根本原因。另外图像低层视觉特征的提取效率以及基于视觉高维特征的检索技术的局限性(“维度灾难”)也使得CBIR技术难以直接应用于海量图像数据的检索。基于语义的图像检索,从图像内容理解出发,着眼于提取和分析用户对图像的理解信息,研究结合高层语义理解信息进行检索,是CBIR发展的一个方向。由于图像语义信息本身的复杂性、主观性等特点,在语义提取、表达、比较上都存在技术难点,因此,图像语义检索目前仍是多媒体信息检索领域一个重要且极具挑战性的研究课题。 本文着重解决海量图像数据语义检索的核心问题,研究特征关联分析、语义知识描述、语义相似度量、语义融合检索机制以及查询理解、检索结果聚类等一系列关键技术,并集成以上系统性研究成果,实现新型、完整、高效的海量图像语义检索原型系统。本文工作的主要贡献和创新总结如下: (1)深入探究“语义鸿沟”的原因、表现形式,从层次语义提取入手,以语义分析为出发点,提出一种面向海量图像数据库的语义层次模型:该模型结合词汇学知识、领域知识、以及用户反馈信息,以层次化结构反映了“语义鸿沟”在不同层次上的表现形式,其优点概括如下:a)通过层次语义关系既可以清晰表达不同的语义粒度,也可以表达不同语义之间的关联,丰富语义层次和范围;b)语义的复杂性和多样性导致直接获取语义十分困难,自顶向下层次化语义构建符合人们的认知过程,更有效的获得多方位多粒度的图像语义。 (2)研究融合语义非测度(non-metric)空间索引和视觉测度(metric)空间索引的检索机制:首先提出了一种综合度量图像相似程度的“语义相似度量”准则,从不同语义层次(视觉内容、元语义、高级语义与图像语义类别)探讨了图像语义的相似性问题。基于此,设计了一种快速高效的二阶段相似查询索引机制。其优点在于:a)以文本语义为主,辅以视觉特征综合考虑的相似度量准则,更好地获得用户对图像语义相似匹配的查询理解;b)两阶段相似检索算法结合文本语义和视觉特征分阶段比较过滤,大大缩小了查询检索范围,不仅在性能上相对于传统的顺序索引算法有指数级提高,同时也大幅提高查询准确度。 (3)基于以上理论研究成果,实现高效可扩展的支持多模式用户查询的海量图像语义检索原型系统-HISA:系统集成图像特征获取、图像语义层次分析、图像语义模型建立、语义相似度量、融合索引机制等研究技术成果,支持基于关键字、图像例子、以及二者结合的查询,支持动态层次分类目录维护和浏览,提供图像自动标注等功能以完善现有的检索功能。并在此原型系统平台基础上用大量真实世界的图像数据对本文提出的检索算法进行全面的评价分析,包括算法的各项参数调优测试,以及与传统检索算法的效率比较和实例分析。实验结果证明了本文提出的检索算法具有高可扩展性、在性能上和准确度上相对传统检索算法有显著改进。 (4)针对目前互联网协作标签(tag)的应用背景,进一步研究海量图像共享资源基于tag关联的语义理解和分析,提出了一种结合tag语义关联信息分析的图像结果聚类技术,以及基于此的迭代聚类检索模式-Pivot Browsing:该查询模式融合查询扩展机制、tag聚类算法、视觉特征重排、以及用户反馈等关键技术,提供全新的灵活友好的图像信息导航和用户交互方式,使用户能够方便地浏览大量的纷繁复杂的查询返回结果,快速准确地找到想要的目标,以及进行信息发现。其中,对于关键技术-tag聚类,本文采用自顶向下的启发式的图划分算法实现快速、高效的结果聚类,满足在线查询的性能需求。该检索模式不仅仅适用于图像,也能应用于更一般的tag空间信息检索的模式,有很好的应用前景。 (5)将基于tag的图像结果聚类迭代检索技术系列研究纳入之前海量图像语义检索的研究框架下,实现新颖的带tag图像语义检索原型系统-PivotBrowser,并对基于tag迭代聚类的图像语义检索技术应用展开全面的分析:该原型系统支持多种用户查询操作和反馈形式,利用用户的反馈信息去矫正、改进或者进一步细化查询。通过大量真实的用tag描述的图像数据集进行定性的实例分析和定量的性能和效率评价,验证了本文提出的基于tag迭代聚类的图像语义检索模式的有效性,特别是能一定程度上解决tag空间的不一致性和多义性等问题,聚类效果理想,极大的提高了查询准确率和用户满意度。
【学位授予单位】:浙江大学
【学位级别】:博士
【学位授予年份】:2009
【分类号】:TP391.3

【引证文献】
中国期刊全文数据库 前1条
1 侯洁;;基于DCT域特征和Bayes语义分类的教学图像资源库检索技术[J];新疆师范大学学报(自然科学版);2012年04期
中国博士学位论文全文数据库 前1条
1 王大永;感知视频指纹算法研究[D];上海交通大学;2012年
中国硕士学位论文全文数据库 前2条
1 安福定;基于高层语义的图像检索研究[D];西北农林科技大学;2011年
2 黄勇辉;协同图像检索与标注[D];重庆大学;2012年
【参考文献】
中国期刊全文数据库 前1条
1 张华;张淼;孟祥增;;基于外部信息源的WWW图像语义提取研究[J];计算机科学;2006年04期
【共引文献】
中国期刊全文数据库 前10条
1 龚书;瞿有利;田盛丰;;基于语义的自动文摘研究综述[J];北京交通大学学报;2009年05期
2 张小平;周雪忠;黄厚宽;冯奇;陈世波;焦宏官;;一种改进的LDA主题模型[J];北京交通大学学报;2010年02期
3 李轶鲲;闫浩文;孙建国;;分步式卫星图像检索[J];测绘科学;2009年06期
4 陶超;谭毅华;彭碧发;田金文;;一种基于概率潜在语义模型的高分辨率遥感影像分类方法[J];测绘学报;2011年02期
5 张振宇;;稳健的多支持向量机自适应提升算法[J];大连交通大学学报;2010年02期
6 李金龙;王煦法;;基于散布矩阵分析的相关反馈算法及应用[J];电路与系统学报;2008年05期
7 陆建江,徐宝文,黄刚石,张亚非;基于矩阵降维的典型用户文件发现方法(英文)[J];Journal of Southeast University(English Edition);2003年03期
8 于芳;陈冬玲;王大玲;于戈;鲍玉斌;;基于PLSA的面向用户的网络搜索(英文)[J];Journal of Southeast University(English Edition);2007年03期
9 李燕;罗斌;;基于受限随机选择和检索结果集的相关反馈[J];电脑知识与技术;2008年14期
10 何友松;吴炜;陈默;杨晓敏;罗代升;;基于Bag of Features算法的车辆图像识别研究[J];电视技术;2009年12期
中国重要会议论文全文数据库 前8条
1 ;Spherical Credibilistic Clustering Algorithm for Text Data[A];第一届中国智能计算大会论文集[C];2007年
2 ;Obtaining Profiles Based on Localized Non-negative Matrix Factorization[A];Proceedings of the First Conference on Web Information System and Applications[C];2004年
3 庄连生;唐克坦;马启荣;俞能海;;基于注意力模型的PLSA目标学习算法[A];第十四届全国图象图形学学术会议论文集[C];2008年
4 汤伯超;蔡念;程昱;潘晴;;基于颜色量化矩阵的SIFT特征描述方法[A];第十五届全国图象图形学学术会议论文集[C];2010年
5 梁莘燊;刘莹;;基于效能的学术资源推荐算法研究[A];第六届(2011)中国管理学年会——信息管理分会场论文集[C];2011年
6 李军;李涓子;;新闻专题内子话题划分[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
7 王素格;杨安娜;;一种混合语言信息的词语搭配倾向判别方法[A];第五届全国信息检索学术会议论文集[C];2009年
8 宋晓雷;王素格;李红霞;;基于概率潜在语义分析的词汇情感倾向判别[A];第五届全国青年计算语言学研讨会论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 梁洪;基于内容的医学图像检索及语义建模关键技术研究[D];哈尔滨工程大学;2010年
2 任桢;图像分类任务的关键技术研究[D];哈尔滨工程大学;2010年
3 徐森;文本聚类集成关键技术研究[D];哈尔滨工程大学;2010年
4 李桃迎;交通领域中的聚类分析方法研究[D];大连海事大学;2010年
5 邬俊;基于交互式语义推理的图像检索算法研究[D];大连海事大学;2010年
6 丁轶群;基于概率生成模型的文本主题建模及其应用[D];浙江大学;2010年
7 甘良志;核学习算法与集成方法研究[D];浙江大学;2010年
8 杨国鹏;基于机器学习方法的高光谱影像分类研究[D];解放军信息工程大学;2010年
9 江悦;场景图像内容表述和分类研究[D];国防科学技术大学;2010年
10 孙挺;三维模型特征提取技术研究[D];西北大学;2011年
中国硕士学位论文全文数据库 前10条
1 娄铮铮;sIB算法在图像无监督分类中的应用研究[D];郑州大学;2010年
2 孟庆海;基于社会书签的个性化查询词扩展技术研究[D];哈尔滨工程大学;2010年
3 赵八一;基于概率图模型的图像分类和注释[D];大连理工大学;2010年
4 刘晓飞;基于相关反馈的图像检索研究[D];大连理工大学;2010年
5 冯元佶;基于图的半监督学习的改进研究[D];湘潭大学;2010年
6 刘义红;基于Bayes统计学习的语义图像检索研究[D];华东师范大学;2010年
7 钱建军;基于语义的唐卡图像标注与检索研究[D];西北民族大学;2010年
8 吴昊;网络论坛中的用户主题讨论建模及应用[D];浙江大学;2011年
9 吴冬夏;基于小波分解和颜色信息熵的浮游生物图像识别技术研究[D];电子科技大学;2010年
10 刘森;概率潜在语义分析及其应用[D];浙江大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 骆剑承,王钦敏,马江洪,周成虎,梁怡;遥感图像最大似然分类方法的EM改进算法[J];测绘学报;2002年03期
2 高静静;张菁;沈兰荪;;视觉注意力模型的改进算法[J];电子测量技术;2008年03期
3 黄祥林,宋磊,沈兰荪;基于DCT压缩域的图像检索方法[J];电子学报;2002年12期
4 田媚;罗四维;廖灵芝;;基于what和where信息的目标检测方法[J];电子学报;2007年11期
5 黄祥林,沈兰荪;基于DCT压缩域的纹理图像分类[J];电子与信息学报;2002年02期
6 王惠锋 ,孙正兴 ,王箭;语义图像检索研究进展[J];计算机研究与发展;2002年05期
7 张治国;刘怀亮;马志辉;张毅;赵娜;;基于高层语义的视频检索研究[J];计算机工程与应用;2007年18期
8 李志欣;施智平;李志清;史忠植;;图像检索中语义映射方法综述[J];计算机辅助设计与图形学学报;2008年08期
9 朱兴全,张宏江,刘文印,吴立德;iFind:一个结合语义和视觉特征的图像相关反馈检索系统[J];计算机学报;2002年07期
10 付岩,王耀威,王伟强,高文;SVM用于基于内容的自然图像分类和检索[J];计算机学报;2003年10期
中国博士学位论文全文数据库 前6条
1 任明艺;时空联合的视频运动目标分割技术研究[D];电子科技大学;2010年
2 高赞;基于内容的视频分析关键技术[D];北京邮电大学;2011年
3 张永;基于模糊支持向量机的多类分类算法研究[D];大连理工大学;2008年
4 吴青;基于优化理论的支持向量机学习算法研究[D];西安电子科技大学;2009年
5 芮晓光;真实世界环境下的自动图像标注方法研究[D];中国科学技术大学;2010年
6 邱兆文;面向用户的Web图像检索关键技术研究[D];哈尔滨工业大学;2009年
中国硕士学位论文全文数据库 前4条
1 张文哲;基于内容的视频分析与检索方法研究[D];西北工业大学;2004年
2 侯卫芹;基于内容的视频检索关键技术研究[D];燕山大学;2006年
3 姜千;基于ROC曲线下面积的多角度入侵检测系统评估方法研究[D];吉林大学;2010年
4 林川;基于图像遮挡分析的帧率上变换[D];上海交通大学;2010年
【二级引证文献】
中国硕士学位论文全文数据库 前1条
1 尹秀珍;低分辨率苹果果实病害图像识别方法研究[D];西北农林科技大学;2011年
【二级参考文献】
中国期刊全文数据库 前5条
1 刘怡,于沛;基于“知网”的新闻图像检索方法[J];河南师范大学学报(自然科学版);2003年02期
2 王惠锋 ,孙正兴 ,王箭;语义图像检索研究进展[J];计算机研究与发展;2002年05期
3 孟祥增,钟义信,白成杰;基于属性表征和信息测度的图像检索[J];山东师大学报(自然科学版);2004年01期
4 曹莉华,胡晓峰;基于WWW的多媒体信息检索[J];微型电脑应用;1998年04期
5 孔桃,赖茂生;基于语义联想的中文图像搜索引擎——构想与实验[J];现代图书情报技术;2002年03期
【相似文献】
中国期刊全文数据库 前10条
1 ;关于推荐2008年CCF优秀博士学位论文的通知[J];软件学报;2008年08期
2 ;关于推荐2008年CCF优秀博士学位论文的通知[J];微电子学与计算机;2008年08期
3 ;关于推荐2008年CCF优秀博士学位论文的通知[J];小型微型计算机系统;2008年08期
4 ;关于推荐2009年CCF优秀博士学位论文的通知[J];计算机应用;2009年08期
5 ;关于推荐2009年CCF优秀博士学位论文的通知[J];微电子学与计算机;2009年08期
6 ;关于推荐2009年CCF优秀博士学位论文的通知[J];计算机应用;2009年09期
7 ;关于推荐2009年CCF优秀博士学位论文的通知[J];微电子学与计算机;2009年09期
8 ;关于推荐2009年CCF优秀博士学位论文的通知[J];计算机应用研究;2009年08期
9 ;关于推荐2009年CCF优秀博士学位论文的通知[J];小型微型计算机系统;2009年08期
10 ;关于推荐2009年CCF优秀博士学位论文的通知[J];计算机科学;2009年08期
中国重要会议论文全文数据库 前10条
1 胡敬;武港山;;基于语义特征的风景图像检索[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年
2 马克平;;国内近年来生物多样性方面出版物简介(续Ⅴ)[A];中国生物多样性保护与研究进展Ⅵ—第六届全国生物多样性保护与持续利用研讨会论文集[C];2004年
3 ;关于推荐2009年CCF优秀博士学位论文的通知[A];2009年全国开放式分布与并行计算机学术会议论文集(下册)[C];2009年
4 ;关于推荐2009年CCF优秀博士学位论文的通知[A];2009年全国开放式分布与并行计算机学术会议论文集(上册)[C];2009年
5 芮晓光;袁平波;何芳;俞能海;;一种新颖的自动图像标注方法[A];第十三届全国图象图形学学术会议论文集[C];2006年
6 严芬;李才伟;;一种自适应的商标图像分层检索算法[A];第十四届全国图象图形学学术会议论文集[C];2008年
7 朱松豪;刘允才;;基于语义相似性的自动图片标注研究[A];第四届和谐人机环境联合学术会议论文集[C];2008年
8 骆雄武;万小军;杨建武;吴於茜;;基于后缀树的Web检索结果聚类标签生成方法[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
9 刘冰;;沈阳农业大学博士学位论文引文分析[A];西部大开发 科教先行与可持续发展——中国科协2000年学术年会文集[C];2000年
10 刘鹏;王作英;;多模式汉语连续语音识别中视觉特征的提取和应用[A];第七届全国人机语音通讯学术会议(NCMMSC7)论文集[C];2003年
中国重要报纸全文数据库 前10条
1 田红 记者 胥茜;论文无创新 一票能否决[N];中国教育报;2005年
2 记者 欧阳春艳;全国百篇优秀博士学位论文评选揭晓[N];长江日报;2005年
3 王握文周珞晶 吴丹;11篇全国优秀博士学位论文的启示[N];科技日报;2008年
4 本报特约通讯员  汤宏;播撒创新的种子[N];解放军报;2006年
5 学位办;研究生院奖励优秀博士学位论文[N];中国社会科学院院报;2008年
6 徐宜军;哈工大博士学位论文实行匿名评议制度[N];新华每日电讯;2005年
7 周玲玲;2007年全国优秀博士学位论文评选结果公布[N];中国教育报;2007年
8 王曼;充分利用院图书馆特色文献信息资源[N];中国社会科学院院报;2005年
9 记者 王坤宁;国图馆藏博士学位论文陆续结集[N];中国新闻出版报;2007年
10 李大庆;中科院为今年留院博士启动研究工作[N];科技日报;2006年
中国博士学位论文全文数据库 前10条
1 李晓燕;海量图像语义分析和检索技术研究[D];浙江大学;2009年
2 吴磊;视觉语言分析:从底层视觉特征表达到语义距离学习[D];中国科学技术大学;2010年
3 刘慧;医学图像处理中的分割与检索关键技术研究[D];山东大学;2008年
4 黄元元;基于视觉特征的图像检索技术研究[D];南京理工大学;2003年
5 刘为;基于内容图像检索关键技术的研究[D];吉林大学;2010年
6 栾悉道;多媒体数据语义建模及应用研究[D];国防科学技术大学;2008年
7 康锋;基于视觉特征的早期农林火灾检测方法的基础研究[D];浙江大学;2010年
8 王楠;基于多视觉特征融合的后方车辆检测技术研究[D];东北大学 ;2009年
9 何儒汉;Web图像的多模融合检索研究[D];华中科技大学;2007年
10 白亮;本体支持的视频情报分析方法与技术研究[D];国防科学技术大学;2008年
中国硕士学位论文全文数据库 前10条
1 金海军;基于语义特征的图像检索研究[D];哈尔滨工业大学;2006年
2 马桔;图像检索算法的研究[D];复旦大学;2008年
3 刘宝全;CBIR关键技术研究[D];山东大学;2006年
4 张立磊;山地地区城市公园地形设计研究[D];西南大学;2008年
5 徐航;基于视觉特征和语义特征协同加工的设计问题求解方法[D];湖南大学;2008年
6 何正华;基于视觉特征的BBS用户发言信息抽取技术研究[D];华东师范大学;2009年
7 韩大志;基于视觉特征的三维网格数字水印算法[D];山东大学;2009年
8 刘洁敏;图像检索中的浅语义鸿沟词库构建方法研究[D];上海交通大学;2010年
9 桑小川;基于语义的图像检索技术研究[D];西安电子科技大学;2007年
10 田春娥;基于视觉特征的图像检索的研究与实现[D];重庆大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026