收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

视觉语言分析:从底层视觉特征表达到语义距离学习

吴磊  
【摘要】: 随着互联网的发展,网络图像资源与日剧增,伴随而来的是围绕着网络图像为对象的众多研究课题,比如图像标注、图像检索、图像搜索结果聚类、重复图像检测、图像标签推荐、图像索引、图像分类、物体检测等。这些相关研究都需要从根本上解决一个问题,即视觉语义的表达和度量。因此该问题成为了网络图像研究的一个基本和核心的问题,也是目前学术界和工业界的重要研究方向。 目前来看,视觉语义的表达和度量主要包含四个基本问题,即图像表达、图像相似度量、概念表达和概念相关度量。图像表达是指图像的特征以及特征的组织形式。图像特征可以生成有一定分辨能力的视觉单词、视觉短语。图像的表达形式也是多种多样,比如有忽略特征间关系的,有考虑在一幅图像中空间关系的或者共发频率的,等等。图像的距离度量是在特定图像表达之上通过机器学习的方法得到的。选择不同的图像特征和图像表达,图像的距离度量或许不一样。同样,概念表达是指概念的特征及其组织形式。概念的特征是以众多包含某个概念的图像集合上提取的视觉特征为基础建立的模型,它的通常形式是某个视觉单词或者短语出现的频率、共发频率、条件分布、或者转移概率。目前有很多概念建模的方法,比如二维隐马尔可夫模型、条件随机场模型等。本文的后一部分章节将详细讨论我们提出的视觉语言模型,保语义单词包模型,并和其他各种模型进行比较。概念距离度量是建立在特定的概念表达模型或者文本语义关联之上的概念之间的相关性度量。目前常用的度量方法包括词网距离、谷歌距离、以及我们提出的Flickr距离。 本文提出了解决视觉语义的表达和度量的一系列模型和方法,既有底层特征的创新,也有高层语义模型和距离度量方面的创新。发表的工作涉及了以上提及的四个方面挑战,为视觉语义的表达和度量相关研究提供了有意义的探索。具体来说本文的成果和创新之处包括以下几点: 1.本文提出了视觉语言模型,减小了视觉领域和文本领域的语义分析的鸿沟。我们认为图像的局部特征和文本中的单词一样是满足一定的语法顺序的。利用计算这些局部特征在空间位置上的条件分布来表达这种语法顺序,就可以近似的估测图像中的视觉语义。因为该模型和文本分析中的自然语言模型形式上类似,因此很多文本分析中的方法可以很容易在该模型中推广。实验结果表明该模型效果和很多复杂的模型相近,但运算速度远远超过其它模型,可以很好的应用在大规模数据上。 2.本文提出了保语义单词包模型来处理语义鸿沟问题。我们提出了一种语义鸿沟度量方法,并通过选择从视觉特征到视觉单词的映射空间来最小化语义鸿沟,从而使得我们产生的词典可以有更好的分辨能力。实验也证明了利用最小化语义鸿沟方法生成的词典在图像标注问题中效果明显优于其他方法。 3.本文提出了概率相关成分分析方法用来改进图像相似度量。概率相关成分分析将图像之间的边信息表达为概率的形式而不是传统的非0即1的二进制表达,提高了图像距离学习的精度。网络图像标注的应用显示出该方法比传统的距离学习方法更加高效和准确。 4.本文提出了基于视觉特征的概念相关性度量方法:Flickr距离。该距离可以用来度量两个概念的不相关度。我们认为相关的概念同时出现在同一幅图像中概率比较大。因此计算和两个概念分别相关的图像的视觉语言模型的差别,就可以有效地度量概念之间的不相关度。和其它基于文本的概念距离度量方法不同,Flickr距离应用了概念相关的图片信息,从视觉角度度量了概念的相关性。在多媒体相关的应用问题中可以显著地提高性能。和人工建立的词网距离比较,Flickr距离可以自动更新以覆盖更多的新概念,和传统的谷歌距离比较,Flickr距离利用了视觉信息,实验证明其更加符合人类的认知。 5.本文将传统的线性空间距离学习推广到了非线性空间距离,提出了Bregman距离函数学习方法。传统的Mahalanobis距离学习是需要学习一个距离矩阵。该距离度量在整个空间中是一致的。而样本在空间的分布疏密可能是有差别的。利用Bregma距离学习可能得到一个和样本相关的度量,考虑了局部分布的特性,因此可能更加准确。实验表明该方法可以比其他方法更好地处理高维空间的距离学习问题。 6.本文将传统的静态距离推广到了动态距离,提出了QOSS子空间选取方法。我们认为观测角度(度量空间)不同,对样本的距离度量会产生很大的影响。因此在判断两个样本是否相近的时候,在多个子空间中度量比在单个子空间度量要准确。我们提出了根据样本特性,自动选取多个子空间的策略对样本相似性进行度量。在网络图像近似重复检测中,我们发现经过不超过5轮迭代,检测精度可以显著提高。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 宋新;罗军;王鲁平;沈振康;;一种基于小波纹理特征的目标检测方法[J];红外技术;2006年09期
2 朱军伟;张彦娥;王晓敏;李丽;;基于图像纹理的玉米叶片叶绿素含量分析研究[J];微计算机信息;2010年10期
3 郑丽颖,田凯,王科俊,宋克欧;基于分形维数的复杂图像特征提取方法[J];哈尔滨工程大学学报;2001年05期
4 李勇;刘雨;唐波;肖奇伟;;一种基于时空切片的镜头突变检测方法[J];计算机工程与科学;2006年03期
5 石智;易亮;魏恒东;;图像纹理识别中最优小波基的选择[J];纺织高校基础科学学报;2007年04期
6 阮久忠;周晨波;杨国华;刘桂芬;;基于灰度共生矩阵的非平面表面粗糙度的图像纹理研究[J];光学与光电技术;2008年06期
7 张恒博;欧宗瑛;;一种基于颜色基元共生矩阵的图像检索方法[J];计算机工程;2007年14期
8 黄丽达;邹北骥;;图像纹理特征相似性度量的研究[J];计算机工程与科学;2006年07期
9 刘真;周淑秋;;利用图像颜色特征与纹理特征进行图像检索[J];计算机工程与设计;2007年20期
10 张军;成礼智;杨海滨;黄魁华;;基于纹理的自适应提升小波变换图像压缩[J];计算机学报;2010年01期
11 王润鸿;陈昭炯;;基于主色连通区域纹理谱特征的图像检索[J];昆明理工大学学报(理工版);2008年02期
12 赵仕俊;孙林港;;基于纹理特征的图像自动配准方法研究[J];微型机与应用;2011年09期
13 王震,王执铨;图像纹理分析与纹理测度[J];南京理工大学学报(自然科学版);2002年S1期
14 张培培;杜杨;曲晓鹏;李银锁;;基于图像纹理的印刷缺陷检测[J];电脑编程技巧与维护;2010年12期
15 钟玲;;基于小波变换的图像纹理奇异性检测方法的研究[J];电脑知识与技术(学术交流);2006年08期
16 李露;;智能视频监控中运动目标检测技术[J];科协论坛(下半月);2007年07期
17 李钰;孟祥萍;;基于Gabor滤波器的图像纹理特征提取[J];长春工业大学学报(自然科学版);2008年01期
18 杨有;余萍;尚晋;;基于图像纹理自适应的边缘检测算法[J];计算机科学;2008年05期
19 王佐成;张飞舟;薛丽霞;;图像纹理联合关联规则挖掘研究[J];计算机工程与应用;2009年26期
20 董亮;;一种基于内容的图像检索方法[J];科技情报开发与经济;2007年15期
中国重要会议论文全文数据库 前10条
1 屠立平;许家佗;张志枫;张利;张敏;;腻苔图像的识别方法研究[A];全国第十二次中医诊断学术年会论文集[C];2011年
2 赵珊;孙君顶;安志勇;周利华;;一种新的基于纹理基元的图像检索算法[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
3 阳维;张素;陈亚珠;;射频消融组织的B超纹理分析与定征[A];中国生物医学工程进展——2007中国生物医学工程联合学术年会论文集(上册)[C];2007年
4 侯京彪;李元诚;李波;;基于纹理特征量化的遥感图像压缩算法研究[A];第十二届全国图象图形学学术会议论文集[C];2005年
5 王兰莎;张国英;;HSV颜色空间及纹理特征映射方法研究[A];图像图形技术研究与应用(2010)[C];2010年
6 赵佳琦;徐琪;章建全;陈雁秋;卢峰;盛建国;徐斐;;骨骼肌损伤超声纹理定量诊断的实验研究[A];中国超声医学工程学会第三次全国浅表器官及外周血管超声医学学术会议(高峰论坛)论文汇编[C];2011年
7 李秋华;杜鹢;任芳;;基于多分类器决策级融合的红外双波段图像目标识别[A];2009年先进光学技术及其应用研讨会论文集(上册)[C];2009年
8 董志勇;薛宏伟;;建筑物毁伤识别的基本方法及人工神经网络在其中的应用[A];2011年全国通信安全学术会议论文集[C];2011年
9 金守峰;张慧;;面向机器视觉的织物纬斜检测方法[A];全国先进制造技术高层论坛暨第九届制造业自动化与信息化技术研讨会论文集[C];2010年
10 陈宁;廖茜;桂卫华;阳春华;唐朝晖;;基于颜色共生矩阵的浮选泡沫图像纹理特征提取[A];2011中国有色金属行业仪表自动化学术会议论文集[C];2011年
中国博士学位论文全文数据库 前10条
1 周兰;基于角膜图像的死亡时间推断研究和中毒死亡案件的调查研究[D];华中科技大学;2010年
2 孙元;多媒体语义检索关键问题研究[D];吉林大学;2010年
3 Hassana Grema Kaganami(哈桑);基于颜色和纹理特征的图像增强和分析算法[D];中南大学;2010年
4 徐盛;基于主题模型的高空间分辨率遥感影像分类研究[D];上海交通大学;2012年
5 张云彬;支持卫星遥感数据融合的影像定位理论与方法[D];解放军信息工程大学;2004年
6 郑征;相容粒度空间模型及其应用研究[D];中国科学院研究生院(计算技术研究所);2006年
7 笪邦友;图像纹理在红外场景仿真与人脸识别中的应用[D];华中科技大学;2010年
8 吴淑莲;老化皮肤光学特征提取及其治疗过程监测[D];福建师范大学;2011年
9 兰远东;基于图的半监督学习理论、算法及应用研究[D];华南理工大学;2012年
10 张军;基于分数阶变分PDE的图像建模与去噪算法研究[D];南京理工大学;2010年
中国硕士学位论文全文数据库 前10条
1 张楠;图像和三维对象检索机制的研究[D];西安工业大学;2011年
2 李蔚;基于多期肝脏CT图像的CAD系统的设计与实现[D];上海交通大学;2011年
3 朱晨达;煤气表数字图像识别算法研究[D];上海交通大学;2010年
4 齐锦;基于仿射传播聚类算法的词汇树生成研究[D];西北大学;2011年
5 王治玺;Grouplet变换及其应用研究[D];汕头大学;2010年
6 宋金龙;图像描述子与高维空间特征检索[D];上海交通大学;2010年
7 牛长明;空域图像隐写分析技术研究[D];湖南大学;2010年
8 熊祥光;基于小波变换和HVS的图像与视频水印算法研究[D];中南民族大学;2010年
9 李阳;陶瓷贴花与裁剪的方法研究[D];江南大学;2011年
10 郑子薇;基于多视角的特征提取图像隐写分析技术[D];北京交通大学;2010年
中国重要报纸全文数据库 前4条
1 记者 陈全育;风云三号02星传回首张图像[N];中国航天报;2010年
2 本报通讯员 刘磊;观天测云 努力不止[N];中国气象报;2011年
3 山东 猫咪老爸;图像拼接 天衣无缝[N];电脑报;2003年
4 记者 郭起豪;中央领导祝贺风云三号B星发射成功[N];中国气象报;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978