收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

图像解译数据库与物体识别的计算机理研究

杨雄  
【摘要】: 有体系地建立一个大型的人工标注图像/视频解译标准数据库,对计算机视觉领域的研究工作来说至关重要。基于这个目的,我们开发了一个交互式的标注系统(Interactive Image Parser,简称为IIp),其中每个功能模块对应一些特定的标注任务。合理的组合这些功能模块,可以完成各种复杂的视觉信息标注任务。对于一张自然场景图像,通过IIP以场景层-物体层-中低层这种分层解译的方式,提供全面丰富的视觉标注信息,其中大部分信息都是其它数据库所没有的。此外,在与或图知识框架下将这些视觉信息统一组织起来。 基于上述图像解译数据库,我们提出了一个I2T(Image Parsing to Text Generation)的框架,将图像/视频内容转化为对应的自然语言描述。I2T框架将比较困难的基于内容的图像/视频检索任务转换为比较简单的文本搜索任务。该框架分为三个部分:(ⅰ)图像解译数据库,通过图像解译引擎IIP将输入图像/视频帧分解为各种对应的视觉模式,即将一个场景表示成为解译图,这一点在本质上类似于将自然语言解析为单个的句子。(ⅱ)通过网络本体语言将解译图转化为语义表达。(ⅲ)文本生成引擎将语义表达转化为自然语言描述的文本报告。上述框架依赖于两个知识库。第一个是视觉知识库,为图像解译提供至顶向下的指导,作为图像本体论服务于解译图向语义表达的转换。视觉知识库的核心是与或图表达,视觉元素字典包括像素、边、拐角、部分、物体、场景以及定义这些视觉元素间的组合、空间、时间、功能等的关系。第二个知识库是一个通用的知识库,通过语义网将多个不同专业领域的本体论相互连接起来,进一步地丰富了视觉内容的语义表达。最后以监控视频为例,通过I2T框架推演出视频事件,并产生视频监控场景的自然语言描述。基于海港和城市场景的实验表明了本文方法的可行性。 在图像解译数据库强大的数据支持下,我们通过定量的方法评估与或图分层模型中自底向上/自顶向下计算过程的信息量贡献。对于与或图中的任一节点A定义了三种计算推理过程:α过程基于物体实例的图像特征识别;β过程通过自底向上的方式绑定孩子节点来识别A;γ过程通过父节点自顶向下预测A。我们采用特定的方法将这三个计算过程隔离开来,通过算法和心理学实验测试评估各过程的信息量贡献。最后在贝叶斯框架下,将α、β、γ过程显式地结合起来进行推理计算。基于中低层视觉元素和高层视觉中的人脸、车的实验结果表明:(ⅰ)α、β、γ过程的有效性依赖于图像中物体实例的尺度大小和遮挡情况;(ⅱ)一般情况下高层视觉物体的α过程的贡献最大,对于中低层视觉元素,β过程的作用是决定性的。(ⅲ)α、β、γ过程的结合大大提高了算法性能。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李伟生;赵晓霞;;一种基于优化“词袋”模型的物体识别方法[J];计算机应用研究;2011年09期
2 李英;Justin Keesling;Chalongrath Pholsiri;Neil Tardella;James English;;可重复使用的机器人抓取软件[J];机器人技术与应用;2011年02期
3 邢雪;;射频通讯服务器的设计与实现[J];价值工程;2011年19期
4 刘红光;魏小敏;;Bag of Words算法框架的研究[J];舰船电子工程;2011年09期
5 王寿彪;杨桄;丁文东;张俭峰;;SAR图像目标识别特征提取与选择方法研究进展[J];科技情报开发与经济;2011年26期
6 陈方;蒋云良;许允喜;;改进的CenSurE特征和基于相加图像梯度的快速描述符[J];计算机应用;2011年07期
7 张静克;计科峰;邢相薇;;SAR目标属性散射中心特征提取与分析[J];雷达科学与技术;2011年03期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
11 ;[J];;年期
12 ;[J];;年期
13 ;[J];;年期
14 ;[J];;年期
15 ;[J];;年期
16 ;[J];;年期
17 ;[J];;年期
18 ;[J];;年期
19 ;[J];;年期
20 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 周程;吴飞;庄越挺;;基于层次反馈机制的物体识别[A];第十五届全国图象图形学学术会议论文集[C];2010年
2 郭明玮;朱明清;赵宇宙;王建;陈宗海;;基于生物视觉的物体识别方法研究现状分析[A];第13届中国系统仿真技术及其应用学术年会论文集[C];2011年
3 代群;李晴;;ALOS卫星遥感影像的处理与图像解译[A];全国农业遥感技术研讨会论文集[C];2009年
4 艾浩军;朱荣;张敏;李俊;方禹;王红霞;;基于SIFT尺度分量的两级匹配物体识别算法研究[A];第七届和谐人机环境联合学术会议(HHME2011)论文集【poster】[C];2011年
5 鲁迪;姜志国;;基于图元检测的物体识别方法研究[A];全国第一届信号处理学术会议暨中国高科技产业化研究会信号处理分会筹备工作委员会第三次工作会议专刊[C];2007年
6 杜建洪;梁子长;;车辆走向定位技术的研究[A];通信理论与信号处理新进展——2005年通信理论与信号处理年会论文集[C];2005年
7 宋玮;张杰;姬光荣;孟俊敏;;基于SAR与TM图像的南沙双子群礁特征分析[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
8 谭锋;郑乾怡;陈启军;;2005年同济大学四腿组技术报告[A];2005中国机器人大赛论文集[C];2005年
9 吴涛;胡庭波;;基于单目测距的立体视觉技术[A];中国宇航学会深空探测技术专业委员会第二届学术会议论文集[C];2005年
10 孙彦良;任衍具;;真实场景中朝向和背景对物体识别的影响[A];第十二届全国心理学学术大会论文摘要集[C];2009年
中国博士学位论文全文数据库 前10条
1 杨雄;图像解译数据库与物体识别的计算机理研究[D];华中科技大学;2010年
2 王利明;机器视觉中物体识别方法的研究与探讨[D];复旦大学;2009年
3 彭冬亮;降质图像处理方法及其在机器人视觉系统中的应用研究[D];浙江大学;2003年
4 陶维东;非面孔物体识别倒置效应[D];西南大学;2009年
5 付琨;高分辨率单视单极化SAR图像地物分类方法研究[D];国防科学技术大学;2002年
6 刘萍萍;图像的局部不变性特征方法研究[D];吉林大学;2009年
7 陆承恩;基于形状的图像轮廓赋形及目标检测技术[D];华中科技大学;2009年
8 肖壮伟;基于脑功能磁共振成像技术的基础和临床研究[D];汕头大学;2005年
9 陈远浩;非监督的结构学习及其应用[D];中国科学技术大学;2008年
10 茹少峰;破碎物体复原技术与计算机辅助文物复原研究[D];西北大学;2004年
中国硕士学位论文全文数据库 前10条
1 陈赟;一种物体识别方法的研究及若干应用[D];复旦大学;2010年
2 史静茹;仿真假体视觉下基于不规则光幻视阵列的物体识别研究[D];上海交通大学;2011年
3 王沫;室内助盲系统物体识别方法的研究[D];河北工业大学;2011年
4 周淼;物体识别中与特征整合相关的脑电活动研究[D];电子科技大学;2012年
5 赵灵芝;基于兴趣点多特征融合的物体识别方法研究[D];重庆邮电大学;2010年
6 李韦嫦;场景新物体识别加工中的语义不一致效应[D];广西师范大学;2011年
7 杨红;林区剩余物收集装置关键技术研究[D];东北林业大学;2010年
8 高贵;高分辨率SAR图像目标特征提取研究[D];国防科学技术大学;2003年
9 渠春环;东莨菪碱对小鼠物体识别记忆不同环节的影响[D];首都师范大学;2009年
10 廖秋萍;基于兴趣点特征的多类物体识别[D];中南民族大学;2011年
中国重要报纸全文数据库 前10条
1 记者李大庆;专家研讨智能视觉监控技术[N];科技日报;2002年
2 江建国;小芯片 大用途[N];人民日报;2007年
3 ;“似曾相识”,可能只是大脑错觉[N];新华每日电讯;2006年
4 本报记者 李彬;手机变搜索引擎[N];科技日报;2006年
5 记者 郑晓春;以开发出计算机图像识别新技术[N];科技日报;2007年
6 ;学习:改革与超越[N];四川日报;2005年
7 柯季;基因技术:未来让人更聪明[N];经济参考报;2002年
8 记者  刘恕;给物品办个“身份证”[N];科技日报;2006年
9 本报记者 袁志勇;好记忆靠天赋还是靠科技[N];科技日报;2009年
10 郑千里;苍蝇有过目不忘的本领[N];科技日报;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978