收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于知识库的视觉问答技术研究

陈小兵  
【摘要】:视觉问答是给定一张图片和一个图像相关的自然语言问题,输出问题答案的人工智能任务。跨领域的视觉问答接近通用人工智能,有很高的研究价值和广阔的应用场景。按照是否引入外源知识库,现有模型分为联合嵌入模型和基于知识库的模型,这两类模型在视觉问答任务中均有不错的表现。然而主流的联合嵌入模型存在数据集依赖、网络容量小和文本表征能力不足的缺陷。另一方面,通过引入外源知识库,基于知识库的模型克服了联合嵌入模型的网络容量限制,能回答涉及常识或外源知识的推理问题。但其需要通过人工构建知识库查询语句,极大的限制了模型的泛化能力。本文分别改进了联合嵌入模型的文本特征化方法和基于知识库的模型的通用性,主要包括以下内容:1)引入动态词向量改进联合嵌入模型的文本特征化方法。目前的联合嵌入模型的文本特征化方法仍然使用静态词向量方法,考虑到静态词向量无法有效表征一词多义和一词多用的情况,本文在视觉问答模型中引入动态词向量,并结合Faster R-CNN和注意力机制,提出了基于动态词向量的联合嵌入模型(N-KBSN)。实验结果证明动态词向量能实现更好的文本特征表示,进而提高准确率。2)构建了一个知识库图嵌入模块,以扩展基于知识库的模型的通用性。本文构建的知识库图嵌入模块分别从图像和文本中提取核心实体,并映射为知识库实体,再以核心实体为中心提取出子图,并将子图转换为低维向量,实现子图嵌入。为了实现好的子图嵌入,我们首先从DBpedia中提取了两个具有丰富语义的实验知识库:DBV和DBA。并基于这两个知识库,选取了一系列知识库嵌入模型进行链路预测实验。实验结果显示,DBV知识库的实体间具有清晰的对应关系,能实现优异的节点嵌入。并且TransE模型能实现很好的知识库嵌入,因此我们以TransE为核心构建了知识库图嵌入模块。3)合并知识库图嵌入模块和N-KBSN模型,构建了基于知识库图嵌入的视觉问答模型(KBSN)。在多个数据集上的实验结果证明,知识库图嵌入模块提高了视觉问答的准确率。尤其在面对需要常识或外源知识的复杂问题时,准确率提升明显。


知网文化
【相似文献】
中国期刊全文数据库 前18条
1 牛玉磊;张含望;;视觉问答与对话综述[J];计算机科学;2021年03期
2 张兴旺;郑聪;;领域导向的数字图书馆移动视觉搜索引擎建设研究[J];图书与情报;2016年05期
3 闫茹玉;刘学亮;;结合自底向上注意力机制和记忆网络的视觉问答模型[J];中国图象图形学报;2020年05期
4 白姣姣;柯显信;曹斌;;基于注意力机制的视觉问答任务研究[J];计算机应用与软件;2020年10期
5 孟猛;朱庆华;;国内外移动视觉搜索研究综述[J];现代情报;2021年01期
6 丁文博;许玥;;深度学习的视觉关系检测方法研究进展[J];科技创新导报;2019年27期
7 秦淑婧;杨关;;增强视觉特征的视觉问答任务研究[J];中原工学院学报;2020年01期
8 武阿明;姜品;韩亚洪;;基于视觉和语言的跨媒体问答与推理研究综述[J];计算机科学;2021年03期
9 张璇;;文学插图中的语—图互文式视觉隐喻初探[J];编辑之友;2021年01期
10 刘钰潭;;传递大学精神:高校创意录取通知书的视觉修辞呈现[J];青年记者;2020年36期
11 游江;;视觉模式的嬗变——技术性观式下的艺术接受与表达[J];当代美术家;2020年05期
12 张慧慧;张国斌;;视觉隐喻在儿童绘本创作中的应用研究[J];中国包装;2021年01期
13 刘瑜;胡军彬;林晨锋;;浅谈生活中的终端视觉形象[J];厦门科技;2019年06期
14 罗仙凡;;材料特色化在品牌视觉中的呈现[J];西部皮革;2019年24期
15 王馨;;视觉行动主义——当代视觉文化中的一种新的视觉实践形态[J];世界美术;2019年04期
16 吴文兵;;符号学视角下新闻图像的视觉修辞分析——以《人民画报》涉农封面图像为例[J];新闻世界;2020年02期
17 陈彦;张才华;;探索生活中情感的视觉传达[J];传播力研究;2019年35期
18 白艳维;;基于居民幸福感的宁波老旧社区视觉形象提升策略[J];浙江万里学院学报;2020年01期
中国重要会议论文全文数据库 前20条
1 叶建新;刘大宣;张国珍;;视觉文化在电视中的重要性[A];中国电影电视技术学会影视科技论文集[C];2003年
2 王树明;章建成;;运动中视觉搜寻行为研究的现状及其发展趋势[A];第七届全国体育科学大会论文摘要汇编(二)[C];2004年
3 赵新;李焕芹;张景生;;教师视域下的视觉素养培养探究[A];计算机与教育:实践、创新、未来——全国计算机辅助教育学会第十六届学术年会论文集[C];2014年
4 卢俊;苏娟;杨罗;;视觉注意模型的研究与发展[A];国家安全地球物理丛书(八)——遥感地球物理与国家安全[C];2012年
5 李存;张凌浩;;视觉流和操作流理论在移动设备界面中的交互设计研究[A];软科学论坛——公共管理体制改革与发展研讨会论文集[C];2014年
6 刘民渡;;如何提高期刊版式设计的视觉效果[A];2008年第四届中国科技期刊发展论坛论文集[C];2008年
7 罗萍;李程;毕森;;视觉说服:研究理论与前沿[A];2013福建省传播学年会论文集[C];2013年
8 施楣梧;裘越华;张燕;王妮;;纺织品视觉遮蔽性能研究[A];第八届功能性纺织品及纳米技术研讨会论文集[C];2008年
9 Camille Rioux;J_er_emie Lafraire;Delphine Picard;张晓帆;;视觉暴露和分类能力(categorization performance)对3~6岁儿童尝试不熟悉蔬菜意愿产生积极影响[A];达能营养中心2019年论文汇编:家庭就餐与儿童健康[C];2018年
10 宋羽;周婷;黄宇敏;;艺术设计专业教学中视觉素养培养的混合式教学实验研究[A];十三五规划科研成果汇编(第三卷)[C];2018年
11 宋羽;周婷;黄宇敏;;艺术设计专业教学中视觉素养培养的混合式教学实验研究[A];《教师教学能力发展研究》科研成果集(第十三卷)[C];2018年
12 冯涓涓;廖瑞端;黄静文;朱文珲;马翠萍;;弱视与视觉保持测验的相关性分析[A];第十二届广东省视光学学术会议专题讲座、论文汇编[C];2009年
13 田雨;王春慧;;视觉注意认知计算模型及其应用[A];2011年空间生命与生命起源暨航天医学工程学术研讨会论文集[C];2011年
14 肖枫;Innes Cuthill;;鸟类及人类视觉在自然复杂背景下搜寻隐藏目标能力研究[A];第十二届全国鸟类学术研讨会暨第十届海峡两岸鸟类学术研讨会论文摘要集[C];2013年
15 赵冬斌;张文增;陈强;;气体保护焊接过程视觉传感的研究综述[A];第十次全国焊接会议论文集(第2册)[C];2001年
16 张涛;;视觉注意的一个微回路模型[A];第三届全国神经动力学学术会议论文摘要集[C];2016年
17 王荔娇;;设计与服务——通过视觉信息元素解读服务设计[A];产业竞争力与创新驱动——2014年山东省科协学术年会论文集[C];2014年
18 沈模卫;沈勇;陶嵘;;不同移动窗口类型对视觉搜索的影响[A];第十届全国心理学学术大会论文摘要集[C];2005年
19 王永森;田锦;张弛;刘宏哲;;基于视觉的前方目标测距技术研究进展[A];中国计算机用户协会网络应用分会2018年第二十二届网络新技术与应用年会论文集[C];2018年
20 邵静;;基于视觉注意机制的复杂场景目标识别[A];第八届全国信息获取与处理学术会议论文集[C];2010年
中国博士学位论文全文数据库 前20条
1 吴晨飞;基于关系建模的视觉问答研究[D];北京邮电大学;2020年
2 刘晶;政治视觉修辞的理论建构与表征实践[D];华中科技大学;2019年
3 宗世英;艺术设计专业大学生视觉素养培养研究[D];东北师范大学;2012年
4 申灵灵;教育技术学本科“视觉素养”课程设计研究[D];南京师范大学;2012年
5 敖欢欢;视觉显著性应用研究[D];中国科学技术大学;2013年
6 高燕;视觉隐喻与空间转向[D];复旦大学;2005年
7 张巧荣;视觉注意计算模型及其关键技术研究[D];哈尔滨工程大学;2011年
8 潘毅;基于工作记忆内容的视觉注意捕获及其自动性研究[D];浙江大学;2009年
9 沈凌云;基于视觉注意机制的图像分割方法研究[D];中国科学院研究生院(长春光学精密机械与物理研究所);2014年
10 陈嘉威;视觉注意计算模型的研究及其应用[D];厦门大学;2009年
11 陈梅香;专家与新手放射科医生医学图像视觉搜索差异研究[D];天津师范大学;2017年
12 刘婷婷;视觉拥挤效应神经机制的研究[D];复旦大学;2009年
13 丁莉丽;共谋与斗争:“视觉文化”时代的影视风景[D];浙江大学;2004年
14 许立勇;中国国家形象广告的视觉表述逻辑及其文化意义[D];中国艺术研究院;2012年
15 单列;视觉注意机制的若干关键技术及应用研究[D];中国科学技术大学;2008年
16 黄侃;视觉显著性检测方法与应用研究[D];中国科学院大学(中国科学院上海技术物理研究所);2017年
17 林名强;视觉显著性检测模型研究及应用[D];中国科学技术大学;2016年
18 刘海鹏;语言的视觉语义表征及其在场景自动描述系统中的应用研究[D];北京邮电大学;2011年
19 王彦杰;基于显著局部特征的视觉物体表示方法[D];北京理工大学;2010年
20 窦燕;基于空间和物体的视觉注意计算方法及实验研究[D];燕山大学;2010年
中国硕士学位论文全文数据库 前20条
1 陈小兵;基于知识库的视觉问答技术研究[D];电子科技大学;2020年
2 张迪雅;面向视觉问答的图像处理技术研究[D];电子科技大学;2020年
3 俞灵慧;基于深度学习的视觉问答研究[D];杭州电子科技大学;2020年
4 秦淑婧;基于增强视觉特征的视觉问答研究[D];中原工学院;2020年
5 刘芬;基于深度推理的视觉问答研究[D];华南理工大学;2020年
6 王纯芷;利用高中信息技术课堂培养学生视觉素养的实践研究[D];哈尔滨师范大学;2017年
7 黄寒;初中美术教学培养学生视觉素养的研究[D];华东师范大学;2016年
8 郑茜冉;论当代日常生活审美中的视觉消费[D];湖北大学;2016年
9 康鑫;品牌视觉形象再设计在商业活动中的应用研究[D];天津科技大学;2013年
10 张欣;幼师生视觉素养调查与培养研究[D];辽宁师范大学;2015年
11 周红;插画在儿童医院视觉形象中的应用设计研究[D];内蒙古师范大学;2015年
12 陆文文;视觉文化对大学生思想政治教育的影响及对策[D];上海师范大学;2014年
13 逯静茹;城市公共服务视觉管理[D];中南大学;2014年
14 潘萌;城市视觉管理基本问题研究[D];中南大学;2013年
15 马玮丽;城市形象视觉管理[D];中南大学;2014年
16 王晓情;“视”说新语—跨学科视域下的视觉语言探究[D];大连工业大学;2013年
17 金珑嘉;消费语境下视觉文化的社会学解读[D];福建师范大学;2014年
18 杨鸿;大学生思想政治教育的视觉传达方法研究[D];东北师范大学;2015年
19 胡晨;视觉传达在T恤设计中的表现与运用[D];武汉纺织大学;2014年
20 刘伦;课堂视觉文化的教学价值探析[D];南京师范大学;2013年
中国重要报纸全文数据库 前20条
1 本报记者 白里呷;金阳:消除“视觉贫困” 助力打赢脱贫攻坚收官战[N];凉山日报(汉);2020年
2 副市长 张宏义;视觉2020关注普遍的眼健康[N];濮阳日报;2020年
3 记者 闫慧;“拆危治乱”整治视觉贫困[N];陇东报;2020年
4 本报记者 周爱玲 通讯员 卢汉卿 范晔;全面消除“视觉贫困” 绘就秀美乡村画卷[N];酒泉日报;2020年
5 齐美煜;视觉的盛宴 文化的探寻[N];江西日报;2020年
6 牛宏宝;视觉、欲望与视觉伦理[N];中国美术报;2018年
7 本报记者 沈慧;科学家揭示视觉错觉现象[N];经济日报;2019年
8 翁晨 复旦大学外文系;擅于告别的眼睛[N];文汇报;2019年
9 中国美术学院艺术人文学院副院长、教授 孔令伟;图像是证史还是视觉童话[N];美术报;2019年
10 ;陈漫:视觉是一种不需要翻译的语言[N];中国摄影报;2019年
11 冯博一;现实墟·视觉误[N];中国文化报;2019年
12 北京商报记者 魏蔚;视觉中国被“从重”罚款30万[N];北京商报;2019年
13 记者 李思;视觉中国“维权式盈利”违法风险未完全释放[N];上海金融报;2019年
14 本报记者 孙琳;吊打视觉中国背后,原来还有这么多事……[N];人民政协报;2019年
15 本报记者 王金晶;视觉中国被吊打,不冤[N];人民政协报;2019年
16 赤兔;视觉中国 不能一“利”障目[N];山西日报;2019年
17 张绪旺;竞争对手才能解救视觉中国[N];北京商报;2019年
18 布伦达·戈赫 Magdalene Fung 译 胡青松;“视觉中国”为糟糕的营销付出代价[N];环球时报;2019年
19 资本市场研究人士 朱邦凌;应对视觉中国盈利模式的合法性进行彻查[N];证券时报;2019年
20 北京商报记者 魏蔚;视觉中国整改的30天[N];北京商报;2019年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978