收藏本站
《苏州科技大学》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

基于生成对抗网络的图像自动文本标注方法研究

吕凡  
【摘要】:图像自动文本标注目标是为图像中存在的目标和场景生成对应的语句标注。传统的图像自动文本标注方法包括语义模板填充法、特征空间匹配法以及CNNRNN三种方法。利用这些方法生成的自动语句标注存在Exposure Bias问题,距离真实语境仍然有较大差距,相似图像生成的语句过于相似,缺乏独特性。因此,利用传统方法难以对图像进行有效地语句标注。为了克服传统图像自动文本标注问题中的Exposure Bias问题,本文引入了生成对抗网络,借助其独特的对抗机制自动为图像生成语句标注,该机制能够有效地使得生成数据拟合真实地数据分布。为了有效分析图像和生成语句之间的关系,本文同时引入注意力机制,将图像自动文本标注问题看作是一个基于注意力机制的序列生成问题。从多模态角度出发,探寻多模态(图像、文本)的注意力机制在图像自动文本标注任务上的应用。本文的主要研究工作如下:(1)提出了一种基于注意力机制的图像多标签分类方法。图像自动文本标注问题可以简化为图像多标签分类问题。首先将图像的多标签看作是一个序列,采用CNN提取图像特征,采用RNN对多标签进行预测;在每一步预测过程中,结合注意力估计的关注区域,预测该区域可能的标签。实验结果表明本文提出的基于注意力机制的图像多标签分类方法在多个衡量标准上能够比原本基于CNN和CNN-RNN的方法提高2%~3%的效果。(2)提出了一种针对多模态数据的注意力累积机制。本文研究的图像自动文本标注问题是多模态问题。在多模态数据中,每种模态的数据都存在关键信息,但是这种关键信息无法有效协同分析。本文将提出一种注意力累积机制方法并应用在视觉指称任务中,将该任务中各个模态数据的注意力进行有效结合,并互相强化。实验结果表明,所提方法能有效提高指称效果,准确度平均提升3%,可视化实验表明每种模态数据的关注信息都得到了强化。(3)提出了一种能够强化注意力的注意力反馈机制。传统基于注意力机制的运算过程是一个单向传播的操作,这类方法存在注意力分散和生成语句错乱的问题。本文在传统的注意力机制基础上,构建了反馈通道,有效保证了输入和输出注意力描述信息的匹配准确性,使得生成语句更加准确。实验表明,本文提出的注意力反馈机制在BLEU和METEOR两个衡量标准上相比原本基于注意力机制的方法提高了2%。(4)提出了一种基于生成对抗网络图像自动文本标注模型。本文在基于注意力机制的图像自动文本标注基础上,引入生成对抗网络思想,构建基于生成对抗网络的图像自动文本标注模型。模型的生成器采用多模态数据的注意力机制,同时将图像和文本的关注信息输入到判别器中判断真假,最终提升生成效果。本文采用Gumbel-Softmax分布柔化原本生成器中图像自动文本标注的离散输出,解决其直接输入到判别器中导致不可导问题。实验结果表明,本文提出的基于生成对抗网络的图像自动文本标注方法能够生成更加准确的语句标注,在BLEU和METEOR衡量标准上相比基于注意力反馈机制的方法提升了2~3%。
【学位授予单位】:苏州科技大学
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP391.1

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 张学军;郭建;;图像纹理分析的方法与应用[J];黑龙江科技信息;2009年16期
2 吴涛;秦昆;;图像纹理特征数据挖掘的理论与方法探讨[J];计算机时代;2006年08期
3 王震,王执铨;图像纹理分析与纹理测度[J];南京理工大学学报(自然科学版);2002年S1期
4 范郭亮;李光;王春霞;;图像纹理区检测及分割算法研究[J];信息安全与技术;2011年09期
5 李亚春;夏德深;徐萌;;小波变换在图像纹理分析中的研究进展[J];计算机工程与应用;2005年35期
6 孟勇,洪丹辉,毛丹;测度熵在图像纹理分析中的应用[J];计算机应用与软件;2000年08期
7 章华;李振璧;姜媛媛;;基于图像纹理的煤岩识别研究[J];煤炭技术;2015年07期
8 徐孟春;王相海;;基于不完全小波树型结构的图像纹理特征研究[J];中国图象图形学报;2009年07期
9 张地;罗群;雷敏;;一种基于图像纹理特征和支持向量机的版权保护方法[J];网络安全技术与应用;2017年08期
10 何鹏;万晓青;焦瑛璞;;基于图像纹理分析技术检测食用植物油中动物油的掺伪[J];中国油脂;2014年03期
中国重要会议论文全文数据库 前10条
1 杨国华;周晨波;阮久忠;郭冰;王刚;;基于自相关函数的非平面表面粗糙度的图像纹理研究[A];第十二届全国光学测试学术讨论会论文(摘要集)[C];2008年
2 王云;董增寿;卓东风;;基于图像纹理和结构特征的燃烧指数的高温低氧火焰燃烧稳定性识别[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
3 张磊;朱磊;;一种综合图像纹理和灰度特征的分割算法[A];通信理论与信号处理新进展——2005年通信理论与信号处理年会论文集[C];2005年
4 袁灼彬;郑晓林;邹玉坚;方少伟;张旭升;杨沛钦;;T2WI图像纹理分析联合多参数磁共振成像在评价前列腺癌侵袭性研究[A];中国中西医结合学会医学影像专业委员会第十五次全国学术大会暨上海市中西医结合学会医学影像专业委员会2017年学术年会暨《医学影像新技术的临床应用》国家级继续教育学习班资料汇编[C];2017年
5 王鹏;吴春亚;刘德利;刘亦智;刘献礼;;基于LabVIEW的钢球表面缺陷图像纹理分析与检测[A];2007'中国仪器仪表与测控技术交流大会论文集(一)[C];2007年
6 阮久忠;周晨波;杨国华;;基于灰度共生矩阵的非平面表面粗糙度的图像纹理研究[A];第十二届全国光学测试学术讨论会论文(摘要集)[C];2008年
7 薛晶晶;白廷柱;;基于图像纹理特征的隐身效果评价方法研究[A];光电技术与系统文选——中国光学学会光电技术专业委员会成立二十周年暨第十一届全国光电技术与系统学术会议论文集[C];2005年
8 阳维;张素;陈亚珠;;射频消融组织的B超纹理分析与定征[A];中国生物医学工程进展——2007中国生物医学工程联合学术年会论文集(上册)[C];2007年
9 杨伟斌;朱庆勇;余怀忠;;基于SEM图像纹理增强的岩石多孔介质渗透率计算[A];中国力学大会-2017暨庆祝中国力学学会成立60周年大会论文集(B)[C];2017年
10 刘芷兰;高康;田野;戴思兰;宋雪彬;;基于展开图像LBP纹理的菊花品种识别[A];中国观赏园艺研究进展2017[C];2017年
中国重要报纸全文数据库 前1条
1 华凌;世界最薄泡沫屏幕可改变图像纹理[N];科技日报;2012年
中国博士学位论文全文数据库 前10条
1 周杰;医学图像特征的自动获取与基于内容检索的方法研究[D];第一军医大学;2004年
2 孙蕾;医学图像智能挖掘关键技术研究[D];西北大学;2005年
3 胡广寰;基于内容图像检索中图像语义分类技术研究[D];浙江大学;2005年
4 王曙燕;医学图像智能分类算法研究[D];西北大学;2006年
5 段立娟;基于内容的图像检索与过滤关键技术研究[D];中国科学院研究生院(计算技术研究所);2002年
6 唐俊华;科学数据库中基于内容图像检索技术研究[D];中国科学院研究生院(计算技术研究所);2004年
7 易文晟;图像语义检索和分类技术研究[D];浙江大学;2007年
8 温智婕;图像纹理特征表示方法研究与应用[D];大连理工大学;2008年
9 姜文晖;物体检索与定位技术研究[D];北京邮电大学;2017年
10 龚红菊;基于分形理论及图像纹理分析的水稻产量预测方法研究[D];南京农业大学;2008年
中国硕士学位论文全文数据库 前10条
1 吕朝晖;基于超像素的腹部图像多器官分割算法研究[D];西北大学;2018年
2 黎家超;复杂环境下的道路交通标志检测方法研究[D];长安大学;2018年
3 姜雪;基于Hadoop的图像类教学资源的检索策略研究[D];东北师范大学;2018年
4 张晓兵;基于多特征融合的人脸识别研究[D];西安科技大学;2018年
5 赵昕;基于BP神经网络的图像检索算法研究[D];西安科技大学;2018年
6 鞠成恩;基于图像底层特征的图像聚类与检索研究[D];昆明理工大学;2018年
7 楼苏迪;基于情感语义的旗袍图像注释研究[D];杭州电子科技大学;2018年
8 宋振旗;基于K-T算法的太阳图像高分辨率重建并行化研究[D];昆明理工大学;2018年
9 吕凡;基于生成对抗网络的图像自动文本标注方法研究[D];苏州科技大学;2018年
10 刘祥惠;基于深度学习的织物图像疵点区域定位算法研究[D];中原工学院;2018年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026