收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于注意力机制的图像描述生成算法研究

陈龙杰  
【摘要】:随着互联网技术的快速发展,人与人之间的通信方式从形式单一的语音文本,扩展到内容丰富多样的视频图像上来,视频图像的大小及数量急剧增加。随着智能设备进入千家万户,人机交互的需求日益增加,图像及视频内容的自动检索及理解,已经成为目前人工智能和机器学习领域的研究热点之一。图像描述生成将图像处理任务和自然语言生成任务结合起来,通过建立图像特征提取模型和相对应的语言模型,可以自动识别图像内容,并将图像转换为自然语言信息。通过使用计算机,图像描述生成能够快速并高效地处理海量图像数据,其在与人机交互有关的各个领域有着广泛的应用前景。图像描述生成在计算机视觉及自然语言处理的基础上,通过计算机视觉提取图像特征,使用自然语言处理建立语言模型,最终将图像与文字联系在一起。与传统的方法相比,使用深度学习的图像描述算法,通过自动地从海量的图像及文本数据中学习图像和文本的特征,将图像特征和文本特征一一对应起来,可以高效完成图像描述生成任务。目前,图像描述任务的研究虽然取得了一些成果,然而,在生成的描述文本方面,存在着内容不丰富,对图像细节的描写不够精确完整等缺点。针对以上存在的问题,本文从图像特征和语言模型两个方面出发,构建基于多注意力的图像描述生成算法。首先使用目标检测模型提取图像粗粒度和细粒度的特征,获得更为丰富的图像语义及细节信息,增加了所提取图像特征的信息量。其次,在图像描述的语言模型中,加入多注意力机制来充分利用图像在不同粒度上的特征。最后,构建了多层次的语言模型,通过在语言模型中引入残差连接机制,使用高速通路在不同层之间传输数据,提高了模型的运算效率与本文算法最终的图像描述效果。结合以上内容,本文算法在图像整体语义表示的基础上,增加了图像的细节表达能力。经过实验对比分析,本文提出的算法,有效提升了图像描述生成任务的效果和准确率。本文研究工作主要包括以下几点:(1)针对传统图像描述模型对图像细节把握不足的问题,提出了一种多层次的图像特征提取方法。该方法利用目标检测模型中不同的残差层,将图像转化为大小不同的多维向量。根据残差层位置的不同,本文将以上从残差层中得到的多维向量分别作为图像的粗粒度特征和细粒度特征。最终,通过以上方法,提高了图像特征的丰富程度;(2)针对传统图像描述模型对图像特征使用不足的问题,本文使用长短时记忆网络建立语言模型,构建与图像特征一一对应的注意力模块,最终建立起了兼顾图像整体语义和图像细节的图像描述生成算法。通过将图像注意力机制与语言生成模型相结合,共同指导图像描述文本的生成。(3)针对深度神经网络存在的模型复杂度高,以及由此产生的梯度消失问题,本文在语言模型中引入了残差连接机制,通过使用高速通路在不同层之间传输数据,提升了模型图像描述的最终效果。


知网文化
【相似文献】
中国期刊全文数据库 前15条
1 汤鹏杰;谭云兰;李金忠;;融合图像场景及物体先验知识的图像描述生成模型[J];中国图象图形学报;2017年09期
2 徐守坤;倪楚涵;吉晨晨;李宁;;一种基于安全帽佩戴检测的图像描述方法研究[J];小型微型计算机系统;2020年04期
3 李晓莉;张慧明;李晓光;;多主题的图像描述生成方法研究[J];小型微型计算机系统;2019年05期
4 薛一鸣;周雪婧;周小诗;牛少彰;文娟;;基于图像描述的文本信息隐藏[J];北京邮电大学学报;2018年06期
5 李金轩;杜军平;周南;;基于注意力特征提取网络的图像描述生成算法[J];南京信息工程大学学报(自然科学版);2019年03期
6 靳华中;刘潇龙;胡梓珂;;一种结合全局和局部特征的图像描述生成模型[J];应用科学学报;2019年04期
7 张凯;李军辉;周国栋;;基于枢轴语言的图像描述生成研究[J];中文信息学报;2019年03期
8 周昌;郑雅羽;周凡;陈耀武;;基于局部图像描述的目标跟踪方法[J];浙江大学学报(工学版);2008年07期
9 杨楠;南琳;张丁一;库涛;;基于深度学习的图像描述研究[J];红外与激光工程;2018年02期
10 李亚栋;莫红;王世豪;周忠;吴威;;基于图像描述的人物检索方法[J];系统仿真学报;2018年07期
11 周星光;靳华中;徐雨东;李晴晴;胡满;;基于多尺度特征的图像描述生成模型[J];湖北工业大学学报;2020年02期
12 陶云松;张丽红;;基于双向注意力机制图像描述方法研究[J];测试技术学报;2019年04期
13 徐平;;探究曲线运动的图像描述[J];物理通报;2013年07期
14 吴娱;赵嘉济;平子良;杜昊翔;;基于指数矩的图像描述[J];现代电子技术;2013年14期
15 田素海;;理想气体状态方程的图像变化问题[J];中学生数理化(高中版·学研版);2011年09期
中国重要会议论文全文数据库 前3条
1 莫华;张燕;岳粮跃;吴智辉;滕维中;;生物脏器渗流分支血管系统的分形特性[A];第四届西部十二省(区)市物理学会联合学术交流会论文集[C];2008年
2 杨秀秀;尹燕宁;徐素鹏;夏勇;印建平;;氟化镁分子的受激辐射力减速[A];第十七届全国量子光学学术会议报告摘要集[C];2016年
3 程士德;苏晶;;中医模式形成和特点剖析[A];中医药优秀论文选(上)[C];2009年
中国博士学位论文全文数据库 前6条
1 朱欣鑫;基于深度学习的图像描述算法研究[D];北京邮电大学;2019年
2 汤进;基于图理论的图像描述与检索方法研究[D];安徽大学;2007年
3 顾广华;面向图像语义描述的场景分类研究[D];北京交通大学;2013年
4 曲智国;基于图理论的图像结构化描述与匹配方法研究[D];国防科学技术大学;2013年
5 杜晓宇;基于深度神经网络的图像标注算法研究[D];电子科技大学;2019年
6 刘锋;面向人机交互的多模态文本生成及可解释性分析[D];东南大学;2019年
中国硕士学位论文全文数据库 前10条
1 张洁庆;基于深度学习的图像描述方法[D];陕西师范大学;2019年
2 陈龙杰;基于注意力机制的图像描述生成算法研究[D];陕西师范大学;2019年
3 蔡文亮;基于图像描述和多层次注意力机制的视觉问答算法研究[D];陕西师范大学;2019年
4 刘星;融合局部语义信息的图像描述算法研究[D];北京交通大学;2019年
5 李金泽;基于区域相关性与Attention的图像描述方法研究[D];辽宁大学;2019年
6 张鸿硕;基于深度学习的图像描述生成研究[D];北京交通大学;2019年
7 王福伟;基于生成对抗网络的图像描述生成模型[D];上海交通大学;2018年
8 徐缙;基于分层强化学习的图像描述算法[D];黑龙江大学;2019年
9 龚雪;基于自适应视觉注意机制的图像描述算法研究[D];湘潭大学;2019年
10 曾祥芳;面向中文图像描述的关键技术研究[D];国防科技大学;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978