收藏本站
收藏 | 论文排版

面向多模态社交数据的情感分析技术研究

章荪  
【摘要】:信息与通信技术的发展加速了社交媒体融入到大众的日常生活中,用户从传统的信息消费者逐渐转变为信息的生产者。用户在社交平台上发布的内容携带着大量的个人情感和观点信息,在虚拟网络中不断传播、发酵,进而影响到现实世界的进程和发展。因此,分析和识别社交数据中潜在的情感信息始终是情感计算和自然语言处理领域的一项重要基础工作。但是通信技术的发展改变了传统社交数据的内容形式,用户发布的内容不再局限于单一的文本信息,而是混合文本、图像、语音的多模态数据。多模态社交数据的出现使得情感分析成为了跨领域、跨学科的难点问题,它不仅需要相应领域的处理技术解决多模态数据存在的异构性问题,还需要心理学和认知学的专家知识指导信息的融合和模型的设计。当前的情感分析研究已经取得了一定的进展,但是现有的方法大多忽略了具体应用场景中特殊数据类型所带来的问题,包括:(1)微博场景中的短文本表示问题。传统的情感分析工作大多关注于长文本内容,忽略了短文本表示存在的特征稀疏和信息匮乏问题,难以从有限的词语中学习到高效的特征表示。(2)商品评论场景中的单文本多图像融合问题。商品评论数据通常由一段文字和多幅图像构成,这些图像无法传递完整的情感信息,只能起到辅助增强文本情感的作用。而现有的图文情感分析方法通常假设文本与图像具有相同的重要性,不符合商品评论场景的实际情况。(3)视频场景中的多模态时序表示及融合问题。视频数据可以分解为文本、图像、语音三种类型的时序模态,该类数据具有序列特征,并且彼此之间存在着时间尺度上的交互关系。该类场景下的情感分析模型需要提取模态内部的序列特征,挖掘跨模态的时序交互关系。(4)多模态融合过程中的信息控制问题。当前方法只关注于对多源异质信息的聚合,忽略了对原始模态信息的选择和过滤。在多模态情感表达过程中,模态之间普遍存在着一致性和特异性信息,这要求模型能够捕获到完整的两类信息,并且过滤与任务无关的噪声信息,从而学习到紧致高效的融合表示。基于上述几点问题,本文针对性提出以下四点研究内容,并从特征表示、信息融合和模型设计的角度提出相应的创新和改进工作:(1)针对微博场景中的短文本表示问题,本文提出基于对抗变分贝叶斯的短文本情感分类模型。首先在模型设计上,采用端到端的学习框架,解决了上游主题模型与下游任务模型之间学习目标不一致的问题,并获得更具判别性的紧致主题特征。其次,通过引入谱规范化技术,缓解了原始模型在训练过程中出现的震荡性问题。最后,利用多阶段的融合过程,整合主题特征与预训练词向量的信息,克服了短文本存在的信息匮乏问题。(2)针对商品评论场景中的单文本多图像融合问题,本文提出基于决策多样性的图文融合情感分类模型。该模型首先以文本信息为主体,利用图像信息辅助定位文本中情感相关的词语,正确建模了特殊场景下的图文交互关系,实现了跨模态的特征级融合。然后基于集成学习的思想,设计了决策融合机制,对来自于单模态和融合表示的决策级信息进行融合。最后,通过添加决策相似性惩罚,提高了模型整体决策的多样性和泛化性。(3)针对视频场景中的多模态时序表示及融合问题,本文提出基于多任务学习的时序多模态情感分析模型。该模型集成卷积神经网络、双向循环神经网络和多头自注意力机制,对不定长的时序输入进行维度和长度的统一,提取局部和全局的关联信息,解决了时序单模态的特征表示问题。然后通过跨模态时序特征融合方法,建模时间尺度上的双向交互关系,解决了跨模态的时序融合问题。最后采用多任务模型设计,在关联任务间共享单模态和跨模态表示,利用相关任务的领域知识和监督信息提升模型的准确度和泛化性。(4)针对多模态融合过程中的信息控制问题,本文提出基于信息分解与融合的多模态情感分析模型。首先通过变分编码器推断单模态输入在子空间上的潜在分布,利用相似性和差异性约束,显式分离一致性和差异性信息。然后基于信息瓶颈原则,最大化融合表示与一致性和特异性表示的互信息以提取任务相关的信息,同时降低与原始模态的互信息以过滤无关的噪声信息。最后,为了避免在信息分解和融合过程中存在的信息丢失风险,设计重构任务,尝试从融合表示中恢复原始输入,从而为上游模块添加完整性约束。


知网文化
【相似文献】
中国期刊全文数据库 前16条
1 李丽娟;;多模态隐喻与企业文化记忆构建[J];人民论坛;2021年35期
2 马陈静;陈笑春;;多模态隐喻视角下我国脱贫攻坚国家形象的建构[J];青年记者;2021年22期
3 白嗣新;;高校多模态线上教学模式的研究、构建与策略——以播音与主持艺术“配音与声音艺术”课程为例[J];牡丹江教育学院学报;2021年11期
4 朱晓;卜凡凡;;国家认同的多模态话语建构——以《故事里的中国》为例[J];青年记者;2021年24期
5 郝俊雯;;多模态下的高职公共英语教学初探[J];江西电力职业技术学院学报;2021年10期
6 王飞;黄艺璠;汪鹏;;基于多模态数据的肺癌专病库建设研究[J];中国数字医学;2021年12期
7 周诗婕;车嘉琪;张文嫡;张玉良;;基于老年驾驶人的多模态集成式交互设计研究[J];汽车工程师;2021年12期
8 陈耿;;语义增强的多模态虚假新闻检测思考[J];数字技术与应用;2022年01期
9 刘清堂;李小娟;谢魁;常瑀倍;郑欣欣;;多模态学习分析实证研究的发展与展望[J];电化教育研究;2022年01期
10 马云飞;郑旭东;赵冉;刘慧;;深度学习的发生机制与多模态数据测评研究[J];远程教育杂志;2022年01期
11 周冰;;智媒视域下语言标签的多模态意义建构[J];现代传播(中国传媒大学学报);2021年12期
12 白玉贞;刘挨师;;疫情时期的影像专业“多模态”教学[J];内蒙古医科大学学报;2021年S2期
13 王青羽;张斌;;功能视域下多模态符际翻译——以《本草中国》部分语料为例[J];文化产业;2022年09期
14 颜增显;孔超;欧卫华;;基于多模态融合的人脸反欺骗算法研究[J];计算机技术与发展;2022年04期
15 梁强;;英语语言教学中多模态话语的意义与构建[J];白城师范学院学报;2022年01期
16 邓晓媛;李兵绒;;我国多模态外语教学研究综述[J];海外英语;2022年04期
中国重要会议论文全文数据库 前20条
1 史丽娟;王萌铎;桑艺昱;张喆;续欣莹;;针对多模态数据的代价敏感堆栈宽度学习系统[A];第32届中国过程控制会议(CPCC2021)论文集[C];2021年
2 王力;夏海轮;郭彩丽;;基于音视频融合的视频标题生成[A];第十五届全国信号和智能信息处理与应用学术会议论文集[C];2022年
3 皮涛;;基于多元读写能力培养的初中英语多模态写作教学模式探究[A];广东教育学会2021年度学术讨论会暨第十七届广东省中小学校长论坛论文选(二)[C];2021年
4 傅咏;;多模态初中英语综合语言运用课教学模式初探[A];广东教育学会2021年度学术讨论会暨第十七届广东省中小学校长论坛论文选(三)[C];2021年
5 杜晓;;多模态教学模式在高中英语词汇教学中的应用效果研究[A];2021教育科学网络研讨会论文集(七)[C];2021年
6 高于;苏伟伟;;探究高中英语阅读教学过程中多模态识读能力素养的培养[A];2021教育科学网络研讨年会论文集(上)[C];2021年
7 胡秀娟;王琳琳;;核心素养背景条件下的高中英语多模态阅读教学探究[A];2021教育科学网络研讨年会论文集(下)[C];2021年
8 纪莉莉;;刍议小学英语绘本阅读中的多模态教学[A];2021教育科学网络研讨年会论文集(上)[C];2021年
9 谭静;茅洁;赵婕;黄昕;肖小悦;温礼隆;;在体育领域应用多模态学习分析技术——以在AR环境下学习冬季运动项目为例[A];第十二届全国体育科学大会论文摘要汇编——墙报交流(体育工程分会)[C];2022年
10 王靖恪;;多模态视角下第十四届全运会会徽的概念隐喻建构[A];2021年“一带一路”体育文化学术大会论文摘要集[C];2021年
11 洪秀差;;运用多模态方式,提高英语语篇学习效率[A];2020年课堂教学教育改革专题研讨会论文集[C];2020年
12 秦婷婷;;多模态环境下的雅思听力教学[A];华南教育信息化研究经验交流会2021论文汇编(一)[C];2021年
13 陈冬霞;林泓域;高锦豪;;响应型多模态成像探针用于超氧阴离子(O_2·~-)的检测与成像[A];第十一届全国化学生物学学术会议论文摘要(第三卷)[C];2019年
14 凌秋霞;;小学英语口语多模态教学模式的有效策略探究——以PEP五年级教材为例[A];广东教育学会2019-2020年度学术成果集[C];2020年
15 陆礼春;;语言—音乐多模态语篇构建的认知功能对比研究[A];教育语言学研究第二卷 SFL与LCT专题[C];2019年
16 杨鹏鲲;;信息化背景下多模态话语分析理论在大学英语教学中的应用[A];华南教育信息化研究经验交流会2021论文汇编(六)[C];2021年
17 闫书佳;刘新伯;熊桓仟;童美松;;基于多模态算法的电力设备智能检测方法研究[A];2020中国自动化大会(CAC2020)论文集[C];2020年
18 王良坤;;多模态教学模式在初中英语阅读教学中的应用研究[A];2021年课堂教学教育改革专题研讨会论文集[C];2021年
19 孔国庆;;多模态教学在初中英语阅读教学中的应用研究[A];华南教育信息化研究经验交流会2021论文汇编(十)[C];2021年
20 刘振;;多模态理论在词汇教学中的有效性研究[A];2020学术年会报告文集[C];2021年
中国博士学位论文全文数据库 前20条
1 章荪;面向多模态社交数据的情感分析技术研究[D];南京信息工程大学;2022年
2 郑超群;面向高效多媒体检索的多模态哈希方法研究[D];山东师范大学;2021年
3 赵维;基于多模态影像数据的脑网络研究[D];湖南师范大学;2019年
4 曹俊亮;水下滑翔机多模态运动控制与路径规划研究[D];上海交通大学;2016年
5 汪珊;局灶性皮质发育不良的临床和影像学分析及多模态术前评估的临床研究[D];浙江大学;2019年
6 卢洪阳;清醒小动物多模态脑光学成像技术及应用[D];上海交通大学;2016年
7 胡敏;多模态靶向纳米探针在微小肝癌的诊断及光热治疗的实验研究[D];南方医科大学;2018年
8 刘曌雯;多模态生物数据分析与挖掘研究[D];西安电子科技大学;2018年
9 张灵均;多模态数据分类的模糊粗糙方法研究[D];天津大学;2017年
10 张淑美;基于数据驱动的复杂多模态过程模态识别及过程监测研究[D];东北大学;2016年
11 屈雯;基于多模态内容分析的多视角视频推荐技术研究[D];东北大学;2015年
12 马腾;基于mVEP和MI多模态脑机接口的关键技术研究[D];电子科技大学;2018年
13 年福东;基于语义先验约束的多媒体特征表示研究[D];安徽大学;2018年
14 李钊;多模态数据分类与检索的关键技术研究[D];北京交通大学;2018年
15 赵春秋;多模态纳米成像检测试剂及其应用研究[D];东南大学;2017年
16 赵亮;多模态数据融合算法研究[D];大连理工大学;2018年
17 陈飞宇;多模态情感分析算法研究[D];电子科技大学;2022年
18 张亚洲;面向多模态情感分析的类量子交互模型[D];天津大学;2019年
19 朱玲;昆剧翻译的多模态视角探索[D];苏州大学;2015年
20 胡明霞;美国国防部和星条旗网站军事历史专题报道主页多模态研究[D];国防科技大学;2020年
中国硕士学位论文全文数据库 前20条
1 余东晨;多模态学习理论与应用研究[D];上海交通大学;2019年
2 张康;基于深度学习的多模态数据特征融合问题的研究[D];齐鲁工业大学;2021年
3 夏谦;泛在环境下多模态信息融合机制与应用体系研究[D];华中师范大学;2013年
4 余艳丽;基于上下文关联的多模态信息融合方法研究[D];华中师范大学;2013年
5 白玉林;基于多模态数据的城市功能区与人流研究[D];大连理工大学;2021年
6 尚鸽鸽;积极多模态隐喻分析视野下的《厉害了,我的国》[D];西安外国语大学;2019年
7 蒋金洋;英语儿童绘本汉译中的多模态关系呈现及其影响研究[D];江南大学;2018年
8 张建亮;多模态视角下中美新闻有关雾霾报道的社会参与者再现分析[D];长安大学;2018年
9 刘银;中国反腐政治漫画中的多模态隐喻:隐喻分类与反腐主题的构建[D];北京外国语大学;2018年
10 戴姣姣;多模态批评话语分析视角下人教版初中英语课本中的性别研究[D];西安外国语大学;2018年
11 李敏;央视公益广告的多模态话语分析[D];新疆财经大学;2019年
12 吴良庆;面向多模态信息的情绪分类方法研究[D];苏州大学;2020年
13 李朝阳;基于深度学习的多模态聚类分析[D];西安电子科技大学;2020年
14 宫雪莹;多模态隐喻在公益广告《不该》中的应用[D];哈尔滨师范大学;2021年
15 严木兰;多模态视角下的初中英语阅读教学的实验研究[D];赣南师范大学;2019年
16 刘傲;基于深度学习的多模态智能问答技术研究[D];电子科技大学;2020年
17 陈实;汽车电视广告的多模态隐喻研究[D];中南民族大学;2019年
18 刘雪莹;多模态文体学视域下电影片尾“彩蛋”研究[D];中南民族大学;2019年
19 徐心懿;视觉语法框架下信息流广告的多模态话语分析[D];厦门大学;2019年
20 付泽;多模态英文动词性和形容词性隐喻识别研究[D];厦门大学;2019年
中国重要报纸全文数据库 前20条
1 记者 戴丽昕;共融机器人多模态转变成为发展趋势[N];上海科技报;2017年
2 记者 张建列 通讯员 冯春;深圳先进院研制出新一代多模态显微系统[N];广东科技报;2016年
3 本报记者 郭钇杉;京东数科发力多模态AI技术[N];中华工商时报;2020年
4 刘强 本报记者 乔地;IP网络遭遇困局 多模态智慧网络是未来发展方向[N];科技日报;2020年
5 本报见习记者 辛雨;成像设施,有“图”有“真相”[N];中国科学报;2019年
6 本报记者 顾鸿儒;人工智能尚未到来 多模态融合成为趋势[N];中国电子报;2019年
7 浙江大学教授 胡晓云 本报记者 孙鲁威;坚持多模态产业模式[N];农民日报;2011年
8 记者 查建国 陈炼;构建中国故事多模态国际传播格局[N];中国社会科学报;2021年
9 记者 李玉;信息技术深化多模态话语研究[N];中国社会科学报;2017年
10 记者 刘垠;在分子水平上认识疾病[N];大众科技报;2009年
11 本报记者 华凌;探究生命与物质奥秘,中国再铸两把“利器”[N];科技日报;2019年
12 华侨大学华文学院 马伟忠 王艺文;构式语法研究的新动向——多模态构式语法[N];中国社会科学报;2018年
13 姜月华 顾轩 程和琴;多模态传感系统助力长江沿岸水利工程防护[N];中国矿业报;2021年
14 本报记者 翟冬冬;大模型“画龙”,小数据“点睛” 企业加快智能化转型[N];科技日报;2022年
15 林丽霞 福建技术师范学院外国语学院;基于大数据多模态的数智学习平台构建[N];中国社会科学报;2022年
16 本报记者 周萃;深圳调查:“科技+金融”深度融合之后[N];金融时报;2018年
17 本报记者 喻思南;今后,刷脸更准更安全[N];人民日报;2020年
18 本报记者 罗朝淑;多模态神经成像:让大脑病灶无处可逃[N];科技日报;2010年
19 实习生:张洁 记者 :王春;探秘人类灵性家园[N];科技日报;2006年
20 本报记者 崔爽;标准出海 刷脸支付将更安全[N];科技日报;2020年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978