收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于多模态内容分析的多视角视频推荐技术研究

屈雯  
【摘要】:随着计算机处理能力的提高、互联网上各种社会媒体共享平台的发展,多媒体数据(图像、音频和视频)逐渐成为了人们日常生活中记录和传播信息的主要载体之一。视频数据作为多媒体数据的一种,可以对现实生活中发生的场景和声音进行记录与存储,具有视听性、信息丰富等特点,从而在安全监控、工业制造、医疗诊断和娱乐等领域有广泛的应用。然而,视频数据总量的急剧上升使得用户很难从大量视频数据库中找到并选择有用的或感兴趣的视频数据。用户迫切需要研究人员能够实现对视频进行管理、推荐和浏览的应用。个性化推荐系统通过为用户推荐和其兴趣最相关的数据,能够有效的解决“数据过载”的问题。在多媒体数据分析和海量数据的推荐系统相结合的情况下,视频推荐成为近年来研究的热点之一。传统的视频推荐根据视频的元数据(文本)或者视频的图像内容(图像)作为视频内容分析,仅仅考虑了视频单个模态的内容分析。然而,视频数据包含文本、图像和音频多个模态的信息,多模态内容及其中的关联关系并没有被挖掘。另外,大部分视频推荐系统将视频对象作为一个整体,并没有考虑视频在时域上的信息。因此,现有的视频推荐系统无法实现视频的多视角推荐,例如:摘要推荐、视频的跨模态推荐。本文从多模态内容分析的角度,对多视角视频推荐中的相关关键问题进行了研究。论文的主要研究内容及创新点如下:(1)针对视频基于语义的相似性度量的问题,本文提出了一种基于中间语义的度量方法,并同时实现了视频的标注和距离度量学习。在单模态标签的基础上,提出了多模态标签来描述视频中的多模态语义信息。进一步采用多核学习的架构将多个模态的语义进行结合,从而将底层多模态特征映射到一个统一的中间语义空间,并基于中间语义空间对视频之间的相似性度量函数进行学习,从而解决了传统度量方法无法对视频的语义相似性进行度量的问题。在真实视频数据集上的实验结果显示了本文所提出方法比传统的度量方法能更有效地度量视频在语义上的相似性;(2)针对视频进行多模态内容分析困难和推荐系统中用户评分记录不足的两个问题,本文提出了多模态内容分析和统一表示的方法,并采用半监督增强的推荐算法来对用户的喜好进行增强。通过从网络上收集与视频相关联的多媒体数据并进行多模态内容分析,对多种模态的数据进行特征提取、建立统一的特征表示,解决了直接进行视频内容分析时存在的时间代价大、可行性低的问题。对推荐系统中部分评分记录少的用户,采用自训练的学习框架进行用户喜好增强,解决了用户记录不足时对推荐系统性能的影响。通过在标准数据集上的实验与分析,实验结果显示了该方法的有效性;(3)针对用户难以快速浏览推荐系统返回的所有视频的问题,本文提出了根据用户需求生成个性化视频摘要的方法。对视频中人物的情感、人物之间的交互关系进行挖掘,并提出了交互情感RoleNet来描述挖掘的结果,从而将视频内容转化为人物关系的序列。采用序列数据挖掘的方法对人物关系的序列进行挖掘,得到包含语义内容的视频摘要结果,从而解决了从视频中提取基于语义的视频摘要的问题。针对不同用户的需求,提出了基于电影视频结构的摘要和以人物为中心的视频摘要,满足了不同用户对视频摘要的个性化要求。通过在真实数据集下进行主观和客观实验分析,实验结果显示本文的方法能够有效地对视频中的语义内容进行摘要;(4)针对视频推荐系统只能返回单一模态的推荐结果的局限性,提出了根据用户-视频信息进行文本和音频推荐的方法。通过多模态深度学习对多个模态特征之间关系进行建模,建立了多个模态统一的特征表示,为进一步的跨模态推荐提供了基础。基于学习到的多模态统一表示方法,实现了根据用户在视频领域的喜好进行视频故事情节和音乐的跨模态推荐。在标准数据集上的实验结果验证了该方法能够有效地实现多个模态的推荐,提供了多模态的视频推荐结果。综上所述,论文主要工作为基于多模态内容分析的多视角视频推荐方法和技术,探索了多模态特征提取和表示的方法。从特征融合、结果融合和方法融合三个层次探讨了多模态视频推荐的方法,对视频度量学习、视频推荐、摘要推荐和跨模态推荐中存在的问题进行了分析和解决。本文的研究成果为建立和实现多视角的视频推荐提供了理论基础和支撑技术。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 何俊;刘跃;何忠文;多模态情感识别研究进展[J];计算机应用研究;2018年11期
2 汤波;王云;姚道武;;基于广告语言的多模态表现研究[J];皖西学院学报;2018年03期
3 梅勇;申云化;;大学英语教师多模态运用调查研究——以武汉地区高校为例[J];外国语文研究;2017年05期
4 翁成颜;;浅析多模态视角下中学翻转课堂教学模式[J];海外英语;2017年22期
5 郭婷;;微传播中多模态语篇的图文意义共建研究[J];海外英语;2017年24期
6 何少娴;张芳;毛浩然;;多模态研究的内涵外延、方法与视角[J];闽江学院学报;2017年06期
7 刘欣;徐邵阳;刘苏玲;翟子秋;;中英广告的多模态隐喻对比研究[J];现代交际;2018年02期
8 金黛莱;关承惠;;多模态视角下民族大学校徽的意义解读[J];聊城大学学报(社会科学版);2018年01期
9 毛现桩;;多模态符号学理论下多模态意义建构中模态间的并协与互补——一个大学校徽图案的视觉语法分析[J];科技风;2016年20期
10 王荣斌;薛耀琴;;大学英语写作教学中多模态评价能力的培养研究[J];内蒙古农业大学学报(社会科学版);2016年06期
11 汤海燕;;一幅“亚投行”政治漫画的多模态隐喻研究[J];海外英语;2016年22期
12 陈小云;李文斌;徐曦;陈娅玲;;高职英语听力多模态教学——基于缓解材料难度焦虑的探究[J];金华职业技术学院学报;2017年01期
13 程瑞兰;;多模态话语学位论文研究:空间结构特征及其形成原因[J];宿州学院学报;2016年12期
14 宋娟;;中英公益广告构图意义多模态对比分析[J];佳木斯职业学院学报;2017年01期
15 杨永青;;广告语言的多模态视角研究[J];山东农业工程学院学报;2016年12期
16 张德禄;;多模态论辩修辞框架探索[J];当代修辞学;2017年01期
17 乐思伟;;多模态性别隐喻的认知机制探析——以商业广告中的多模态性别隐喻为例[J];广东第二师范学院学报;2017年01期
18 郑鑫;;基于多模态识读能力培养的大学英语阅读教学[J];湖北函授大学学报;2017年08期
19 王文蒲;;多模态教学模式对学生学习自主性及效果的影响研究[J];英语广场;2017年02期
20 张睿思;;多模态话语框架下的跨文化交际课程教学实践[J];英语教师;2017年09期
中国重要会议论文全文数据库 前10条
1 唐淑华;;文学语篇的语言学研究视角:多模态认知诗学——《多模态、认知和实验文学》评介[A];认知诗学2014年第1辑[C];2014年
2 杜玲莉;王开建;纪再祥;;基于多模态话语理论的大学英语教学改革[A];新教育时代(2015年10月 总第1辑)[C];2015年
3 王琳;;浅析多模态话语分析理论在初中英语写作教学中的应用[A];第二届世纪之星创新教育论坛论文集[C];2015年
4 张霄军;;多模态语料库:抢救濒危语言的有效途径[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
5 张莹;;大学英语课堂的多模态教学研究[A];“决策论坛——基于公共管理学视角的决策研讨会”论文集(下)[C];2015年
6 夏凡;王宏;;多模态情感数据标注方法与实现[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
7 张旭;郭晨;孙建波;;自适应多模态克隆选择算法[A];2007年中国智能自动化会议论文集[C];2007年
8 赵广州;;从多模态话语理论角度来看交际教学法中的角色扮演[A];福建省外国语文学会2010年年会论文集[C];2010年
9 霍畅;侯婷婷;;基于大学英语翻转课堂的多模态教学研究[A];外语教育与翻译发展创新研究(第六卷)[C];2017年
10 党军;;双语词典的多模态化——用户·词典·编者[A];福建省外国语文学会2010年年会论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 张淑美;基于数据驱动的复杂多模态过程模态识别及过程监测研究[D];东北大学;2016年
2 屈雯;基于多模态内容分析的多视角视频推荐技术研究[D];东北大学;2015年
3 张灵均;多模态数据分类的模糊粗糙方法研究[D];天津大学;2017年
4 曾宪武;大跨度桥梁多模态耦合颤抖振及其控制研究[D];华南理工大学;2006年
5 朱玲;昆剧翻译的多模态视角探索[D];苏州大学;2015年
6 聂为之;多模态媒体数据分析关键技术研究[D];天津大学;2014年
7 李宝磊;多元优化过程记忆算法及动静条件下多模态寻优研究[D];云南大学;2015年
8 王雷全;基于图模型的多模态社会媒体分析[D];北京邮电大学;2016年
9 程波;基于迁移学习的多模态脑图像分析及其应用研究[D];南京航空航天大学;2015年
10 柴瑞峰;小儿神经重症患者术后多模态监测的临床研究[D];新疆医科大学;2017年
中国硕士学位论文全文数据库 前10条
1 朱美玲;概念整合理论视角下《野兽国》的多模态隐喻意义建构[D];陕西师范大学;2017年
2 梅素萍;多模态理论在高中英语词汇教学中的实验研究[D];河北师范大学;2018年
3 谢亮;小生境粒子群算法在多模态及动态问题中的研究[D];中原工学院;2018年
4 吴米花;集体教学活动中学前名师多模态话语支架功能的个案研究[D];华中师范大学;2017年
5 崔焕喜;多模态MRI结合超声在脑胶质瘤术中的应用[D];新疆医科大学;2017年
6 张寅丰;基于体模的64排螺旋CT多模态扫描对颅脑病灶及边缘征象的解剖学研究[D];河北医科大学;2017年
7 韩晶;政治漫画中多模态隐喻认知研究:概念整合视角[D];内蒙古大学;2017年
8 赛小琴;多模态视角下中英反吸烟公益广告人际意义对比研究[D];新疆大学;2017年
9 马嵩;多模态理论在高中英语词汇教学中的应用研究[D];沈阳师范大学;2017年
10 王雪慧;多模态教学在高中艺术特长生英语写作中的应用研究[D];沈阳师范大学;2017年
中国重要报纸全文数据库 前10条
1 苏州大学跨文化研究中心、天津职业技术师范大学非盟研究中心 朱玲;多模态:翻译研究的新视角[N];中国社会科学报;2017年
2 康建朝 中国教育科学研究院助理研究员 中芬教育创新研究中心主任 李栋 芬中教育协会执行副主席兼秘书长;从中芬对比视角看芬兰核心素养[N];中国教育报;2017年
3 浙江万里学院外语部 王中祥;多模态研究:认知语言学的新方法[N];中国社会科学报;2017年
4 记者 戴丽昕;共融机器人多模态转变成为发展趋势[N];上海科技报;2017年
5 西北师范大学外国语学院 吕文澎 兰州商学院陇桥学院外国语言文学系 韩世霞;多模态写作的特征与趋势[N];中国社会科学报;2016年
6 同济大学外国语学院 黄立鹤;多模态语言研究发展前景广阔[N];中国社会科学报;2016年
7 记者 张建列 通讯员 冯春;深圳先进院研制出新一代多模态显微系统[N];广东科技报;2016年
8 浙江大学教授 胡晓云 本报记者 孙鲁威;坚持多模态产业模式[N];农民日报;2011年
9 记者 李玉;信息技术深化多模态话语研究[N];中国社会科学报;2017年
10 记者 刘垠;在分子水平上认识疾病[N];大众科技报;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978