基于内容的视频情感语义分析关键技术研究

【摘要】：随着多媒体技术的不断发展,数字视频近年来逐渐成为信息记录和传播的一种重要方式。传统的人工标注方法不能适应急速增长的视频数据分类和检索需求。在这种情况下,人们开始研究基于内容的视频语义分析技术,希望通过建立视频低层物理特征空间和高层语义空间的映射关系,从视频内容中提取能反映人类主观概念中的语义信息,自动对视频语义内容进行标注。情感语义是视频中最高层的语义信息,如何提取和描述视频所表达的情感语义信息是目前视频语义分析中重要研究方向之一。 基于内容的视频情感语义分析有很高的技术综合性,其主要的关键技术包括情感语义模型构建、认知层语义分析技术、情感层语义分析技术以及基于情感内容的视频检索技术等,本文在这几方面做了深入的分析和研究,所做工作及主要创新成果如下： (1)设计了一种新的情感空问模型。根据情感产生的基本原理以及视频情感信息的特点,用“情感直方图”的方式来表达视频情感空间。该模型能够有效地进行情感类型描述和情感强度表达。 (2)设计了一种基于本体论的视频情感语义分析框架。根据视频语义内容呈现的基本规律和本体论的研究成果,对视频本体的概念进行了定义,建立了一套函数体系和推理关系,并根据此框架设计了视频情感语义分析的整体流程。 (3)提出了一套认知层语义分析的算法,认知层语义分析是情感识别的基础和重要步骤,本文对认知层语义分析中的视频对象分割算法、视频对象识别分类算法以及对象运动轨迹检测算法进行了研究,提出了一套改进的算法并进行了对比分析。 (4)提出了视频“情感语义对象”的概念,分析了人类视觉系统(HVS)的注意机制,对视频内能够引起人们注意并产生情感反应的主要对象进行了识别和判定。将人工神经网络技术引入视频情感分析领域,构建了一种从认知层语义到情感层语义的映射模型。 (5)设计了一套基于情感内容的视频检索系统,利用面向对象技术和关系型数据库技术,将视频分析获取的情感层语义内容采用结构化的方式进行存储和组织,提供有效的用户接口实现基于情感内容的视频检索。