收藏本站
《南京理工大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

基于统计学的视频语义分析与提取技术研究

魏维  
【摘要】:视频分析是多媒体信息处理的重要研究内容。多媒体信息呈现爆炸式增长,海量视频数据需要高效的浏览、检索工具进行管理和访问。现有内容分析技术大多是基于非语义低层物理特征,不仅难以理解而且与人类思维中的高层语义概念相差甚远,严重影响和制约了基于内容的视频管理、检索技术进一步推广和应用。如何跨越低层特征和高层语义概念间的语义鸿沟,以语义概念来管理、访问视频数据,已成为多媒体领域颇具挑战性的研究课题。 本文基于统计学理论,提出了一个视频数据多粒度语义分析和提取的通用解决方案。在该方案中,多层次语义分析与多模式信息融合技术在同一模型中得到统一和应用。本文首先提出了一种基于统计分布的镜头渐变边界检测方法,并用一种具有时间语义语境约束的关键帧选取策略对时域内容进行表示;然后在基本视觉语义识别后,得出一种层次的多粒度视觉语义分析提取框架;随后把时频变换得到的声音频谱作为可观察特征,构建了基本声音语义识别的隐马尔可夫模型,通过语义窗口获得基本声音语义组后,按照高层逻辑定义提取音频高层语义;最后仿照人脑多感觉器官信息融合机理,将视频中多模式特征按不同类别进行划分,设计了一种基于仿生的视频语义分析两级多模式信息融合算法。 本文的创新点是: (1) 提出一种多层次/多粒度视觉语义分析的通用框架。仿照人类视觉系统的注意力机制,利用时空注意力模型选择动态和静态显著区域;将所选区域用模式分类技术进行基本视觉语义分类识别;设计了一种适合基本视觉语义分类识别的特征选择算法;得出一种定步长组合划分方法,用于对具有多峰分布属性的特殊显著区域进行基本视觉语义识别;将高层视觉语义看作是隐含状态,利用层次隐马尔可夫模型和帧切片策略建立时间语义语境约束后,对高层视觉语义进行提取。 (2) 提出一种对音频语义分析和提取的方法。采用隐马尔可夫模型(HMMs)对分析窗口内的基本声音语义进行识别;以贝叶斯决策排除语义窗口声音段中的未定义基本语义;按贝叶斯公式计算最大后验概率后,得到语义窗口内的一个基本声音语义组;采用高层语义逻辑定义来描述基本语义与高层声音语义概念间的联系,最终提取高层音频语义。 (3) 通过对人脑多种感官信息融合机理的分析,提出一种基于仿生的视频语义分析两级多模式信息融合算法。首先分别进行视频图像、音频、文字等各部分内的多模式特征融合,然后通过基于核的非线性算法把输入空间变换到高维特征空间,在特征空间中求取最优线性分类面,最终得到融合多模式信息的视频语义。
【学位授予单位】:南京理工大学
【学位级别】:博士
【学位授予年份】:2006
【分类号】:TP391.41

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 罗夏峰;明曙军;刘永俊;;彩色人脸图像鉴别特征抽取综述[J];常熟理工学院学报;2011年04期
2 徐春明;;一种光滑局部敏感鉴别分析方法[J];计算机工程;2011年13期
3 黄传波;金忠;;基于视觉注意的彩色图像检索方法[J];光子学报;2011年07期
4 奉国和;郑伟;;文本分类特征降维研究综述[J];图书情报工作;2011年09期
5 陈才扣;史骏;侯钰;姜敏;;基于局部均值的广义散度差无监督鉴别分析[J];计算机工程与设计;2011年07期
6 蔡华利;刘鲁;王理;;突发事件Web新闻多层次自动分类方法[J];北京工业大学学报;2011年06期
7 陈友;程学旗;杨森;;面向网络论坛的高质量主题发现[J];软件学报;2011年08期
8 张军;;人体步态雷达信号时频分析方法研究[J];电子测量与仪器学报;2011年06期
9 卢桂馥;林忠;金忠;;基于核化图嵌入的最佳鉴别分析与人脸识别[J];软件学报;2011年07期
10 张朝柱;左国辉;;基于核方法的二维线性判决分析的人脸识别算法[J];吉林大学学报(工学版);2011年04期
中国重要会议论文全文数据库 前10条
1 孙萌;姚建民;吕雅娟;刘群;姜文斌;;基于最大熵短语重排序模型的特征抽取算法改进[A];第五届全国青年计算语言学研讨会论文集[C];2010年
2 陈才扣;侯钰;;自适应监督鉴别投影分析[A];中国自动化学会控制理论专业委员会A卷[C];2011年
3 胡佳妮;郭军;徐蔚然;;一种基于短文本的独立语义特征抽取算法[A];全国网络与信息安全技术研讨会论文集(上册)[C];2007年
4 邓中亮;;雕刻型面的特征抽取机制与自动辩识[A];1998年中国智能自动化学术会议论文集(下册)[C];1998年
5 罗海飞;虞立群;章志凌;邵晓敏;陈林;汪更生;陈弈秋;何伟杰;;一种改进型CHI的特征抽取方法[A];第二十四届中国控制会议论文集(下册)[C];2005年
6 周志红;周新聪;严新平;袁成清;;磨粒特征参数的评价与优化方法研究[A];2006全国摩擦学学术会议论文集(一)[C];2006年
7 王智超;季铎;蔡东风;张桂平;;文本聚类中基于知网的特征抽取方法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
8 金东瀚;郑雷;;一种高效图象正交变换编码:DDD-T及其应用[A];中国图象图形科学技术新进展——第九届全国图象图形科技大会论文集[C];1998年
9 熊军;周德新;;基于神经网络的手写印刷体汉字识别[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
10 柳林霞;陈杰;陈文颉;;自动目标识别技术中的图像特征提取技术[A];第二十一届中国控制会议论文集[C];2002年
中国重要报纸全文数据库 前8条
1 特约撰稿人 郑优军 甄浩;文稿输入让键盘走开[N];电脑报;2001年
2 朱冰;网络言论分析技术让机器读懂好恶[N];中国高新技术产业导报;2008年
3 贺慧宇;声发射监测把脉桥梁安全[N];中国建设报;2008年
4 本报记者 洪奇;手写笔:21世纪的主流输入技术[N];计算机世界;2001年
5 孙定;产品与服务[N];计算机世界;2001年
6 徐昕;正在成熟的生物识别技术[N];中国计算机报;2006年
7 罗敏;《中国C网中文信息应用网络系统》近日通过技术成果鉴定[N];中国高新技术产业导报;2001年
8 周新红 田朝晖 段勇;信息融合:现代战争的重要支撑[N];解放军报;2005年
中国博士学位论文全文数据库 前10条
1 杨茂龙;相关投影分析在特征抽取中的应用研究[D];南京理工大学;2011年
2 赵才荣;基于图嵌入与视觉注意的特征抽取[D];南京理工大学;2011年
3 万鸣华;基于图嵌入的特征抽取与人脸识别研究[D];南京理工大学;2011年
4 魏维;基于统计学的视频语义分析与提取技术研究[D];南京理工大学;2006年
5 曾雪强;偏最小二乘降维方法的研究与应用[D];上海大学;2009年
6 王正群;手写体汉字识别研究[D];南京理工大学;2001年
7 赵海涛;投影分析在人脸识别中的研究与应用[D];南京理工大学;2003年
8 徐勇;几种线性与非线性特征抽取方法及人脸识别应用[D];南京理工大学;2004年
9 刘毅;非平稳信号的小波分析与拟合问题研究[D];山东大学;2006年
10 方蔚涛;人脸识别特征抽取算法的研究[D];重庆大学;2012年
中国硕士学位论文全文数据库 前10条
1 李林林;高炉专家系统中知识库的研究与实现[D];东北大学;2005年
2 蒋冀翔;基于非负矩阵分解的信息获取方法研究[D];东南大学;2006年
3 曹丽;基于流形的特征抽取及人脸识别研究[D];扬州大学;2009年
4 邵斌;基于多Agent的汉字签名认证研究[D];国防科学技术大学;2005年
5 樊培培;径向基神经网络及其在红外客流采集问题中的应用研究[D];河北工业大学;2007年
6 朱红;基于Rough Set的特征抽取算法的研究[D];湘潭大学;2002年
7 陈治纲;基于向量空间模型的文本分类系统研究与实现[D];天津大学;2005年
8 甘立国;中文文本分类系统的研究与实现[D];北京化工大学;2006年
9 刘宏伟;搜索引擎中中文WEB文本自动分类研究[D];暨南大学;2007年
10 张萍;基于非负矩阵分解的肿瘤DNA微阵列数据分类研究[D];曲阜师范大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026