收藏本站
《上海大学》 2004年
收藏 | 手机打开
二维码
手机客户端打开本文

基于内容多媒体应用的语义视频对象提取及评价

杨高波  
【摘要】:传统的视频压缩编码标准MPEG1/2和H.26x都采用基于帧的技术,不要求对场景进行分割。它们能获得较高的压缩比,并在许多领域得到了广泛的应用。随着多媒体信息的日益丰富,人们不再满足于对视频信息的简单浏览,而要求提供基于对象的操纵、交互等功能。为此,MPEG-4引入视频对象的概念,以支持基于对象的交互性和可分层性。MPEG-7则对各种媒体对象进行统一和规范化的描述。按照MPEG-4的校验模型,视频序列必须先分割成具有语义意义的视频对象,然后对其运动、形状和纹理分别进行编码。视频对象的应用价值主要有:对不同的视频对象按其对视觉重要性分配不同的码率,可提高压缩编码效率;支持对象可分级,在较低的网络带宽时获得更好的视觉效果;用视频对象来组织视频内容,能实现基于视频内容的存储、交互和查询等功能。 然而,MPEG-4尽管引入了视频对象的概念,它并没有指定从视频序列获取视频对象的具体方法。一方面,视频对象的语义一致性难以通过视频的低级物理特性来建模,使得针对各种视频序列的通用视频对象分割算法是一个尚未解决的经典难题;另一方面,针对特定的应用,往往可以利用先验知识设计相应的算法。 本论文重点研究MPEG-4框架下的从视频序列中分割出视频对象的方法和技术,以及其在基于内容多媒体中的应用。研究目标是:对特定类型的序列如头肩序列,算法满足实时性要求;对背景静止的序列,全自动分割算法取得较好的分割效果;对复杂背景和前景运动视频序列,采用半自动分割算法,要求得到较好的分割质量,而且人机交互简单。具体地,本文研究的主要内容和贡献包括: 提出了两种全自动的视频对象分割算法。第一种采用背景记录和变化检测,主要由预处理、背景记录、背景缓冲、变化检测和后处理等几部分组成。它不需要诸如运动估计、特征空间分析等计算量大的操作,并能有效去除阴影和光照变化造成的影响。它能够生成背景信息,支持MPEG-4的精灵编码。第二种是一种基于时空分割融合的视频对象提取改进算法。时间分割基于变化检测,其关键的阈值选取是通过直方图分析得到的。空间分割是本算法的核心,采用基于小波变换的分水岭变换算法。 提出了一种半自动的视频对象分割算法。为方便用户定义初始对象轮廓,提出了一种修 杨高波 基于内容多媒体应用的语义视频对象提取及评价 改的智能剪.它通过引入边界框、简化代价函数和改进搜索策略等,可提高优化路径搜索速 度约6一8倍,而几乎不损失分割精度,完全满足半自动分割算法对初始对象轮廓勾勒的要求。 为克服对象跟踪过程中的误差积累,按视频对象的刚性、非刚性以及全局、局部直方图比较 进行视频分解得到后续帧的视频对象。由于视频分解以及人工参与,它可以在很大程度上解 决遮挡问题,取得了比COSTZll AM更好的分割效果。 针对目前的视频分割算法大多数难以满足实时性要求,采用了一种新的计算体系结构, 即将细胞神经网络引入视频对象分割.细胞神经网络是一种非线性模拟电路,由大量胞元组 成,且只允许最邻近的胞元间直接通信。由于它具有的高度并行的实时处理能力和机理类似 于人类视觉系统,特别适合于图像处理等领域。然而,与传统的CISC处理器相比,CNN只 能利用一些简单的基于像素的函数,有相对狭窄的指令集一尽管有很高的速度。因此,基于 O四体系结构的视频对象分割算法的关键是充分考虑到经胞神经网络的特点,将复杂的视频 分割算法分解为一些CNN胞元能够完成的低级操作。论文提出基于彩色边缘变化检测的视频 分割算法。所有的模板都是3x3的线性模板,并能在CNN的模板库中得到,因此,其易于 CNN实现。 本文提出了一种客观的存在参考分割时分割算法评价方法。视频分割算法往往只适合特 定的应用,其性能依赖于具体的序列。目前,视频分割算法的性能评价以对己知序列的分割 结果的主观评价为主,尚没有一种广泛接受的客观评价方法。视频分割算法的评价是重要的, 它有助于针对具体的应用选取合适的算法并设置恰当的参数,以及有利于通过融合各种算法 的优点发展新的算法;而且,自动分割算法采用性能评价作反馈可改进分割性能。空间精确 度通过相对前景面积、位置、边界像素距离以及像素分类来进行,并将其按对人类视觉系统 的重要性线性加权。而时间一致性反映分割算法分割各帧时的稳定性,它通过空间准确度的 变化‘来刻画。实验证明,其评价结果与主观评价结果一致,而且计算量小。 综上所述,本论文系统地研究了MPEG4框架下的语义视频对象分割问题,根据具体的 问题提出了满足实际需要的全自动、半自动分割算法,并探讨了在存在参考分割的情况下客 观地评价视频分割算法性能的方法。
【学位授予单位】:上海大学
【学位级别】:博士
【学位授予年份】:2004
【分类号】:TN919.81

【引证文献】
中国博士学位论文全文数据库 前3条
1 郭戈;数字视频语义信息提取与分析[D];解放军信息工程大学;2010年
2 张晓波;面向基于对象编码的视频分割研究[D];天津大学;2007年
3 陆宇;基于H.264压缩域的视频对象分割[D];上海大学;2009年
中国硕士学位论文全文数据库 前6条
1 庞希愚;视频运动对象提取和跟踪方法的研究[D];山东大学;2007年
2 王祥;基于颜色特征点的视频对象提取跟踪法[D];山东大学;2007年
3 蒋文艳;一种基于CNN的视频运动对象分割的研究[D];广西大学;2007年
4 朱亚玲;基于语义的视频检索关键技术研究[D];西北师范大学;2008年
5 赵琳琳;时空融合视频对象分割技术研究[D];吉林大学;2012年
6 王佳人;基于视频图像的火灾识别与预报[D];哈尔滨工程大学;2012年
【参考文献】
中国期刊全文数据库 前10条
1 刘党辉,沈兰荪;视频运动对象分割技术的研究[J];电路与系统学报;2002年03期
2 黄友珍,黄艺,余兆明;基于修正分水岭算法和时域跟踪的视频自动分割[J];电视技术;2000年01期
3 杨高波,张兆扬;基于时空分割融合的视频对象提取改进算法[J];电视技术;2003年09期
4 赵建业,王新,余道衡;基于Gibbs图像模型的细胞神经网络模板设计法[J];电子学报;2000年01期
5 邱锦波,朱光喜,王曜;一种基于小波变换的视频对象分割算法[J];计算机工程;2002年05期
6 刘李杰,蔡德钧,翁南钐;一种面向运动的视频对象分割算法[J];计算机学报;2000年12期
7 贺玉文,赵黎,钟玉琢,杨士强;快速鲁棒的全局运动估计算法[J];软件学报;2001年08期
8 任鲁涌,郝相升,谢学智;一种基于遗传算法的细胞神经网络模板设计算法[J];山东工程学院学报;2001年04期
9 杨高波,张兆扬;一种基于背景记录和变化检测的视频对象分割算法[J];上海大学学报(自然科学版);2003年02期
10 韩军,熊璋,孙文彦,龚声蓉;自动分割及跟踪视频运动对象的一种实现方法[J];中国图象图形学报;2001年08期
【共引文献】
中国期刊全文数据库 前10条
1 陈学锋;瞿金平;;注塑机曲肘式合模机构弹性振动的研究[J];工程塑料应用;2008年03期
2 陈文元;李雪梅;迟晓梅;;小波分析与神经网络在结构多处损伤监测中的应用[J];四川建筑科学研究;2006年03期
3 谢晓娣;基于小波包变换的地铁远方短路电流分析[J];安徽电气工程职业技术学院学报;2005年01期
4 李素云;张德祥;;基于小波变换的汽车齿轮箱振动信号故障分析[J];安徽电子信息职业技术学院学报;2012年01期
5 纪雯,王迎,史浩山;基于动态CBR控制的混合媒体流传输机制[J];安徽大学学报(自然科学版);2004年06期
6 李多田;张伟林;;结构无损检测与小波分析方法[J];安徽建筑工业学院学报(自然科学版);2008年03期
7 张兵;;不同模态振型在梁结构裂缝识别中的差异[J];安徽建筑;2010年02期
8 林雯;;基于计算机视觉和神经网络的芒果外观等级分类研究[J];安徽农业科学;2010年23期
9 孟艳;从小波多尺度思想看李约瑟难题争鸣的现实意义[J];安康师专学报;2005年04期
10 王蓉,谢元旦;基于小波的图像融合算法的实现[J];鞍山科技大学学报;2003年05期
中国重要会议论文全文数据库 前10条
1 杨辰龙;;曲面变厚度工件超声检测中的波形自动跟踪技术研究[A];中国自动化学会控制理论专业委员会C卷[C];2011年
2 王重阳;彭圆;张风珍;牟林;;CWT奇异值在水中目标回波信号特征提取中的应用[A];中国声学学会水声学分会2011年全国水声学学术会议论文集[C];2011年
3 何正嘉;訾艳阳;陈雪峰;王晓冬;;内积变换原理与机械故障诊断[A];第九届全国振动理论及应用学术会议论文集[C];2007年
4 段培超;;基于小波变换和CB形态学的航空图像边缘检测[A];图像图形技术与应用进展——第三届图像图形技术与应用学术会议论文集[C];2008年
5 林梓;宋鹏;;基于小波变换的1/f类分形信号的噪声抑制[A];第十届全国信号处理学术年会(CCSP-2001)论文集[C];2001年
6 刘东辉;孙晓云;孙会琴;郭立炜;;一种有效去除测量噪声的新方法[A];第十一届全国信号处理学术年会(CCSP-2003)论文集[C];2003年
7 蒋晓悦;赵荣椿;;一种改进的活动轮廓对于图像的分割[A];信号与信息处理技术——第一届信号与信息处理联合学术会议论文集[C];2002年
8 邹博文;李静波;王国华;;基于小波分析的电喷汽油机失火诊断研究[A];2007年APC联合学术年会论文集[C];2007年
9 吴铁洲;周杨;柏祎山;黄圣超;;下一代光网络动态带宽分配策略[A];湖北省电工技术学会、武汉电工技术学会2008年学术年会暨理事会换届大会论文集[C];2008年
10 董新洲;毕见广;;配电线路暂态行波的分析和接地选线研究[A];中国水力发电工程学会继电保护专业委员会成立大会暨学术研讨会学术论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 邹玮;荧光分子断层图像的重建技术研究[D];苏州大学;2010年
2 张峰;输电线路行波故障测距优化算法研究[D];山东大学;2010年
3 王选贺;跨摄像机多人体目标的跟踪研究[D];浙江大学;2011年
4 马增强;运动车辆视频检测与分割方法研究[D];北京交通大学;2011年
5 刘丽丽;基于采样模型的多维矢量矩阵DCT整数变换编解码器研究[D];吉林大学;2011年
6 赵鹏;离心泵振动故障诊断方法研究及系统实现[D];华北电力大学(北京);2011年
7 刘劲;基于X射线脉冲星的航天器自主导航方法研究[D];华中科技大学;2011年
8 李鹏辉;基于图像处理技术和小波方法的结构损伤识别[D];华中科技大学;2011年
9 彭俊;黄河水沙变化过程及其三角洲沉积环境演变[D];华东师范大学;2011年
10 唐懿文;计算机视频泄漏信号监测平台研究[D];华东师范大学;2011年
中国硕士学位论文全文数据库 前10条
1 张淑芳;基于LabVIEW的便携式汽车仪表检测仪的研制[D];安徽工程大学;2010年
2 杨焱麟;基于小波变换理论与比值分析法的变压器励磁涌流识别的研究[D];山东科技大学;2010年
3 郑纪业;基于H.264的校园视频监控系统的设计与实现[D];山东科技大学;2010年
4 赵奇;医学超声图像三维重建算法研究[D];山东科技大学;2010年
5 吴国曾;实时信号小波分析中边界处理方法及应用[D];郑州大学;2010年
6 孙卫芳;基于JSEG的视频/图像分割技术研究[D];郑州大学;2010年
7 解保忠;计算机在矽肺病早期诊断及预测中的应用研究[D];哈尔滨工程大学;2010年
8 朱明;基于信息熵的导航传感器故障诊断技术研究[D];哈尔滨工程大学;2010年
9 杨维洲;基于数学形态学和亚像素提取的图像检测算法研究[D];哈尔滨工程大学;2010年
10 叶东华;基于全景视觉的图像配准方法研究[D];哈尔滨工程大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 霍水清;;火灾自动探测技术在铁路动车段检修库应用探析[J];安防科技;2009年05期
2 杨有山,张秀丽;基于内容的视频信息检索[J];北京广播学院学报(自然科学版);2004年04期
3 曹建荣;蔡安妮;;基于支持向量机的视频关键帧语义提取[J];北京邮电大学学报;2006年02期
4 粘永健;吴乐华;李秀;何世彪;;基于时间轴小波变换的运动对象分割算法研究[J];重庆邮电学院学报(自然科学版);2006年04期
5 刘党辉,沈兰荪;视频运动对象分割技术的研究[J];电路与系统学报;2002年03期
6 林奕琳;韦岗;杨康才;;语音情感识别的研究进展[J];电路与系统学报;2007年01期
7 张雄,毕笃彦,许悦雷;视频对象分割研究的发展[J];电视技术;2003年03期
8 张庆利,张兆扬;一种新的基于时空信息的视频分割[J];电视技术;2004年11期
9 李明;吴爱国;;大空间早期火灾的双波段图像型探测方法[J];低压电器;2007年02期
10 王东升;李在铭;;一种视频对象分割技术的研究与实现[J];电子测量与仪器学报;2005年04期
中国博士学位论文全文数据库 前8条
1 刘桂清;视频摘要技术的研究与实现[D];国防科学技术大学;2004年
2 史迎春;基于内容的视频检索语义提取若干问题研究[D];南京理工大学;2005年
3 包红强;基于内容的视频运动对象分割技术研究[D];上海大学;2005年
4 陈万里;基于商空间理论和粗糙集理论的粒计算模型研究[D];安徽大学;2005年
5 陈剑赟;体育视频语义内容分析技术研究[D];国防科学技术大学;2005年
6 欧阳建权;压缩域体育视频摘要技术研究[D];中国科学院研究生院(计算技术研究所);2005年
7 张光玉;视频对象分割算法研究[D];电子科技大学;2006年
8 唐金辉;视频语义标注的若干问题研究[D];中国科学技术大学;2008年
中国硕士学位论文全文数据库 前10条
1 满国晶;蚁群算法及其在气象卫星云图分割中的应用[D];哈尔滨工程大学;2011年
2 吕普轶;基于普通CCD摄像机的火灾探测技术的研究[D];哈尔滨工程大学;2003年
3 杨卫;基于频域和时域分割的视频对象提取方法研究[D];电子科技大学;2003年
4 张箭;基于内容的新闻视频检索系统研究[D];西安电子科技大学;2006年
5 刘亮亮;基于视频监控的火灾图像识别研究[D];华北电力大学(北京);2007年
6 刘锟;基于MPEG的足球视频检索研究[D];吉林大学;2007年
7 都俊松;图像处理与模式识别在火灾探测领域的应用[D];沈阳工业大学;2007年
8 李向伟;基于内容的视频检索关键技术研究[D];西北师范大学;2007年
9 王辉;基于灰度共生矩阵木材表面纹理模式识别方法的研究[D];东北林业大学;2007年
10 刘浏;基于图像的火焰识别算法的研究[D];西华大学;2008年
【二级引证文献】
中国期刊全文数据库 前3条
1 左一帆;安平;张兆杨;;基于图割的高质量深度图获取方法[J];电视技术;2011年15期
2 李红匣;;基于OpenCV的人眼瞳孔定位算法[J];电子质量;2012年11期
3 张爱华;雷小亚;陈晓雷;陈莉莉;;基于细胞神经网络的快速手语视频分割方法[J];计算机应用;2013年02期
中国博士学位论文全文数据库 前2条
1 张良;基于内容的视频情感语义分析关键技术研究[D];北京邮电大学;2012年
2 闫乐林;基于视听信息的视频语义分析与检索技术研究[D];北京邮电大学;2012年
中国硕士学位论文全文数据库 前7条
1 王丽;视频流中运动对象提取与分割的研究[D];电子科技大学;2011年
2 陈玲芝;工业缝纫机视频图像中运动目标检测与跟踪[D];西安电子科技大学;2009年
3 张文琪;基于H.264/AVC压缩域的视频运动目标检测[D];国防科学技术大学;2010年
4 徐常有;人体运动序列数据的语义化分析方法研究[D];大连理工大学;2011年
5 雷小亚;细胞神经网络在手语视频分割中的应用研究[D];兰州理工大学;2013年
6 孔祥鹏;基于H.264压缩域的运动对象分割提取方法研究[D];哈尔滨工程大学;2013年
7 张啸辰;基于图像识别的油泵试验台油量检测系统的研发[D];上海工程技术大学;2013年
【二级参考文献】
中国期刊全文数据库 前10条
1 施可为,傅锡天,蔡安妮,孙景鳌;含人脸的前景在活动图像序列中的分割[J];北京邮电大学学报;2000年01期
2 黄波,杨勇,王桥,吴乐南;一种用于视频分割的快速运动估计方法[J];电路与系统学报;2001年01期
3 黄友珍,黄艺,余兆明;基于修正分水岭算法和时域跟踪的视频自动分割[J];电视技术;2000年01期
4 吴枫,高鹏,高文;基于网格模型的运动估计技术[J];电子学报;2000年05期
5 邢昕,汪孔桥,沈兰荪;基于器官跟踪的人脸实时跟踪方法[J];电子学报;2000年06期
6 俞毅刚,黄艺;用于视频对象平面生成的运动对象自动分割[J];电子与信息学报;2001年07期
7 邓航,余松煜;综合利用通用霍夫变换与Snake算法对序列图像的分割[J];红外与激光工程;2000年02期
8 刘李杰,蔡德钧,翁南钐;一种面向运动的视频对象分割算法[J];计算机学报;2000年12期
9 施建良,余松煜,傅立言;基于最短描述长度的序列图像运动分割[J];计算机学报;1999年08期
10 席裕庚,柴天佑,恽为民;遗传算法综述[J];控制理论与应用;1996年06期
【相似文献】
中国期刊全文数据库 前10条
1 袁炜,朱光喜;视频对象编码中初始搜索点的预测算法研究[J];华中科技大学学报;2001年11期
2 张晓燕;赵荣椿;聂烜;;视频对象自动分割算法[J];计算机工程;2006年24期
3 张宗念,余英林,马义德;MPEG-4的视频对象编码技术[J];计算机与网络;1999年20期
4 王建颖,项晓晶,徐立中,金志权;MPEG-4中基于对象的视频编码[J];计算机应用研究;2000年11期
5 郭礼华,李建华,杨树堂;基于运动补偿的Snake视频对象跟踪算法[J];红外与激光工程;2005年01期
6 毕凌燕,余英林;基于XYZ空间的区域生长法分割图象[J];计算机工程与应用;2003年17期
7 赵明 ,李娜 ,陈纯;采用统计推断的自动视频对象分割[J];计算机辅助设计与图形学学报;2003年03期
8 王乃霞,姜昱明;一种视频对象自动分割算法[J];微电子学与计算机;2004年05期
9 于跃龙,卢焕章;基于时域统计变化检测实时分割头肩视频序列[J];计算机应用;2004年11期
10 汤力,余松煜;MPEG-4自然视频编码技术[J];红外与激光工程;2002年05期
中国重要会议论文全文数据库 前10条
1 付先平;梁德群;;基于视频对象的H.264运动估计方法[A];第十二届全国图象图形学学术会议论文集[C];2005年
2 刘爽;王世刚;陈贺新;吕源治;;基于视差和变化检测的立体视频对象的实时提取[A];第十五届全国图象图形学学术会议论文集[C];2010年
3 谭锦辉;顾亚平;张俊;谢兵森;;一种融合CAMShift和SIFT的视频对象跟踪算法[A];第九届全国信息获取与处理学术会议论文集Ⅰ[C];2011年
4 姜浩;郁梅;彭宗举;李福翠;蒋刚毅;;一种室内高分辨率视频的低复杂度编码方法[A];第三届和谐人机环境联合学术会议(HHME2007)论文集[C];2007年
5 李艳;关宇东;王宏民;王英;;基于push-relabel的视频对象提取算法的研究与实现[A];2008中国仪器仪表与测控技术进展大会论文集(Ⅱ)[C];2008年
6 张雄;毕笃彦;熊磊;;MPEG-4基于内容的视频编码与视频图像分割[A];信号与信息处理技术——第一届信号与信息处理联合学术会议论文集[C];2002年
7 李秀;吴乐华;;一种新的基于时空信息的视频对象分割方法[A];第三届全国数字成像技术及相关材料发展与应用学术研讨会论文摘要集[C];2004年
8 陈毅滨;蔡灿辉;;基于运动和视差特性的立体视频对象分割算法[A];第十四届全国图象图形学学术会议论文集[C];2008年
9 王世刚;王学军;陈贺新;;MPEG-4框架的面向立体视频对象压缩编码的研究[A];第十二届中国体视学与图像分析学术会议论文集[C];2008年
10 张如礁;高胜法;姜丽芳;胥金玲;;一种噪声视频序列中运动对象的提取方法[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
中国重要报纸全文数据库 前10条
1 笑红尘;以假乱真的虚拟视频聊天[N];电脑报;2003年
2 ;移动影音装置的设计方向[N];电子资讯时报;2007年
3 ;视频数据中挖“宝”[N];计算机世界;2002年
4 ;浅谈数据库新技术[N];中国计算机报;2003年
5 陈秋琴 杜理渊 李文杰;建设分布式宽带视频[N];中国计算机报;2001年
6 苏隆坡;MPEG六兄弟[N];信息时报;2000年
7 吴思、杨春、王雁凌;掀起多媒体检索革命[N];中国计算机报;2002年
8 王伟;3DAV中的多视点视频编码及解码端视点绘制研究 获2006年度国家自然科学基金资助项目[N];科技日报;2007年
9 恒;MX的战略先锋Flash MX[N];计算机世界;2002年
10 Dream Zeus;网站制作轻松学(三)[N];计算机世界;2004年
中国博士学位论文全文数据库 前10条
1 张赟;可视媒体交互式编辑与融合研究[D];浙江大学;2013年
2 史立;视频对象平面分割和视频对象提取方法的研究[D];上海大学;2001年
3 朱辉;面向对象生成的视频分割技术研究[D];电子科技大学;2003年
4 姚孝明;基于视觉真实的视频对象压缩[D];西南交通大学;2006年
5 毕凌燕;交叠正交变换与视频分割编码的研究[D];华南理工大学;2003年
6 李仁杰;基于内容的视频应用中运动对象分割与运动估计技术的研究[D];上海交通大学;2008年
7 夏金祥;面向MPEG-4的视频分割和视频编码算法[D];电子科技大学;2004年
8 杨高波;基于内容多媒体应用的语义视频对象提取及评价[D];上海大学;2004年
9 孔晓东;智能视频监控技术研究[D];上海交通大学;2008年
10 刘新春;面向MPEG-4的视频分割算法研究[D];中国科学院电子学研究所;2000年
中国硕士学位论文全文数据库 前10条
1 吴澜;视频多运动目标时空融合分割技术[D];电子科技大学;2004年
2 吴则举;基于MPEG-4的视频对象分割算法研究[D];青岛科技大学;2005年
3 邬正平;视频对象分割技术的研究[D];浙江大学;2002年
4 王星;场景视频图像序列标记内容检测与过滤技术[D];电子科技大学;2004年
5 杨卫;基于频域和时域分割的视频对象提取方法研究[D];电子科技大学;2003年
6 陆悌亮;结合视频对象分割的形状编码体系研究[D];苏州大学;2007年
7 陈丽伟;多摄像机环境下视频对象的跟踪[D];吉林大学;2011年
8 陈博;视频对象分割技术研究[D];西安电子科技大学;2004年
9 李毅;场景视频图像序列标记内容检测与过滤技术[D];电子科技大学;2005年
10 纪腾飞;基于动静背景下的视频对象自适应提取算法[D];吉林大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026