收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

面向H.264的嵌入式音视频同步编码技术研究

李晓妮  
【摘要】:随着信息技术和计算机技术的快速发展,人们的通信方式已经从传统的单一媒体过渡到语音、文字、图像、视频等相融合的多媒体通信方式。多媒体通信技术是通信技术和多媒体技术有机结合的产物,它集计算机的交互性,多媒体的复合性以及通信网的分布性于一体,打破了传统媒体通信方式的单一性,向人们提供综合的信息服务,并成为通信技术今后发展的主要方向之一。在多媒体通信过程中,多媒体数据在传输、分组、交换等过程中不可避免的会引入信号的延时、抖动,导致媒体间应有的相互关系发生变化。对于那些经过压缩编码的多媒体数据,或者经过不同渠道汇聚到同一点的多媒体数据而言,这种情况更为严重。因此,多媒体通信技术一个很重要的问题就是如何保持各个媒体之间的同步关系。近年来,多媒体同步技术作为多媒体通信中一个极为重要的服务质量问题,越来越受到关注。 对于音视频流的多媒体而言,同步系统主要包括五个部分:数据采集、压缩编码、网络传输、解码恢复以及同步播放。音视频同步主要研究在数据采集、发送、传输和接收等过程中对音频信号和视频信号进行同步控制,最终目的是实现客户端音视频的同步播放。 目前,音视频同步主要通过时间标签来实现。时间标签是以理想解码器为基础制定的,这个理想解码器假设了通道缓存永不上溢或下溢,对码流的处理也是理想的、瞬时的,然而对一个实际的解码器来说这种理想解码是难以实现的;在国际上,也提出了唇同步的算法,但是只适用于解决视频会议、可视电话等应用中的音视频同步问题,而且这个算法实现起来比较复杂,对嘴部的定位不能自动实现,需要人工参与。 为了解决这个长期困扰多媒体通信的关键问题,以陈贺新教授为核心的课题组提出了嵌入式音视频同步编码理论,并对其不断的丰富和发展,取得了显著的成就。在音视频同步控制部分,将音频信号作为隐藏信息嵌入视频流中,然后对嵌入了音频的混合音视频流进行压缩编码,在解码端,根据嵌入算法提取出音频信号。嵌入式同步编码理论在取得了较好压缩编码效果的情况下实现了音视频信号的完全同步传输,并克服了由于信道延时以及音视频不统一编码所带来的接收端接收不同步问题。本研究小组前期已成功的将嵌入式音视频同步编码理论应用到MPEG-2视频标准中,本文在这个基础上研究H.264/AVC视频编码标准下嵌入式音视频同步编码技术。 本文以国家自然科学基金国际合作项目“基于音频嵌入视频方式同步视频编码的普适计算”和吉林省自然科学基金项目“普适环境下基于机会模型的信任计算”为依托,详细阐述了音视频同步的核心技术,对目前常用的同步方案进行了对比分析,并对H.264/AVC视频编码标准的核心技术和重要模块进行了系统的、全面的分析研究,为在H.264/AVC视频编码标准下构建音视频同步编码理论奠定了基础。 本文通过分析帧内/帧间预测编码、CAVLC(context-adaptive variable-lengthcoding,基于上下文自适应可变长编码)熵编码以及运动估计等H.264/AVC标准中的核心模块,提出了不同的嵌入式音视频同步编码方案。根据嵌入模块的不同可以将同步编码方案分为以下三种: (1)基于模式选择的音视频同步编码方案 帧内/帧间预测编码是H.264/AVC视频编码标准中非常重要的一部分,每种编码都包括多种编码模式,而模式选择又是编码过程的核心问题。本文通过分析帧内/帧间预测编码中模式选择算法,利用帧间预测编码模式的多样性,提出了两种基于信息隐藏的嵌入式音视频同步编码方案。把音频信号作为隐藏信息嵌入视频流中,实现了音视频的同步编码,达到了同步传输的目的。 这两种音视频同步编码方案,都是利用帧间预测编码模式的多样性,使不同的编码模式携带不同的音频信息,通过对帧间预测编码模式的选择将音频信息嵌入视频流中。这两种方案均能实现音视频的同步编码和解码。在第一种同步方案中,根据要嵌入的音频信息选择最优编码模式,但是这样选出来的编码模式可能不是实际的最优模式,所以会带来一定的嵌入开销,增加一定的编码比特率。在第二种同步方案中,改进了方案一中只利用音频信息选择编码模式,方案先将编码模式进行分组,根据音频信息确定编码模式组,然后利用率失真优化算法从中选出最优编码模式,这样选出来的编码模式更接近于实际的最优模式,对视频质量、嵌入开销以及编码比特率的影响更小。 (2)基于CAVLC的音视频同步编码方案 本文利用拖尾系数和除了拖尾系数之外的最后一个非零系数,提出了两种基于CAVLC的音视频同步编码方案。在第一种方案中,通过分析CAVLC熵编码中拖尾系数符号位的编码特点,提出基于拖尾系数的嵌入法。由于拖尾系数符号位是定长编码,而且拖尾系数处于整个4×4数据块的高频部分,通过修改拖尾系数的符号位嵌入音频,既不会增加编码比特率,又不会对视频质量造成严重影响。在第二种方案中,利用除了拖尾系数之外的最后一个非零系数进行音频嵌入,由于嵌入算法对非零系数的幅值改变量最大为±1,所以对视频质量和编码比特率影响都较小。 (3)基于运动估计的音视频同步编码方案 本文分析了1/4像素精度运动估计过程,通过实验得出应用不同的1/4像素点搜索最优匹配点对整个运动估计的影响较小,通过调整1/4像素搜索点,提出了基于运动估计的音视频同步编码方案。利用1/4像素搜索点的运动矢量MV的水平分量MVx和垂直分量MVy的奇偶性,先将1/4像素搜索点分成两组,然后根据搜索组选择的不同将音频信息嵌入视频中。实验表明,在对视频码率和质量影响都较小的情况下实现了音视频的同步编码。 为了证明方案的可行性,在H.264编码标准参考C代码JM11.0上实现了本文提出的音视频同步编码方案。使用不同的视频序列对上述方案进行了测试,并用视频主观质量、PSNR值、嵌入开销、编码比特率变化等标准对同步结果做了分析。实验结果表明,本文提出的几种同步方案都实现了音视频的同步编码。方案各具优势,对音视频质量、嵌入开销以及编码比特率影响都较小,不会给传输和存储造成负担。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 丁海军;李德军;祖兆研;;一种H.264码率控制的位分配算法[J];河海大学常州分校学报;2006年04期
2 杨金;孙宇;孙世新;;H.264可伸缩视频编码层间码率控制算法[J];计算机应用;2011年09期
3 冷志勇;刘冀伟;汪飞星;梁波;;基于H.264的多带宽跳变码率控制算法[J];微计算机信息;2006年22期
4 张淑芳;李华;刘晓青;侯玲;;基于H.264的复杂度-失真最优的运动估计算法[J];计算机工程;2007年09期
5 喻占武,黄晓杰,贾佳,范励;适用于H.264的高性能快速运动估计算法[J];武汉大学学报(信息科学版);2004年05期
6 刘海波;;H.264中差错掩盖算法[J];科技广场;2006年04期
7 王立飞;;视频编码标准H.264的运动补偿技术分析[J];信息通信;2008年05期
8 李红叶;刘明军;;H.264运动估计算法研究[J];济南大学学报(自然科学版);2009年01期
9 蔡克烜;张长明;于鸿洋;;基于JVT-H017码率控制算法的改进[J];微计算机信息;2009年03期
10 常静;;H.264不等差错保护传输策略[J];科技创新导报;2010年22期
11 周云艳;;H.264帧内预测模式快速判决算法[J];山东轻工业学院学报(自然科学版);2011年01期
12 林慧萍;站在线影音时代的开端[J];电子与电脑;2004年08期
13 蒲菊华,熊璋,侯亚荣;一种基于H.264的细粒度多适应性视频编码算法[J];系统仿真学报;2005年06期
14 喜超;姜昱明;;一种用于H.264的快速运动估计算法[J];计算机工程与应用;2006年17期
15 石宪芳;张修如;;基于H.264的嵌入式流媒体摄像头研究[J];计算机与现代化;2007年07期
16 韩峥;夏志进;唐昆;崔慧娟;;x264解码器的设计与实现[J];微计算机信息;2007年18期
17 王亦铭;俞凡;;基于H.264视频编码标准的个人视频录像机系统[J];电脑知识与技术(学术交流);2007年20期
18 刘文尧;龚声蓉;;一种考虑场景切换的H.264码率控制算法[J];计算机应用与软件;2008年07期
19 汤元辉;周开伦;林涛;;H.264硬件解码器的纠错功能实现[J];有线电视技术;2008年10期
20 张淑芳;李华;刘义明;刘亚欣;;基于H.264的复杂度可分级的DCT算法研究[J];电子测量技术;2009年01期
中国重要会议论文全文数据库 前10条
1 赵胜;王德君;王青鹏;杨波;;一种高速高保真H.264编码器的设计[A];2010年通信理论与信号处理学术年会论文集[C];2010年
2 王琪;王萍;;一种基于频域系数的H.264的子块帧内预测算法[A];第六届和谐人机环境联合学术会议(HHME2010)、第19届全国多媒体学术会议(NCMT2010)、第6届全国人机交互学术会议(CHCI2010)、第5届全国普适计算学术会议(PCC2010)论文集[C];2010年
3 贾克斌;李周贤;方晟;谢晶;庄新月;;一种基于宏块特征的H.264高效帧内预测算法[A];通信理论与信号处理新进展——2005年通信理论与信号处理年会论文集[C];2005年
4 孙任飞;牛建伟;;基于Symbian平台音视频同步算法研究与实现[A];2007年足球机器人大会论文集[C];2007年
5 李博;贾克斌;谢晶;李巍;;多媒体播放器的架构设计与功能实现[A];全国第一届嵌入式技术联合学术会议论文集[C];2006年
6 麦智毅;杨春玲;;基于结构相似度的H.264帧内预测快速算法[A];通信理论与信号处理新进展——2005年通信理论与信号处理年会论文集[C];2005年
7 李钢;杨嘉斌;张仁斌;吴燎原;赵凯;;一种基于H.264的视频水印算法[A];中国仪器仪表学会第十二届青年学术会议论文集[C];2010年
8 黄欢欢;王月蓉;冯少华;;H.264编码技术及其应用[A];计算机研究新进展(2010)——河南省计算机学会2010年学术年会论文集[C];2010年
9 肖鹏;胡栋;;基于窄量化约束集的H.264视频超分辨率重建方法[A];第十五届全国图象图形学学术会议论文集[C];2010年
10 王静远;陶品;;MPEG-2TS中基于信道速率的时钟恢复方法[A];第二届和谐人机环境联合学术会议(HHME2006)——第15届中国多媒体学术会议(NCMT'06)论文集[C];2006年
中国博士学位论文全文数据库 前10条
1 李晓妮;面向H.264的嵌入式音视频同步编码技术研究[D];吉林大学;2012年
2 杨金;H.264可伸缩视频编码码率控制算法研究及其应用[D];电子科技大学;2011年
3 李海燕;基于流体系结构的H.264视频压缩编码关键技术研究[D];国防科学技术大学;2009年
4 崔子冠;基于率失真模型的H.264码率控制技术研究[D];南京邮电大学;2012年
5 李晓峰;基于H.264扩展的可伸缩视频编码的传输技术研究[D];电子科技大学;2011年
6 冯杰;基于H.264压缩域的视频分割与特征提取方法研究[D];浙江大学;2009年
7 王宝亮;基于H.264的多视点立体视频关键技术研究[D];天津大学;2010年
8 陈科明;媒体多处理器系统芯片的设计研究[D];浙江大学;2007年
9 朱红;面向Internet的视频编码技术研究[D];西安电子科技大学;2005年
10 方勇;无线视频传输中的差错控制研究[D];西安电子科技大学;2005年
中国硕士学位论文全文数据库 前10条
1 甘志鹏;一种适用于H.264运动估计及块模式选择算法研究[D];武汉大学;2005年
2 叶飞雄;H.264混合输入硬盘录像机系统设计[D];北京邮电大学;2010年
3 吕荣;基于H.264标准的错误隐藏技术研究[D];合肥工业大学;2010年
4 齐成明;音视频同步问题的研究与实现[D];哈尔滨工业大学;2009年
5 徐林玲;基于H.264的视频压缩关键技术的研究[D];国防科学技术大学;2003年
6 史鑫达;H.264视频传输中的自适应错误隐藏技术[D];上海师范大学;2010年
7 许林;H.264码率控制算法研究[D];合肥工业大学;2010年
8 王辉;基于视觉感知的H.264视频编码关键技术研究[D];西安电子科技大学;2011年
9 孙艳;基于H.264解码端差错隐藏技术的研究[D];北京邮电大学;2011年
10 申晨;H.264的码率控制算法研究及其在达芬奇平台上的实现[D];暨南大学;2010年
中国重要报纸全文数据库 前10条
1 ADI高级应用工程师 Ke Ning Gabby Yi;先进压缩标准引发音视频同步化技术热[N];中国电子报;2007年
2 詹俏俏 陈国军;国际顶级芯片商牵手我国企业[N];中国质量报;2005年
3 金力;让精彩进行到底[N];中国电脑教育报;2004年
4 周芳 刘浏;国产高清碟机百万台飘洋过海[N];科技日报;2004年
5 李建国;科技防凌成为黄河新亮点[N];中国水利报;2003年
6 本报记者 李志国;视频走出会议室[N];中国计算机报;2004年
7 周婷;搭建创业新模式[N];中国证券报;2007年
8 杨彦红记者 刘成群;河北电台现代化技术楼启用[N];河北日报;2007年
9 北京传视数码科技有限公司;IPVT市场H.264标准异军突起[N];通信产业报;2005年
10 本报记者 于都 实习记者 刘畅;十年耕耘,成就最大中文音频广播新闻网站[N];中华新闻报;2008年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978