收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

音视频联合说话人定位与跟踪方法研究

金乃高  
【摘要】: 说话人定位与跟踪是人机交互研究中的重要课题,在视频会议系统、多媒体系统以及机器人等领域有着广泛的应用。通常,基于计算机视觉的人脸或人体跟踪方法与基于计算机听觉的声源定位方法都可作为解决说话人定位与跟踪问题的基本手段。然而,这些单模态的定位与跟踪方法难以适应复杂的动态环境,人脸跟踪方法容易受到视频遮挡以及光照、姿态变化等因素的影响,而背景噪声与房间混响则制约着声源定位方法的性能。因此,采用信息融合技术对说话人的音视频双模态信息进行处理,则成为提高说话人定位与跟踪系统精度与鲁棒性的重要手段。 音视频联合说话人定位与跟踪是计算机听觉与计算机视觉相互融合的一个重要方向,其目的是综合利用说话人的音频与视频信息来估计说话人的空间位置。本文对音视频联合说话人定位与跟踪问题进行了深入研究,取得的研究成果如下: (1)将多传感器信息融合技术用于说话人定位与跟踪问题,提出了一种基于动态贝叶斯网络的音视频联合说话人定位与跟踪方法。在动态贝叶斯网络框架中,该方法分别采用麦克风阵列声源定位、基于肤色的人脸跟踪以及音视频互信息最大化三种感知方式获取与说话人位置相关的测量信息;然后采用粒子滤波对这些信息进行融合,通过贝叶斯推理实现说话人的有效跟踪;并运用信息熵理论对三种感知方式进行动态管理,以提高跟踪系统的实时性。 (2)将加权子空间拟合算法应用于麦克风阵列声源定位问题,提出一种宽带加权子空间拟合声源定位方法。该方法在贝叶斯估计理论框架下,结合语音信号的宽带特性,构造了一个适用于语音信号的目标函数,采用粒子滤波对该目标函数进行全局优化,从而有效地确定声源的空间位置。 (3)综合考虑语音建立信号与说话人运动模型在抑制房间混响中的作用,提出一种基于分层采样粒子滤波的麦克风阵列声源跟踪方法。在实际的中小型房间环境中,由于墙壁、地面、桌面的反射作用,麦克风阵列接收到的语音信号中通常含有混响成分,从而影响声源定位与跟踪系统的性能。基于分层采样粒子滤波的声源跟踪方法从语音信号中提取出无混响的建立信号,将其作为观测信息来计算麦克风阵列波束形成器的输出能量,同时考虑语音信号不同频率成分在声源定位中的作用,采用分层采样方法提高粒子的采样效率,从而增强跟踪系统的实时性。 (4)考虑到说话人唇动信息对语音感知的增强作用,将可视语音引入语音提取问题,提出了一种基于粒子滤波的双模态语音提取方法。双模态语音提取方法在粒子滤波框架下,根据音视频互信息与语音峭度来确定分离矩阵,从而实现语音信号的有序提取。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 金乃高;殷福亮;陈喆;;基于加权子空间拟合的声源定位与跟踪方法[J];电子与信息学报;2008年09期
2 王文龙;张艳萍;;基于四麦克风阵列的三维声源定位[J];南京信息工程大学学报(自然科学版);2010年05期
3 李彦翔;刘庆华;;高斯条件下基于粒子滤波的声源定位[J];电声技术;2009年10期
4 金乃高;殷福亮;;一种基于粒子滤波的双模态语音提取方法[J];大连理工大学学报;2008年04期
5 崔玮玮;曹志刚;魏建强;;基于双麦克风的2维平面定位算法[J];信号处理;2008年02期
6 翟丽雪;张丽艳;杨晓华;;基于联合粒子滤波的系统误差修正方法[J];大连交通大学学报;2007年04期
7 张洪涛;马培军;崔平远;;一种用于解决粒子滤波粒子退化现象的重要性重采样算法的研究[J];飞行器测控学报;2008年04期
8 李彦翔;刘庆华;;基于粒子滤波的麦克风阵列声源定位方法[J];微计算机信息;2010年07期
9 李彦翔;刘庆华;;基于粒子滤波的声源定位方法[J];计算机工程与应用;2010年30期
10 曹洁;魏建勇;刘宗礼;王进花;;基于简化的ISPF算法与视听信息融合的目标跟踪[J];仪器仪表学报;2011年01期
11 ;CL8830音视频解码器让您的超级VCD拥有非凡的音效[J];世界电子元器件;1999年06期
12 姚剑敏;孙俊喜;孙中森;宋建中;;基于粒子滤波的小波特征跟踪方法研究[J];计算机仿真;2006年01期
13 赵志国;王首勇;同伟;;基于重采样平滑粒子滤波的检测前跟踪[J];空军雷达学院学报;2008年01期
14 赵清杰;陈云蛟;张立群;;基于粒子滤波的雅可比矩阵在线估计技术[J];北京理工大学学报;2008年05期
15 李璟璟;伊国兴;张迎春;;基于粒子滤波的捷联成像导引头视线角速率估计[J];弹箭与制导学报;2009年02期
16 王浩;胡大伟;姚宏亮;何海燕;;动态贝叶斯网络的一种基于BK的粒子滤波推理算法[J];小型微型计算机系统;2009年07期
17 李俊杰;何友;宋杰;;基于FPGA的实时声源定位[J];信息化纵横;2009年13期
18 熊伟,何友,张晶炜;多传感器多目标粒子滤波算法[J];光电工程;2005年04期
19 陈养平;王来雄;黄士坦;;基于粒子滤波的神经网络学习算法[J];武汉大学学报(工学版);2006年06期
20 李良群;姬红兵;罗军辉;;杂波环境下被动多传感器机动目标跟踪新算法[J];电子与信息学报;2007年08期
中国重要会议论文全文数据库 前10条
1 金乃高;侯刚;王学辉;李非墨;;基于主动感知的音视频联合说话人跟踪方法[A];2010年通信理论与信号处理学术年会论文集[C];2010年
2 林会杰;贾珈;王晓慧;蔡莲红;;基于B/S模式的3D双语虚拟说话人的研究与实现[A];第七届和谐人机环境联合学术会议(HHME2011)论文集【oral】[C];2011年
3 吴敏玲;;くゐ·いく’‘~てくゐ·ていく’表动作空间范畴移动语言形式的日语语言特点——和汉语“来、去”、“~来、~去”比较[A];福建省外国语文学会2002年会论文集[C];2002年
4 刘大力;赵力;;与文本无关说话人识别系统的性能比较[A];2004年全国物理声学会议论文集[C];2004年
5 尹巧萍;赵力;;利用语音基音统计特征的说话人性别判识的研究[A];2007’促进西部发展声学学术交流会论文集[C];2007年
6 邓英;;基于说话人的对话语音分割[A];中国声学学会2005年青年学术会议[CYCA'05]论文集[C];2005年
7 蒋冬梅;赵荣椿;;基于尺度描述的说话人归一化语音特征[A];信号与信息处理技术第三届信号与信息处理全国联合学术会议论文集[C];2004年
8 周绍良;;修绠山房梓《宣和遗事》跋[A];水浒争鸣(第一辑)[C];1982年
9 李斌;陈小荷;;汉语褒贬词语的褒贬指向问题初探[A];第四届全国学生计算语言学研讨会会议论文集[C];2008年
10 王洪海;刘刚;郭军;;基于二次弯折函数的频率弯折方法[A];第二十六届中国控制会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 金乃高;音视频联合说话人定位与跟踪方法研究[D];大连理工大学;2008年
2 田隽;基于粒子滤波的视频目标跟踪算法的研究[D];中国矿业大学;2010年
3 宫轶松;粒子滤波算法研究及其在GPS/DR组合导航中的应用[D];解放军信息工程大学;2010年
4 王乐;卫星USB测控体制下信号特征参数的分析与识别[D];哈尔滨工业大学;2010年
5 周寿军;左心室MRI序列的运动跟踪新方法[D];第一军医大学;2004年
6 李涛;非线性滤波方法在导航系统中的应用研究[D];国防科学技术大学;2003年
7 徐茂格;混沌通信中的粒子滤波技术研究[D];南京理工大学;2008年
8 姚剑敏;粒子滤波跟踪方法研究[D];中国科学院研究生院(长春光学精密机械与物理研究所);2005年
9 肖延国;智能传感器侦察网络中的目标跟踪算法研究[D];中国科学技术大学;2007年
10 杨继臣;说话人信息分析及其在多媒体检索中的应用研究[D];华南理工大学;2010年
中国硕士学位论文全文数据库 前10条
1 束长干;基于麦克风阵列的室内语音定位与跟踪[D];北京邮电大学;2012年
2 金梦珺;概率假设密度粒子滤波的算法与硬件实现研究[D];浙江大学;2011年
3 苟若愚;基于粒子滤波的运动目标跟踪算法研究与实现[D];重庆大学;2010年
4 张楠;基于粒子滤波的目标跟踪算法研究[D];广东工业大学;2011年
5 苏新霞;分布式麦克风阵列跟踪算法研究[D];大连理工大学;2011年
6 冯卫娜;非线性系统参数和状态联合估计新算法研究[D];郑州大学;2010年
7 王洪;基于粒子滤波的飞行目标视频跟踪系统研究[D];武汉理工大学;2010年
8 钱翔;基于改进粒子滤波器目标跟踪算法研究[D];安徽大学;2010年
9 何裔玺;基于DSP的说话人定位跟踪系统的设计[D];兰州理工大学;2012年
10 杜炳硕;基于粒子滤波的汽车防撞雷达研究[D];南京理工大学;2004年
中国重要报纸全文数据库 前10条
1 ;满足手持移动设备应用 富迪阵列式麦克风获奖[N];电子资讯时报;2007年
2 ;敏芯:中国MEMS产业之星[N];中国电子报;2008年
3 记者 赵策;欧胜推出高性能超微MEMS麦克风[N];中国高新技术产业导报;2008年
4 本报记者 冯卫东;穿件衣服作麦克[N];科技日报;2010年
5 上海硅知识产权交易中心;MEMS麦克风发展迅速 全球专利量呈上升趋势[N];中国电子报;2010年
6 孙燕飚;生产手机麦克风 歌尔声学上半年盈利飙升122%[N];第一财经日报;2008年
7 栗弘儒;双艺电子:以品牌优势推动创新[N];中国高新技术产业导报;2004年
8 天津 王竹青;噪声因何而起[N];电脑报;2003年
9 闫冰;现在开始清理桌面空间[N];网络世界;2008年
10 ;NEMS麦克风生产工艺基本成熟成本仍然偏高[N];中国电子报;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978