收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

说话人信息分析及其在多媒体检索中的应用研究

杨继臣  
【摘要】: 随着网络技术和流媒体技术的发展,多媒体信息以爆炸的方式增长。多媒体人工标注成本昂贵且缺少有效的索引方法,大部分的多媒体只是简单的存储起来,对它们的进一步使用变得非常困难。目前只接受文本关键词作为检索条件的搜索引擎,已不能适应多媒体信息检索的要求。于是基于内容的多媒体检索技术成了发展的主流。 人是社会的主体,任何事件,只有人参与其中,该事件才有存在的意义。按说话人检索是一种很有效的多媒体检索方式,例如特定人的演讲或表演。本文以说话人信息分析为研究对象,具体探索了说话人信息在说话人改变检测、新闻联播故事分割和多媒体检索中的关键说话人发现中的应用,主要贡献如下: (1)针对贝叶斯信息准则(BIC)说话人改变检测算法存在检测精度低、计算量大等问题,提出了一种改进的BIC说话人改变检测算法。该算法通过提高可测度来提高检测精度;通过限制分析窗内第一个数据窗的最大长度来降低计算量。实验结果表明,与传统的BIC说话人改变检测算法相比,偏移误差范围由0.1~0.5秒减少到0.03~0.2秒;分析窗长越大时,越节省计算时间(当分析窗长为40秒时,节省了约75%的计算时间)。 (2)为了提高改进的BIC说话人改变检测算法的检测准确率,在分析MFCC特征性别差异的基础上,综合考虑性别信息和静音信息在说话人改变检测中的作用,提出了一种两步判决的说话人改变检测算法。第一步利用基频信息、性别模型进行说话人改变判决,第二步将男性和女性说话人分别对待,使用基于性别的改进T2距离公式对说话人改变进行判决。实验结果表明,与改进的BIC说话人改变检测算法相比,F1度量值提高了8.74%。对于短时长(小于2秒)语音段的说话人改变检测,在漏检率方面,比改进的BIC说话人改变检测算法减少了16%。 (3)为了准确检测新闻联播的故事边界,在归纳新闻联播的结构、统计分析不同故事的类型特点和新闻标题的作用基础上,提出了一个基于音视频特征的三步判决的新闻联播故事分割方法。该方法将有主持人的和无主持人的新闻故事分别对待,采用不同的判决方法寻找故事的开始边界。实验结果表明,该方法对有主持人的新闻故事(通过检测主持人),比单独使用视频特征得到的准确率提高了6.92%(达到了95.66%),解决了单独使用视频特征无法去除误判的主持人问题;对无主持人的新闻故事边界检测方面,与只利用静音信息检测相比,误差范围由1.5~2.5秒降为0~0.5秒,解决了只使用静音信息检测开始边界容易丢失静音对应的视频帧的缺陷;故事分割的总准确率为93.12%。 (4)为了发现多媒体检索中的关键说话人,基于说话人频率、说话人持续时间、平均每次说话人时长和说话人位置因子四个因素综合定义了说话人关键度,用以判断说话人的重要性,把每个故事中说话人关键度最大的人作为关键说话人。首先使用惩罚距离与GMM说话人超级矢量对说话人进行索引,然后寻找故事中的关键说话人。实验结果表明,使用惩罚距离与GMM说话人超级矢量得到的说话人索引准确率(SIA)为88.24%和说话人数量准确率(SNA)为90.17%;采用说话人关键度的方法可以找到95%的关键说话人。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 吕声,尹俊勋;同语种说话人转换的实现[J];移动通信;2004年S3期
2 勾轶,刘晓丽,陈长征;基于小波与神经网络的说话人身份识别[J];沈阳工业大学学报;2005年01期
3 田松乾;语用学在英语语法教学中的作用[J];现代情报;2000年05期
4 夏菁,尹俊勋,黄建成,黄锋;基于正弦加噪声模型的说话人转换方法[J];电声技术;2005年02期
5 黄金明;说话人身份识别系统的设计与实现[J];计算机工程;2004年S1期
6 俞振利,张礼和;从任意连续语音中实时提取说话人特征及三维显示[J];浙江大学学报(理学版);1992年04期
7 岳喜才,伍晓宇,郑崇勋;用神经阵列网络进行文本无关的说话人识别[J];声学学报(中文版);2000年03期
8 彭煊,王炳锡;基于高斯混合模型差别度量的说话人聚类[J];计算机工程与应用;2005年05期
9 杜江,朱柯;智能麦克风阵列语音分离和说话人跟踪技术研究[J];电子学报;2005年02期
10 宁飞,陈频;说话人识别的几种方法[J];电声技术;2001年12期
11 杨毅明;陈东华;;一种实时说话人身份识别系统的设计[J];华侨大学学报(自然科学版);2009年05期
12 Stephen Kempainen;;自动语音识别:要让机器能听清又能听懂[J];电子设计技术;1998年01期
13 赵力,邹采荣,吴镇扬;HMM在说话人识别中的应用[J];电路与系统学报;2001年03期
14 罗骏,欧智坚,王作英;说话人自适应训练方法在连续语音识别中的应用[J];中文信息学报;2004年03期
15 屈微,刘贺平;线性预测分析在说话人特征提取中的应用研究[J];计算机工程与应用;2005年13期
16 陈景东,姚磊,黄泰翼;几种高鲁棒性通道及说话人自适应语音识别算法研究[J];声学学报(中文版);1998年06期
17 尉洪,杨鉴,普园媛;非母语语音识别中的说话人自适应方法[J];计算机工程与应用;2004年07期
18 李纲;语音识别技术与应用[J];多媒体世界;1996年05期
19 郁寅栋;第53届Intel ISEF项目:语音中说话人情绪的计算机识别[J];科学启蒙;2004年01期
20 侯风雷,王炳锡;基于说话人聚类和支持向量机的说话人确认研究[J];计算机应用;2002年10期
中国重要会议论文全文数据库 前10条
1 林会杰;贾珈;王晓慧;蔡莲红;;基于B/S模式的3D双语虚拟说话人的研究与实现[A];第七届和谐人机环境联合学术会议(HHME2011)论文集【oral】[C];2011年
2 吴敏玲;;くゐ·いく’‘~てくゐ·ていく’表动作空间范畴移动语言形式的日语语言特点——和汉语“来、去”、“~来、~去”比较[A];福建省外国语文学会2002年会论文集[C];2002年
3 刘大力;赵力;;与文本无关说话人识别系统的性能比较[A];2004年全国物理声学会议论文集[C];2004年
4 尹巧萍;赵力;;利用语音基音统计特征的说话人性别判识的研究[A];2007’促进西部发展声学学术交流会论文集[C];2007年
5 邓英;;基于说话人的对话语音分割[A];中国声学学会2005年青年学术会议[CYCA'05]论文集[C];2005年
6 蒋冬梅;赵荣椿;;基于尺度描述的说话人归一化语音特征[A];信号与信息处理技术第三届信号与信息处理全国联合学术会议论文集[C];2004年
7 周绍良;;修绠山房梓《宣和遗事》跋[A];水浒争鸣(第一辑)[C];1982年
8 欧贵文;邓英;;基于说话人的对话语音分割[A];第七届全国人机语音通讯学术会议(NCMMSC7)论文集[C];2003年
9 屈丹;魏鑫;王炳锡;;说话人归一化技术用于语言辨识系统[A];中国声学学会2002年全国声学学术会议论文集[C];2002年
10 李斌;陈小荷;;汉语褒贬词语的褒贬指向问题初探[A];第四届全国学生计算语言学研讨会会议论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 杨继臣;说话人信息分析及其在多媒体检索中的应用研究[D];华南理工大学;2010年
2 陈凌辉;说话人转换建模方法研究[D];中国科学技术大学;2013年
3 何俊;声纹身份识别中非常态语音应对方法研究[D];华南理工大学;2012年
4 潘逸倩;声纹密码技术研究[D];中国科学技术大学;2012年
5 双志伟;个性化语音生成研究[D];中国科学技术大学;2011年
6 冯哲;基于内容的视频检索中的音频处理[D];复旦大学;2004年
7 金乃高;音视频联合说话人定位与跟踪方法研究[D];大连理工大学;2008年
8 孙洪威;现代汉语转折副词语义功能研究[D];吉林大学;2014年
9 闵星雅;助动词“能”和“会”的认知研究[D];上海师范大学;2007年
10 祝东平;汉语时间感知模式与相关汉语因素研究[D];吉林大学;2009年
中国硕士学位论文全文数据库 前10条
1 默盼;论宋代说话人[D];渤海大学;2012年
2 陆亮;多信道条件下的说话人认证[D];北京邮电大学;2010年
3 张力;说话人分段与聚类技术研究[D];解放军信息工程大学;2012年
4 高娅;说话人转变检测的研究与实现[D];南京邮电大学;2013年
5 赵洪刚;基于对话型语音的说话人在线识别技术研究[D];黑龙江大学;2010年
6 李向格;关于“レてもぃぃ”与“レてぃぃ”的意义分析[D];吉林大学;2012年
7 黄雪莲;韩国语‘(?)’的话语功能分析[D];延边大学;2012年
8 毛永刚;基于相关向量机的说话人判别研究[D];电子科技大学;2012年
9 徐晨;基于支持向量机的说话人辨别研究[D];陕西师范大学;2013年
10 陶艺丞;幽默,说话人的意图和听话人的理解失败[D];广东外语外贸大学;2013年
中国重要报纸全文数据库 前10条
1 ;美科学家要研制无声感应“手机”[N];新华每日电讯;2005年
2 张申 蔡莲红;富于表情的虚拟人脸合成[N];计算机世界;2007年
3 中国科学院自动化研究所模式识别国家重点实验室 于剑陶建华;个性化语音生成技术面面观[N];计算机世界;2007年
4 中国科学院自动化研究所模式识别国家重点实验室 辛乐陶建华;说话人头像技术:让语音可视[N];计算机世界;2007年
5 曹文彪;生气与高致[N];文学报;2006年
6 中国科学院自动化研究所模式识别国家重点实验室 周密陶建华;与电脑面谈[N];计算机世界;2007年
7 北京大学信息科学中心视觉与听觉信息处理国家重点实验室 吴玺宏;声纹识别听声辨人[N];计算机世界;2001年
8 刘喜喜;让视频会议多一些人工智能[N];中国计算机报;2008年
9 唐志强;不听别人说话,也能模仿其口音[N];新华每日电讯;2010年
10 秋水;挑吃“绿色” 敲响食品安全警钟[N];中国改革报;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978