收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于统计语言学模型的中文文本信息检索

王志勇  
【摘要】:随着各种文本信息资源的迅猛发展,文本信息检索系统已经成为人们获取有用信息不可缺少的工具,而文本信息检索模型作为文本信息检索技术的数学基础,是主要的研究方向之一,具有重要的意义。 统计语言模型作为一种自然语言处理的工具,已经被证明有能力处理大规模真实文本。而统计语言模型和IR相结合后所形成的IR模型的提出,是信息检索模型研究上的重大进展。 本文从文本检索模型的基本原理入手,分析了几种传统IR模型的优缺点,给出基于统计语言模型的IR模型的基本原理、关键技术以及它的优势所在。并在标准的TREC中文实验数据集上,回答了下面两个问题: (1)中文统计语言模型-IR模型的性能如何?也就是说,中文统计语言模型和IR相结合有没有前途? (2)特征选择对中文统计语言模型-IR模型的影响如何?哪种特征选择方法好? 对于问题(1),我们用SLM-IR模型和两种传统的IR模型:向量空间模型和概率模型进行比较,以标准的TREC评价手段,给出上述3种模型的性能。实验结果表明:简单的SLM-CIR模型的性能要优于简单的向量空间模型和概率模型。 对于问题(2),我们选择了几种典型的特征选择方法,即单汉字、分词、bigram,比较它们的性能。同时,考虑到分词的特殊性,我们又选择了几种不同的分词方法,给出了基于不同分词方法的分词切分SLM-IR模型的性能。实验结果表明:①对于单汉字切分,简单的SLM-CIR模型的性能要优于简单的向量空间模型和概率模型;对于分词切分和Bigram切分,简单的SLM-CIR模型的性能要优于向量空间模型,虽然略低于OKAPI概率模型,但是反馈后的SLM-CIR模型的性能要明显优于反馈前和反馈后的OKAPI概率模型。②对于简单的SLM-CIR模型,分词切分的性能不如Bigram切分和单汉字切分,而且不同的分词方法对检索性能的影响不明显。这就说明了在SLM-CIR模型中,分词技术不是影响模型性能的关键因素。③验证了英文数据集上的实验结论,即无论采用哪一种切分方法,使用狄利克雷先验值的贝叶斯平滑方法仍比其他两种平滑方法好。 WP=5 今后,可以在语义平滑技术等方面进行深入研究,并且把统计语言模型作为构建更复杂的IR模型的一个强有力的工具。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 徐志明,王晓龙,关毅;汉语大词表N-gram统计语言模型构造算法[J];计算机应用研究;1999年06期
2 高升,徐志明;统计语言模型中词的自动聚类技术研究[J];计算机工程与应用;2003年11期
3 郭燕慧,钟义信;统计语言模型中句子的语义连贯性判别[J];情报学报;2003年04期
4 赵正文;康耀红;;统计语言模型在信息检索中的应用[J];计算机工程与应用;2006年36期
5 田斌;田红心;易克初;;一种结合声学匹配信息的汉语统计语言模型新方法[J];模式识别与人工智能;1999年04期
6 田斌,田红心,易克初;一种改进的汉语N元文法统计语言模型[J];西安电子科技大学学报;2000年01期
7 郑洪静;韩卓平;;统计语言模型的手机数码中文输入法研究[J];苏州市职业大学学报;2008年02期
8 耿立中;贾惠波;;基于统计语言模型的低耗时入侵检测方法[J];计算机工程;2010年05期
9 苏绥;林原;林鸿飞;;语言模型在信息检索中的应用[J];情报学报;2011年07期
10 王轩,王晓龙,张凯;语音识别中统计与规则结合的语言模型[J];自动化学报;1999年03期
11 王显芳,杜利民;利用覆盖歧义检测法和统计语言模型进行汉语自动分词[J];电子与信息学报;2003年09期
12 袁里驰,钟义信;基于相似度的词聚类算法[J];微电子学与计算机;2005年08期
13 冯茜芦;潘金贵;;一种基于句子的信息检索模型研究[J];计算机应用与软件;2010年03期
14 陈浪舟,黄泰翼,nlpr.ia.ac.cn;基于模糊训练集的领域相关统计语言模型[J];软件学报;2000年07期
15 钱揖丽;荀恩东;宋柔;;基于SLM的二叉树在语音停顿预测中的应用[J];计算机工程;2006年19期
16 张强;陶宏才;;基于HTK的语音识别语言模型设计及性能分析[J];成都信息工程学院学报;2009年02期
17 董云耀;钱如栏;;一种改进的基于隐马尔可夫的信息检索模型[J];杭州电子科技大学学报;2009年04期
18 赵敏涯;沈洁;陈志敏;林颖;;一种新的自动文本分类的算法[J];扬州大学学报(自然科学版);2006年01期
19 赵敏涯;;结合语言模型的自动文本分类的应用研究[J];计算机与现代化;2010年03期
20 李纲;郑重;;应用于信息检索的统计语言模型研究进展[J];情报理论与实践;2008年03期
中国重要会议论文全文数据库 前10条
1 袁里驰;钟义信;;统计语言模型在语言信息处理中的应用[A];中国自动化学会、中国仪器仪表学会2004年西南三省一市自动化与仪器仪表学术年会论文集[C];2004年
2 刘昆;张建平;颜永红;;统计语言模型中语料的选择[A];中国声学学会2005年青年学术会议[CYCA'05]论文集[C];2005年
3 袁里驰;钟义信;;一种新颖的词聚类算法[A];中国自动化学会、中国仪器仪表学会2004年西南三省一市自动化与仪器仪表学术年会论文集[C];2004年
4 罗智勇;宋柔;荀恩东;;一种基于可信度的人名识别方法[A];第二届全国学生计算语言学研讨会论文集[C];2004年
5 牟晓隆;詹津明;郑方;吴文虎;;基于修正退化频度估计算法的n-gram语言模型[A];第五届全国人机语音通讯学术会议论文集[C];1998年
6 郭丽;蔡东风;季铎;白宇;;统计与语义相融合的词语相似度计算[A];第四届全国学生计算语言学研讨会会议论文集[C];2008年
7 陈丕海;冯建华;邢春晓;郑晓慧;;SiteSearch的关键技术分析及汉化设计[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
8 黄昌宁;高剑峰;李沐;;对自动分词的反思[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
9 施水才;肖诗斌;都云程;王洪俊;;TRS中文信息检索技术的发展(摘要)[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
10 赵军;敖其尔;吉仁尼格;巩政;葡萄;陈建东;;基于统计语言模型蒙古文词汇分析校正器的设计与实现[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 文娟;统计语言模型的研究与应用[D];北京邮电大学;2010年
2 孙越恒;基于统计的NLP技术在中文信息检索中的应用研究[D];天津大学;2005年
3 刘政怡;中文整句智能输入方法研究[D];安徽大学;2007年
4 刘向威;NLP技术在中文信息检索中的应用研究[D];天津大学;2005年
5 高红;基于统计语言模型的汉语浅层分析研究[D];大连理工大学;2007年
6 田萱;基于上下文的信息检索关键技术研究[D];中国人民大学;2007年
7 姜维;统计中文词法分析及其强化学习机制的研究[D];哈尔滨工业大学;2007年
8 马瑞;非限制手写字符分割中相关技术与算法的研究[D];南京理工大学;2007年
9 吴应良;网络计算中的智能信息处理方法研究[D];华南理工大学;2000年
10 陈博;WEB文本情感分类中关键问题的研究[D];北京邮电大学;2008年
中国硕士学位论文全文数据库 前10条
1 王志勇;基于统计语言学模型的中文文本信息检索[D];第二军医大学;2004年
2 李贞;基于统计语言模型的中文网页信息检索研究[D];华中师范大学;2012年
3 王平;小型中文信息检索测试集的构建与分析[D];河北大学;2009年
4 代建英;汉语自动分词系统的研究与实现[D];重庆大学;2005年
5 甄天桥;基于统计和潜在语义分析的混合语言模型的研究[D];哈尔滨工业大学;2007年
6 刘志文;基于trigger对的长距离蒙古语语言模型的研究[D];内蒙古大学;2008年
7 张美香;贝叶斯文本分类器的研究与改进[D];太原理工大学;2005年
8 黄珺;统计和规则相结合的语言模型在中文输入法中的应用研究[D];西安电子科技大学;2008年
9 张国强;层次化蒙古语语言模型的构建研究[D];内蒙古大学;2008年
10 张强;大词汇量连续语音识别系统的统计语言模型应用研究[D];西南交通大学;2009年
中国重要报纸全文数据库 前10条
1 记者 贺建业 侯利红;拓尔思拟发行3000万股[N];上海证券报;2011年
2 付之;百度:技术制胜[N];网络世界;2001年
3 ;非门户网站的信息建设[N];网络世界;2001年
4 本报记者 赵齐;慧聪今秋对决GOOGLE[N];国际商报;2003年
5 本报记者 侯闯;让企业不再“眼花”[N];计算机世界;2003年
6 李冬梅 萧倩;软件触网慎思量[N];北京日报;2000年
7 本报记者 刘红鹰;搜索引擎还有戏?[N];信息时报;2000年
8 本报记者 李晓萍;个性订制——打开未来信息服务之门[N];经济参考报;2001年
9 安徽 张来东;在JAVA开发中的中文处理问题及解决办法[N];中国计算机报;2001年
10 施水才;内容管理打造电子政务[N];中国计算机报;2002年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978