收藏本站
《南京师范大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

面向现代汉语文本处理的全文检索、自动分词通用系统

贺胜  
【摘要】:全文检索是现代信息检索技术的一个非常重要的分支,它是处理非结构化数据的强大工具,也是搜索引擎的核心技术之一。本研究对中文全文检索的有关技术进行了较为深入的研究,重点放在全文检索技术的应用上。对如何利用新技术、改善检索系统的结构、提高检索系统的性能和效率、不断适应信息技术发展的需求等方面进行了新的探索。 全文检索是一种I/O密集型的应用,以往的全文检索系统的开发多在关系数据库的基础上进行。本研究针对全文数据库的特点,指出此方式的弊端与不足,并提出了基于文件系统进行构建的解决方案。由于目前全文检索系统的开发平台并不多见,本文介绍了一种全文检索引擎工具包——Lucene,它功能强大,小巧精悍,便于嵌入各种应用。近年在世界各地被广泛使用,诸如IBM等公司都使用其核心代码。作为一个开源软件,为我们掌握搜索引擎的核心技术提供了绝佳机会,根据现代汉语文本的特点对进行二次开发,是一件很有意义的事情。 汉语自动分词及词性标注是中文信息处理中的重要环节。针对现代汉语自动分词及词性标注的难点,本研究在自动分词方面进行了如下探索:1.对几种常用电子词典的结构进行了分析和比较,实现了核心词典+专业词典的双词典策略,提高了系统的灵活性和适应性。2.采用根据分词有向无环图确定歧义字段的策略,一次性找出所有交集型和组合型歧义字段。3.采用基于角色标注的方法,识别未登录词中的中国人名、地名和外国人译名。4.采用规则的方法,对数字词及重叠词进行了分析和处理。5.利用基于隐马模型的汉语自动分词及标注一体化系统,实现了切分和标注的排歧。
【学位授予单位】:南京师范大学
【学位级别】:硕士
【学位授予年份】:2006
【分类号】:G354.2

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 张旭;;构建基于本地服务的垂直搜索引擎[J];才智;2011年18期
2 刘兆伟;黄永峰;;面向主题搜索引擎的实现与优化[J];数据通信;2011年04期
3 佟兴帆;邓辉宇;李志明;;上海光源产品管理系统及其全文检索子系统的改进[J];核技术;2011年07期
4 陶镇威;周雨程;;基于Compass框架的高级搜索系统的设计与实现[J];重庆理工大学学报(自然科学);2011年08期
5 顾潇华;姜亦强;崔涛;;中文自动标引、全文检索及中文搜索引擎三者关系的探讨[J];图书馆学研究;2011年17期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 毛楚祥;;全文检索技术和CGRS软件[A];第十一届全国数据库学术会议论文集[C];1993年
2 陈豫;;WWW网上中文信息的全文检索技术开发[A];信息科学与微电子技术:中国科协第三届青年学术年会论文集[C];1998年
3 李明宙;罗艳;王宗义;;Lucene全文检索引擎的研究及应用[A];广西计算机学会2010年学术年会论文集[C];2010年
4 申兵一;巩青歌;;基于Lucene桌面搜索引擎系统的设计和实现[A];江苏省电子学会2010年学术年会论文集[C];2010年
5 戴莉;周明全;武仲科;王永恒;王燕妮;周曼;;Lucene在智能答疑系统中的应用研究[A];图像图形技术与应用进展——第三届图像图形技术与应用学术会议论文集[C];2008年
6 李应兴;付婷;李勇;;基于LUCENE的藏文信息检索的研究与应用[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
7 ;Web搜索引擎原理与应用[A];四川省通信学会2005年学术年会论文集[C];2005年
8 刘源;詹舒波;;基于Solr的行业垂直搜索平台的研究[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集(上)[C];2008年
9 刘寿强;;基于Lucene的分级鉴权企业搜索引擎研究与设计[A];第二十一次全国计算机安全学术交流会论文集[C];2006年
10 王富强;马德涛;张立朝;王建明;;地方志数据库全文信息检索研究[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年
中国重要报纸全文数据库 前10条
1 郭莹;全文检索市场空间大[N];中国计算机报;2006年
2 肖诗斌;全文检索技术的深层剖析[N];中国计算机报;2003年
3 潘亚南;中国科学院全文档案信息检索应用取得好效果[N];中国档案报;2004年
4 ;“门户+搜索”[N];中国计算机报;2007年
5 记者 陈姝;深圳“云计算”产业爆发式增长[N];深圳商报;2010年
6 记者 王晓晴;深圳80余家企业试水云计算[N];深圳特区报;2010年
7 建新;陈沛中国搜索引擎第一人[N];中国企业报;2004年
8 项建新;中国搜索引擎第一人[N];中华工商时报;2003年
9 杨谷;搜索引擎是建设网络文化的核心技术[N];光明日报;2007年
10 ;企业级搜索会窜出第二个Google吗?[N];中国计算机报;2006年
中国硕士学位论文全文数据库 前10条
1 刘敏娜;基于Lucene的全文搜索系统的研究与实现[D];华东师范大学;2008年
2 崔君鹏;开源全文检索引擎的研究和应用[D];重庆大学;2008年
3 李文泽;个性化垂直搜索引擎研究[D];河南大学;2007年
4 王冬坡;基于Lucene的主题搜索引擎的研究与实现[D];河北科技大学;2010年
5 张彬;基于lucene的搜索引擎[D];上海师范大学;2010年
6 高欣;基于Lucene的全文检索系统的研究与实现[D];天津师范大学;2010年
7 闻峥;基于Lucene的搜索引擎优化[D];北京交通大学;2011年
8 杜先撰;基于Lucene全文索引系统设计与实现[D];南京大学;2011年
9 周月红;基于Lucene的站内搜索引擎的设计与开发[D];华东理工大学;2011年
10 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026