收藏本站
《内蒙古师范大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

基于现代汉语动态流通语料库的通用词汇自动提取方法研究

唐长宁  
【摘要】: 人类社会正在从工业社会迈向信息社会,信息的主要载体是自然语言,即人类彼此交流所使用的语言。自然语言处理研究如何让计算机理解人类语言并开发有关的适用系统,然而自然语言中的通用词汇是一个民族的语言系统中最常见,使用频率较高的那些词汇,无论在汉语言教学上,还是在字典的编写上,甚至在计算机信息处理上,汉语言的通用词汇范围的准确界定都有着深远的意义。在某一时段内,通用词汇既是一个相对稳定又是一个开放的集合,既是一个相对动态又是一个静态的集合;传统的统计方法以及语言学家的经验法则等等都根本无法给与通用词汇准确界定。因此把计算机应用到具体语言学的通用词汇提取领域,就更体现其应用价值和意义。 运用“语料库”的科学数据方法来研究语言已经成为必然的趋势和必要的手段。本论文选择的是基于中国主流报纸的动态流通语料库,动态性和流通性是其本质特征。动态流通语料库的“动态性”贯穿着“历时中包含着共时”和“共时中包含有历时”的语言知识变化原则。也就是说,这种语料库既可以提供语言的共时描写,也可以提供语言的历时描写。流通性体现在栏目信息尽可能多样的报纸,发行地区应尽可能多样,语料的覆盖量要足够大。 本论文主要做了以下工作: 1.原始语料领域分类(自编程序)用程序实现按照报纸语料的栏目信息,将原始语料分为10类,分类结果见表4-3。 2.原始语料格式转换(自编程序) 原始下载语料为HTML\HML网页格式,需要按/领域分类/媒体/年月分别将原始语料转化为纯文本格式语料,同时应该滤除网页格式中的垃圾信息,只保留有效的文本信息内容。转换后文件格式为xml文件。 3.文本文件切分词(引用程序)、入库(自编程序) 按领域分类/媒体/年月分别将文本文件切分成词,将切分后的文件以词语为单位导入到数据库中等待进一步处理,实验时数据库软件使用的是SQL Server7.0。 4.对其进行校对 使用自行开发的人工校对系统(java语言编写)进行检查式校对,对其上面分词中不可避免的错误进行纠正,使结果更科学更准确。 5.词汇统计 计算每个词按月“词频度”、“领域通用度”、“时间通用度”。实验时使用的软件是微软的excel 2003。 6.通用词汇提取 按照词语的年“词汇通用度Ok”降序排序,提取通用词汇表,使通用词汇表中词语的总词次能覆盖全部语料词语总词次的85-95%。
【学位授予单位】:内蒙古师范大学
【学位级别】:硕士
【学位授予年份】:2008
【分类号】:TP391.1

【相似文献】
中国重要会议论文全文数据库 前4条
1 史中琦;张普;;基于DCC动态流通报纸语料库的流通度词表和使用度词表的对比分析[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
2 颜伟;;基于动态流通语料库的VSM新词发现策略[A];2004年辞书与数字化研讨会论文集[C];2004年
3 陈慧;张普;;基于DCC动态流通语料库的中文组织名监测与研究[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
4 王雅莉;古丽拉·阿东别克;;哈萨克语通用词汇自动提取方法研究与实现[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
中国重要报纸全文数据库 前3条
1 本报记者 胡嫚;假冒伪劣食品借包装迷人眼[N];中国知识产权报;2010年
2 本报记者 李延生;PRTV:商标还是通用名称?[N];中国企业报;2011年
3 文化部文化科技司副司长 王丰;文化行业标准化工作的进展与方向[N];中国文化报;2011年
中国博士学位论文全文数据库 前2条
1 谢学敏;基于动态流通语料库(DCC)的流行语释义信息自动提取研究[D];北京语言大学;2006年
2 刘荣;面向教育领域的固定短语提取方法研究[D];北京语言大学;2009年
中国硕士学位论文全文数据库 前6条
1 唐长宁;基于现代汉语动态流通语料库的通用词汇自动提取方法研究[D];内蒙古师范大学;2008年
2 史中琦;基于DCC动态流通报纸语料库的流通度词表和使用度词表的对比分析[D];北京语言大学;2005年
3 戴姗;基于DCC三年经济日报语料的面向国际大企业商务领域词语统计方法研究[D];北京语言大学;2007年
4 秦鹏;平面媒体语言资源监测软件包开发及应用[D];北京语言大学;2007年
5 王雅莉;哈萨克语通用词汇提取方法及小学语文教材用词调查研究[D];新疆大学;2012年
6 胡梓华;中级商务汉语教材词汇分析研究[D];暨南大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026