收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于词联接的自然语言处理技术及其应用研究

李良炎  
【摘要】:随着人类社会信息化程度和计算机软硬件水平的提高,自然语言处理(Natural Language Processing,简称NLP)技术逐渐成为计算机应用和人工智能研究的热点,其基本技术目标是让计算机具有类似人的语言智能,例如能够象人一样听、说、读、写。围绕NLP技术逐渐形成了一个专门的学科——计算语言学。该学科属于交叉学科,涉及到语言学、心理学、心理语言学、脑科学、计算机科学、哲学、逻辑学、人工智能、数学、信息论、文学、美学等诸多学科或领域。从上个世纪中叶以来,虽然不同学科和领域的无数研究者投入了大量的研究资源,探索出了一些有效的技术,取得了一定的成果,但离实现基本技术目标还显得非常遥远。值此世纪之初,有必要从更高、更深的层面重新审视NLP技术的研究背景、目标和途径,在继承现有技术的基础上大胆创新,探索出切实可行、面向未来的新技术。本文在这个方向上作出了努力,以抛砖引玉,促进NLP技术的发展。 在国家自然科学基金项目“计算机辅助文学艺术创作研究——诗词曲联”(60173060,2002~2004)的支持下,在深入分析NLP技术背景的基础上,本文提出并初步构建了基于词联接的NLP技术(Term Connection Technique for NLP,简称TCT),并应用到诗词语言处理系统(Poetry Processing System,简称PPS)中。理论研究和应用研究的结果表明,TCT是一种继承并发展已有技术、高度综合与包容、操作性强、有效的NLP技术。本文的主要内容包括: 第1章介绍了TCT的技术背景,包括NLP的根本难点、现阶段NLP的根本目标、NLP技术的发展阶段和趋势,提出了一系列较为独特的观点。NLP的根本难点在于自然语言具有认识性和不确定性,现阶段目标应是受限语言智能仿知技术。这一目标是在分析了NLP根本难点、现阶段的计算机技术、已有人工智能和NLP研究成果的基础上提出来的,因此是切实可行的。NLP技术分为技术探索、规则技术兴起、统计技术兴起三个阶段,主要发展趋势是实例技术可能成为主流技术,规则技术和统计技术可能成为辅助技术。 第2章介绍了TCT的基本原理、技术结构、哲学基础、理论基础、方法基础,从宏观上初步构建了TCT。TCT的基本原理是基于受限自然语言环境建立动态语料库,基于动态语料库建立词联接实例知识库和高级知识库,基于知识库进行受限自然语言处理。TCT具有完整、简明、合理的技术结构,包括:TCT知识表示技术(TCTR)、TCT知识获取技术(TCTO)、TCT语言分析技术(TCTA)、TCT语言评价技术(TCTE)、TCT语言生成技术(TCTC)、TCT语言修改技术(TCTM)、TCT语言输入输出技术(TCTIO)。TCT的哲学基础是易学,这是本学位论文最具 重庆大学博士学位论文 特色的地方。易学是中国古代哲学的精华,具有朴素的唯物辩证思想和系统观, 对于认识和认识建模都具有很强的指导作用。TCT的理论基础是神经认知语言学, 该理论强调语言理论不悖于大脑神经事实,综合了联接主义和符号主义等理论的 长处,是一种面向NLP的语言学理论。TCT的方法基础是基于实例的知识加工, 以实例为基础,可以更好地综合各种知识加工技术。 第3、4、5、6章分别介绍了TCT技术结构中的TCTR、 TCTO、TCTA、TCTE, 从微观上初步构建了TCT。由于研究资源有限,本文在斟酌各个技术模块关系的 前提下,着重研究这四大模块。在每个技术模块的研究中都注意继承与创新相结 合,注意各个技术模块在功能上的独立性与系统性。与传统的NLP技术相比较, 各个技术模块都具有各自的特色和创新点:在TCTR中提出了自然语言知识结构 和要素、抽象概念树(Abstract concePt Tree,简称AcT)、体验语义和价值语义等; 在TCTO中提出了语言知识设计、语料标注规范、语言知识获取与管理等;在TCTA 中提出了词联接最大语义符合度计算和最优句树搜索的初级语言分析算法;在 TCTM中提出了豪放与婉约语言风格的计算模型。 第7章介绍了基于TCT的PPS开发和测试。由于构建TCT之初就认识到了 自然语言认识性中的体验性这一难点,而体验性是自然语言尤其是文学语言的重 要特征,因此TCT应当能够比传统的NLP技术更好地处理文学语言。诗词语言是 一种典型的文学语言,开发PPS对传统的NLP技术和TCT都是一种挑战。本文 基于当前水平的TCT开发了PPS,完成了语言知识类设计、语言知识库设计、模 块设计、界面设计,并在大量数据准备工作的基础上进行了诗词语料标注测试、 诗词语言初级分析测试、诗词语言豪放与婉约风格的评价测试。测试结果表明, PPS取得了成功,验证了TCT的有效性。 在论文的最后总结了研究成果,并指出了今后的主要研究方向。 关键词:自然语言处理,实例技术,词联接技术,诗词语言,语言风格评价


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 陈敏杰;;问答系统中问题分析模块的实现[J];经营管理者;2009年13期
2 詹卫东;;自然语言的自动分析与生成简介[J];术语标准化与信息技术;2010年04期
3 闫琪,张志伟,宁洪;用户搜索请求中限定成分的识别及提取[J];计算机工程与科学;2000年03期
4 左远清,周洞汝,王波;自然语言处理在搜索引擎信息检索中的应用[J];现代计算机;2002年07期
5 刘亚军,徐易,高莉莎;提高IQAS查询速度的一种方法[J];计算机工程与应用;2004年11期
6 杜波,田怀凤,王立,陆汝占;基于多策略的专业领域术语抽取器的设计[J];计算机工程;2005年14期
7 傅立云;刘新;;基于词典的汉语自动分词算法的改进[J];情报杂志;2006年01期
8 卢志茂;刘挺;李生;;统计词义消歧的研究进展[J];电子学报;2006年02期
9 贾君枝;邰杨芳;;FrameNet的语义类型研究[J];情报理论与实践;2007年05期
10 张莉;刘雅举;李东明;侯晨伟;;中文问句分类系统的分析[J];科技情报开发与经济;2007年25期
11 程彩虹;王惠临;解国栋;;基于潜在语义分析的自动词法学习技术[J];情报理论与实践;2008年05期
12 李波;邱锡鹏;曹均阔;;查询扩展在开放领域问答系统中的应用[J];计算机应用与软件;2009年07期
13 马连刚;夏克俭;;中医方剂与图集的转换的设计与实现[J];网络安全技术与应用;2010年02期
14 仲夏;张志平;王惠临;;词汇化树邻接语法研究述评及中文应用初探[J];现代图书情报技术;2010年05期
15 麦范金;岳晓光;赵子强;路英;王挺;岳砥柱;;基于自然语言处理的智能评分系统[J];桂林理工大学学报;2010年03期
16 朱译翔;;中文名词性谓词的语义角色标注的研究[J];福建电脑;2010年09期
17 刘一宁;;学术定义抽取研究综述[J];情报探索;2011年08期
18 邵品洪;自然语言处理在情报检索中的应用[J];现代图书情报技术;1994年03期
19 吕西安·马尔柰夫,保尔·若利昂;简论自然语言处理的连接网络法[J];中文信息学报;1997年02期
20 张琳琳,宋继平,王能忠;基于核心推导的句法分析[J];西南师范大学学报(自然科学版);1997年03期
中国重要会议论文全文数据库 前10条
1 闫英杰;林鸿飞;杨志豪;;关键词密度分布法在偏重摘要中的应用研究[A];第三届学生计算语言学研讨会论文集[C];2006年
2 刘耀;穗志方;胡永伟;冀铁亮;;领域Ontology自动构建研究[A];2006年首届ICT大会信息、知识、智能及其转换理论第一次高峰论坛会议论文集[C];2006年
3 支流;段慧明;朱学锋;俞士汶;;中文缩略语知识库建设[A];第三届学生计算语言学研讨会论文集[C];2006年
4 白刚;张铮;丁宗尧;朱毅;;中文文本聚类在互联网搜索的研究与应用[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
5 刘群;张浩;白硕;;中文信息处理开放平台的设计[A];第一届学生计算语言学研讨会论文集[C];2002年
6 支流;朱学锋;段慧明;俞士汶;;中文缩略语还原技术初探[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
7 刘开瑛;由丽萍;;汉语框架语义知识库构建工程[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
8 郑家恒;谭红叶;王兴义;;基于模式匹配的中文专有名词识别[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
9 葛诗利;陈潇潇;;中国EFL学习者自动作文评分探索[A];第三届学生计算语言学研讨会论文集[C];2006年
10 宋柔;;自然语言处理中语言知识的基础性地位[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 李良炎;基于词联接的自然语言处理技术及其应用研究[D];重庆大学;2004年
2 卢延鑫;基于自然语言处理技术的循证医学信息提取研究[D];复旦大学;2011年
3 代印唐;基于语义网络的知识协作关键技术研究[D];复旦大学;2009年
4 王立欣;翻译标准自动量化方法研究[D];上海外国语大学;2007年
5 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
6 周雅倩;最大熵方法及其在自然语言处理中的应用[D];复旦大学;2005年
7 易勇;计算机辅助诗词创作中的风格辨析及联语应对研究[D];重庆大学;2005年
8 谢学敏;基于动态流通语料库(DCC)的流行语释义信息自动提取研究[D];北京语言大学;2006年
9 屈刚;英汉双语短语对齐[D];上海交通大学;2007年
10 方宁;基于认知的文本语境生成和度量研究[D];上海大学;2009年
中国硕士学位论文全文数据库 前10条
1 全昌勤;基于语料库的汉语词义消歧方法研究[D];华中师范大学;2005年
2 张峰;基于自然语言处理的自动文摘系统[D];电子科技大学;2006年
3 丁卓冶;中文命名实体识别的研究[D];大连理工大学;2008年
4 孙继明;基于知网的汉语词义消歧研究[D];国防科学技术大学;2007年
5 孙广庆;基于语义范畴扩展的词义消歧的研究[D];哈尔滨工程大学;2008年
6 侯丽敏;基于网络的智能答疑系统的研究与实现[D];河南大学;2005年
7 崔昌利;俄语简单句述谓VP的模式化及自动识别[D];黑龙江大学;2005年
8 赵城利;基于Web的信息智能感知技术及应用[D];国防科学技术大学;2004年
9 张学;EBMT系统中翻译模板的抽取与匹配[D];大连理工大学;2006年
10 巩晓婷;基于文本的信息隐藏技术研究[D];福州大学;2006年
中国重要报纸全文数据库 前10条
1 本报记者 姜靖;张全:给网络装上“电子眼”[N];科技日报;2009年
2 本报记者 祝蕾 见习记者 许凯;李晓戈:努力缩小国内外数字“鸿沟”[N];济南日报;2010年
3 金利;东北大学自然语言处理实验室形成特色[N];科技日报;2007年
4 小柯;张全:网络环境“清洁师”[N];广东科技报;2009年
5 何清 史忠植 王伟;搜索引擎的前沿技术[N];计算机世界;2006年
6 王俊;“统计在法律中的应用研究”研讨会召开[N];中华新闻报;2009年
7 白冰;粤港成立科技合作资助计划支援应用研究项目[N];大众科技报;2004年
8 ;碳纤维复合材料应用研究获新突破[N];中国高新技术产业导报;2005年
9 熙隆;一批成熟的纳米包装项目已得到应用[N];中国包装报;2006年
10 四平市铁东区教师进修学校 李艳;WiKi可应用于教学[N];计算机世界;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978