收藏本站
《复旦大学》 2012年
收藏 | 手机打开
二维码
手机客户端打开本文

自然语言处理中序列标注模型的研究

计峰  
【摘要】:随着近年来互联网等新兴媒体的快速发展,人类已经进入了信息爆炸的时代。同时也越来越希望计算机能够理解人类的语言,以更好地帮助人类完成各种日常工作。因此自然语言处理成为了近年来的研究热点。 而在自然语言处理中,序列标注模型是最常见的模型,也有着广泛地应用。与一般分类问题不同的是,序列标注模型输出的是一个标签序列。通常而言,标签之间是相互联系的,构成标签之间的结构信息。利用这些结构信息,序列标注模型在序列标注问题上往往可以达到比传统分类方法更高的性能。 本文着眼于解决自然语言处理中复杂的序列标注问题,主要从两个方面对序列标注模型做出了改进。 首先,针对常见的可分解为分段和标注两个子任务的复杂序列标注问题,我们提出了双链序列标注模型。该模型中存在着两条相互联系的马尔科夫链。为此我们提出了一个同时求解这两条链上最优序列的解码算法。同时利用这两条链,针对不同的实际应用场景可以组合出不同的标注模型,使用不同的解码算法完成实际的标注任务。为了能够适应不同的解码算法,我们还提出了一个能够利用异构语料训练模型的参数学习算法。在多个语料上的实验表面,我们提出的模型性能要优于其他模型,并能在同一个模型内完成多种标注任务。 其次,针对高阶标注模型的解码问题,我们提出了一个可以适应任意阶数的精确解码算法。通过扩展解码过程中的状态,我们将高阶的标签解码过程统一为一阶的状态解码过程。通过状态之间的转移约束,我们为每个状态进行编码,并利用该状态编码能够快速地找到其合法的转移状态,以此达到搜索空间剪枝的目的,提高解码效率。通过多个实验表明,我们的算法能够在不改变代码实现的前提下,通过提高模型阶数提高标注性能。 中图分类号:TP181
【学位授予单位】:复旦大学
【学位级别】:博士
【学位授予年份】:2012
【分类号】:TP391.1

【引证文献】
中国硕士学位论文全文数据库 前1条
1 李华栋;基于规则的汉语兼类词标注方法研究[D];西南交通大学;2014年
【同被引文献】
中国期刊全文数据库 前10条
1 刘滔;雷霖;陈荦;熊伟;;基于MapReduce的中文词性标注CRF模型并行化训练研究[J];北京大学学报(自然科学版);2013年01期
2 郑霞;;汉语词性标注特征模板设定定量分析[J];安阳师范学院学报;2013年05期
3 魏欧,孙玉芳;基于非监督训练的汉语词性标注的实验与分析[J];计算机研究与发展;2000年04期
4 李晓黎,史忠植;用数据采掘方法获取汉语词性标注规则[J];计算机研究与发展;2000年12期
5 屈刚,陆汝占;基于特征的汉语词性标注模型[J];计算机研究与发展;2003年04期
6 赵岩;王晓龙;刘秉权;关毅;;融合聚类触发对特征的最大熵词性标注模型[J];计算机研究与发展;2006年02期
7 张贯虹;斯·劳格劳;乌达巴拉;;融合形态特征的最大熵蒙古文词性标注模型[J];计算机研究与发展;2011年12期
8 王素格,张永奎;基于搭配模式的汉语词性标注规则的获取方法[J];计算机工程与应用;2001年05期
9 胡春静,韩兆强;基于隐马尔可夫模型(HMM)的词性标注的应用研究[J];计算机工程与应用;2002年06期
10 支天云,张仰森;基于Rough Sets和模糊神经网络的汉语兼类词词性标注规则的获取方法[J];计算机工程与应用;2002年12期
【相似文献】
中国期刊全文数据库 前10条
1 张军;;新一代自然语言处理模式分析[J];中外科技信息;2001年11期
2 佘莉,符红光;基于自然语言处理的计算机几何作图[J];计算机应用;2005年01期
3 李蕾;周延泉;钟义信;;基于语用的自然语言处理研究与应用初探[J];智能系统学报;2006年02期
4 王玉锋;李东江;王志良;腾少东;吴笑天;陈亮;宋修雷;翟颖;;汉语自然语言处理一个系统方法[J];科技通报;2007年04期
5 孔晓风;李莹;李昊旻;吕旭东;;基于自然语言处理技术的消化科内窥镜检查报告的结构化[J];中国医疗器械杂志;2008年05期
6 殷杰;董佳蓉;;论自然语言处理的发展趋势[J];自然辩证法研究;2008年03期
7 ;《统计自然语言处理》由清华大学出版社出版[J];中文信息学报;2008年04期
8 杨欢;许威;赵克;陈余;;动词属性在自然语言处理当中的研究与应用[J];计算机技术与发展;2008年07期
9 梁娜;耿国华;周明全;;自然语言处理中的语义关系与句法模式互发现[J];计算机应用研究;2008年08期
10 丁杰;;基于文法规则匹配的自然语言处理系统研究与实现[J];电脑知识与技术;2009年04期
中国重要会议论文全文数据库 前10条
1 马颖华;苏贵洋;;基于概念的自然语言处理[A];第一届学生计算语言学研讨会论文集[C];2002年
2 李生;;哈工大自然语言处理研究进展[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
3 ;哈尔滨工业大学智能技术与自然语言处理研究室简介[A];中国中文信息学会第六次全国会员代表大会暨成立二十五周年学术会议中文信息处理重大成果汇报展资料汇编[C];2006年
4 冯志伟;;自然语言处理中的理性主义和经验主义[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
5 宋柔;;自然语言处理中语言知识的基础性地位[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
6 李文;程华良;彭耀;温明杰;肖威清;张陈斌;陈宗海;;自然语言处理云平台[A];系统仿真技术及其应用学术论文集(第15卷)[C];2014年
7 徐超;毕玉德;;面向自然语言处理的韩国语隐喻知识库构建研究[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
8 周国栋;孔芳;朱巧明;;指代消解:国内外研究现状及趋势[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
9 ;SWCL-2006组织机构[A];第三届学生计算语言学研讨会论文集[C];2006年
10 张玥杰;徐智婷;钱晶;张涛;;自然语言处理中专名识别方法的研究[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
中国重要报纸全文数据库 前10条
1 IBM大数据专家 James Kobielus 范范 编译;机器能识别出讽刺含义吗?[N];网络世界;2014年
2 金利;东北大学自然语言处理实验室形成特色[N];科技日报;2007年
3 本报记者 祝蕾 见习记者 许凯;李晓戈:努力缩小国内外数字“鸿沟”[N];济南日报;2010年
4 本报记者 姜靖;张全:给网络装上“电子眼”[N];科技日报;2009年
5 小柯;张全:网络环境“清洁师”[N];广东科技报;2009年
6 ;李葆嘉:语言科技新思维的倡导者[N];大众科技报;2008年
7 易水;IT新词集锦(420)[N];计算机世界;2004年
8 实习生 刑天鸽;机器人能听懂我们说话吗?[N];科技日报;2012年
9 ;从CRM到KRM[N];上海金融报;2002年
10 何清 史忠植 王伟;搜索引擎的前沿技术[N];计算机世界;2006年
中国博士学位论文全文数据库 前10条
1 李良炎;基于词联接的自然语言处理技术及其应用研究[D];重庆大学;2004年
2 鲁松;自然语言处理中词相关性知识无导获取和均衡分类器构建[D];中国科学院研究生院(计算技术研究所);2001年
3 周雅倩;最大熵方法及其在自然语言处理中的应用[D];复旦大学;2005年
4 王燚;基于场景化知识表示的自然语言处理及其在自动文本校对中的应用[D];西南交通大学;2005年
5 计峰;自然语言处理中序列标注模型的研究[D];复旦大学;2012年
6 王斌;汉英双语语料库自动对齐研究[D];中国科学院研究生院(计算技术研究所);1999年
7 王智强;汉语指代消解及相关技术研究[D];北京邮电大学;2006年
8 卢延鑫;基于自然语言处理技术的循证医学信息提取研究[D];复旦大学;2011年
9 易勇;计算机辅助诗词创作中的风格辨析及联语应对研究[D];重庆大学;2005年
10 李晗静;基于自然语言处理的空间概念建模研究[D];哈尔滨工业大学;2007年
中国硕士学位论文全文数据库 前10条
1 陈波;中文统计自然语言处理隐马模型的研究[D];重庆大学;2003年
2 侯超;基于自然语言处理的策略生成系统的设计与实现[D];西安电子科技大学;2013年
3 张春燕;基于自然语言处理的文本分类分析与研究[D];江西理工大学;2011年
4 李力;利用知网进行(计算机)自然语言处理[D];电子科技大学;2004年
5 刘金凤;面向自然语言处理的汉语句子语义知识库构建研究[D];鲁东大学;2009年
6 李江;自然语言编程研究[D];北京邮电大学;2008年
7 程晓静;自然语言处理在药物专利检索系统中的应用[D];大连理工大学;2004年
8 周鑫;半监督算法在自然语言处理中应用的研究[D];哈尔滨工业大学;2014年
9 邓春国;灵活语序的汉语言陈述句逻辑算法研究[D];广东工业大学;2015年
10 周向根;企业经营范围自动分类及多语种经营范围术语自动获取[D];哈尔滨工业大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026