收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

自然语言处理中序列标注模型的研究

计峰  
【摘要】:随着近年来互联网等新兴媒体的快速发展,人类已经进入了信息爆炸的时代。同时也越来越希望计算机能够理解人类的语言,以更好地帮助人类完成各种日常工作。因此自然语言处理成为了近年来的研究热点。 而在自然语言处理中,序列标注模型是最常见的模型,也有着广泛地应用。与一般分类问题不同的是,序列标注模型输出的是一个标签序列。通常而言,标签之间是相互联系的,构成标签之间的结构信息。利用这些结构信息,序列标注模型在序列标注问题上往往可以达到比传统分类方法更高的性能。 本文着眼于解决自然语言处理中复杂的序列标注问题,主要从两个方面对序列标注模型做出了改进。 首先,针对常见的可分解为分段和标注两个子任务的复杂序列标注问题,我们提出了双链序列标注模型。该模型中存在着两条相互联系的马尔科夫链。为此我们提出了一个同时求解这两条链上最优序列的解码算法。同时利用这两条链,针对不同的实际应用场景可以组合出不同的标注模型,使用不同的解码算法完成实际的标注任务。为了能够适应不同的解码算法,我们还提出了一个能够利用异构语料训练模型的参数学习算法。在多个语料上的实验表面,我们提出的模型性能要优于其他模型,并能在同一个模型内完成多种标注任务。 其次,针对高阶标注模型的解码问题,我们提出了一个可以适应任意阶数的精确解码算法。通过扩展解码过程中的状态,我们将高阶的标签解码过程统一为一阶的状态解码过程。通过状态之间的转移约束,我们为每个状态进行编码,并利用该状态编码能够快速地找到其合法的转移状态,以此达到搜索空间剪枝的目的,提高解码效率。通过多个实验表明,我们的算法能够在不改变代码实现的前提下,通过提高模型阶数提高标注性能。 中图分类号:TP181


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 张军;;新一代自然语言处理模式分析[J];中外科技信息;2001年11期
2 佘莉,符红光;基于自然语言处理的计算机几何作图[J];计算机应用;2005年01期
3 李蕾;周延泉;钟义信;;基于语用的自然语言处理研究与应用初探[J];智能系统学报;2006年02期
4 王玉锋;李东江;王志良;腾少东;吴笑天;陈亮;宋修雷;翟颖;;汉语自然语言处理一个系统方法[J];科技通报;2007年04期
5 孔晓风;李莹;李昊旻;吕旭东;;基于自然语言处理技术的消化科内窥镜检查报告的结构化[J];中国医疗器械杂志;2008年05期
6 殷杰;董佳蓉;;论自然语言处理的发展趋势[J];自然辩证法研究;2008年03期
7 ;《统计自然语言处理》由清华大学出版社出版[J];中文信息学报;2008年04期
8 杨欢;许威;赵克;陈余;;动词属性在自然语言处理当中的研究与应用[J];计算机技术与发展;2008年07期
9 梁娜;耿国华;周明全;;自然语言处理中的语义关系与句法模式互发现[J];计算机应用研究;2008年08期
10 丁杰;;基于文法规则匹配的自然语言处理系统研究与实现[J];电脑知识与技术;2009年04期
11 祝清松;;我国自然语言处理研究的文献计量分析[J];情报杂志;2009年S2期
12 杨皓东;江凌;李国俊;;国内自然语言处理研究热点分析——基于共词分析[J];图书情报工作;2011年10期
13 毕玉德;;朝鲜语自然语言处理研究管窥[J];中文信息学报;2011年06期
14 王云凯;王萍;;基于自然语言处理模型的多音字对汉语拼音字母排序的影响研究[J];西南民族大学学报(自然科学版);2012年03期
15 赵栋材;;面向藏语自然语言处理的藏语语言资源建设[J];西藏科技;2012年09期
16 王宇;邵洪雨;;基于主题词提取的国内自然语言处理研究现状分析[J];情报科学;2013年03期
17 卢延鑫;姚旭峰;王松旺;;利用自然语言处理技术提取致病因素信息研究[J];医学信息学杂志;2013年03期
18 翟剑锋;;深度学习在自然语言处理中的应用[J];电脑编程技巧与维护;2013年18期
19 李生;;自然语言处理的研究与发展[J];燕山大学学报;2013年05期
20 姜倩盼;;自然语言处理的挑战与未来[J];信息与电脑(理论版);2013年07期
中国重要会议论文全文数据库 前10条
1 马颖华;苏贵洋;;基于概念的自然语言处理[A];第一届学生计算语言学研讨会论文集[C];2002年
2 李生;;哈工大自然语言处理研究进展[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
3 ;哈尔滨工业大学智能技术与自然语言处理研究室简介[A];中国中文信息学会第六次全国会员代表大会暨成立二十五周年学术会议中文信息处理重大成果汇报展资料汇编[C];2006年
4 冯志伟;;自然语言处理中的理性主义和经验主义[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
5 宋柔;;自然语言处理中语言知识的基础性地位[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
6 李文;程华良;彭耀;温明杰;肖威清;张陈斌;陈宗海;;自然语言处理云平台[A];系统仿真技术及其应用学术论文集(第15卷)[C];2014年
7 徐超;毕玉德;;面向自然语言处理的韩国语隐喻知识库构建研究[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
8 周国栋;孔芳;朱巧明;;指代消解:国内外研究现状及趋势[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年
9 ;SWCL-2006组织机构[A];第三届学生计算语言学研讨会论文集[C];2006年
10 张玥杰;徐智婷;钱晶;张涛;;自然语言处理中专名识别方法的研究[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
中国博士学位论文全文数据库 前10条
1 李良炎;基于词联接的自然语言处理技术及其应用研究[D];重庆大学;2004年
2 鲁松;自然语言处理中词相关性知识无导获取和均衡分类器构建[D];中国科学院研究生院(计算技术研究所);2001年
3 周雅倩;最大熵方法及其在自然语言处理中的应用[D];复旦大学;2005年
4 王燚;基于场景化知识表示的自然语言处理及其在自动文本校对中的应用[D];西南交通大学;2005年
5 计峰;自然语言处理中序列标注模型的研究[D];复旦大学;2012年
6 王斌;汉英双语语料库自动对齐研究[D];中国科学院研究生院(计算技术研究所);1999年
7 王智强;汉语指代消解及相关技术研究[D];北京邮电大学;2006年
8 卢延鑫;基于自然语言处理技术的循证医学信息提取研究[D];复旦大学;2011年
9 易勇;计算机辅助诗词创作中的风格辨析及联语应对研究[D];重庆大学;2005年
10 李晗静;基于自然语言处理的空间概念建模研究[D];哈尔滨工业大学;2007年
中国硕士学位论文全文数据库 前10条
1 陈波;中文统计自然语言处理隐马模型的研究[D];重庆大学;2003年
2 侯超;基于自然语言处理的策略生成系统的设计与实现[D];西安电子科技大学;2013年
3 张春燕;基于自然语言处理的文本分类分析与研究[D];江西理工大学;2011年
4 李力;利用知网进行(计算机)自然语言处理[D];电子科技大学;2004年
5 刘金凤;面向自然语言处理的汉语句子语义知识库构建研究[D];鲁东大学;2009年
6 李江;自然语言编程研究[D];北京邮电大学;2008年
7 程晓静;自然语言处理在药物专利检索系统中的应用[D];大连理工大学;2004年
8 周鑫;半监督算法在自然语言处理中应用的研究[D];哈尔滨工业大学;2014年
9 邓春国;灵活语序的汉语言陈述句逻辑算法研究[D];广东工业大学;2015年
10 周向根;企业经营范围自动分类及多语种经营范围术语自动获取[D];哈尔滨工业大学;2009年
中国重要报纸全文数据库 前10条
1 IBM大数据专家 James Kobielus 范范 编译;机器能识别出讽刺含义吗?[N];网络世界;2014年
2 金利;东北大学自然语言处理实验室形成特色[N];科技日报;2007年
3 本报记者 祝蕾 见习记者 许凯;李晓戈:努力缩小国内外数字“鸿沟”[N];济南日报;2010年
4 本报记者 姜靖;张全:给网络装上“电子眼”[N];科技日报;2009年
5 小柯;张全:网络环境“清洁师”[N];广东科技报;2009年
6 ;李葆嘉:语言科技新思维的倡导者[N];大众科技报;2008年
7 易水;IT新词集锦(420)[N];计算机世界;2004年
8 实习生 刑天鸽;机器人能听懂我们说话吗?[N];科技日报;2012年
9 ;从CRM到KRM[N];上海金融报;2002年
10 何清 史忠植 王伟;搜索引擎的前沿技术[N];计算机世界;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978