收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

统计机器翻译中的词对齐研究

黄书剑  
【摘要】:随着互联网的蓬勃发展,跨语言交流日益频繁,传统的基于人工的语言翻译己不能满足互联网中海量的、实时的翻译需求,机器翻译的研究应运而生。在不同类型的机器翻译研究中,统计机器翻译因其良好的自动学习能力和不同领域上较好的翻译效果而逐渐受到人们的青睐。词对齐是统计机器翻译的一项核心任务,它从双语平行语料中发掘互为翻译的语言片段,是翻译知识的主要来源。 近年来,判别式的词对齐方法取得了较大的进展。与生成式模型相比,判别式模型更易于融入多样性的特征,因而具有更强的可扩展性,且往往能取得较好的性能。然而,判别式词对齐研究始终面临如下几个重要问题:首先,词对齐的搜索面临两难的困境,由于搜索空间巨大,精确搜索往往较为困难,而采用近似搜索的方法往往会对结果的准确性造成一定的影响。其次,判别式方法的学习过程往往依赖于人工标记的词对齐数据,而词对齐的标记数据数量较少、标记成本高昂。随着判别式模型中所使用特征数量的不断增长,相对不足的标记数据数量往往会影响学习效果。此外,长期以来用于衡量词对齐质量的指标(词对齐错误率,AER)与机器翻译的最终评价指标的相关性不强,这使得部分判别式学习的方法虽然能够显著降低词对齐错误率,但并不能显著提升翻译结果的质量。 本文针对上述问题对判别式词对齐学习展开研究,主要工作包括: 1、提高基于反向转换文法(ITG)的词对齐搜索效率:针对词对齐的结构性歧义问题,分析了歧义的产生原因,并提出了一种改进的ITG文法——LGFN文法,该文法可以有效地消除结构性歧义从而提高搜索效率;针对词对齐搜索中的剪枝问题提出了一种假设剪枝方法,该方法能够在进行同步句法分析的过程中,动态地对词对齐假设进行筛选,从而使得搜索被约束在较高质量的词对齐空间中,进一步提高了搜索的效率。 2、针对人工标记的词对齐数据较少的问题提出了一种半监督的词对齐学习框架。该框架通过独立性假设将词对齐融合问题转换成二元分类问题,并采用半监督学习的方法,利用大量的未标记样本来提高分类模型的性能。与结构化的搜索方法相比,通过一系列的二元分类决策来完成词对齐任务提高了搜索的效率,使得大规模数据上的半监督学习变得可能。随着分类性能的提高,词对齐的学习结果也得到了相应的提升。 3、通过分析词对齐错误对翻译规则生成的影响,提出了一种错误敏感的词对齐评价方法(ESAER)。该方法可以对不同类型、不同程度的词对齐错误施以不同的惩罚。与AER相比,ESAER兼顾了词对齐对机器翻译系统的影响,因而与机器翻译的结果评价指标具有更强的相关性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 刘群;统计机器翻译综述[J];中文信息学报;2003年04期
2 冯志伟;;机器翻译与语言研究(下)[J];术语标准化与信息技术;2007年04期
3 张涛;;机器翻译的发展与基于短语的统计机器翻译[J];山西广播电视大学学报;2009年04期
4 王丽;韩习武;;双语词典在统计机器翻译中的应用[J];计算机工程与应用;2010年16期
5 郎君;;统计机器翻译中翻译模型的约简概述[J];智能计算机与应用;2011年03期
6 周玉,宗成庆,徐波;基于多层过滤的统计机器翻译[J];中文信息学报;2005年03期
7 强静;张建;;基于短语的统计机器翻译中短语抽取算法改进[J];计算机工程与应用;2008年13期
8 孙广范;宋金平;肖健;袁琦;;句法调序的统计机器翻译方法研究[J];计算机工程与应用;2009年36期
9 任高举;吐尔根·伊布拉音;艾山·吾买尔;;统计机器翻译中汉维短语对抽取的研究[J];新疆大学学报(自然科学版);2010年03期
10 李响;徐金安;姜文斌;吕雅娟;刘群;;面向移动终端的统计机器翻译解码定点化方法[J];中文信息学报;2011年02期
11 曹杰;吕雅娟;苏劲松;刘群;;利用上下文信息的统计机器翻译领域自适应[J];中文信息学报;2010年06期
12 苗洪霞;蔡东风;宋彦;;基于短语的统计机器翻译方法[J];沈阳航空工业学院学报;2007年02期
13 邵艳秋;;机器翻译相关术语简介[J];术语标准化与信息技术;2010年01期
14 狄萍;周宥良;贡正仙;周国栋;;基于短语的统计机器翻译中短语表的过滤[J];计算机应用与软件;2011年05期
15 苏劲松;刘群;吕雅娟;;一种考虑对齐不一致的短语翻译概率估计方法[J];中文信息学报;2011年03期
16 付雷;刘群;;单纯形算法在统计机器翻译Re-ranking中的应用[J];中文信息学报;2007年03期
17 董兴华;陈丽娟;周喜;周俊林;吐尔洪·吾司曼;;汉维统计机器翻译中的形态学处理[J];计算机工程;2011年12期
18 何中军;刘群;林守勋;;统计机器翻译中短语切分的新方法[J];中文信息学报;2007年01期
19 张步峰;孙越恒;赵青;;对齐模板在标准短语统计机器翻译模型中的应用[J];电子测量技术;2007年07期
20 罗毅;李淼;朱鉴;胡冠龙;;基于短语统计机器翻译解码算法的研究与实现[J];计算机工程与应用;2007年30期
中国重要会议论文全文数据库 前10条
1 杜金华;王莎;;西安理工大学统计机器翻译系统技术报告(英文)[A];机器翻译研究进展——第七届全国机器翻译研讨会论文集[C];2011年
2 于惠;谢军;熊皓;吕雅娟;刘群;林守勋;;基于篇章上下文的统计机器翻译方法[A];机器翻译研究进展——第七届全国机器翻译研讨会论文集[C];2011年
3 梁芳丽;李淼;李文;陈雷;乌达巴拉;;统计机器翻译中的源语言重排序方法研究[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
4 朱海;李淼;张建;乌达巴拉;;系统融合方法在汉蒙统计机器翻译上的应用[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 董兴华;周俊林;郭树盛;吐尔洪·吾司曼;;基于短语的汉维(维汉)统计机器翻译研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
6 王春荣;宝美荣;王斯日古楞;;内蒙古师范大学CWMT2011蒙汉机器翻译系统评测技术报告[A];机器翻译研究进展——第七届全国机器翻译研讨会论文集[C];2011年
7 姚树杰;肖桐;朱靖波;;基于句对质量和覆盖度的统计机器翻译训练语料选取[A];第五届全国青年计算语言学研讨会论文集[C];2010年
8 李响;徐金安;刘群;吕雅娟;姜文斌;;移动终端机器翻译设备的解码定点化方法[A];第五届全国青年计算语言学研讨会论文集[C];2010年
9 巢文涵;李舟军;;ZZX_MT系统CWMT2011评测报告[A];机器翻译研究进展——第七届全国机器翻译研讨会论文集[C];2011年
10 张育;李良友;贡正仙;周国栋;;粘贴模型在依存语法统计机器翻译中的应用[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
中国博士学位论文全文数据库 前10条
1 蒋宏飞;基于同步树替换文法的统计机器翻译方法研究[D];哈尔滨工业大学;2010年
2 段楠;统计机器翻译的一致性解码方法研究[D];天津大学;2012年
3 刘乐茂;统计机器翻译判别式训练方法研究[D];哈尔滨工业大学;2013年
4 梁华参;基于短语的统计机器翻译模型训练中若干关键问题的研究[D];哈尔滨工业大学;2013年
5 刘水;融入头—修饰词调序模型的短语统计机器翻译方法研究[D];哈尔滨工业大学;2011年
6 黄书剑;统计机器翻译中的词对齐研究[D];南京大学;2012年
7 陈毅东;基于短语的统计机器翻译模型若干关键技术研究[D];厦门大学;2008年
8 林建方;词搭配抽取及在信息检索中的应用研究[D];哈尔滨工业大学;2010年
9 朱聪慧;汉英动词次范畴相关技术的研究[D];哈尔滨工业大学;2009年
10 朱泽德;网络双语语料挖掘关键技术研究[D];中国科学技术大学;2014年
中国硕士学位论文全文数据库 前10条
1 李函章;统计机器翻译中语料选择方法研究[D];黑龙江大学;2010年
2 宋美娜;基于词缀特征的汉蒙统计机器翻译系统[D];内蒙古大学;2010年
3 李天宁;词对齐技术研究及统计机器翻译平台的构建[D];东北大学;2009年
4 张涛;面向特定领域的统计机器翻译研究与应用[D];昆明理工大学;2011年
5 李磊;基于依存句法的汉语—纳西语统计机器翻译研究[D];昆明理工大学;2013年
6 罗凌;面向旅游领域的汉英统计机器翻译关键技术研究[D];厦门大学;2014年
7 张育;基于依存语法的统计机器翻译研究[D];苏州大学;2011年
8 王春荣;基于层次短语的汉蒙统计机器翻译后处理研究[D];内蒙古师范大学;2013年
9 银花;基于短语的蒙汉统计机器翻译研究[D];内蒙古师范大学;2011年
10 董晓芳;藏汉统计机器翻译短语抽取技术研究[D];西北民族大学;2013年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978