收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Web的领域词典构建技术研究

高锐  
【摘要】:领域术语是反映领域特征的词语,可以从一定规模的语料中自动抽取。领域术语自动抽取是自然语言处理中的一项重要任务,可以应用到领域本体构建、专业搜索、文本分类、类语言建模等诸多领域。同时,互联网上特定领域的文本资源非常丰富,因此,如何利用互联网上大规模的特定领域语料来构建领域词典就成为一个既有挑战性又有实际价值的课题。 本文系统阐述并实现了一套WEB领域词典构建技术。通过对系统功能的分析,我们把系统分成了WEB领域文本收集、语料预处理、领域新词发现和领域特征词抽取四部分。 与传统的领域术语抽取不同,我们首先需要收集WEB领域文本。该部分采用广度优先的算法获取特定类型的网页,我们针对其中的关键点快速的主题过滤算法展开了相关研究,设计并实现了一个基于向量空间模型的主题过滤模块。 在语料的预处理部分,我们采用了一种基于统计的网页正文抽取方法,首先对网页进行规范化处理表示为一棵DOM树,然后统计各节点的内容信息进行正文抽取,该方法实现简单,通用性好,在准确性和速度上基本都能满足系统的需要。 在领域新词发现部分,我们采用了基于统计和规则相结合的方法识别新词,在词频统计的基础上通过添加独立成词概率等层层过滤候选词。目前该模块综合F值可达70%以上。 在领域特征词抽取部分,我们使用基于正规化分布熵的领域词汇抽取策略,并且将位置成词概率引入该方法中,取得了不错的效果。 总之,通过对实验观察和结果分析,本课题实现了WEB领域文本收集、语料预处理、领域新词发现和领域特征词提取的关键技术,并在研究的基础上提出并实现了一套面向互联网领域词典构建的技术方案。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 ;中国术语学建设书系[J];中文信息学报;2011年04期
2 张金忠,郑述谱;"神五"飞天引发的术语学思考[J];术语标准化与信息技术;2004年03期
3 ;第二届术语学、标准化与技术传播国际学术会议将在北京举行[J];术语标准化与信息技术;1997年02期
4 蔺荪;香港术语学会正式成立[J];术语标准化与信息技术;1999年04期
5 ;李忠海赴维也纳参加韦斯特奖授奖仪式[J];术语标准化与信息技术;2006年02期
6 ;维也纳第十四期术语学夏日学校简况[J];术语标准化与信息技术;1997年03期
7 于喜海;术语学手册(8)[J];术语标准化与信息技术;1996年01期
8 ;消息动态[J];术语标准化与信息技术;2005年03期
9 ;术语学、术语标准化高级培训及研讨班将在京举办[J];术语标准化与信息技术;1997年02期
10 粟武宾;术语学──本地化不可或缺的基础理论[J];术语标准化与信息技术;1998年01期
11 章鸿猷;信息技术词汇耕耘点滴[J];术语标准化与信息技术;2000年02期
12 ;TSTT'2006 第三届术语学、标准化与技术传播国际学术会议[J];术语标准化与信息技术;2005年04期
13 王英玮;;试论档案术语学的若干问题[J];山西档案;1992年06期
14 郑述谱;科学与语言并行发展的历史轨迹——术语学读书笔记(2)[J];术语标准化与信息技术;2003年04期
15 ;本期导读[J];术语标准化与信息技术;2009年03期
16 李家烈;;浅论科技编辑的术语学视域[J];西华师范大学学报(哲学社会科学版);2005年06期
17 郑伯承;;世界语对术语学的贡献[J];术语标准化与信息技术;2010年01期
18 郑述谱;术语学的研究方法[J];术语标准化与信息技术;2004年02期
19 田野,曹园;术语学的发展——多媒体跨介质出版平台[J];术语标准化与信息技术;2005年01期
20 王开扬;从术语学论“韵”和“韵部”的定义[J];术语标准化与信息技术;2005年03期
中国重要会议论文全文数据库 前10条
1 ;哈尔滨工业大学[A];2005'全国微波毫米波会议论文集(第一册)[C];2006年
2 ;第25届中国控制会议[A];第25届中国控制会议论文集(上册)[C];2006年
3 王宇;;哈尔滨工业大学建筑学院博士学位研究生论文目录(1991-2001)[A];建筑史论文集(第16辑)[C];2002年
4 刘暾;;杂感[A];哈尔滨工业大学首届“老有所为”论坛论文集[C];2006年
5 ;哈尔滨工业大学复合材料与结构研究所[A];庆祝中国力学学会成立50周年暨中国力学学会学术大会’2007论文摘要集(上)[C];2007年
6 ;河南工业大学粮油食品学院[A];2009年中国农业工程学会农产品加工及贮藏工程分会学术年会论文集[C];2009年
7 朱逊;杨维;;哈尔滨城市冰雪景观研究[A];中国城市规划学会2001年会论文集[C];2001年
8 ;启事[A];中国钢协钢-混凝土组合结构协会第八次年会论文集[C];2001年
9 ;合影[A];庆贺刘锡良教授执教五十周年暨第一届全国现代结构工程学术报告会论文集[C];2001年
10 ;第三届电子测量与仪器学报编辑委员会[A];第20届测控、计量、仪器仪表学术年会论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 叶其松;术语学核心术语研究[D];黑龙江大学;2010年
2 吕冰海;陶瓷球双转盘研磨方式及成球机理的研究[D];哈尔滨工业大学;2007年
3 周浪;中文术语抽取若干问题研究[D];南京理工大学;2010年
4 任雪昆;非可加测度与模糊Riemann-Stieltjes积分[D];哈尔滨工业大学;2008年
5 于英;城市空间形态维度的复杂循环研究[D];哈尔滨工业大学;2009年
6 李丽双;领域本体学习中术语及关系抽取方法的研究[D];大连理工大学;2013年
7 刘扬;足球视频场景分析与三维重建的关键技术研究[D];哈尔滨工业大学;2006年
8 邵兵;激光星间通信终端精瞄微定位系统关键技术的研究[D];哈尔滨工业大学;2006年
9 刘长运;先减压式油田注水恒流堵塞器动力学和可靠性的研究[D];哈尔滨工业大学;2007年
10 苏统华;脱机中文手写识别—从孤立汉字到真实文本[D];哈尔滨工业大学;2008年
中国硕士学位论文全文数据库 前10条
1 高锐;基于Web的领域词典构建技术研究[D];哈尔滨工业大学;2008年
2 刘利刚;中文名实体识别与新词发现技术研究[D];哈尔滨工业大学;2007年
3 罗敏鹏;基于TMS320F2812的气动伺服控制器的研制[D];哈尔滨工业大学;2006年
4 刘威;基于小波方法的水锤偏微分方程组数值模拟[D];哈尔滨工业大学;2006年
5 朱青;数字激光测距机回波采集和处理电路设计[D];哈尔滨工业大学;2007年
6 高俊生;PXI总线嵌入式控制器研制[D];哈尔滨工业大学;2006年
7 李萌;直驱式六自由度运动平台单通道装置研制[D];哈尔滨工业大学;2006年
8 王蔡健;光电式锥螺纹检测系统的研究[D];哈尔滨工业大学;2006年
9 王亚丽;基于DSP的高速图像采集及处理系统设计[D];哈尔滨工业大学;2007年
10 陈远洋;PCI总线GJB289A仿真卡的研制[D];哈尔滨工业大学;2007年
中国重要报纸全文数据库 前10条
1 通讯员  黄超;向西追寻梦想 奉献星火燎原[N];中国教育报;2006年
2 本报记者  朱伟光 通讯员  黄超;从“双层管理”到“三者耦合”[N];光明日报;2006年
3 高天赋;哈尔滨工业大学生源基地达128个[N];黑龙江日报;2006年
4 通讯员  高继慧 黄超;在科研一线激情燃烧的恒星[N];中国教育报;2006年
5 关轶男 屈兵 记者 郭铭华;哈尔滨海关与哈工大合作规范科教用品通关行为[N];黑龙江日报;2008年
6 陈华;推进新型航天防热陶瓷复合材料应用[N];科技日报;2007年
7 张志强;贫困学子开学前一天 干警又将学费送到家[N];北方法制报;2006年
8 黄超 记者  李笑冰;博士生把科技送到生产一线[N];中国教育报;2006年
9 付比兴 本报记者 李兵;“开学在即,我还在为学费发愁”[N];锦州日报;2006年
10 见习记者 孙晶晶;工大首创实际控制人生变[N];中国证券报;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978