收藏本站
《华东师范大学》 2016年
收藏 | 手机打开
二维码
手机客户端打开本文

基于隐马尔科夫模型在网页信息抽取中的研究与应用

双哲  
【摘要】:互联网技术的快速发展带动了网上数据呈指数级增长,也标示着大数据时代的到来,同时人们也创造了大量的半结构化或非结构化数据,而信息抽取技术的意义就是从大量的数据中准确、快速地按需求获取目标信息,并进一步提高信息的利用率。所以,需要一种自动化工具来帮助人们从海量数据中快速发现真正需要的信息,并将这些信息自动分类、提取、重组,使其有益于后续的检查、比较及自动处理,由此需要相应成熟的信息抽取技术。但是在该领域还存在着很多问题,诸如:信息抽取性能不足、自动化程度不高(训练语料的收集、标注需要大量人工操作)、适用范围有限、缺乏移植能力。本文分析了在利用隐马尔可夫模型(HMM)训练建立信息抽取方法中遇到的问题和不足后,借助最大熵原理在处理特征知识表示方面的优势,提出了改进的HMM。在HMM中加入前向、后向依赖,利用发射单元特征信息和上下文信息来调整模型参数。改进后的HMM状态转移概率和观察值发射概率不仅依赖于模型的当前状态值,而且可以以模型的前向状态值和后向特征值加以修正。考虑网页数据的特点,文中通过利用网页所特有的属性提出一种适用于网页信息抽取的模型,该模型的建立是基于改进的HMM。利用网页中相似或相关的内容聚集在一起的性质,在本文中使用网页内容块作为基本抽取单元(发射单元);利用网页布局结构使用VIPS算法,得到适用于网页的状态转移顺序;利用网页数据中的其他属性信息(语义、布局、格式等),得到适用于网页的观察值发射概率的计算公式。而文中网页信息抽取模型整体上类似分层结构,通过对网页的分析两次选取不同的基本抽取单元完成对网页数据的精细抽取。
【学位授予单位】:华东师范大学
【学位级别】:硕士
【学位授予年份】:2016
【分类号】:TP391.1

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 朱松岩;;网页设计之特性分析[J];山东省农业管理干部学院学报;2009年03期
2 安琳;;国外网页信息存档项目及相关问题研究[J];图书馆建设;2009年12期
3 蒋桂梅;;网页设计的艺术性[J];电脑知识与技术;2010年05期
4 龙正义;;网页长期保存的策略与方法研究[J];档案管理;2010年03期
5 李志义;梁士金;;国内网页去重技术研究:现状与总结[J];图书情报工作;2011年07期
6 王烁;;美国网页归档项目——Internet Archive发展研究[J];兰台世界;2012年17期
7 栗勇兵;韩平;董启雄;;网页信息自动提取的设计与实现[J];计算机光盘软件与应用;2012年18期
8 何立波;周世波;;网页设计中的艺术研究[J];考试周刊;2011年25期
9 秦永平;网页信息共享技术[J];计算机应用;2000年02期
10 项镇;网页设计新概念[J];江西教育学院学报(自然科学);2001年06期
中国重要会议论文全文数据库 前10条
1 吴建军;;谈网页设计的艺术性表现[A];经天纬地——全国测绘科技信息网中南分网第十九次学术交流会优秀论文选编[C];2005年
2 韩近强;赵静;杨冬青;唐世渭;姚小波;;基于领域知识的网页筛选系统[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
3 昝红英;苏玉梅;孙斌;俞士汶;;基于浅层分析的网页相关度研究[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
4 孙静;刘正捷;奚小玲;王慧;;帮助盲人理解网页信息的一种网页结构划分方法[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
5 曹淮;晁丁丁;;3D元素在网页信息传达中的应用研究[A];2006年中国机械工程学会年会暨中国工程院机械与运载工程学部首届年会论文集[C];2006年
6 唐超;刘辰;杨正球;;使用多层迭代分析和分类网页文档的方法[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
7 马骁;王晓龙;王轩;卜永忠;;基于网页信息结构的网页体裁聚类分析[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
8 罗阳;季铎;张桂平;王莹莹;;面向单一网页的双语资源挖掘方法[A];第六届全国信息检索学术会议论文集[C];2010年
9 于满泉;谭松波;许洪波;;网页内部结构挖掘技术研究[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
10 王宇;黄炜;肖艳芹;任建立;李天柱;;ORBASE用于基于内容的Web查询[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
中国重要报纸全文数据库 前10条
1 本报记者 曾居仁 通讯员 郝金荣;贵州“万村千乡”网页工程开辟为农服务新渠道[N];中国气象报;2012年
2 壮壮;批量保存网页信息[N];电脑报;2004年
3 罗震宇 严小斌;一种新型WEB开发技术的探讨[N];中国冶金报;2011年
4 钱鹏;网尽Web页中的好东东[N];电脑报;2004年
5 星之海洋;迈出网页制作的第一步[N];电脑报;2004年
6 河南 张金贵;FrontPage2000组件详解(四)[N];电脑报;2001年
7 枫尔;网站浏览提速的五大秘方[N];中国证券报;2004年
8 飘零剑客;网络监控利器——AnyView[N];中国电脑教育报;2004年
9 八戒;眨眼之间 答案立现[N];电脑报;2013年
10 ;网络应用 天龙八“步” 申请上网账号[N];电脑报;2002年
中国博士学位论文全文数据库 前10条
1 陈洁;基于概念融合的网页筛选技术研究[D];北京邮电大学;2013年
2 龚昌盛;基于语义标注的网页广告加载模型研究[D];武汉大学;2010年
3 孙建涛;Web挖掘中的降维和分类方法研究[D];清华大学;2005年
4 黄华军;网页信息隐藏与隐秘信息检测研究[D];湖南大学;2007年
5 徐晴阳;基于关系子群发现算法的聚焦爬行技术[D];吉林大学;2008年
6 曹鲁慧;Web个人信息集成问题研究[D];山东大学;2012年
7 刘馨月;Web挖掘中的链接分析与话题检测研究[D];大连理工大学;2012年
8 罗娜;基于本体的主题爬行技术研究[D];吉林大学;2009年
9 张勇实;基于链接相似性分析的WEB结构挖掘方法研究[D];哈尔滨工程大学;2012年
10 宗校军;中文网页定题采集及分类研究[D];华中科技大学;2006年
中国硕士学位论文全文数据库 前10条
1 敖志敏;基于网页相似度的搜索算法改进的研究[D];上海师范大学;2015年
2 杨寻;地域文化的视觉元素在旅游网页设计中的应用研究[D];西南交通大学;2015年
3 张垚;高校网页简介英文翻译研究[D];华中师范大学;2015年
4 刘丹;改进的基于DIV迭代査找和信息增益的网页特征选择算法[D];山东大学;2015年
5 龚敏;从中西文化差异看中国高校网页英语简介[D];福建师范大学;2015年
6 吕芳;基于视觉特征的钓鱼网页相似性计算技术研究[D];哈尔滨工业大学;2015年
7 刘梦琪;网页设计中的动画创意研究[D];安徽工程大学;2015年
8 孙仲浩;网页图片无障碍替代文本自动生成算法设计与实现[D];浙江大学;2015年
9 戴松;面向聚焦的Web网页获取和信息抽取方法研究[D];上海大学;2015年
10 房勇;企业多源舆情监测系统研究与实现[D];复旦大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026