收藏本站
《合肥工业大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

结合块密度和标签路径特征的网页正文抽取方法研究

刘鹏程  
【摘要】:随着互联网的飞速发展,Web逐渐成为很多应用的重要信息来源。大多数网页除了正文信息外,还包括导航、广告、推荐链接、版权申明等与网页主题内容无关的噪声信息。这些噪声信息降低了搜索引擎、Web新闻聚合、Web信息检索等应用系统的性能。因此,网页正文抽取具有重要的研究意义和应用价值。本文基于网页的文本块密度和标签路径特征,开展网页正文抽取研究,主要研究工作如下:(1)根据网页的正文内容分布与网页文本块中的文本字符、标签信息的潜在联系,设计了一种区分网页中正文内容和噪声信息的文本块特征:文本块密度特征,解决了网页正文中短文本难以抽取的问题。进一步研究超链接字符在网页中的分布,扩展了文本块密度特征,有效地过滤了包含大量超链接字符的噪声信息块,提出了基于文本块密度特征的网页正文抽取算法CETBD。在CleanEval数据集和从知名网站上随机选取的新闻网页数据集上的实验结果表明,CETBD方法是一种通用的、高效的、无监督的且与语言无关的网页正文抽取方法。(2)为了提高CETBD算法抽取网页正文文本块的准确性,定义了标签路径覆盖率特征,并通过实例研究文本块密度特征和标签路径覆盖率特征之间的联系,将两个特征融合为新特征,并根据新特征提出了基于文本块密度和标签路径覆盖率的网页正文抽取方法CETD-TPC。实验结果表明:CETD-TPC方法是一种高精度、实时的网页正文抽取方法,抽取性能优于CETBD、CEPR和CETD算法。(3)设计并实现了一个基于文本块密度和标签路径覆盖率的Web新闻内容抽取原型系统,系统集成了本文提出的抽取方法和其它几个主流的正文抽取算法,介绍了系统的框架组成、实现以及系统的用户使用界面。最后分析了网页正文抽取算法在实际应用中的优势与不足。
【学位授予单位】:合肥工业大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:TP391.1;TP393.092

【相似文献】
中国期刊全文数据库 前10条
1 韩旭;新概念网页设计[J];包装世界;2000年05期
2 朱松岩;;网页设计之特性分析[J];山东省农业管理干部学院学报;2009年03期
3 安琳;;国外网页信息存档项目及相关问题研究[J];图书馆建设;2009年12期
4 蒋桂梅;;网页设计的艺术性[J];电脑知识与技术;2010年05期
5 龙正义;;网页长期保存的策略与方法研究[J];档案管理;2010年03期
6 李志义;梁士金;;国内网页去重技术研究:现状与总结[J];图书情报工作;2011年07期
7 王烁;;美国网页归档项目——Internet Archive发展研究[J];兰台世界;2012年17期
8 栗勇兵;韩平;董启雄;;网页信息自动提取的设计与实现[J];计算机光盘软件与应用;2012年18期
9 何立波;周世波;;网页设计中的艺术研究[J];考试周刊;2011年25期
10 秦永平;网页信息共享技术[J];计算机应用;2000年02期
中国重要会议论文全文数据库 前10条
1 吴建军;;谈网页设计的艺术性表现[A];经天纬地——全国测绘科技信息网中南分网第十九次学术交流会优秀论文选编[C];2005年
2 韩近强;赵静;杨冬青;唐世渭;姚小波;;基于领域知识的网页筛选系统[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
3 昝红英;苏玉梅;孙斌;俞士汶;;基于浅层分析的网页相关度研究[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
4 孙静;刘正捷;奚小玲;王慧;;帮助盲人理解网页信息的一种网页结构划分方法[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
5 曹淮;晁丁丁;;3D元素在网页信息传达中的应用研究[A];2006年中国机械工程学会年会暨中国工程院机械与运载工程学部首届年会论文集[C];2006年
6 唐超;刘辰;杨正球;;使用多层迭代分析和分类网页文档的方法[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
7 马骁;王晓龙;王轩;卜永忠;;基于网页信息结构的网页体裁聚类分析[A];第四届全国信息检索与内容安全学术会议论文集(上)[C];2008年
8 罗阳;季铎;张桂平;王莹莹;;面向单一网页的双语资源挖掘方法[A];第六届全国信息检索学术会议论文集[C];2010年
9 于满泉;谭松波;许洪波;;网页内部结构挖掘技术研究[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
10 王宇;黄炜;肖艳芹;任建立;李天柱;;ORBASE用于基于内容的Web查询[A];第十七届全国数据库学术会议论文集(技术报告篇)[C];2000年
中国重要报纸全文数据库 前10条
1 本报记者 曾居仁 通讯员 郝金荣;贵州“万村千乡”网页工程开辟为农服务新渠道[N];中国气象报;2012年
2 壮壮;批量保存网页信息[N];电脑报;2004年
3 罗震宇 严小斌;一种新型WEB开发技术的探讨[N];中国冶金报;2011年
4 钱鹏;网尽Web页中的好东东[N];电脑报;2004年
5 星之海洋;迈出网页制作的第一步[N];电脑报;2004年
6 河南 张金贵;FrontPage2000组件详解(四)[N];电脑报;2001年
7 枫尔;网站浏览提速的五大秘方[N];中国证券报;2004年
8 飘零剑客;网络监控利器——AnyView[N];中国电脑教育报;2004年
9 八戒;眨眼之间 答案立现[N];电脑报;2013年
10 ;网络应用 天龙八“步” 申请上网账号[N];电脑报;2002年
中国博士学位论文全文数据库 前10条
1 陈洁;基于概念融合的网页筛选技术研究[D];北京邮电大学;2013年
2 龚昌盛;基于语义标注的网页广告加载模型研究[D];武汉大学;2010年
3 孙建涛;Web挖掘中的降维和分类方法研究[D];清华大学;2005年
4 徐晴阳;基于关系子群发现算法的聚焦爬行技术[D];吉林大学;2008年
5 曹鲁慧;Web个人信息集成问题研究[D];山东大学;2012年
6 刘馨月;Web挖掘中的链接分析与话题检测研究[D];大连理工大学;2012年
7 罗娜;基于本体的主题爬行技术研究[D];吉林大学;2009年
8 张勇实;基于链接相似性分析的WEB结构挖掘方法研究[D];哈尔滨工程大学;2012年
9 宗校军;中文网页定题采集及分类研究[D];华中科技大学;2006年
10 余伟;基于用户个性挖掘的Web社区营销研究[D];武汉大学;2011年
中国硕士学位论文全文数据库 前10条
1 敖志敏;基于网页相似度的搜索算法改进的研究[D];上海师范大学;2015年
2 杨寻;地域文化的视觉元素在旅游网页设计中的应用研究[D];西南交通大学;2015年
3 张垚;高校网页简介英文翻译研究[D];华中师范大学;2015年
4 刘丹;改进的基于DIV迭代査找和信息增益的网页特征选择算法[D];山东大学;2015年
5 龚敏;从中西文化差异看中国高校网页英语简介[D];福建师范大学;2015年
6 吕芳;基于视觉特征的钓鱼网页相似性计算技术研究[D];哈尔滨工业大学;2015年
7 刘梦琪;网页设计中的动画创意研究[D];安徽工程大学;2015年
8 孙仲浩;网页图片无障碍替代文本自动生成算法设计与实现[D];浙江大学;2015年
9 戴松;面向聚焦的Web网页获取和信息抽取方法研究[D];上海大学;2015年
10 房勇;企业多源舆情监测系统研究与实现[D];复旦大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026