收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

WEB内容监控的研究与实现

王亮  
【摘要】:在当前社会环境和Internet网络环境日趋复杂的条件下,网络信息已经对社会的稳定和人们的生活产生了重大的影响。为了防止互联网上非法信息的传播和浏览,对WEB内容进行主动监管,保证互联网环境的健康发展,成为关系社会稳定的重要课题,因此研究主动对网站内容进行监控的技术具有重要的意义。 本论文对开源网络爬虫、WEB信息抽取、文本挖掘相关技术进行研究,并在此基础上实现了一个网络内容监控系统—WCMS (Web Content Monitor System),通过WCMS对网站内容进行主动监控,分析其网页内容,将网页内容热点排序展示、内容分类展示、话题展示,便于监控者对网站内容进行分析和了解网络上的热点信息。 WCMS系统主要包括三个相互独立模块的研究与实现: 1) WCMS爬虫与信息抽取模块:WCMS爬虫基于开源网络爬虫进行扩展,获取WEB原始数据;通过对WEB信息抽取的研究,实现对WEB原始数据进行正文内容、标题、评论等关键信息的抽取,并将WEB原始数据和提取的信息进行分类保存,便于后续处理。 2) WCMS信息处理模块:首先设计并实现了一个数据库存取接口,通过此接口从数据库中取出网页正文内容集合。基于对文本挖掘相关技术的研究,对网页正文内容集合进行文本预处理,然后进行文本分类、聚类处理,并将处理结果写入数据库相应网页记录中。通过给网页标题、作者、评论、正文分类结果和聚类结果各自赋予不同的权值,设计并实现了一个评估网页内容热点程度的方法,通过此方法对网页内容进行热点排序,便于监控者发现网络上的热点信息。 3) WCMS监控结果管理模块:通过本模块,自定义网络预警:当网页内容热点超过某个阈值,系统会将这些网页相关信息自动呈现给监控者;查看监控网站所关注的主要话题;查看网页内容热点排序;分类查看网页内容;用户还可以通过关键字检索得到要想查看的热点网页,同时检索的结果可以分类展示。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 依然;;如何防范看不见的网页病毒[J];网络与信息;2007年05期
2 沈军;杨小佩;孙吉刚;;关于网页形式设计的几点思考[J];科教新报(教育科研);2010年38期
3 宋天福;;浅谈信息下载的方法[J];中小学电教;2005年12期
4 言川;;我的浏览器能截图[J];电脑迷;2006年06期
5 金莉丽;;使用Dreamweaver制作档案馆网页的步骤[J];兰台世界;2007年07期
6 钟旭红;;Scripts脚本语言在网页保护中的应用[J];黑龙江科技信息;2007年20期
7 吉昌;;解禁网页拷贝八大方案[J];电脑爱好者(普及版);2008年11期
8 李文锋;陈李霞;;浅谈Dreamweaver cs3中网页布局设计的方法[J];才智;2009年17期
9 小曹;陈东;;网络剪刀 剪出一片干净世界[J];电脑迷;2011年01期
10 吕宏伟;程鹏;周昊;;色情网页特征提取技术刍议[J];信息网络安全;2007年10期
11 张晓纪;王党利;;浅谈网站页面色彩的运用[J];才智;2009年19期
12 郑冬雪;赵菁华;;《网页内容可访问性指南》国家标准解读[J];信息技术与标准化;2011年08期
13 章栋 ,笑天;如何完整地保存网页[J];电脑技术;2001年11期
14 李铁帅;梁爱民;王克宏;;基于Web注释的移动客户端自适应机制的研究[J];计算机工程;2006年13期
15 戴洪玲;;保存网页按滚轮[J];电脑迷;2006年23期
16 伍小芹;张生波;;利用FLASH制作网页文本编辑工具[J];电脑开发与应用;2007年05期
17 刘晖;;Word 2007粘贴格式的技巧设置[J];电脑迷;2007年08期
18 孙建清;;网页更新应重内容[J];新闻战线;2008年03期
19 豆丁;掌握5大语法 百度搜索更高效[J];电脑爱好者;2005年15期
20 飘零雪;;管中窥豹预览链接网页[J];电脑迷;2007年02期
中国重要会议论文全文数据库 前10条
1 陈克利;宗成庆;王霞;;基于大规模真实文本的平衡语料分析与文本分类方法[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 杜长海;吉根林;;模糊聚类的最大树法在文本分类中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 刘秉权;李博;孙林;王宝勋;刘远超;;标签特征和正文特征融合的SVM博客文本分类算法研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 海丽且木·艾沙;维尼拉·木沙江;;Web文本分类及其维、哈、柯多文种信息检索中的应用研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 商炳章;白清源;;基于特征项权重改进的关联文本分类[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
6 刘晓勇;;基于GA与SVM融合的网页分类算法[A];中国运筹学会模糊信息与模糊工程分会第五届学术年会论文集[C];2010年
7 胡俊;黄厚宽;;一种基于SVM的可视化文本分类的方法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
8 朱慕华;陈文亮;朱靖波;;词聚类在文本分类中的应用[A];第二届全国学生计算语言学研讨会论文集[C];2004年
9 王小华;陆蓓;张国煊;;文本自动分类的模糊方法[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
10 庞剑锋;程学旗;;反馈方法在文本分类系统中的应用[A];自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C];2001年
中国博士学位论文全文数据库 前10条
1 章舜仲;文本分类中词共现关系的研究及其应用[D];南京理工大学;2010年
2 孟佳娜;迁移学习在文本分类中的应用研究[D];大连理工大学;2011年
3 李智星;用于文本分类的简明语义分析技术研究[D];重庆大学;2011年
4 刘伍颖;面向垃圾信息过滤的主动多域学习文本分类方法研究[D];国防科学技术大学;2011年
5 王博;文本分类中特征选择技术的研究[D];国防科学技术大学;2009年
6 平源;基于支持向量机的聚类及文本分类研究[D];北京邮电大学;2012年
7 冯国忠;文本分类中的贝叶斯特征选择[D];东北师范大学;2011年
8 程军;基于统计的文本分类技术研究[D];中国科学院研究生院(文献情报中心);2003年
9 万源;基于语义统计分析的网络舆情挖掘技术研究[D];武汉理工大学;2012年
10 祝翠玲;基于类别结构的文本层次分类方法研究[D];山东大学;2011年
中国硕士学位论文全文数据库 前10条
1 王亮;WEB内容监控的研究与实现[D];电子科技大学;2012年
2 张彪;文本分类中特征选择算法的分析与研究[D];中国科学技术大学;2010年
3 张保富;基于粗糙集的中文文本分类算法研究及应用[D];江苏大学;2010年
4 蒋健;文本分类中特征提取和特征加权方法研究[D];重庆大学;2010年
5 闫晨;KNN文本分类研究[D];燕山大学;2010年
6 苏小康;基于维基百科构建语义知识库及其在文本分类领域的应用研究[D];华中师范大学;2010年
7 李璇;基于坐标下降法的半监督学习算法及其在文本分类中的应用[D];华南理工大学;2010年
8 宋志理;基于LDA模型的文本分类研究[D];西安理工大学;2010年
9 郭志毅;基于EM算法的半监督文本分类方法研究[D];重庆邮电大学;2010年
10 周洪喜;基于人工标注技术的网页内容抽取系统开发[D];复旦大学;2010年
中国重要报纸全文数据库 前10条
1 本报记者  朱薇;抄袭网页基本布局风格也侵权[N];经济参考报;2006年
2 朱薇;重庆:抄袭网页基本布局风格,也是侵权[N];新华每日电讯;2006年
3 ;美国开发出网页标注新技术[N];人民邮电;2006年
4 本报记者  陆琼琼;Mofile试验播客类网站盈利新途径[N];上海证券报;2006年
5 山东 姜元学;用IE保存网页内容[N];电脑报;2002年
6 ;如何将网页保存下来?[N];南京日报;2006年
7 重庆 超人;网页版块也可上下移动[N];电脑报;2008年
8 张琰珺;网页监测应该“动”起来[N];中国计算机报;2006年
9 实习生 马霞;无障碍阅读系统:让互联网不再有“盲区”[N];科技日报;2011年
10 王丹 曾好;有的放矢增强政治教育针对性[N];战士报;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978