收藏本站
《北京邮电大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

互联网舆情监控系统中聚焦爬虫的设计与实现

王旭  
【摘要】:随着Internet在全球范围内的高速发展,互联网已经成为人们获取信息的重要途径和反映社会舆情的主要载体之一。由于互联网的开放性和虚拟性,使得网络舆情比传统舆情的波及范围更广,传播速度更快,突发性更强。因此对于互联网舆情进行有效的监督和控制是非常必要的。 本文研究了互联网舆情监控系统中聚焦爬虫的已有研究成果,研究了搜索选择策略、网页分析评价、主题孤岛避免等聚焦爬虫的关键技术,针对互联网舆情监控设计并实现了聚焦爬虫。论文完成的主要工作如下: (1)分析并总结了互联网舆情监控系统的特点及难点,指出聚焦爬虫在系统中的地位作用及实现目标。 (2)分析了聚焦爬虫的主要功能及设计特点,针对互联网舆情系统进行了聚焦爬虫的设计,设计并实现了聚焦爬虫的主体框架、爬虫规则模块、爬虫控制模块和用户配置模块等。 (3)给出了聚焦爬虫的具体实现,包括对网页的抓取及解析、爬行策略、网页去重、多爬虫调度等,实现了对I-Match网页去重算法,完成了对一致性Hash调度算法的改进,并对算法进行了实验分析。对系统进行了测试。 本文实现的聚焦爬虫不仅能够满足质检总局相关人员的日常工作需要,而且在性能、准确率及全面率方面上都优于通用爬虫。本系统可为快速应对网络突发事件提供支持与帮助。
【学位授予单位】:北京邮电大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP393.09

【引证文献】
中国硕士学位论文全文数据库 前1条
1 唐俊;复杂网络在网络新闻信息处理中的应用研究[D];西南交通大学;2012年
【参考文献】
中国期刊全文数据库 前6条
1 朱恒民;苏新宁;张相斌;;互联网舆情演化的动态网络模型研究[J];情报理论与实践;2010年10期
2 周敏;王莹;;从地方网络论坛舆情生成看网络问政的新模式[J];现代传播(中国传媒大学学报);2010年07期
3 斯进;;从互联网舆情形成的特点谈创建立体化网络舆情监控机制[J];信息网络安全;2008年08期
4 张伟哲;申文博;张宏莉;;加强网络管理 构建新型网络舆情系统[J];信息网络安全;2010年02期
5 ;以科技手段辅助网络舆情突发事件的监测分析——方正智思舆情辅助决策支持系统[J];信息化建设;2005年10期
6 何佳;周长胜;石显锋;;网络舆情监控系统的实现方法[J];郑州大学学报(理学版);2010年01期
中国重要会议论文全文数据库 前1条
1 ;中文信息处理重大成果汇报展方正集团展示内容介绍[A];中国中文信息学会第六次全国会员代表大会暨成立二十五周年学术会议中文信息处理重大成果汇报展资料汇编[C];2006年
中国硕士学位论文全文数据库 前7条
1 薛建春;垂直搜索引擎中网络蜘蛛的设计与实现[D];中国地质大学(北京);2007年
2 金晓鸥;互联网舆情信息获取与分析研究[D];上海交通大学;2008年
3 李广丽;垂直搜索引擎的研究与设计[D];华东交通大学;2008年
4 高洪杰;互联网舆情监测分析系统实现[D];复旦大学;2009年
5 李敏;互联网舆情监控系统设计与实现[D];复旦大学;2009年
6 李玉华;面向主题的舆情采集搜索爬虫的设计与实现[D];山东大学;2009年
7 陈丽萍;校园BBS舆情数据收集与提取系统的设计与实现[D];华中科技大学;2009年
【共引文献】
中国期刊全文数据库 前10条
1 黄美璇;;基于聚类分析的网络舆情监控系统的设计[J];宝鸡文理学院学报(自然科学版);2011年04期
2 马荔;;政府与网络舆情之关系的法理研究——以突发事件为视角[J];北京邮电大学学报(社会科学版);2010年01期
3 张一文;齐佳音;方滨兴;李欲晓;;非常规突发事件网络舆情指标体系建立初探——概念界定与基本维度[J];北京邮电大学学报(社会科学版);2010年04期
4 何阳;叶柯柯;;基于“北邮人论坛”的北京邮电大学校园网络舆情分析报告[J];北京邮电大学学报(社会科学版);2012年02期
5 王雅蕾;方付建;;舆情热点事件的热源研究——基于人民网“舆情排行榜”的分析[J];北京理工大学学报(社会科学版);2011年04期
6 张鸣;陆怡;朱慧;;大力加强检察自身建设,积极应对涉检网络舆情[J];四川职业技术学院学报;2010年04期
7 李玉娟;;网络涉警舆情的特征、影响与应对策略[J];长江论坛;2010年03期
8 米卫娜;;试论加强高校网络舆情监管的重要性及其对策[J];重庆科技学院学报(社会科学版);2011年22期
9 舒刚;;社会转型背景的网络舆情监管及其路径优化[J];重庆社会科学;2011年12期
10 任永梅;刘秀伦;;思想政治教育在高校网络舆情中的导向功能[J];重庆邮电大学学报(社会科学版);2010年01期
中国重要会议论文全文数据库 前6条
1 杨江;侯敏;;语言文字舆情论略[A];中国传媒大学第四届全国新闻学与传播学博士生学术研讨会论文集[C];2010年
2 江涛;于洪志;李刚;;基于藏文网页的网络舆情监控系统研究[A];全国计算机安全学术交流会论文集(第二十三卷)[C];2008年
3 任铭;陈俊鑫;;我国网络舆情及管理策略研究[A];2011年全国通信安全学术会议论文集[C];2011年
4 丁兆云;贾焰;周斌;;基于文本数据的多维层次式舆情计算模型的研究与实现[A];第二十五届中国数据库学术会议论文集(一)[C];2008年
5 徐世甫;;政府引导网络舆情存在的问题及治理对策[A];社会管理法治化理论与实践研讨会论文集[C];2012年
6 孙彩虹;;社会管理创新视阈下网络舆情的引导与规制[A];社会管理法治化理论与实践研讨会论文集[C];2012年
中国硕士学位论文全文数据库 前10条
1 秦璐;网络舆情引导方法研究[D];广西师范学院;2010年
2 刘杨;网络与传统媒体舆论引导比较研究[D];湘潭大学;2010年
3 江涛;基于藏文web舆情分析的热点发现算法研究[D];西北民族大学;2010年
4 蔡慧;“网络问政”:协商民主理论视域下的中国网络政治景象[D];暨南大学;2010年
5 刘伟海;政府危机管理中公民参与研究[D];南昌大学;2010年
6 梁越岭;互联网舆情信息挖掘与群体行为分析[D];武汉理工大学;2010年
7 王文峰;网络舆情与党的执政能力建设关系研究[D];武汉理工大学;2010年
8 李海林;网络舆情热点信息发现及其倾向性研究[D];武汉理工大学;2010年
9 陆和建;基于网络问政的政府重大事件决策研究[D];安徽大学;2010年
10 戴霖;网络舆情信息挖掘关键技术研究与应用[D];浙江工商大学;2011年
【同被引文献】
中国期刊全文数据库 前3条
1 王建伟;荣莉莉;;基于复杂网络理论的中文字字网络的实证研究[J];大连海事大学学报;2008年04期
2 张聪;沈惠璋;;复杂网络中社团发现的快速划分算法[J];系统工程;2011年04期
3 尹倩;胡学钢;谢飞;吴信东;;基于密度聚类模式的中文新闻网页关键词提取[J];广西师范大学学报(自然科学版);2009年01期
中国硕士学位论文全文数据库 前7条
1 赵思佳;基于规则引擎的个性化网页爬虫研究[D];中南大学;2010年
2 张彬;面向中文网络信息检索的自动分词系统设计与算法实现[D];华东师范大学;2007年
3 尹倩;基于聚类分析的中文新闻网页关键词提取方法研究[D];合肥工业大学;2009年
4 陈菊红;搜索引擎返回结果聚类技术的研究与实现[D];西南交通大学;2009年
5 周峰;基于信息抽取技术的复杂网络自动构建的研究与实现[D];北京邮电大学;2009年
6 周炎;基于层次化结构的复杂网络可视化研究[D];上海交通大学;2010年
7 刘大伸;垂直搜索引擎技术的研究及实现[D];东北大学;2008年
【二级参考文献】
中国期刊全文数据库 前10条
1 李伟;黄颖;;基于HtmlParser的网页信息提取[J];兵工自动化;2007年07期
2 刘尚喜;蔡开裕;卓琳;;内网舆情信息监测系统研究与设计[J];电脑应用技术;2009年01期
3 袁新颜;;简析XML与HTML的结合[J];电脑知识与技术(学术交流);2007年07期
4 曹忠;赵文静;;一种优化的网络爬虫的设计与实现[J];电脑知识与技术;2008年35期
5 赵颖斯;刘云;;BBS舆情系统的数据采集方法[J];电信快报;2008年12期
6 李名智;中文搜索引擎:现状、问题及对策[J];大学图书馆学报;1998年06期
7 李蓉 ,叶世伟 ,史忠植;SVM-KNN分类器——一种提高SVM分类精度的新方法[J];电子学报;2002年05期
8 刘毅;舆情视角下的群体性突发事件机制研究[J];湖北社会科学;2005年09期
9 胡宏涛;常佳;;基于网络的信息获取技术浅析[J];福建电脑;2006年04期
10 刘珍;李运楼;;浅谈XML与HTML的异同[J];福建电脑;2007年01期
中国重要会议论文全文数据库 前2条
1 骆卫华;刘群;程学旗;;话题检测与跟踪技术的发展与研究[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
2 ;中文信息处理重大成果汇报展方正集团展示内容介绍[A];中国中文信息学会第六次全国会员代表大会暨成立二十五周年学术会议中文信息处理重大成果汇报展资料汇编[C];2006年
中国硕士学位论文全文数据库 前10条
1 都云琪;中文文本自动分类的研究与实现[D];西安电子科技大学;2002年
2 肖红;基于web的中文文本挖掘研究[D];大庆石油学院;2004年
3 吴东华;Web信息获取技术研究[D];南京理工大学;2004年
4 吕韩飞;主题(topical)crawler及其应用——主题搜索引擎[D];浙江大学;2005年
5 寿周翔;专业搜索引擎的研究与设计[D];浙江大学;2005年
6 刘平冰;基于Lucene的Web站内信息搜索系统[D];电子科技大学;2005年
7 陈勇;中医药主题搜索网络机器人的研究与实现[D];西南交通大学;2005年
8 曾义聪;基于概念树的主题爬取技术研究[D];湖南大学;2005年
9 彭希鸿;基于Web内容挖掘的网页分类与过滤研究与应用[D];中南大学;2003年
10 姚勇;分布式Web挖掘与搜索的研究与实现[D];西安电子科技大学;2006年
【相似文献】
中国期刊全文数据库 前10条
1 蔡志慧,张峰,牛文瑜;提高变电站监控系统信号设置的合理性[J];电力自动化设备;2005年07期
2 王青叶;麦继平;;基于提高监控系统信号调理精度的应用研究[J];工业控制计算机;2005年12期
3 何虎;;SSJ-3060计算机监控系统在宝珠寺电厂的应用[J];西北水电;2006年02期
4 李瑞维;叶利春;;基于Linux的网络监控系统的实现[J];网络安全技术与应用;2007年03期
5 张琴琴;孙勇;杨建宏;;CAN总线技术在工程机械监控系统中的应用[J];洛阳工业高等专科学校学报;2007年01期
6 于学涛;汤钰鹏;;基于CAN总线的电子负载监控系统的设计与实现[J];国内外机电一体化技术;2007年05期
7 石华功;常天海;;基站动力环境集中监控系统的雷电防护[J];安全;2008年05期
8 王永军;;PLC在自动化监控系统技术改造工程中的应用[J];唐山师范学院学报;2008年02期
9 张黎晨;边强;;定西市调频广播电视转播台广播电视监控系统使用经验谈[J];现代电视技术;2008年04期
10 宋文斌;;计算机在心电图监视中的应用[J];阴山学刊(自然科学版);2008年02期
中国重要会议论文全文数据库 前10条
1 周若媛;赵如娟;;220kV总降站自动控制及保护系统[A];中国计量协会冶金分会2010年会论文集[C];2010年
2 靳洋;徐其春;李炜;张禹;樊建宇;马乐;;大规模风电并网信息通信接入技术研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
3 周长莒;刘勇波;贺飞;杨明;;基于DSP技术的新一代变电站监控系统的研究和应用[A];华东六省一市电机工程(电力)学会输配电技术研讨会2002年年会山东电机工程学会交流论文集[C];2002年
4 ;广播电视卫星地球站监控系统的开发和应用[A];第六届全国广播电视地球站技术交流会论文集[C];2004年
5 文正国;;一种实时生成闭锁画面的方法[A];中国水利水电科学研究院自动化所论文专集[C];2004年
6 金林正;;H9000监控系统在乌溪江电厂的应用及改进探索[A];中国水利水电科学研究院自动化所论文专集[C];2004年
7 黄丽英;蒋黎;;包钢炼铁厂生产过程监控系统[A];推进信息及自动化技术在钢铁工业节能降耗、改善环境、降低成本中的应用论文集[C];2005年
8 杨佳;华钢;;货轮监控系统的设计和应用[A];第十五届全国煤矿自动化学术年会和中国煤炭学会煤矿自动化专业委员会学术会议论文集[C];2005年
9 王宏智;张均东;;船舶机舱综合监控系统的设计研究[A];中国航海学会2006年度学术交流会优秀论文集[C];2007年
10 王亚军;俞兆城;;车辆运行安全监控系统研究[A];2008第四届中国智能交通年会论文集[C];2008年
中国重要报纸全文数据库 前10条
1 孙愫、媛媛;中宣部舆情局领导来我市参观考察[N];唐山劳动日报;2010年
2 临县宣传部 李玉峰;浅谈舆情信息写作[N];吕梁日报;2011年
3 记者 邹雄;研究网络舆情的调查回应工作[N];柴达木日报;2011年
4 记者 李高阳;国企承受负面舆情压力大[N];第一财经日报;2011年
5 记者 郝勇;妇女舆情信息直报点制年内建[N];四川日报;2011年
6 郑言;人民网副总裁陈智霞:资本市场舆情监测已成朝阳行业[N];证券时报;2011年
7 南方日报记者 赵新星;舆情和微博问政报告 舆情汹涌,政府怎么办?[N];南方日报;2011年
8 陈婕;《环保舆情》成有力助手[N];中国环境报;2011年
9 兰州大学图书馆馆长、教授 沙勇忠;重视网络舆情的监测与导控[N];民主协商报;2011年
10 本报记者 唐琳;以自信和坦诚的态度看待网络舆情[N];人民公安报;2011年
中国博士学位论文全文数据库 前10条
1 程文锋;基于WSN的嵌入式温室监控系统相关控制问题的研究[D];浙江大学;2011年
2 王根生;面向群体极化的网络舆情演化研究[D];江西财经大学;2011年
3 潘新;基于复杂网络的舆情传播模型研究[D];大连理工大学;2010年
4 刘玉国;基于内容的互联网舆情信息挖掘关键技术研究[D];山东大学;2011年
5 万源;基于语义统计分析的网络舆情挖掘技术研究[D];武汉理工大学;2012年
6 焦斌星;用于搜索的网页可视化摘要技术研究[D];中国科学技术大学;2012年
7 薛飞;基坑支护系统控制及三维可视化研究[D];同济大学;2006年
8 高峰;基于无线传感器网络的设施农业环境自动监控系统研究[D];浙江工业大学;2009年
9 刘红艳;国际地球化学填图所使用的分析方案和标准样的对比[D];吉林大学;2007年
10 周敬东;数控加工三维场景远程重现技术的研究与实现[D];华中科技大学;2006年
中国硕士学位论文全文数据库 前10条
1 王旭;互联网舆情监控系统中聚焦爬虫的设计与实现[D];北京邮电大学;2011年
2 项斌;网络舆情监测系统设计与实现[D];电子科技大学;2010年
3 王培顺;互联网教育舆情监测系统的设计与实现[D];华中师范大学;2011年
4 张博;高校网络突发事件应急处置系统的研究[D];北京交通大学;2011年
5 高晔;高校网络舆情管理对策研究[D];上海交通大学;2010年
6 巨慧慧;针对网络舆情的情感倾向性研究[D];哈尔滨工业大学;2010年
7 赵若尘;高校校园网络舆情引导研究[D];西南大学;2010年
8 殷婷;网络舆情逆转研究[D];河北大学;2010年
9 陈华;危机管理视角下的公安网络舆情应对研究[D];复旦大学;2010年
10 罗引;互联网舆情发现与观点挖掘技术研究[D];电子科技大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026