收藏本站
《北京交通大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

网络信息采集处理平台的研究

李舒晨  
【摘要】: 摘要:随着社会信息化的迅猛发展,网络已经成为人们获取信息的重要来源。而网络信息具有海量,复杂,非结构化等特点,为网络信息的获取以及基于网络信息搜集的分析与研究工作都带来了很大困难。网络信息采集处理平台整合了网络信息获取及处理中的各项关键技术,实现了将复杂、非结构化的网络信息进行整理以及结构化存储的功能。 本文综合介绍了B/S架构的网络信息采集处理平台设计,构建与实现技术,合理地设计了一整套具有创新性的用于信息采集和信息处理的技术方案。系统描述了方案中的各实现环节,具有针对性地解决了网络信息采集处理平台中的由网络信息数据特性所带来的难题。 本文的主要创新点及研究工作包括:一、将网页URL分析和匹配技术引入网络信息处理设计方案中,在基于网页解析模板进行网页解析及网页信息抽取时,用于辅助网页筛选、网站识别、解析模板选择和网页之间联系的发掘,优化了网络信息处理模块设计,改善了信息处理效率和准确度;二、创新性地提出了基于哈希函数的“抽象特征码比较法”,用于识别重复网络信息数据,避免由页面二次解析带来的重复数据存入数据库,通过相关实验及实验结果分析,验证了该方法对于海量网络信息数据存储效率有较大程度优化。三、在对Nutch爬虫系统进行深入研究的基础上,改进Nutch爬虫系统,进行多线程封装和配置接口设计,实现了分布,可灵活配置的信息采集模块。 基于以上研究成果,本文规划了网络信息采集处理平台的总体框架结构,设计了系统功能模块逻辑,数据库结构和用户界面;应用新型GWT(Google WebToolkit)工具开发了交互性良好的用户界面;引入多线程技术对平台的信息处理效率进行优化,并通过相关实验加以验证。最终实现了一套运行稳定,效率优良的网络信息采集处理平台。
【学位授予单位】:北京交通大学
【学位级别】:硕士
【学位授予年份】:2009
【分类号】:TP311.52

【相似文献】
中国期刊全文数据库 前10条
1 常飚;;存储检索系统监视信息采集技术分析[J];气象科技;2006年S1期
2 胡兴艺;;水情信息采集系统GSM通信信道的设计考虑[J];水文;2007年01期
3 徐德智;王庆涛;王斌;;基于本体的Web信息采集[J];现代图书情报技术;2007年02期
4 冯新;夏靖波;江友谊;;基于SNMP和HTTP代理的远程信息采集系统设计[J];微计算机信息;2007年21期
5 薛建春;段红梅;蔡松;;定题搜索引擎的设计与实现[J];微计算机信息;2007年21期
6 李晓婷;张磊;沈建京;;基于LSA的Web信息采集和统计服务[J];计算机工程;2008年15期
7 梁伟明;张亚东;陈海萍;;一种实用的小水电站实时信息采集方案[J];自动化技术与应用;2010年04期
8 朱肇芳;;三防档案信息化管理[J];城建档案;2010年07期
9 魏强;;专家档案信息库的构建和信息采集途径[J];兰台世界;2010年16期
10 衣振江;董文站;修俊梅;;人力资源信息采集统计系统操作的实用技巧[J];黑龙江气象;2010年03期
中国重要会议论文全文数据库 前10条
1 张洪生;;山东人影信息采集后期处理及动态显示[A];第27届中国气象学会年会人工影响天气与云雾物理新技术理论及进展分会场论文集[C];2010年
2 陈凌;张阳阳;陈宏;刘红漫;;《电光与控制》发行工作中的问题及解决办法[A];第7届中国科技期刊青年编辑学术研讨会暨中国科技期刊的经营与发展论坛文集[C];2007年
3 王方智;;现代物流信息自动采集技术[A];面向21世纪迎接物料搬运技术新发展——中国机械工程学会物料搬运分会第六届年会论文集[C];2000年
4 张瑞林;鲜学福;孙斌;;基于煤与瓦斯突出预测的瓦斯地质信息采集、分析系统研究[A];瓦斯地质研究与应用——中国煤炭学会瓦斯地质专业委员会第三次全国瓦斯地质学术研讨会[C];2003年
5 赵新;;土壤阻力连续测试设备的试验研究[A];2007年中国农业工程学会学术年会论文摘要集[C];2007年
6 杨术明;杨青;杨成海;;精细农业信息采集通用软硬件平台设计[A];2007年中国农业工程学会学术年会论文摘要集[C];2007年
7 冯蕾;;无人值守远程综合监控系统[A];自动化技术与冶金流程节能减排——全国冶金自动化信息网2008年会论文集[C];2008年
8 顾天奇;朱荣军;高欣;王健;;交通信息采集关键技术研究[A];全国城市公路学会第十九次学术年会论文集[C];2010年
9 逯龙;;关于LED信息显示技术在高速公路上的应用[A];2006年全国LED显示技术应用及产业发展研讨会论文集[C];2006年
10 李艾卿;;冰雪天气条件下中小尺度天气监测信息采集与传输的思考[A];第三届全国虚拟仪器大会论文集[C];2008年
中国重要报纸全文数据库 前10条
1 青松;统计信息采集和反馈要突出“三性”[N];中国信息报;2005年
2 曹世河;人才供求信息采集制度[N];中国人事报;2007年
3 沈雪;福泉把派出所基础信息采集纳入“政府工程”[N];人民公安报;2007年
4 本报通讯员 李彦锋;规范信息采集提升民警战斗力[N];人民铁道;2011年
5 黄磊;广东先行尝试立法披露企业信用[N];21世纪经济报道;2007年
6 胡裔民;金保工程:劳动力市场的一面旗帜[N];云南经济日报;2006年
7 李俊标 王晓林;新城区劳动监察大队信息采集管理实现“数字化”[N];呼和浩特日报(汉);2010年
8 陈磊;刑侦信息化步伐加快[N];人民公安报;2007年
9 崔焱天张志军 高新亮;内蒙古地税局出台信息采集规范[N];中国税务报;2008年
10 苗莎莎;内蒙古移动:治安信息采集业务显神通[N];人民邮电;2008年
中国博士学位论文全文数据库 前10条
1 舒大兴;水文信息系统现代化研究[D];河海大学;2005年
2 李永军;花岗岩类地质信息的采集与集成[D];长安大学;2005年
3 朱庆文;基于脉诊、舌诊信息提取与识别的便携式集成辅助诊疗设备研究[D];北京中医药大学;2007年
4 李鹏;Web环境下企业产品信息共享的若干关键技术研究[D];西北工业大学;2006年
5 余稳;基于微波单片集成电路的交通信息采集技术研究[D];西安电子科技大学;2007年
6 裘正军;基于GPS、GIS及虚拟仪器的精细农业信息采集与处理技术的研究[D];浙江大学;2003年
7 张漫;农田谷物产量空间分布信息采集、处理与系统集成技术研究[D];中国农业大学;2003年
8 李卫江;基于线阵CCD成像交通信息采集和检测技术的研究[D];长安大学;2008年
9 赵燕;基于多种无监督数据分析方法的抑郁症证候要素研究[D];北京中医药大学;2007年
10 郭丽梅;基于蜂窝无线定位的交通信息采集技术研究[D];中南大学;2010年
中国硕士学位论文全文数据库 前10条
1 李舒晨;网络信息采集处理平台的研究[D];北京交通大学;2009年
2 孙二敬;基于LabVIEW的多传感器信息采集平台[D];北京交通大学;2007年
3 邓勋飞;基于GSM无线传输的网络化GIS农田信息管理系统的研究[D];浙江大学;2006年
4 张颖;基于元搜索引擎的塑料制品概念设计信息服务系统[D];浙江大学;2006年
5 赵钦;并行爬行器的架构与优化策略[D];北京工业大学;2006年
6 武秋红;基于无线传感器网络的远程医疗监护系统[D];电子科技大学;2009年
7 李莎莎;增量式Web信息采集与信息提取系统的研究与实现[D];武汉理工大学;2011年
8 吴文俊;面向个人的公交车到站预报系统研究[D];南京信息工程大学;2011年
9 苏岳龙;车载式三维信息快速采集及数据处理系统[D];山东大学;2005年
10 唐璐;我国军事科技新闻传播特征研究[D];湖南大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026