收藏本站
《北京化工大学》 2005年
收藏 | 手机打开
二维码
手机客户端打开本文

专题式Web信息获取技术研究

欧歌  
【摘要】:Web信息获取存在已经有十几年的历史,近年来网络信息量飞速增长,使得传统的综合性信息获取的发展变得越来越困难,他无法及时的收集所有信息,而且由于信息数量太多,在准确率上无法满足人们的需要。固此,小型的专题信息采集成为近年的研究热点,具备了极高的研究价值。 本文论述了Web信息获取的用途、历史、现状及发展,介绍了信息获取系统的主要流程,对其中现在比较流行的主要算法进行了介绍和比较,分析了中国目前在化工专业方向的网络信息分布情况。使用Java以及SQL Server 2000数据库构建了一个专题式的Web信息获取系统,其中利用元搜索引擎的原理采用人工加机器的方式从网络上收集种子,通过提供全面、准确的网站网址,简化数据过滤的工作,并且在此基础上实现了高效、灵活的信息下载功能。对在HTML的解析,文件过滤中遇到的问题提出了解决的方法,对整个系统的性能及未来的发展提出了总结。 从最后的结果来看,这套系统的方案是行之有效的,获取到的页面质量很好。相信本课题的研究成果也能够适用于其他方向的专题信息获取。
【学位授予单位】:北京化工大学
【学位级别】:硕士
【学位授予年份】:2005
【分类号】:TP393.092

【引证文献】
中国硕士学位论文全文数据库 前1条
1 罗伟;基于移动Agent的主题搜索引擎研究[D];中南民族大学;2008年
【参考文献】
中国期刊全文数据库 前10条
1 徐小琳,阙喜戎,程时端;信息过滤技术和个性化信息服务[J];计算机工程与应用;2003年09期
2 李盛韬,成绫,余智华;分布式Web信息采集系统的研究与设计[J];计算机工程与应用;2003年16期
3 潘春华,冯太明,武港山;基于移动爬虫的专用Web信息收集系统的设计[J];计算机工程与应用;2003年36期
4 李学勇,欧阳柳波,李国徽,钟敏娟;网络蜘蛛搜索策略比较研究[J];计算机工程与应用;2004年04期
5 余晨;顾毓清;;面向主题的WWW信息挖掘系统[J];计算机科学;2003年02期
6 徐德智,吴敏,陆文彦;基于Agent的专业搜索引擎的研究和构造[J];计算机工程;2002年10期
7 康平波,王文杰;基于自动分类的网页机器人[J];计算机工程;2003年21期
8 吴恒山,刘兴宇,左琼;一种基于可扩展散列表的倒排索引更新策略[J];计算机工程;2004年08期
9 欧阳柳波,李学勇,李国徽,王鑫;专业搜索引擎搜索策略综述[J];计算机工程;2004年13期
10 张汛涞;搜索引擎的设计剖析[J];计算机工程与科学;2002年04期
【共引文献】
中国期刊全文数据库 前10条
1 杨毅超;黄璜;;基于Agent的农业信息检索系统应用研究[J];安徽农业科学;2009年11期
2 师小庆;袁志;王学成;;基于Web的学生信息检索系统设计[J];才智;2011年34期
3 赫枫龄,左万利;利用超链接信息改进网页爬行器的搜索策略[J];吉林大学学报(信息科学版);2005年01期
4 陈悦;陈运;杨义先;胡迪;;基于遗传算法的聚焦爬虫搜索策略设计与研究[J];成都信息工程学院学报;2011年05期
5 李蓉;全朝晖;董亚苹;;旅游业在线搜索引擎评价体系的建立及分析[J];重庆邮电大学学报(社会科学版);2011年02期
6 黄萃;陈永生;;基于Agent的数字档案个性化服务体系研究[J];档案学通讯;2006年05期
7 付涛;;基于背景的Web广泛主题发现方法[J];电脑学习;2010年02期
8 张美香,陈俊杰,赵栓柱;信息过滤中用户兴趣模型的表示[J];电脑开发与应用;2005年05期
9 殷妮哿;;Internet中的多媒体快速查询[J];电脑开发与应用;2009年09期
10 叶帮利;;特教网络资源自动搜集整理机器人的开发研究[J];电脑知识与技术;2006年26期
中国重要会议论文全文数据库 前10条
1 彭亮;卓新建;黄玮;范文庆;;基于网络爬虫的XSS漏洞扫描系统的设计与实现[A];第十三届中国科协年会第11分会场-中国智慧城市论坛论文集[C];2011年
2 杨红;易高流;;网络环境中雷电防护信息利用[A];闽、浙、赣、皖毗邻地区军队地方气象联防协会学术交流会论文集[C];2005年
3 姜静;赵霞;孙彦琛;;山东半岛城市群科技情报(信息)协作平台的建设实践[A];信息时代——科技情报研究学术论文集(第二辑)[C];2006年
4 刘涛;王晓光;黄琨;;数字图书馆的发展及其技术概论[A];信息时代——科技情报研究学术论文集(第三辑)[C];2008年
5 吴丽辉;张凯;张刚;王斌;;天罗Web信息采集系统中的性能优化[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
6 张凯;李魁;张刚;王斌;;基于站点的Web信息采集器研究[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
7 刘莉;肖诗斌;王涛;施水才;;基于RSS的分布式博客搜索引擎设计[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
8 梁循;杨健;陈华;曾月卿;;互联网金融信息搜索[A];中国优选法统筹法与经济数学研究会第七届全国会员代表大会暨第七届中国管理科学学术年会论文集[C];2005年
9 刘宝良;李建中;;crlib:可交互异构Crawler框架的设计与实现[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
10 刘小珠;孙莎;曾承;彭智勇;;基于缓存的倒排索引机制研究[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
中国博士学位论文全文数据库 前10条
1 张长利;面向特定领域的互联网舆情分析技术研究[D];吉林大学;2011年
2 王修君;高效数据流和海量文本处理算法研究[D];中国科学技术大学;2011年
3 吴超;信息检索中top-k问题的并行算法及优化研究[D];中国科学技术大学;2011年
4 李常宝;基于索引的web服务发现研究[D];北京邮电大学;2011年
5 吴永辉;面向专业领域的网络信息采集及主题检测技术研究与应用[D];哈尔滨工业大学;2010年
6 许笑;分布式Web信息采集关键技术研究[D];哈尔滨工业大学;2011年
7 寇月;Deep Web实体搜索的关键技术研究[D];东北大学;2009年
8 杜亚军;搜索引擎智能行为的研究及实现[D];西南交通大学;2005年
9 孙小华;协同过滤系统的稀疏性与冷启动问题研究[D];浙江大学;2005年
10 乔林;基于多关键词检索的企业竞争情报搜集方法研究[D];中国科学技术大学;2006年
中国硕士学位论文全文数据库 前10条
1 翁岩青;网页抓取策略研究[D];哈尔滨工程大学;2010年
2 王思丽;藏文网页自动发现与采集技术研究[D];西北民族大学;2010年
3 李永春;主题搜索引擎的研究与实现[D];哈尔滨理工大学;2010年
4 王晓地;Web信息采集技术研究与实现[D];华南理工大学;2010年
5 黄亮;知识产权预警机制在服务外包平台中的应用研究[D];南昌大学;2010年
6 魏文光;华泰集团ERP项目实施与客户化开发[D];山东大学;2010年
7 陈可钦;基于垂直搜索引擎的主题爬虫算法的研究[D];中南林业科技大学;2009年
8 陶小波;电子就业文本挖掘系统关键技术研究与应用[D];浙江工商大学;2011年
9 杨晓丹;基于Lucene的主题搜索引擎模板的设计与实现[D];浙江工商大学;2011年
10 王兆宇;个性化站内搜索引擎的设计与应用[D];东华大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 张义忠,赵明生,朱精南;基于内容的网页特征提取[J];计算机工程与应用;2001年10期
2 肖诗源,叶俊,刘贤德;一种基于Agent的分布式搜索引擎[J];计算机工程;2002年07期
3 汪涛,樊孝忠;主题爬虫的设计与实现[J];计算机应用;2004年S1期
4 龙宇巍,王永成,许欢庆;定题搜索引擎Robot的设计与算法[J];计算机仿真;2004年04期
5 苗长芬,冯伟华;面向主题Crawler的设计与实现[J];平原大学学报;2005年03期
6 孙建涛,沈抖,陆玉昌,石纯一;网页分类技术[J];清华大学学报(自然科学版);2004年01期
7 聂哲;基于WEB的面向主题搜索引擎的设计与实现[J];计算机工程与设计;2003年02期
8 原福永;张园园;;基于链接分析的相关排序方法的研究和改进[J];计算机工程与设计;2007年07期
9 李春旺;Web信息主题采集技术研究[J];图书情报工作;2005年04期
10 程传鹏;;中文网页分类的研究与实现[J];中原工学院学报;2007年01期
中国硕士学位论文全文数据库 前10条
1 侯震宇;主题型搜索引擎的研究与实现[D];中国科学院研究生院(文献情报中心);2003年
2 袁宏;基于移动Agent的中文信息搜索引擎系统模型的研究[D];沈阳工业大学;2003年
3 吴东华;Web信息获取技术研究[D];南京理工大学;2004年
4 王亮;搜索引擎及其相关性排序研究[D];武汉大学;2004年
5 李东升;主题搜索引擎研究[D];哈尔滨工程大学;2005年
6 刘玮玮;搜索引擎中主题爬虫的研究与实现[D];南京理工大学;2006年
7 姜华;基于Lucene面向主题搜索引擎的研究与设计[D];华东师范大学;2007年
8 徐金雷;专业搜索引擎的排序算法研究[D];南京师范大学;2007年
9 徐冉;网页信息净化方法的研究与实现[D];哈尔滨工程大学;2007年
10 高凌;搜索算法与搜索引擎的研究与应用[D];武汉理工大学;2007年
【二级参考文献】
中国期刊全文数据库 前8条
1 王卫国;冲浪第二代检索引擎[J];电脑技术;2000年03期
2 王奇,宋国新,邵志清;信息检索中基于链接的网页排序算法[J];华东理工大学学报;2000年05期
3 王继成,萧嵘,孙正兴,张福炎;Web信息检索研究进展[J];计算机研究与发展;2001年02期
4 徐德智,吴健;服务于检索的智能Agent研究[J];计算机工程与应用;2001年19期
5 毛新军;王怀民;齐治昌;;Agent技术及其标准化[J];计算机科学;2001年04期
6 潘春华 ,常敏 ,武港山;面向Web的信息收集工具的设计与开发[J];计算机应用研究;2002年06期
7 刘斌,黄铁军,程军,高文;一种新的基于统计的自动文本分类方法[J];中文信息学报;2002年06期
8 白雪生,史元春;基于内容检索的一种中间表达机制[J];软件学报;1999年04期
【相似文献】
中国期刊全文数据库 前10条
1 大锅饭;;好网编是如何练成的 网络专题的那点事[J];电脑爱好者;2009年18期
2 达利;;别拿专题不当回事儿——2005全年专题十全大补[J];电脑爱好者;2005年24期
3 张继刚;搜索引擎使用技巧[J];网络与信息;1999年09期
4 丛立;许秀丽;;WWW的雷达哨所──Search Engine[J];职业技术教育;1999年22期
5 ;关键词搜索[J];每周电脑报;2000年38期
6 陈冰;;饿狼一样的网站提交工具——“提交饿狼”[J];科学之友;2000年07期
7 许斗;从Google看新一代搜索引擎的发展趋向[J];芜湖职业技术学院学报;2001年01期
8 周毅华;从搜索引擎的分类看其应用技巧[J];图书馆理论与实践;2002年06期
9 邹小筑;搜索引擎的选择与使用技巧[J];图书馆学研究;2002年05期
10 林燕;Google搜索引擎的搜索功能与使用技巧[J];河北科技图苑;2003年05期
中国重要会议论文全文数据库 前10条
1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年
2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年
3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年
5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年
6 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
7 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年
8 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年
9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年
10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛(第十一集)[C];2003年
中国重要报纸全文数据库 前10条
1 李一鑫;搜索排名的红与黑[N];财经时报;2007年
2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年
3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年
4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索,还是门户[N];中国计算机报;2005年
5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年
6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年
7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年
8 本报记者  赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年
9 孙琎;搜索引擎惊喜侵权官司止于“避风港”?[N];第一财经日报;2006年
10 姜蕊;问天下谁识搜索?[N];中国高新技术产业导报;2006年
中国博士学位论文全文数据库 前10条
1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年
3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年
4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年
5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院(遥感应用研究所);2003年
10 张宏斌;信息获取中的两类不确定问题研究[D];华中科技大学;2004年
中国硕士学位论文全文数据库 前10条
1 欧歌;专题式Web信息获取技术研究[D];北京化工大学;2005年
2 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年
3 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年
4 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年
5 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年
6 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年
7 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年
8 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年
9 李建平;智能化WEB信息搜索引擎的研究与实现[D];大庆石油学院;2003年
10 田生伟;基于涉农词典的搜索引擎的研究与实践[D];新疆大学;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026