收藏本站
《山东师范大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

网络Flash资源爬行器的设计与实现

陈志刚  
【摘要】:随着因特网的迅速发展,网络已经成为人们获得信息的必要途径和重要手段,而其中Flash动画媒体类型的资源建设作为教育技术领域的一个重要组成部分日益受到人们的重视。Flash资源以其生动、直观和易于交互等优点在推动教育发展中发挥了重要作用,一方面,互联网技术的发展使得这些Flash资源的发布与共享不再受时间、空间的限制,成为我们获取这些资源的一个重要途径;另一方面,网络资源的巨大丰富且动态更新却又使得我们从中寻找需要的Flash资源变得越来越困难。 网络搜索引擎的出现基本上解决了这个问题,使它迅速成为除电子邮件之外最常用的网络工具。根据CNNIC发布的《第26次中国互联网络发展状况统计报告》,截至2010年6月,中国网民达到了4.2亿,互联网普及率攀升至31.8%,中国网站数量为279万个。2010年上半年,搜索引擎在网民中的使用率增长了3个百分点,达76.3%,搜索引擎用户规模已达3.2亿人,增幅达13.9%,这使得传统的通用搜索引擎面对巨大挑战。根据《2010年中国搜索引擎市场调查报告》显示:在任意一天,约有58.8%用户会使用搜索引擎。为了适应特定用户对特定领域查询的需求,各类面向特定主题、信息分类精确、数据全面、更新及时的搜索引擎便应运而生并蓬勃发展起来。 网络Flash爬行器是专门为查询和搜索Web中存在的Flash媒体资源而设计的搜索系统。爬行系统从Web网页的网页信息中,高效准确的提取出对Flash动画资源的相关描述,其检索的对象是Flash媒体信息。网络当中包含有大量的Flash动画形式的教育教学资源,从这种海量、异构、动态变化的网络中搜索到可以为教育教学服务的Flash动画形式的教育资源,本文立题正在于此,就是要设计与实现一种网络爬行器,根据包含Flash媒体的网页在互联网上分布的特征,通过一定的算法在尽可能少的耗费计算机资源的情况下快速地搜索到包含有Flash媒体的网页,从Flash资源所在的网页中提取出Flash媒体资源,再从这些素材资源中提取出用于描述、标引Flash媒体资源的语义信息,从而确定Flash媒体资源的主题。将此方法应用到基础教育资源中,这对于学习环境的构建、教育资源信息化的建设具有重要的意义。 本文首先对HTML文档的文本信息和标签做了介绍,然后包含Flash资源的网页及其主题页面在Web中的分布特征进行深入分析。在分析和比较现有的Flash资源主题搜索算法的优缺点的基础上,归纳了提高搜索效率的几个关键因素。网络Flash资源爬行器可以作为Flash资源搜索引擎系统的核心组成部分,其负责网络Flash资源的发现与搜集;搜索算法是搜索系统的关键技术,它决定了搜索系统的查准率和查全率;Flash种子搜索原则一般选择网站规模大、所包含Flash数据多、爬行速度快、网页结构合理、搜索效率高的网站作为网络爬行器的种子。 本文在原有的搜索系统基础上,对搜索系统的效率和速度进行深入地研究和改进,并对所搜索到的Flash媒体网页集合进行必要的消重化处理,利用网页内容消重和链接消重达到净化多媒体网页集合的目的,使得到的Flash媒体资源更加优化,可以更好应用于教育教学当中。
【学位授予单位】:山东师范大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP391.3

【参考文献】
中国期刊全文数据库 前10条
1 杨丽君;刘彦军;;SQL语言信息处理中的执行效率[J];中国管理信息化;2010年14期
2 王灏,黄厚宽,田盛丰;文本分类实现技术[J];广西师范大学学报(自然科学版);2003年01期
3 谈晓军,冯欣;一种基于广度优先策略的R树连接算法[J];华中科技大学学报(自然科学版);2005年04期
4 李学勇,欧阳柳波,李国徽,钟敏娟;网络蜘蛛搜索策略比较研究[J];计算机工程与应用;2004年04期
5 林海霞;原福永;陈金森;刘俊峰;;一种改进的主题网络蜘蛛搜索算法[J];计算机工程与应用;2007年10期
6 杨仁广;宋宇;孟祥增;;一种改进Shark-Search的多媒体主题搜索算法[J];计算机工程与应用;2010年14期
7 宋宇;孟祥增;;基于改进Fish-search算法的多媒体检索[J];计算机工程;2008年11期
8 韩英杰;石磊;刘杨;;Web预取性能指标准确率与查全率的关系[J];计算机工程;2010年03期
9 万静;姜蓉;易军凯;;基于双路索引的XML查询优化研究[J];计算机工程;2010年15期
10 裘炅,谭建荣,马晨华;应用特征码的角色存取控制实现方案[J];计算机辅助设计与图形学学报;2003年12期
中国硕士学位论文全文数据库 前3条
1 刘玮玮;搜索引擎中主题爬虫的研究与实现[D];南京理工大学;2006年
2 宋宇;面向教育的多媒体主题搜索器设计与实现[D];山东师范大学;2008年
3 杨仁广;网络多媒体教育资源主题搜索算法研究[D];山东师范大学;2009年
【共引文献】
中国期刊全文数据库 前10条
1 汪涛,樊孝忠,顾益军,刘林;基于概念分析的主题爬虫设计[J];北京理工大学学报;2004年10期
2 张璇;左敏;;一种改进的朴素贝叶斯分类器在文本分类中的应用研究[J];北京工商大学学报(自然科学版);2009年04期
3 丛荣华;;多媒体教学网络信息资源系统的建设[J];长春师范学院学报(自然科学版);2008年12期
4 缪嘉敏;肖德琴;冯健昭;古志春;;基于无线传感器网络的土壤水分监测基站系统设计[J];传感器与微系统;2009年09期
5 赵洋;滕桂法;张玉新;何冬梅;;基于Internet的农业信息垂直搜索引擎的设计[J];河北农业大学学报;2009年06期
6 王德盛,窦科峰,李开宗,宋振顺;外科学多媒体资源库的开发和应用[J];中国医师杂志;2005年S1期
7 徐金雷;杨晓江;;基础教育资源搜索引擎的排序算法研究[J];电化教育研究;2007年02期
8 杨仁广;孟祥增;;网络多媒体教学资源主题搜索研究[J];电化教育研究;2009年05期
9 钟斌青;刘湘南;;基于空间化PageRank算法的人口流动空间集聚性分析[J];地理与地理信息科学;2011年05期
10 王玉珍;;Google的PageRank技术分析[J];电脑学习;2007年05期
中国重要会议论文全文数据库 前3条
1 吴晨生;刘彦君;张鲁冀;董晓晴;;科普搜索的研究与实现[A];数字博物馆研究与实践(2009)[C];2010年
2 韩洪军;;多媒体技术在教学中的应用——黑龙江省新世纪高等教育教学改革工程项目[A];高教改革研究与实践(上册)——黑龙江省高等教育学会2003年学术年会论文集[C];2003年
3 陆勇;侯汉清;;基于词典注释的汉语同义词自动识别[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
中国博士学位论文全文数据库 前10条
1 王娟;大规模网络安全态势感知关键技术研究[D];电子科技大学;2010年
2 张建伟;身份与位置标识分离映射解析关键技术研究[D];解放军信息工程大学;2010年
3 田俊华;基于本体知识库的教学资源自动采集技术研究[D];南京师范大学;2011年
4 窦炳琳;复杂网络中的动态过程问题研究[D];复旦大学;2011年
5 常春;Ontology在农业信息管理中的构建和转化[D];中国农业科学院;2004年
6 刘华;基于关键短语的文本内容标引研究[D];北京语言大学;2005年
7 宗校军;中文网页定题采集及分类研究[D];华中科技大学;2006年
8 张格伟;基于工艺知识网格的可重构CAPP系统关键技术研究[D];南京航空航天大学;2008年
9 林伟华;多重近似空间索引及其相关检索技术研究[D];华中科技大学;2009年
10 王静;基于本体的中医文献诊疗信息的智能检索示范研究[D];中国中医科学院;2012年
中国硕士学位论文全文数据库 前10条
1 翁岩青;网页抓取策略研究[D];哈尔滨工程大学;2010年
2 汪永伟;搜索引擎中网页排序算法的研究与实现[D];哈尔滨工程大学;2010年
3 于飞;基于搜索引擎的个性化推荐研究[D];哈尔滨理工大学;2010年
4 李永春;主题搜索引擎的研究与实现[D];哈尔滨理工大学;2010年
5 黄亮;知识产权预警机制在服务外包平台中的应用研究[D];南昌大学;2010年
6 史磊峰;移动垂直搜索系统的研究[D];北京交通大学;2010年
7 任杰;实时在线相似检索系统的设计和实现[D];浙江大学;2011年
8 陈可钦;基于垂直搜索引擎的主题爬虫算法的研究[D];中南林业科技大学;2009年
9 陈潇;油脂企业故障信息管理与诊断系统设计与实现[D];西安电子科技大学;2009年
10 张敏;Flash组成元素的视觉特征研究[D];山东师范大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 彭绍东;解读教育技术领域的新界定[J];电化教育研究;2004年10期
2 孙莉苹,张永奎;网上信息检索中BOT站点爬行方法[J];电脑开发与应用;2001年10期
3 王坚,赵恒永;专业搜索引擎中文分词算法的实现与研究[J];福建电脑;2005年07期
4 王灏,黄厚宽,田盛丰;文本分类实现技术[J];广西师范大学学报(自然科学版);2003年01期
5 宋建康,张礼平;Web结构挖掘算法探讨[J];华东理工大学学报;2003年05期
6 王继成,潘金贵,张福炎;Web文本挖掘技术研究[J];计算机研究与发展;2000年05期
7 李晓黎,刘继敏,史忠植;概念推理网及其在文本分类中的应用[J];计算机研究与发展;2000年09期
8 韩家炜,孟小峰,王静,李盛恩;Web挖掘研究[J];计算机研究与发展;2001年04期
9 张敏,高剑峰,马少平;基于链接描述文本及其上下文的Web信息检索[J];计算机研究与发展;2004年01期
10 邹涛,王继成,朱华宇,金翔宇,张福炎;WWW上的信息挖掘技术及实现[J];计算机研究与发展;1999年08期
中国博士学位论文全文数据库 前1条
1 陈定权;自动主题搜索的应用研究[D];中国科学院研究生院(文献情报中心);2003年
中国硕士学位论文全文数据库 前6条
1 余晨;面向主题的WWW信息挖掘及实验系统TWIMS[D];中国科学院研究生院(软件研究所);2002年
2 刘峰;通用中英文专业搜索引擎技术的研究及应用[D];大连理工大学;2004年
3 姜杰;专业搜索引擎分布式Robot设计研究[D];南京师范大学;2005年
4 刘玮玮;搜索引擎中主题爬虫的研究与实现[D];南京理工大学;2006年
5 邱正国;主题蜘蛛的研究及实现[D];南京师范大学;2007年
6 宋宇;面向教育的多媒体主题搜索器设计与实现[D];山东师范大学;2008年
【相似文献】
中国期刊全文数据库 前10条
1 ;掌握Flash[J];个人电脑;2002年05期
2 s22;Flash Loading的设计与编码[J];电脑知识与技术;2003年03期
3 孙立群,易绚文;用Flash制作交互式的C语言远程教育课件[J];现代计算机;2003年08期
4 骄阳似火;给BIOS请个“保护神”——IOSS RD1 BIOS Savior[J];电脑;2004年09期
5 飘零雪;FlashFXP无法续传的解决[J];电脑爱好者;2004年10期
6 ;十大最动人心扉情感Flash MV[J];网络与信息;2005年05期
7 ;彩亮登场——flash开场小动画[J];电脑校园;2005年03期
8 罗煜;学做Flash交互动画[J];计算机周刊;1999年35期
9 公孙小白;精彩的Flash世界(上)[J];电脑爱好者;1999年15期
10 刘开南;Flash5亮点一瞥[J];多媒体世界;2000年11期
中国重要会议论文全文数据库 前10条
1 朱浩;戴华东;颜跃进;;面向Flash存储的页面置换算法综述[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
2 马英杰;肖丽萍;何文才;李彦兵;;FlashFXP安全漏洞分析[A];全国网络与信息安全技术研讨会’2004论文集[C];2004年
3 ;Design and Implement NAND FLASH Data Storage System Based on the ARM[A];全国数字媒体技术专业建设与人才培养研讨会论文集[C];2011年
4 黄勇良;;Flash课件在小学科学活动中运用的探索[A];科学素质培养的实践和探索[C];2009年
5 何晓明;张富强;;Flash在电子地图设计中的应用[A];中国仪器仪表学会第十二届青年学术会议论文集[C];2010年
6 孙峥;徐勇;闵锐;何敏;马丽梅;;三极管和场效应管工作原理的Flash动画设计与制作[A];中国电子教育学会高教分会2011年论文集[C];2011年
7 王雪笠;贺银方;;Flash芯片和LCD模块在便携式多导睡眠监测系统中的应用[A];中国睡眠研究会第六届学术年会论文汇编[C];2010年
8 ;Red5 Flash Server Analysis and Video Call Service Implementation[A];Proceedings 2010 IEEE 2nd Symposium on Web Society[C];2010年
9 夏军;;在电子衡器中使用Flash Memory的几种方案[A];首届全国称重技术研讨会论文集[C];1999年
10 李加负;;Flash课件在物理教学中的优势[A];湖北省物理学会、武汉物理学会2004’学术年会论文集[C];2004年
中国重要报纸全文数据库 前10条
1 辽宁 鸣涧;FlashFXP技巧二则[N];电脑报;2004年
2 江苏 吴小荣;让Flash遍地开花[N];中国电脑教育报;2001年
3 天津 王志明;Flash下载办法多(上)[N];电脑报;2003年
4 天津 王志明;Flash下载办法多(下)[N];电脑报;2003年
5 武汉 周爱华;邮件检测下载工具——FlashCheck[N];电脑报;2001年
6 ;在Flash中使用ASP[N];电脑报;2001年
7 叶紫;动画制作的Flash时代[N];中国电脑教育报;2001年
8 ;筷子上的Flash精灵[N];中国电脑教育报;2002年
9 河北省黄骅市完全小学 王宪东;Flash Mx 2004中声音的调用[N];中国电脑教育报;2004年
10 河北 廉育功;Flash 5的十个高招[N];电脑报;2001年
中国博士学位论文全文数据库 前10条
1 焦斌星;用于搜索的网页可视化摘要技术研究[D];中国科学技术大学;2012年
2 彭涛;面向专业搜索引擎的主题爬行技术研究[D];吉林大学;2007年
3 陈定权;自动主题搜索的应用研究[D];中国科学院研究生院(文献情报中心);2003年
4 孟宪军;互联网文本聚类与检索技术研究[D];哈尔滨工业大学;2009年
5 张长利;面向特定领域的互联网舆情分析技术研究[D];吉林大学;2011年
6 黄河;农业复杂自适应搜索模型研究及实现[D];中国科学技术大学;2010年
7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年
8 刘守群;海量网络视频快速检索关键技术研究[D];中国科学技术大学;2010年
9 曹鲁慧;Web个人信息集成问题研究[D];山东大学;2012年
10 段瑞雪;基于依存关系的用户意图的研究[D];北京邮电大学;2011年
中国硕士学位论文全文数据库 前10条
1 罗楠;Flash动画宣传片《CG画廊》的设计与实现[D];山东大学;2010年
2 赵医娟;基于内容的Flash检索系统研究[D];山东师范大学;2011年
3 汪崟崟;Flash动画在民间手工艺网站设计中的运用研究[D];山东大学;2010年
4 梅继赟;基于Flash流媒体的地理信息实时渲染框架技术研究[D];浙江大学;2010年
5 孙丽华;安全数码卡开卡过程的设计与实现[D];北京工业大学;2011年
6 罗曼;全Flash视频网站用户行为数据的采集及其预处理[D];东华大学;2010年
7 王倩;基于Flash网页游戏的研究与设计[D];北京交通大学;2010年
8 宁旭东;基于Flash技术的远程教育教学系统开发研究[D];复旦大学;2010年
9 赵莹;基于设计视角分析FLASH网页界面设计[D];中南民族大学;2010年
10 马兰;基于Flash的无客户端MMORPG的设计和实现[D];北京交通大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026