收藏本站
《东北师范大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于云计算的Web教育爬虫

侯晓帆  
【摘要】:云计算技术是当前计算机科学的一个热门技术。云计算技术整合了网络资源,为能够以任何形式接入互联网的用户提供了方便。对于高校来说,云计算技术的出现无疑会为高校教学和管理带来巨大的变革。单从教学资源而言,由于互联网上的资源数量成指数增长,面对如此巨大规模的资源,云计算的分布式存储模式无疑是解决海量存储的一个有效手段。高校可以通过各种公共云、私有云、企业云以及教育云的构建和参与,来实现对海量教育资源的存储。 云计算技术在解决了海量教育资源的存储问题的同时,也提供了大量基于各种不同技术的资源检索方式。由于云计算分布式存储模式,基于分布式搜索技术的各种搜索技术开始引起研究者们的注意。如何利用这些技术帮助云搜索,帮助高校、教师、学生有效的检索教育云中的资源,成为了研究云计算检索的教育者们的一个研究方向。 本文通过对云计算和云计算辅助教学的探讨,提出云计算技术对于教学,尤其是远程教学起到一定的促进作用。通过对分布式存储、数据挖掘技术以及分布式搜索技术进行研究,证明基于分布式搜索技术是解决云计算搜索技术的一种有效手段。最后通过设计使用分布式网络爬虫nutch来查找分布式存储模式下的资源,期待为今后的研究者们提供一种思路。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 王慧;申家双;陈冬阳;邓雪清;;一种高性能的大区域遥感影像管理模型[J];海洋测绘;2006年03期
2 郑胜;郝毫毫;;基于贝努利大数定律的数据分布算法[J];计算机工程;2009年19期
3 孟庆伟;;云计算技术及其电信应用[J];电信快报;2010年07期
4 卢益阳;;分布式存储系统调查[J];企业科技与发展;2011年16期
5 刘广涛;舒继武;郑纬民;;可扩展的分布式邮件系统的研究与实现[J];小型微型计算机系统;2005年12期
6 王大涛;姜月秋;;一种适用于集群的高可用存储模型的研究[J];沈阳理工大学学报;2007年02期
7 邢继元;张义德;;计算机存储技术的发展现状和趋势[J];科协论坛(下半月);2008年02期
8 赵颖斯;刘云;;BBS舆情系统的数据采集方法[J];电信快报;2008年12期
9 高波;郭朝珍;丁善镜;;基于GML矢量图层分割的空间数据分布式协同处理的研究[J];计算机应用;2009年01期
10 张天祥;潘峰;杨晓元;刘镇;张薇;;改进的LPCA算法[J];计算机工程与应用;2010年09期
11 陈卫卫;吴海佳;胥光辉;;分布式存储中文件分割的最优化模型[J];解放军理工大学学报(自然科学版);2010年04期
12 周功业,王建;一种分布式并行VOD系统[J];计算机应用研究;2002年09期
13 方海波,罗晓岗;数字视频编辑网络系统及其设计[J];浙江教育学院学报;2003年04期
14 张尼;郭莉;方滨兴;;一个分布式网址定位平台的设计和实现[J];计算机工程;2005年24期
15 艾丽华;罗四维;;基于网格的数字信息管理G-DIM[J];北京交通大学学报;2006年02期
16 温伟峰;王厚军;戴志坚;;基于USB2.0的生物信号采集系统设计[J];仪器仪表学报;2006年S2期
17 任伟;任毅;张慧;赵俊阁;;无人值守无线传感器网络中一种安全高效的数据存活策略[J];计算机研究与发展;2009年12期
18 王茜;钟智琼;;测绘信息安全管理系统模型初探[J];科技信息;2010年31期
19 刘泽;徐贵富;;应用于楼宇节能的无线分布式温湿度采集系统设计[J];现代科学仪器;2011年01期
20 陈文龙;肖融;李昭;徐恪;;IPv6路由器面向PIM-SMv2的分布式组播转发研究[J];小型微型计算机系统;2007年11期
中国重要会议论文全文数据库 前10条
1 程果;陈荦;景宁;赵亮;左怀玉;;一种遥感影像的层次化组织分布式存储管理方法[A];第二十五届中国数据库学术会议论文集(一)[C];2008年
2 龚尚福;朱宇;李占利;;大型综合类数字图书馆解决方案[A];第十四届全国煤矿自动化学术年会暨中国煤炭学会自动化专业委员会学术会议论文集[C];2004年
3 姜继忱;陈钢;;P2P之路——缔造“分布式对等”的Internet3.0[A];全面建设小康社会:中国科技工作者的历史责任——中国科协2003年学术年会论文集(下)[C];2003年
4 郭建忠;李宏伟;;多尺度地理空间数据分布式存储与管理若干问题的研究[A];地理空间信息技术与应用——中国科协2002年学术年会测绘论文集[C];2002年
5 张彦;刘欣然;徐慧彬;;一种基于虚拟计算环境的分布式存储体系结构[A];2009全国计算机网络与通信学术会议论文集[C];2009年
6 杜希奇;王学俭;卜忱;;动态数据神经网络建模技术[A];探索创新交流--中国航空学会青年科技论坛文集[C];2004年
7 李于锋;张亚林;赵强;;有限元计算框架PANDA中的并行机制[A];中国计算力学大会'2010(CCCM2010)暨第八届南方计算力学学术会议(SCCM8)论文集[C];2010年
8 何涛;黄渊;李爱波;;基于ADSP-TS201的雷达转角处理设计方法[A];全国第五届信号和智能信息处理与应用学术会议专刊(第一册)[C];2011年
9 郭荣坤;高鹏翼;;人工神经网络(ANN)在测井储层评价中应用[A];1996年中国地球物理学会第十二届学术年会论文集[C];1996年
10 杨爱民;刘韧;赵广华;崔玉环;;集群系统中基于MPI的并行GMRES(m)计算通信的研究及应用[A];2009年全国开放式分布与并行计算机学术会议论文集(下册)[C];2009年
中国重要报纸全文数据库 前10条
1 ;存储2.0时代渐行渐近[N];网络世界;2007年
2 黄言;联想服务器护航CDN网络大提速[N];中国企业报;2008年
3 山东胶南张家楼教委 杨维春;数字图书馆的待解难题[N];中国电脑教育报;2006年
4 李梅;存储2.0,基于Web的存储迎面而来[N];计算机世界;2007年
5 刘学习;存储技术往哪儿走?[N];计算机世界;2007年
6 本报记者  周蓉蓉;做信息化的“司务长”[N];计算机世界;2006年
7 中兴通讯;云存储铺就海量数据之路[N];通信产业报;2011年
8 仰一凡、王哲;应用校园网生存和发展之本[N];中国计算机报;2002年
9 ;存储系统的挑战[N];网络世界;2006年
10 本报记者 周源;Drobo:简单的力量[N];网络世界;2010年
中国博士学位论文全文数据库 前10条
1 赵浩天;基于网络编码的分布式存储容错及扩容问题研究[D];中国科学技术大学;2013年
2 胡燏翀;基于网络编码的分布式存储容错机制研究[D];中国科学技术大学;2010年
3 杨磊;基于P2P结构的广域分布式存储相关技术研究[D];湖南大学;2013年
4 魏青松;大规模分布式存储技术研究[D];电子科技大学;2004年
5 岳利群;基于分布式存储的虚拟地理环境关键技术研究[D];解放军信息工程大学;2011年
6 姜春茂;基于移动P2P的分布式存储和传输机制研究[D];哈尔滨工程大学;2013年
7 周旭;面向Internet的大规模分布式存储技术研究[D];电子科技大学;2004年
8 万武南;分布式安全存储系统纠删码技术的研究[D];中国科学院研究生院(成都计算机应用研究所);2006年
9 侯孟书;基于P2P的分布式存储及其相关技术研究[D];电子科技大学;2005年
10 郭渊博;容忍入侵的理论与方法及其应用研究[D];西安电子科技大学;2005年
中国硕士学位论文全文数据库 前10条
1 曾铁钢;基于路由器的分布式存储技术的研究[D];复旦大学;2012年
2 张彦;虚拟计算环境分布式存储系统设计与实现[D];北京邮电大学;2010年
3 罗岚楠;基于三层体系结构的分布式存储访问系统技术研究[D];电子科技大学;2012年
4 吕景隆;机会网络中分布式存储机制的研究[D];北京邮电大学;2013年
5 孙建良;分布式存储系统可用性与一致性研究[D];华中科技大学;2013年
6 杨志宇;基于蝴蝶网络的P2P存储结构研究[D];湖南大学;2012年
7 刘刚;分布式存储网络中的数据完整性校验与修复[D];上海交通大学;2012年
8 侯佳佳;企业私有云及分布式存储技术在RS10中的研究及应用[D];机械科学研究总院;2013年
9 童明;基于HDFS的分布式存储研究与应用[D];华中科技大学;2012年
10 吴智兴;分布式存储中的资源索引技术研究[D];浙江大学;2013年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978