收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Scrapy技术的数据采集系统的设计与实现

杨君  
【摘要】:近些年来,随着信息技术的不断发展和创新,互联网技术将各种数据以它极其快速和全方位的方式渗透到我们的日常生活当中。海量的互联网数据资源蕴含着巨大的价值财富,如何采集和利用这些数据成为了一个热门研究领域。手动编写网络爬虫程序,从互联网上采集人们需要的数据,对非计算机技术人员势必难度较大,而且实现效率低,不易于管理。基于此,探讨了一种基于Scrapy爬虫框架的数据采集系统的设计与实现,以提高数据采集整体效率,降低工作难度,并且便于用户管理。该文首先介绍了开发背景、意义和现状,然后介绍了系统设计的相关技术,对系统的需求进行了详细地分析。讨论了系统设计原则,设计了系统的总体结构。在此基础上,设计并实现了基于Scrapy爬虫框架的数据采集系统。系统架构分为三层,表示层采用了Html+jQuery+Bootstrap的组合来呈现网页,业务逻辑层由Web应用框架Django和数据采集框架Scrapy组成,数据层使用MySQL关系型数据库管理系统。Django具备较为完美的模版机制、对象关系映射机制,还能够创建出动态管理后台信息的界面。Scrapy是一个为了爬取网站数据、提取结构性数据而编写的爬虫应用框架,可以应用在包括存储历史数据、数据挖掘、信息处理等一系列的程序中。最后对系统进行了测试,测试结果表明,设计和实现的系统达到了系统的需求。将Scrapy爬虫框架应用到Django框架上,实现了爬虫程序的自动化生成。系统功能基本完善,界面友好。用户可以设计和管理自己的网站采集任务,相比传统的手动编写爬虫程序,不仅难度低,效率高,而且便于用户管理采集到的数据。


知网文化
【相似文献】
中国期刊全文数据库 前17条
1 李啸虎;;数据采集系统模拟量干扰信号的消除方法[J];新疆电力;2002年02期
2 尹相涛;;数据采集系统的开发与应用[J];南钢科技;2001年04期
3 丁朝;;嵌入式技术在数据采集系统中的应用[J];中国新通信;2018年14期
4 莫章洁;;基于ZigBee与GPRS的农业数据采集系统设计[J];贵州师范学院学报;2016年09期
5 梁文翰;;基于单片机的电力机车数据采集系统的设计[J];现代工业经济和信息化;2016年24期
6 程佩;房海华;黄蓝;;基于FPGA+DSP的数据采集系统设计与实现[J];计算机测量与控制;2016年11期
7 张玉;姚凯学;;基于ZigBee的人体健康数据采集系统的设计[J];物联网技术;2016年12期
8 鲁楠;唐岚;廖若冰;朱加豪;;用于铁路基础设施监测的振动传感器数据采集系统设计[J];中国新技术新产品;2017年04期
9 罗小琴;;全国健康扶贫数据采集系统的构建[J];中国卫生信息管理杂志;2016年06期
10 王欣玥;王星;张红霞;张新程;;无人机数据采集系统在通信勘查中的应用要点[J];电信工程技术与标准化;2017年04期
11 帅伟;郭爱云;;一种便携式数据采集系统的硬件电路设计[J];仪表技术;2017年05期
12 张袁志;;多任务航空数据采集系统[J];科技传播;2017年12期
13 刘文天;高军伟;;基于MSP430的数据采集系统设计[J];工业控制计算机;2017年08期
14 张燕;;一种基于太阳能光伏供电的数据采集系统[J];内燃机与配件;2017年16期
15 唐开权;;林业数据采集系统设计及实现探讨[J];种子科技;2017年09期
16 孙双双;杨衍舒;王云;张志强;韩立;;低通滤波器在数据采集系统中的应用[J];教练机;2017年03期
17 张文;;如何应用无人机数据采集系统来开展公路养护工作[J];江西建材;2016年18期
中国重要会议论文全文数据库 前10条
1 俞林斌;黄慕雄;桂将林;汪月林;杨永耀;;分布式前置数据采集系统在大型SCADA系统的应用[A];第十一届中国智能交通年会大会论文集[C];2016年
2 刘璐;肖灵;刘光辉;;基于水下滑翔机的数据采集系统设计[A];2016年全国声学学术会议论文集[C];2016年
3 任婷婷;竺文彬;陈曦;;船舶制造企业分布式能源数据采集系统[A];2014年MIS/S&A学术交流会议论文集[C];2014年
4 闫浩;钱伟康;刘少鹏;应怀樵;杜峰;;一种可调时钟芯片在数据采集系统中的应用[A];第九届全国信号和智能信息处理与应用学术会议专刊[C];2015年
5 刘力强;马瑾;雷兴林;;多通道、高速声发射数据采集系统[A];第四届全国构造物理、第二届全国高温高压联合学术讨论会论文摘要[C];1989年
6 严宗睿;陆勤夫;陈勇;;基于智能设备的海军演习数据采集系统[A];2008年中国高校通信类院系学术研讨会论文集(下册)[C];2009年
7 武东升;郭达永;;卷接包车间数据采集系统现状发展方向和应用的研究[A];河南省烟草学会2008年学术交流获奖论文集(上)[C];2008年
8 张文栋;董海峰;;微型爆破缓冲抗高过载数据采集系统设计[A];新世纪 新机遇 新挑战——知识创新和高新技术产业发展(上册)[C];2001年
9 周兆运;詹永卫;许建华;;高速采集和深度存储的数据采集系统设计与实现[A];2009全国虚拟仪器大会论文集(二)[C];2009年
10 袁晴晴;周皓峰;陈宇达;施伯乐;;一个基于系统重建思想的数据采集系统的设计与实现[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
中国博士学位论文全文数据库 前10条
1 向冬;基于CC的工业数据采集系统开发方法研究[D];西北工业大学;2006年
2 文斐;激光雷达数据采集系统框架研究[D];中国科学技术大学;2013年
3 刘列峰;一种可扩展的大规模地球物理勘探数据采集系统研究[D];中国科学技术大学;2014年
4 田楷云;地球物理勘探设备中数据采集部分若干关键技术研究[D];中国科学技术大学;2015年
5 田景文;地下油藏的仿真与预测[D];哈尔滨工程大学;2001年
6 张云鹏;激光雷达控制与数据采集系统的设计与实现[D];武汉大学;2014年
7 唐学峰;石英晶体谐振器的响应分析及其在粘弹性薄膜中的应用研究[D];中国科学技术大学;2015年
8 王凤琴;盒形件拉深智能化控制关键技术的研究[D];燕山大学;2003年
9 胡坤;基于MCP的光子计数成像数据采集系统的研究[D];中国科学技术大学;2015年
10 王永志;大型动力离心机设计理论与关键技术研究[D];中国地震局工程力学研究所;2013年
中国硕士学位论文全文数据库 前10条
1 马玲;基于FPGA的油库发油台数据采集系统设计[D];西北师范大学;2018年
2 姜健;基于嵌入式平台的数据采集系统动态电源管理研究[D];哈尔滨工业大学;2018年
3 陈浪;基于LoRa的供电桩数据采集系统的设计[D];浙江工业大学;2017年
4 梁成成;基于嵌入式双ARM架构的便携式数据采集系统设计[D];东北大学;2015年
5 杨君;基于Scrapy技术的数据采集系统的设计与实现[D];南京邮电大学;2018年
6 孟祥卫;海洋环境数据采集系统的研究与设计[D];浙江海洋大学;2018年
7 孟琦;风电变流器液冷却设备数据采集系统的设计与实现[D];天津大学;2016年
8 王艳丽;基于FPGA的毫米波成像系统中数据采集系统研究[D];电子科技大学;2018年
9 苟超;基于龙芯的Linux内核优化与数据采集系统研究[D];西南科技大学;2018年
10 徐风云;支持多协议机舱安保数据采集系统研发[D];集美大学;2018年
中国重要报纸全文数据库 前10条
1 记者 张雪锋;加快大数据采集系统和处理中心建设 把智慧城市建设作为精品城市重要内容[N];三亚日报;2017年
2 刘臻;中铝股份兰州分公司自主开发炭素成型工艺数据采集系统[N];中国有色金属报;2017年
3 中国人民大学 陈文忻 复旦大学 申曦霖;智能指挥 决胜千里[N];中国青年报;2017年
4 鲁总;山东总队启用农价手持数据采集系统[N];中国信息报;2012年
5 记者 陈青 何晓龙;西仪总厂井间地震装备研制取得突破 井下多级数据采集系统使用效果显著[N];中国石油报;2002年
6 记者 郑欣;福建移动 水文数据采集系统服务防旱[N];人民邮电;2009年
7 北京 蔡德聪 孙宇瑞;国外流行的一种微功耗数据采集系统[N];电子报;2001年
8 王志田通讯员 唐皖君;数据采集系统在大庆采八全面启用[N];中国石油报;2007年
9 北京 蔡德聪 孙宇瑞;BS2系列微功耗数据采集系统[N];电子报;2001年
10 ;iPAQ条码数据采集系统[N];计算机世界;2002年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978