收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hadoop的公安系统信息存储平台

汪锐  
【摘要】:随着信息化水平不断提升,在公安部门内部,各种数据信息、文件、视频资料都需要存储。各个部门都购买存储设备用于存储这些数据资源,昂贵的存储设备的购买加大了运营成本,而且又无法满足存储资源的共享需求。因为存储设备的地理位置分散,要实现数据资源共享,就必然要利用网络实现数据传输,网络信息存储系统已经逐渐成为公安部门高效运作的一个核心技术平台。但是由于网络的各种不安全、不稳定因素和公安系统部门的工作特性,网络信息存储系统就需要具有很高的工作性能,其中包括安全的数据访问、稳定的数据传输和存储扩展能力。因此如何对已有的存储设备进行整合利用,提供一个节约资源又安全可靠的信息存储平台成为公安系统面临的一大难题。 云存储由分布式文件系统、网络传输、集群应用、虚拟化存储等技术构成,把分布在网络上的各种存储设备整合成为一个资源池,作为一个服务体系对外提供统一的接口。采用云存储技术以后,对于用户来说,就不单是使用某个具体的存储设备,而是分布在网络上的多个存储设备的集合体。这样不仅可以有效整合存储设备资源,还可以提高存储的便捷性和资源共享。Hadoop就是一个能够对大量数据进行分布式处理的云存储软件框架,提供了一种安全可靠、高效、可伸缩的方式存储数据。 本文分析了公安系统部门的资源存储状况,同时分析了云存储的现状和Hadoop的架构,然后深入的研究了系统内部的工作原理和功能特征,在此基础上,提出了一个基于Hadoop的信息存储系统方案。信息存储系统的底层是Hadoop分布式文件系统,这个文件系统将一个大文件分割成为了若干个数据块,分别存储在保存数据的数据节点上。由于每个数据块都有若干个相同的副本数据块,所以当数据块发生错误的时候,系统会自动的用另外一个完整的数据块副本取代当前出错的数据块,同时将出错的数据块上报给名字节点进行处理,这种机制保证了系统中数据的完整性。 与传统的信息存储系统不同,基于Hadoop的信息存储平台的用户是分散在各个不同地方、不同部门的,用户在上传数据资源的时候,都储存在了一个共同的海量的存储池里面。当用户需要查找需要的资源时,可以自由的从存储平台中下载下来,就省去了传统的信息沟通不畅和数据时效性问题。信息系统部署在了基于Linux操作系统的机器集群上,默认的操作管理接口是命令行方式的,如果不是专业的人员,就很难掌握操作。该系统主要利用Hadoop实现存储层的技术支撑,用户层采用Web开发相关技术实现用户与存储层进行交互。最终为工作人员提供友好的接口来访问系统,工作人员在不需要了解底层技术细节的情况下,就可以使用一个基于云存储的信息存储系统。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 董太安;;面向海量信息存储的数字图书馆整体模型构建[J];情报科学;2011年06期
2 王俊生;施运梅;张仰森;;基于Hadoop的分布式搜索引擎关键技术[J];北京信息科技大学学报(自然科学版);2011年04期
3 李远方;邓世昆;闻玉彪;韩月阳;;Hadoop-MapReduce下的PageRank矩阵分块算法[J];计算机技术与发展;2011年08期
4 刘红军;;论高校图书馆工作人员继续教育与素质管理[J];科技与企业;2010年05期
5 李远方;贾时银;邓世昆;韩月阳;;基于树结构的MapReduce模型[J];计算机技术与发展;2011年08期
6 戎翔;李玲娟;;基于MapReduce的频繁项集挖掘方法[J];西安邮电学院学报;2011年04期
7 陆侃;傅颖丽;张量;田立炎;;基于FreeBSD系统的云计算平台搭建[J];苏州市职业大学学报;2011年02期
8 金欣;王晶;沈奇威;;分布式最小生成树聚类的设计与实现[J];计算机系统应用;2011年07期
9 李珺;;基于Hadoop云计算模型探究[J];信息安全与技术;2011年06期
10 王宏宇;;Hadoop平台在云计算中的应用[J];软件;2011年04期
11 张兴旺;李晨晖;秦晓珠;;云计算环境下大规模数据处理的研究与初步实现[J];现代图书情报技术;2011年04期
12 曹风兵;吴开贵;吴长泽;;基于Hadoop的校园云计算系统[J];计算机系统应用;2011年06期
13 蔡建新;徐迪威;;基于云计算平台的海量数据挖掘技术在塑料电子商务平台中的应用[J];广东科技;2011年16期
14 李明;胥光辉;戢瑶;;MapReduce编程模型在网络I/O密集型程序中的应用研究[J];计算机应用研究;2011年09期
15 陈俊;陈孝威;;基于Hadoop建立云计算系统[J];贵州大学学报(自然科学版);2011年03期
16 刘琨;李爱菊;董龙江;;基于Hadoop的云存储的研究及实现[J];微计算机信息;2011年07期
17 金嘉晖;罗军舟;宋爱波;东方;;基于数据中心负载分析的自适应延迟调度算法[J];通信学报;2011年07期
18 ;联合国际2011苹果移动存储全国首次发布[J];金融科技时代;2011年06期
19 ;综合信息[J];无机盐工业;2011年08期
20 禹昊川;;群文网站建设的重要性[J];大众文艺;2011年14期
中国重要会议论文全文数据库 前10条
1 温永强;马颖;杜世萱;杨联明;高鸿钧;宋延林;;基于有机薄膜的光电协同的高密度信息存储[A];全国第八届有机固体电子过程暨华人有机光电功能材料学术讨论会摘要集[C];2010年
2 宋延林;;信息功能材料研究[A];2011年全国高分子学术论文报告会论文摘要集[C];2011年
3 张佳宝;周斌;吴泉源;;基于Hadoop的并行化命名实体识别技术研究与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
4 杨廷梧;;基于重复数据删除的靶场试验信息存储技术[A];2009年西部光子学学术会议论文摘要集[C];2009年
5 秦占波;温永强;胡俊平;宋延林;朱道本;;高密度多重信息存储有机薄膜研究[A];中国化学会第二十五届学术年会论文摘要集(上册)[C];2006年
6 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
7 丁辉;张大华;罗志明;;基于Hadoop的海量数据处理平台研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
8 刘忠范;;纳电子器件的加工组装技术及SPM信息存储(摘要)[A];中国科协2001年学术年会分会场特邀报告汇编[C];2001年
9 邵东国;黄显峰;;构建水利信息化技术标准体系思考[A];中国水利学会第二届青年科技论坛论文集[C];2005年
10 胡俊平;李英锋;杨联明;高鸿钧;江雷;宋延林;朱道本;;一种非共平面有机分子的高密信息存储研究[A];中国化学会第二十五届学术年会论文摘要集(下册)[C];2006年
中国博士学位论文全文数据库 前9条
1 胡衍雷;飞秒激光多维信息存储关键技术研究[D];中国科学技术大学;2012年
2 胡燕;基于Web信息抽取的专业知识获取方法研究[D];武汉理工大学;2007年
3 邢卉;飞秒激光多层高密度存储关键问题研究[D];中国科学技术大学;2008年
4 庄小东;新型高分子信息存储材料的设计与制备[D];华东理工大学;2011年
5 时东霞;超高密度信息存储及某些材料的STM研究[D];东北大学;2001年
6 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
7 文岐业;磁性存储器相关磁三明治材料及其应用特性研究[D];电子科技大学;2005年
8 赵迎春;基因突变对细菌视紫红质功能的影响及相关功能材料研究[D];复旦大学;2011年
9 张心正;光折变体全息高密度光存储器及其应用[D];南开大学;2001年
中国硕士学位论文全文数据库 前10条
1 汪锐;基于Hadoop的公安系统信息存储平台[D];上海交通大学;2012年
2 童奥;个人健康信息存储与传输系统设计[D];北京交通大学;2011年
3 邰建华;Hadoop平台下的海量数据存储技术研究[D];东北石油大学;2012年
4 范帆;Hadoop中基于优先级的调度算法研究[D];复旦大学;2012年
5 陈殿伟;基于Hadoop的虚拟筛选海量数据存储及结果处理的设计和实现[D];兰州大学;2012年
6 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年
7 曾理;Hadoop的重复数据清理模型研究与实现[D];南华大学;2010年
8 张烨;Jackrabbit封装Hadoop的研究及在内容管理系统中的应用[D];北京邮电大学;2011年
9 董长春;基于Hadoop的倒排索引技术的研究[D];辽宁大学;2011年
10 翟炎杰;基于Hadoop的移动学习系统设计与实现[D];河南师范大学;2011年
中国重要报纸全文数据库 前10条
1 记者 王兵;EMC推进信息存储自动化[N];人民邮电;2001年
2 ;EMC发布自动信息存储新品[N];市场报;2001年
3 ;IDC所需的信息存储方案[N];人民邮电;2001年
4 ;信息存储完美风暴[N];国际金融报;2001年
5 李国训;EMC重新定义高端信息存储[N];中国电子报;2003年
6 琪文;信息存储 安全第一[N];金融时报;2001年
7 ;信息存储需要大肚汉[N];中国经营报;2001年
8 孙定;云计算、大数据与Hadoop[N];计算机世界;2011年
9 本报实习生 张鑫;信息存储 IT巨头眼中的聚宝盆[N];经济日报;2002年
10 肖扬;信息存储“井喷” 全球再掀应用高潮[N];金融时报;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978