收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

面向高清视频监控的流存储系统设计与实现

郭晖  
【摘要】:近年来随着视频监控技术的发展,视频监控数据的存储与处理已成为智慧城市,智慧交通应用中的关键问题。现有的视频监控存储体系架构在应付数量越来越多的高清摄像头上已显得力不从心。在多达上千路高码率视频流的长时间并发写入的场景下,现有的存储系统中磁盘I/O吞吐率已称为严重的瓶颈,随之而来的还有巨大的能源开销和磁盘损耗。这些都是现有的监控视频存储方案中亟待解决的问题。针对这些问题,本文结合当前国内外在海量数据存储方面的研究现状和发展方向,通过分析视频监控数据存储特点和结合现有存储系统架构资源调度方式,设计并实现了面向海量高清视频监控的流存储系统SSTORE,并以此为背景对其内部专门针对监控视频流数据存储所设计的分布式文件系统SFS进行了充分阐述。本文主要工作与创新点有以下几点:1.设计了磁盘分区连续存储模型CSM。该存储模型通过多流并发随机写入调制和分块内存缓冲技术,将磁盘上的并发随机写转换为顺序写,饱和利用磁盘I/O吞吐率。2.通过采用epoll异步事件驱动模型来处理网络IO请求,极大提升了系统网络IO性能。同时设计了线程池结构来实现系统任务调度和网络数据写入与磁盘数据写入的异步操作,增加系统并发处理能力。3.设计并实现了一种基于CSM分区的离线复制机制和磁盘工作调度机制,提升系统运行过程中休眠磁盘所占比率,延长磁盘使用寿命并降低能源开销。4.设计了灵活的副本冗余机制,针对同一块磁盘不同分区速率的差异,让这些分区上的数据备份具有不同的保存周期。充分利用磁盘分区性能的同时,保证了数据的可靠和可用。本文最后通过系统测试对SSTORE的存储性能进行了验证,并与现有常见的视频监控存储系统进行了对比。性能分析显示,SSTORE系统在存储服务性能上具有较大优势,能满足海量高清监控视频流数据的存储需求。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李红;蓝光存储系统 光盘容量高达23G[J];信息记录材料;2004年01期
2 ;存储系统 金融行业应用卓越奖 医疗行业应用卓越奖[J];每周电脑报;2004年20期
3 诺拉;EMC Symmetrix DMX-3存储系统 超大容量 高速存取[J];中国计算机用户;2005年31期
4 谢世诚;;浪潮推出4Gb光纤存储系统[J];微型机与应用;2006年07期
5 ;昆腾分级存储系统[J];软件世界;2009年11期
6 ;超低功耗云存储系统或被地方政府看好[J];中国有线电视;2013年08期
7 汤赫男;;云存储系统的分析与应用研究[J];计算机光盘软件与应用;2013年24期
8 谌伟;;云存储系统的分析与应用探讨[J];数字技术与应用;2013年10期
9 雅君;跟上企业的匆匆脚步——利用HP SureStoreEXP256构筑企业存储系统[J];中国计算机用户;2000年08期
10 贾莉;;Symmetrix8000实现19TB存储[J];每周电脑报;2000年18期
11 屈玉阁;领跑应用——唐山电信存储系统的建设[J];中国计算机用户;2001年43期
12 ;电信服务高可用——斯德锐公司构建电信存储系统一例[J];微电脑世界;2001年03期
13 陈增圭;高瞻远瞩 努力抓好银行存储系统的建设[J];中国金融电脑;2002年03期
14 于翔;日立数据推出Lightning 9900 V系列存储系统[J];微电脑世界;2002年11期
15 周可,张江陵,冯丹;基于数据块的对等存储系统的设计与实现[J];计算机工程与科学;2003年03期
16 岑广海;谈谈存储系统[J];网络安全技术与应用;2003年09期
17 毛宇星;存储系统未来发展的新趋势[J];中国金融电脑;2004年03期
18 王洛;制造业存储系统应用选型[J];电子商务世界;2004年04期
19 谢长生,王宇德,曹强;进化存储系统的研究[J];计算机工程;2004年22期
20 李中,王刚,刘璟;并发多媒体负载访问存储系统的模型分析[J];北京航空航天大学学报;2004年11期
中国重要会议论文全文数据库 前10条
1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年
2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集(2011)[C];2011年
3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年
4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年
5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年
6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年
7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年
8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年
9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年
10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
中国博士学位论文全文数据库 前10条
1 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年
2 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年
3 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年
4 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年
5 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年
6 刁莹;用数学建模方法评价存储系统性能[D];哈尔滨工程大学;2013年
7 符青云;面向大规模流媒体服务的高性能存储系统研究[D];电子科技大学;2009年
8 王玉林;多节点容错存储系统的数据与缓存组织研究[D];电子科技大学;2010年
9 田敬;对等存储系统中的数据可用性与安全性研究[D];北京大学;2007年
10 李怀阳;进化存储系统数据组织模式研究[D];华中科技大学;2006年
中国硕士学位论文全文数据库 前10条
1 冯汉超;基于Hadoop的分布式副本策略研究[D];河北工程大学;2015年
2 张明;IaaS中基于热点数据的存储系统研究与实现[D];哈尔滨工业大学;2015年
3 蒋静远;基于数据通道的非结构化数据多存储系统[D];浙江大学;2015年
4 郭晖;面向高清视频监控的流存储系统设计与实现[D];电子科技大学;2015年
5 朱海涛;嵌入式网络存储系统的设计与应用[D];大连理工大学;2010年
6 王如军;模块化柔性存储系统[D];长春光学精密机械学院;2001年
7 赵靖;片段存储系统[D];上海交通大学;2007年
8 郅斌;一种私有云存储系统的设计与实现[D];北京邮电大学;2011年
9 祝青;混合存储系统研究[D];上海交通大学;2013年
10 张达;河北电视台高清新闻网存储系统分析[D];华北电力大学;2011年
中国重要报纸全文数据库 前10条
1 ;第三季度中国存储系统市场达19.1亿元[N];中国高新技术产业导报;2005年
2 本报记者 薛斐;服务:存储系统的灵魂[N];计算机世界;2002年
3 单群一;惠普推出全新一体化存储系统[N];中国税务报;2007年
4 ;浪潮推出4Gb光纤存储系统[N];人民邮电;2006年
5 ;今年第二季度 存储系统市场价值达12.6亿元[N];人民邮电;2006年
6 郭;日立推出普及型存储系统[N];计算机世界;2007年
7 陈耀光;朗登 扛起存储系统设计院的大旗[N];中国企业报;2001年
8 ;富士通存储系统全面升级[N];网络世界;2009年
9 ;EMC亚洲生产制造中心落户深圳[N];网络世界;2009年
10 临履;存储系统有了“设计院”[N];网络世界;2001年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978