收藏本站
《国防科学技术大学》 2007年
收藏 | 手机打开
二维码
手机客户端打开本文

高速海量数据存储技术研究

邵林  
【摘要】: 在2.5Gb/s SDH(Synchronous Digital Hierarchy)光纤干线网上,常常需要将某一段时间内数据准确记录下来,为下一步的净荷分析做准备。为了实现这一目标,存深入分析硬盘性能和磁盘阵列技术的基础上,本文主要对基于SCSI协议的磁盘阵列存储技术的实现方法进行了研究。此外还提出了一种基于PCI Express总线的磁盘阵列实现高速数据存储的方案。本文的主要内容包括: 1、从存储介质和存储模式两个方面,简要介绍了海量数据存储技术,并分析了国内高速海量数据存储技术研究现状和技术水平。 2、详细分析了硬盘的结构和关键性能指标,深入研究了磁盘阵列技术,并重点分析了影响RAID0性能的关键因素,为利用磁盘阵列技术实现海量存储做好了准备。 3、在深入研究SCSI协议的基础上,详细介绍了基于SCSI协议的磁盘阵列存储系统的设计实现。具体分析了系统硬件各模块的实现方法,说明了通过SCSI总线对硬盘进行读写的软件设计,最后深入分析了系统性能,找出了性能瓶颈,并给出了改进办法。该系统中,多路硬盘存储子系统在结构上组成RAID0级的磁盘阵列,实现对高速数据的记录。 4、在深入分析PCI Express总线技术的基础上,提出了基于PCI Express总线磁盘阵列存储技术的总体设计方案,重点研究了PCI Express总线上两块设备之间进行高速路由通信的实现方法,并对系统的各个组成模块进行了详细的性能分析。
【学位授予单位】:国防科学技术大学
【学位级别】:硕士
【学位授予年份】:2007
【分类号】:TP333

免费申请
【引证文献】
中国硕士学位论文全文数据库 前8条
1 唐丽华;基于z/OS的海量实时交易系统仿真及DB2性能优化研究[D];电子科技大学;2011年
2 覃耀磊;海量数值天气预报产品存储系统研究与实现[D];国防科学技术大学;2011年
3 车艳霞;基于Flash的高速数据记录装置关键技术研究[D];中北大学;2012年
4 李劲秋;基于主机的银行业务系统的实现与查询优化的研究[D];电子科技大学;2010年
5 娄希安;海量数据存储与查询策略的优化研究[D];大连海事大学;2012年
6 程祖桥;基于Camera Link总线的多CCD数据采集与存储技术研究[D];昆明理工大学;2012年
7 谭鑫;IT业务系统监控及其关键技术研究[D];中南大学;2012年
8 刘保府;多通道海量数据记录系统设计[D];哈尔滨工程大学;2012年
【参考文献】
中国期刊全文数据库 前10条
1 吴强,罗自林;磁存储的研究现状及发展方向[J];重庆邮电学院学报(自然科学版);2005年01期
2 黄进,郭立红,李岩,刑忠宝,杨晓红,张同双;高速CCD数字视频采集和并行存储技术[J];长春理工大学学报;2004年03期
3 盛翠霞;张涛;;基于FAS466存储系统的DMA控制器设计[J];长春理工大学学报(自然科学版);2007年01期
4 王天虎,韩德志;不断发展的磁盘阵列技术[J];电脑开发与应用;2000年05期
5 赵忠文 ,曾峦;一种专用高速硬盘存储设备的设计与实现[J];电子技术应用;2002年08期
6 姜凤山 ,雷宏;一种基于FAS466的合成孔径雷达高速数据记录器的设计[J];电子技术应用;2004年05期
7 盛翠霞;张涛;陈俊江;姚清华;袁红艳;;基于FAS466的高速CCD相机数字视频实时存储系统设计[J];电子技术应用;2006年06期
8 王忠宝,李变侠,曹剑中;SCSI处理器FAS466的通用软件解决方案及应用[J];国外电子元器件;2005年04期
9 黄进,郭立红,李岩,邢忠宝,冯晓勇;一种高速CCD视频实时存储方案的速度分析[J];光学技术;2005年01期
10 郝伟,苏秀琴,杨小君;高速视频硬盘记录系统分析[J];光子学报;2005年04期
中国博士学位论文全文数据库 前1条
1 黄进;基于SCSI实时高速数字视频直接存储技术的研究[D];中国科学院研究生院(长春光学精密机械与物理研究所);2005年
【共引文献】
中国期刊全文数据库 前10条
1 田春,孙力飞;计算机多重引导的实现[J];鞍山科技大学学报;2005年01期
2 温枫;戴基智;唐遵烈;彭秀华;翁雪涛;;高帧频CCD相机的抽帧显示技术[J];半导体光电;2008年05期
3 吴建明,孟宪元,祁业欣;CSOC实现多协议串行控制器[J];半导体技术;2001年12期
4 雷宇,方健,张波,李肇基;在SOI基上设计实现D/A驱动的高压LDMOS开关电路[J];半导体学报;2005年06期
5 王正杰,李霁红,龙锐,张天桥;VHDL在导弹控制系统中的应用[J];北京理工大学学报;2001年04期
6 王超;刘伟;;基于文件系统的高速数据记录系统[J];北京理工大学学报;2010年05期
7 张彦梅;柴芳娇;;基于FPGA的高速图像采集系统[J];北京理工大学学报;2010年09期
8 林琳;;基于C语言的存储资源管理系统的研究[J];才智;2011年13期
9 胡峰;张杰;刘静;肖大伟;;一种基于Rough集的海量数据属性约简方法[J];重庆邮电大学学报(自然科学版);2009年04期
10 刘树昌;钟钢;刘鹏;王顺;韩冬松;;动态检测系统中大容量高速图像同步录入技术[J];吉林大学学报(信息科学版);2009年02期
中国重要会议论文全文数据库 前10条
1 孙宏海;李桂菊;李静宇;;高速图像长时间无损记录系统的设计与实现[A];第九届全国信息获取与处理学术会议论文集Ⅱ[C];2011年
2 杨仁忠;石璐;韦宏卫;林波涛;;通用遥感卫星数据记录系统技术研究与实现[A];全国国土资源与环境遥感应用技术研讨会论文集[C];2009年
3 李爽;刘浩;;三相三电平逆变器控制系统研究[A];2007年河北省电子学会、河北省计算机学会、河北省自动化学会、河北省人工智能学会、河北省计算机辅助设计研究会、河北省软件行业协会联合学术年会论文集[C];2007年
4 袁国火;;FPGA芯片A42MX16辐射效应探讨[A];第十届全国抗辐射电子学与电磁脉冲学术年会论文集[C];2009年
5 许世宏;聂涛;;基于FPGA的基带码发生器设计[A];全国第一届嵌入式技术联合学术会议论文集[C];2006年
6 李和平;;基于ARM的固态记录器控制模块的设计[A];第三届全国嵌入式技术和信息处理联合学术会议论文集[C];2009年
7 王勇;武林伟;;基于PCI-E总线的图像仿真处理系统[A];第十七届十三省(市)光学学术年会暨“五省一市光学联合年会”论文集[C];2008年
8 李非;邱天爽;迟戈;魏晶;;高速数据存储在CT成像系统中的应用研究[A];2008年医疗仪器学术年会暨理事会论文汇编[C];2008年
9 张秀峰;胡辽林;;基于FPGA的数字复接系统中帧同步的设计[A];2008通信理论与技术新发展——第十三届全国青年通信学术会议论文集(下)[C];2008年
10 易景然;刘世金;;基于VHDL语言的水表抄表器仿真与设计[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 杨天明;网络备份中重复数据删除技术研究[D];华中科技大学;2010年
2 牛中盈;并行文件系统安全性研究[D];华中科技大学;2010年
3 林胜;存储系统容错及阵列编码[D];南开大学;2010年
4 陈俊健;面向对象存储系统安全技术研究[D];华中科技大学;2011年
5 邓振杰;提高海量磁记录系统性能的方法研究[D];河北工业大学;2010年
6 王国庆;宽带雷达直接解调原理与实时脉压技术研究[D];国防科学技术大学;2011年
7 祝依龙;特征辅助的目标机动检测技术[D];国防科学技术大学;2011年
8 郭树满;高压共轨柴油机燃油喷射控制系统的开发及喷油一致性的研究[D];天津大学;2012年
9 彭涛;基于特征和实例的海量数据约简方法研究[D];华中科技大学;2011年
10 姜明华;基于冗余智能存储通道的存储系统关键技术研究[D];华中科技大学;2011年
中国硕士学位论文全文数据库 前10条
1 韩振宇;MPEG-2传输流分析与解码系统设计[D];郑州大学;2010年
2 康喜;P2P文件存储系统副本管理技术研究[D];哈尔滨工程大学;2010年
3 宋健军;基于USB总线的MVB网卡设计与实现[D];大连理工大学;2010年
4 连自锋;Linux下网络块设备的研究与应用[D];辽宁工程技术大学;2009年
5 李红宝;星载AOS数据处理器的设计与实现[D];辽宁工程技术大学;2009年
6 刘震宇;基于VMware vSphere4.0的PC服务器资源池构建[D];大连海事大学;2010年
7 段莉娟;网络中间件数据采集系统的研究与实现[D];电子科技大学;2010年
8 刘灿由;基于WCF的空间信息网络服务安全机制研究与实践[D];解放军信息工程大学;2010年
9 李正;计算机远程终端安全诊断关键技术研究[D];解放军信息工程大学;2010年
10 韩广;干涉仪快速测向算法的研究与实现[D];解放军信息工程大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 应建华;黄萌;赵江平;;一种基于RS485/RS422的多速收发器的设计[J];半导体技术;2007年12期
2 于瑞芷;刘露;周文安;;语音业务的业务健康度评价模型的研究[J];北京联合大学学报(自然科学版);2010年02期
3 徐海东,常倩,宋俊德;基于业务管理的监控策略[J];北京邮电大学学报;2003年03期
4 谷树忠;信号长线传输的干扰与抗干扰[J];电工技术杂志;2000年12期
5 曹正洪;沈继红;;基于模糊集理论的传感器健康度评价方法[J];电机与控制学报;2010年05期
6 孟军,李建强,张大鲲;应用聚簇索引的多连接查询优化方法[J];大连理工大学学报;2003年S1期
7 张璞;大型数据库应用系统中的数据库性能优化方法[J];电脑开发与应用;2004年11期
8 厉鹏;;数据库的查询优化[J];电脑知识与技术(学术交流);2007年16期
9 曾光;;基于IBM主机,实现银行系统解决方案[J];电脑知识与技术(学术交流);2007年20期
10 范洋;;CICS在银行联机事务处理中的研究[J];电脑知识与技术;2009年26期
中国博士学位论文全文数据库 前3条
1 侯昉;海量网络存储系统中的多级缓存技术研究[D];华南理工大学;2011年
2 黄进;基于SCSI实时高速数字视频直接存储技术的研究[D];中国科学院研究生院(长春光学精密机械与物理研究所);2005年
3 朱岩;基于闪存的星载高速大容量存储技术的研究[D];中国科学院研究生院(空间科学与应用研究中心);2006年
中国硕士学位论文全文数据库 前10条
1 毛远宏;面向SAN和NAS融合的安全方案研究[D];西安电子科技大学;2009年
2 储成群;基于LVDS接口的高速数据记录器的设计[D];中北大学;2011年
3 裴俊杰;基于FPGA的多路数据接收存储的设计与实现[D];中北大学;2011年
4 常璐;基于NAND FLASH阵列的数据存储技术研究[D];中北大学;2011年
5 苗帅;海量数据存储与全文检索[D];江苏科技大学;2011年
6 陈坚强;DB2数据库索引性能调整与优化[D];上海交通大学;2011年
7 黄建丹;中国银行业信息化研究[D];广西大学;2003年
8 高怡祯;基于闪存的星载大容量存储器的研制[D];中国科学院研究生院(空间科学与应用研究中心);2004年
9 吕琳;闪存盘结构分析及其扩展功能应用研究[D];大连海事大学;2004年
10 颜伟彬;CCD信号数据采集及处理[D];华中科技大学;2004年
【二级引证文献】
中国硕士学位论文全文数据库 前1条
1 唐丽华;基于z/OS的海量实时交易系统仿真及DB2性能优化研究[D];电子科技大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 庄大明,张弓,刘家浚;功能薄膜的研究现状与应用前景[J];中国表面工程;2001年04期
2 黄进,郭立红,李岩,韩广良,邢忠宝;LVDS接口终端匹配技术研究[J];电光与控制;2005年01期
3 张健,吴晓冰;LVDS技术原理和设计简介[J];电子技术应用;2000年05期
4 胡劲草,陈金树;RAID存储设备的发展及其应用[J];电子技术应用;2000年11期
5 谭博钊,徐元军,单涛,陶然;PCI总线接口技术及其在高速数据采集系统中的应用[J];电子技术应用;2002年01期
6 李学华 ,李秀梅 ,陈勇 ,陆坤;换体DMA高速数据采集电路的CPLD实现[J];电子技术应用;2002年08期
7 赵忠文 ,曾峦;一种专用高速硬盘存储设备的设计与实现[J];电子技术应用;2002年08期
8 姜凤山 ,雷宏;一种基于FAS466的合成孔径雷达高速数据记录器的设计[J];电子技术应用;2004年05期
9 毕毅,卢刚,王敬儒;动态数字视频实时记录[J];光电工程;2000年03期
10 任国强,吴钦章,姜凌涛,蒋平;基于高速总线的实时图象采集和存储[J];光电工程;2001年02期
中国博士学位论文全文数据库 前1条
1 黄进;基于SCSI实时高速数字视频直接存储技术的研究[D];中国科学院研究生院(长春光学精密机械与物理研究所);2005年
【相似文献】
中国期刊全文数据库 前10条
1 张晓辉,张晓冬;硬盘技术及其应用[J];西部广播电视;2001年03期
2 黄志军;;磁盘阵列技术在图书馆的应用[J];内蒙古科技与经济;2007年09期
3 张静;;RAID技术工作原理分析及实现[J];科技信息(学术研究);2008年32期
4 江涛;磁盘阵列技术在数字图书馆中的应用[J];晋图学刊;2003年06期
5 ;组建个人Raid方案——Maxtor DiamondMAX PLUS 9 120G SATA硬盘小测[J];电子与电脑;2004年10期
6 黄学强,黄忻,林炳德;低成本实现自动播出系统服务器的备份[J];西部广播电视;2002年10期
7 张子强;浅谈RAID技术与硬盘存储技术的发展[J];中国有线电视;2003年05期
8 阿威;Chinaren遭遇Raid[J];互联网周刊;2001年03期
9 黄晨;信息革命带来存储时代[J];情报杂志;2002年08期
10 刘宇;磁盘阵列技术在图书馆的应用[J];高校图书馆工作;2001年02期
中国重要会议论文全文数据库 前10条
1 刘光明;张超;邹丹;;自修复磁盘阵列技术研究[A];第15届全国信息存储技术学术会议论文集[C];2008年
2 罗朝鹏;宿绍莹;张月;陈曾平;;基于FPGA的脱机RAID0控制器的设计与实现[A];全国第一届信号处理学术会议暨中国高科技产业化研究会信号处理分会筹备工作委员会第三次工作会议专刊[C];2007年
3 徐伟;王敏;孟晓烜;卜庆忠;许鲁;;使用备份加速RAID5数据重构[A];第15届全国信息存储技术学术会议论文集[C];2008年
4 潘红;何冶兰;;RAID几种工作模式的探讨[A];湖北省通信学会、武汉通信学会2009年学术年会论文集[C];2009年
5 刘军平;周可;雷栋梁;庞丽萍;;基于随机理论的RAID可靠性仿真方法[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
6 周自宽;王万玉;王兰;;基于磁盘阵列(RAID)的遥感数据记录系统[A];中国空间科学学会空间探测专业委员会第十一次学术会议论文集[C];1998年
7 李少虎;尹建军;;RAID可靠度分析与计算[A];2001年度广播电视技术论文集[C];2001年
8 甄保社;;大容量硬盘应用技术探讨[A];中华医学会第十次全国医学信息学术会议论文汇编[C];2004年
9 贾京蓉;李迅;祝志超;;北京有线电视台硬盘数字播出系统[A];中国电影电视技术学会影视科技论文集[C];2002年
10 张振亚;;自动控制系统中的冗余技术[A];企业应用集成系统与技术学术研究会论文集[C];2006年
中国重要报纸全文数据库 前10条
1 史文;与高速硬盘共舞[N];中国计算机报;2002年
2 钱可栋;固态硬盘成长之难[N];中国电脑教育报;2008年
3 LSI公司高级技术工程师 宋成勇;新SAS产品增强安全与性能[N];网络世界;2010年
4 ;双硬盘的安装[N];电脑报;2001年
5 重庆 Zor4tul;成本VS性能[N];电脑报;2004年
6 王志军;菜鸟必备[N];中国电脑教育报;2004年
7 ;硬盘类[N];中国计算机报;2003年
8 本报记者 郭涛;固态硬盘:“零”的突破[N];中国计算机报;2009年
9 福建 王寒晖;让硬盘比翼双飞[N];中国电脑教育报;2001年
10 林茂全;巧修硬盘[N];中国电脑教育报;2002年
中国博士学位论文全文数据库 前10条
1 刘晓光;二级网络条纹数据布局及其相关问题的研究[D];南开大学;2002年
2 刘艳;进化存储系统中的逻辑和物理进化研究[D];华中科技大学;2006年
3 金超;容错存储系统的结构优化技术研究[D];华中科技大学;2011年
4 王志坤;树结构磁盘阵列组织策略及关键技术研究[D];华中科技大学;2010年
5 刘春;硬盘读写通道若干关键技术的研究与仿真[D];华中科技大学;2007年
6 罗睿;遥感图像信息系统的设计与分析[D];解放军信息工程大学;2001年
7 刘卫平;网络存储中的数据容错与容灾技术研究[D];西北工业大学;2006年
8 毛波;盘阵列的数据布局技术研究[D];华中科技大学;2010年
9 邓振杰;提高海量磁记录系统性能的方法研究[D];河北工业大学;2010年
10 王庆东;硬盘读写通道伺服信号检测关键技术研究[D];华中科技大学;2007年
中国硕士学位论文全文数据库 前10条
1 邵林;高速海量数据存储技术研究[D];国防科学技术大学;2007年
2 周俊峰;基于PCI Express总线数据采集记录系统硬件设计[D];电子科技大学;2009年
3 张健;非线性编辑网络的研究与实现[D];华东交通大学;2009年
4 彭刚;基于补偿的时钟磁道闭环写入与伺服校验研究[D];华中科技大学;2007年
5 陈曙东;USB移动硬盘驱动系统设计与开发[D];西南交通大学;2002年
6 吴学鹏;硬盘振动失效分析及隔振优化设计[D];华中科技大学;2004年
7 张喜;海量数据存储模式的研究[D];广东工业大学;2012年
8 葛杰;磁盘阵列技术的性能与应用研究[D];南京理工大学;2006年
9 宋戈;RAID后台一致性初始化技术的研究与实现[D];重庆大学;2010年
10 陈剑锐;基于Hadoop海量数据存储仿真平台的研究与设计[D];华南理工大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026