收藏本站
《中南大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

实时数据库中历史数据压缩算法的研究

文水英  
【摘要】: 实时数据库是实时系统技术和数据库技术相结合的产物,具有高实时性、高数据吞吐量等特点,在自动控制领域得到了广泛的应用。当前,国内外主流实时数据库产品一般都提供了历史数据存储功能,能较长时间地保存,备份现场的过程数据。但由于控制现场的采集点多,采集时间周期短,因而要保存的历史数据量非常大。如果将这些数据直接存储,不仅会占用大量的系统存储空间,而且会降低数据的实时性,使数据的传输、查询变得困难。 如何在保持数据库高实时性的同时,尽可能地提高数据库的容量?我们可以从数据结构、索引组织方式以及高效的数据压缩方法这些方面来考虑。目前,实时数据库中采用的数据压缩技术主要有三类,无损压缩、有损压缩和二级压缩。无损压缩一般以通用压缩理论为基础,使用哈夫曼算法等经典的压缩算法;而有损算法则更多地考虑了工业实时数据的特征,采取一些特殊舍点算法;二级压缩技术则是同时利用了这两种数据压缩技术。 本文根据智能楼宇管理系统中的数据结构特点设计了一个基于B树索引的历史数据文件系统,并提出一种高效的二级数据压缩方案。接着从通用无损数据压缩方法和数值有损压缩方法两方面深入研究各种算法,在旋转门算法基础上改用均方差作为偏差比较参数,以提高数据还原精度,减少测量噪声对数据压缩的影响,将其应用于模拟数据的一次数据压缩;对无损压缩方法中综合性能比较好的LZW算法进行字典存储方法和对数据存储长度进行动态编码两方面的改进后,使其更加适应于实时数据压缩,应用于历史数据的二次压缩模块中,同时结合质量码和时间标签的特点应用了高效的RLE算法。 最后在总结本文完成工作的基础上,指出了历史数据库模型及其压缩算法可以改进的地方和进一步完善的途径。
【学位授予单位】:中南大学
【学位级别】:硕士
【学位授予年份】:2008
【分类号】:TP311.13

【引证文献】
中国期刊全文数据库 前2条
1 杨永军;徐江;舒逸;许帅;;实时数据库中历史数据无损压缩算法的研究[J];计算机与现代化;2012年06期
2 张鹏林;李新战;陈江平;;物联网节点监视信息的精简与分析技术[J];武汉大学学报(信息科学版);2011年11期
中国硕士学位论文全文数据库 前10条
1 陶宇翔;多通道数据采集系统数据压缩算法的研究与实现[D];电子科技大学;2011年
2 熊道辉;基于Qt的SCADA系统数据服务器软件设计[D];西南交通大学;2011年
3 朱宏涛;电网数据采集系统建模与数据压缩品质影响的研究[D];哈尔滨工业大学;2010年
4 田川;数据库压缩技术研究及在大坝商务系统的应用[D];大连理工大学;2011年
5 曲奕霖;流程工业历史数据的压缩策略与压缩方法研究[D];浙江大学;2010年
6 池济;铁路防灾安全系统数据管理及客户端原型工具的设计[D];北京交通大学;2010年
7 胥峰;SCADA系统中的压缩算法的研究[D];西南交通大学;2012年
8 孙克成;工业历史数据库数据压缩算法研究[D];西安电子科技大学;2011年
9 林悦娜;生产实时监控系统在沙角A电厂的整合应用[D];华南理工大学;2012年
10 赵宇飞;多模式自适应LZW算法在WAMS中的应用研究[D];华北电力大学;2012年
【参考文献】
中国期刊全文数据库 前10条
1 刘浩,万昆;基于动态链接库DLL的实时数据库系统研究与开发[J];东北电力学院学报;2005年01期
2 金安,姚建刚,姚文峰;基于iH实时数据库平台的火电厂SIS建设[J];电力自动化设备;2005年02期
3 白慧慧,丁晓明,张韬;一种基于上下文的树形加权概率统计算法[J];电声技术;2004年02期
4 徐长斌;吕子平;;动态交通路况信息的高效存取方案[J];公路交通科技(应用技术版);2007年10期
5 彭春华,林中达;PI实时数据库及其在电厂SIS系统中的应用[J];工业控制计算机;2003年06期
6 毕小龙,王雷,洪军,崔彦峰,司风琪,徐治皋;基于InSQL的SIS系统数据平台及其应用[J];工业控制计算机;2005年10期
7 张景涛,王华,王宏安;实时数据的存取与压缩[J];化工自动化及仪表;2003年03期
8 赵众,顾幸生,蒋慰孙;基于正交小波变换的化工生产过程数据分析[J];华东理工大学学报;1998年02期
9 刘云生,卢炎生,王道忠;实时数据库系统(RTDBS)及其特征[J];华中理工大学学报(社会科学版);1994年06期
10 邹嵘 ,何星 ,李根蔚;分段线性趋势数据压缩算法在电力调度系统中的应用[J];测控技术;2003年04期
中国硕士学位论文全文数据库 前1条
1 傅慧灵;地图数字化中矢量数据压缩算法研究[D];太原理工大学;2005年
【共引文献】
中国期刊全文数据库 前10条
1 马战宝;孙书咏;付永平;;基于RS232-RS422/485通信接口的远程称重数据采集方法的研究[J];安康师专学报;2006年04期
2 王宝库;;基于PLC和组态软件的汽车安全性能检测系统[J];办公自动化;2010年24期
3 谭晓莲;王宇;白晓实;;包钢矿浆及供水管道系统管控一体化的实现[J];包钢科技;2011年05期
4 马婧;马茜;;基于数据采集卡和组态软件的PLC控制系统仿真[J];兵工自动化;2008年07期
5 赵亚星;栾军英;邓士杰;李永华;;LZW算法解析及在定点DSP上的应用[J];兵工自动化;2008年12期
6 张惠生;MCGS在中小型自动化立体仓库监控系统中的应用研究[J];北京建筑工程学院学报;2004年04期
7 王国强;;通过工控组态软件实现高压变频器监控系统的设计与应用[J];变频器世界;2008年03期
8 王国强;赵晓顺;;基于MCGS组态软件的人机界面在高压变频器监控系统中的应用[J];变频器世界;2009年05期
9 张智杰,李莹;数据采集卡及在组态软件环境中的应用[J];北京工商大学学报(自然科学版);2002年01期
10 刘美莲;熊光洁;吴雪;;组态技术在立体车库监控系统中的应用[J];北京工商大学学报(自然科学版);2009年04期
中国重要会议论文全文数据库 前10条
1 王海强;袁明;孙雪军;;焦炉四大车可视化编程技术[A];2011年河北省炼铁技术暨学术年会论文集[C];2011年
2 刘载文;段长明;许继平;;分布式测控网络系统的多线程技术实现方法[A];第二十六届中国控制会议论文集[C];2007年
3 张烈平;敖茂尧;张云生;;基于ASP.NET和OPC技术的远程监控系统的研究与实现[A];第二十六届中国控制会议论文集[C];2007年
4 谭吉学;曹文利;;矢量数据压缩方法研究[A];第二届“测绘科学前沿技术论坛”论文精选[C];2010年
5 黄跃峰;钟耳顺;郭会;;曲线矢量快速压缩方法[A];中国测绘学会九届四次理事会暨2008年学术年会论文集[C];2008年
6 刘玮琳;;基于Profibus总线的轧钢厂水处理自动控制系统[A];2009(重庆)中西部第二届有色金属工业发展论坛论文集[C];2009年
7 胡鹏;;浅谈安全网闸在PI系统中的应用[A];经济发展方式转变与自主创新——第十二届中国科学技术协会年会(第四卷)[C];2010年
8 翟艳东;于明;刘肃;;销售员培训管理系统设计与实现[A];2007年河北省电子学会、河北省计算机学会、河北省自动化学会、河北省人工智能学会、河北省计算机辅助设计研究会、河北省软件行业协会联合学术年会论文集[C];2007年
9 李伟;;系统集成在智能大厦中的应用研究[A];2007年河北省电子学会、河北省计算机学会、河北省自动化学会、河北省人工智能学会、河北省计算机辅助设计研究会、河北省软件行业协会联合学术年会论文集[C];2007年
10 李海波;常鲜戎;孙袆;张文静;;实时数据库技术在DTS中的应用[A];2007年河北省电子学会、河北省计算机学会、河北省自动化学会、河北省人工智能学会、河北省计算机辅助设计研究会、河北省软件行业协会联合学术年会论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 陆军;基于组合学的数据编码方法研究[D];哈尔滨工程大学;2010年
2 吴长伟;森林监护移动GIS及火灾扑救设备调度关键技术研究[D];东北林业大学;2011年
3 包欢;大型建筑物实时形变监测系统理论及应用研究[D];解放军信息工程大学;2009年
4 杜金榜;基于语音编码的旋转机械振动数据压缩关键技术与系统研究[D];国防科学技术大学;2011年
5 童若飞;空间结构模态识别与实测方法研究[D];浙江大学;2011年
6 张翔;绞吸式挖泥船疏浚作业过程的建模与仿真[D];武汉理工大学;2002年
7 虞邦义;河工模型相似理论和自动测控技术的研究及其应用[D];河海大学;2003年
8 张社荣;面板堆石坝安全监测关联管理系统研究[D];天津大学;2004年
9 郭明;基于数据驱动的流程工业性能监控与故障诊断研究[D];浙江大学;2004年
10 蒋鹏;小波理论在信号去噪和数据压缩中的应用研究[D];浙江大学;2004年
中国硕士学位论文全文数据库 前10条
1 李斌;基于组态技术和VVVF的驱动控制的连铸机监控系统的研究[D];安徽工程大学;2010年
2 宋洪俊;基于OPC的实时数据库接口设计与实现[D];山东科技大学;2010年
3 马秋环;太阳能辅助热泵多功能复合机的电气化改进及其控制[D];山东科技大学;2010年
4 房传礼;基于RS485总线的污水处理自动监控系统的研究[D];郑州大学;2010年
5 刘巧红;柔性制造系统实时监控系统的设计与实现[D];郑州大学;2010年
6 施国英;客运索道运行与安全智能监测系统的设计[D];山东农业大学;2010年
7 白伟岐;船载海洋环境信息采集与处理系统的研究与设计[D];哈尔滨工程大学;2010年
8 孙宏敏;基于OPC技术的柴油机网络化测控系统研究[D];哈尔滨工程大学;2010年
9 李晓慧;魔力平台中工作流异常处理的研究与实现[D];哈尔滨工程大学;2010年
10 高春旭;长途客车监控调度系统的设计与实现[D];哈尔滨工程大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 王泉,齐春,罗新民,梁嵩;LZW压缩算法的改进及其参数优化分析[J];重庆邮电学院学报(自然科学版);2005年03期
2 张泽宇;潘和平;马火林;;用Matlab实现跨平台多数据库系统查询[J];长江大学学报(自然科学版)理工卷;2009年04期
3 程学萍;乔喜旺;;统计过程控制技术应用及应注意的几个问题[J];柴油机设计与制造;2008年01期
4 胡益胜;张明;;广域测量系统在电力系统中的应用[J];电工技术;2007年05期
5 万怡敏,金伟韧;珠海电厂厂级监控信息系统的建设[J];电力设备;2005年09期
6 崔沅,程林,孙元章,黎雄,彭疆南,钟志安,张剑云;电力系统实时决策系统中的实时通信[J];电力系统自动化;2002年08期
7 侯子良;再论火电厂厂级监控信息系统[J];电力系统自动化;2002年15期
8 李晓明,高军,杨光糯,张红乐,刘志刚;异构电力信息系统柔性动态报表的设计与实现[J];电力系统自动化;2003年24期
9 王成山,王继东;基于能量阈值和自适应算术编码的数据压缩方法[J];电力系统自动化;2004年24期
10 季坤,王克英,蔡泽祥;广域测量系统中PMU的通信方案[J];电力系统自动化;2005年03期
中国重要会议论文全文数据库 前1条
1 张洪宇;刘志明;;客运专线综合安全防灾监控系统的研究[A];铁道科学技术新进展——铁道科学研究院五十五周年论文集[C];2005年
中国博士学位论文全文数据库 前3条
1 杨贵玉;电力系统“广域同步相量测量”中几个关键问题的研究[D];浙江大学;2005年
2 沙智明;电力系统广域实时同步相量测量系统研究[D];华北电力大学(河北);2006年
3 毕研秋;电力系统数据压缩的算法研究及通信网络仿真[D];山东大学;2007年
中国硕士学位论文全文数据库 前10条
1 黄明明;半监督学习方法研究及在警用平台中的应用[D];大连理工大学;2010年
2 于治国;电厂厂级监控信息系统的设计与实现[D];山东大学;2011年
3 熊道辉;基于Qt的SCADA系统数据服务器软件设计[D];西南交通大学;2011年
4 黄单舸;配电自动化SCADA软件支持系统的研究和开发[D];中国农业大学;2000年
5 兰洋;故障录波文件的数据压缩研究[D];四川大学;2002年
6 郑小宁;基于因特网的远程控制技术研究[D];西北工业大学;2002年
7 王英涛;广域测量系统及其应用[D];中国电力科学研究院;2003年
8 江勇;流程工业历史数据库的研究[D];浙江大学;2005年
9 周超;发电企业实时数据库管理系统的研究与实现[D];华北电力大学(北京);2005年
10 金安;基于iH实时数据库平台的火电厂SIS的研究与开发[D];湖南大学;2005年
【二级引证文献】
中国期刊全文数据库 前3条
1 王栋;徐世许;刘世奎;李玉兰;;企业信息网与工业控制网的集成技术[J];工矿自动化;2011年08期
2 杨超颖;;电能质量数据压缩算法研究[J];四川电力技术;2012年01期
3 杨成月;李清泉;刘建明;;使用双基站无线传感器网络进行电网连续灾害追踪与预警研究[J];武汉大学学报(信息科学版);2013年03期
中国重要会议论文全文数据库 前1条
1 王时胜;李昌;刘祥印;欧阳伟;沈力军;徐贞华;;基于CAN总线的配电网故障选线数据采集机的设计[A];中国计量协会冶金分会2011年会论文集[C];2011年
中国硕士学位论文全文数据库 前3条
1 胥峰;SCADA系统中的压缩算法的研究[D];西南交通大学;2012年
2 罗世荣;基于Web的SCADA系统数据分析平台研究与设计[D];西南交通大学;2012年
3 李娜;基于SPC的第三方物流企业配送时效控制研究[D];中南大学;2012年
【二级参考文献】
中国期刊全文数据库 前10条
1 李军;小波理论及其在摄影测量与遥感中的应用[J];测绘通报;1995年04期
2 杨得志,王杰臣,闾国年;矢量数据压缩的Douglas-Peucker算法的实现与改进[J];测绘通报;2002年07期
3 安敏,张永强;等高线数据压缩算法的分析与应用[J];测绘通报;1994年06期
4 朱长青,王倩,杨晓梅;基于多进制小波的SPOT全色影像和多光谱遥感影像融合[J];测绘学报;2000年02期
5 黄培之;具有预测功能的曲线矢量数据压缩方法[J];测绘学报;1995年04期
6 夏南;厂级监控信息系统基本配置概述[J];电力学报;2003年03期
7 李冠宇,谢益武;论目前国内数据库结构设计的问题及出路[J];大连海事大学学报;1996年03期
8 张晓玲;黄树红;张燕平;王磊;;火电厂SIS及单元机组优化运行技术在其中的应用[J];电力设备;2003年05期
9 江浩,徐治皋,高正平,徐莹;火电厂实时系统数据通道的设计与实现[J];电力系统自动化;2002年02期
10 侯子良;再论火电厂厂级监控信息系统[J];电力系统自动化;2002年15期
【相似文献】
中国期刊全文数据库 前10条
1 王文延;赵中华;朱磊;;一种JPEG无损压缩专利算法的改进与实现[J];电视技术;2010年05期
2 王瑞荣;何峰;丁颖;金朝阳;王建中;薛安克;Peter TC SO;;多焦点多光子显微成像经典数据压缩应用研究[J];杭州电子科技大学学报;2010年04期
3 朱小川;;数字信息压缩编码常见算法[J];中国科技信息;2006年06期
4 陈柘;段宗涛;陈玲;孙朝云;;高分辨率航空图像压缩系统设计[J];计算机工程与设计;2011年08期
5 王智文;多媒体图像压缩技术[J];鸡西大学学报;2005年01期
6 邓江华;熊小红;;基于等腰直角三角形的二值图像压缩算法研究[J];黄冈师范学院学报;2007年06期
7 王文延;何妮;吴沛宏;;一种JPEG无损压缩算法的仿真与实现[J];计算机仿真;2010年05期
8 戴振喜;;加密式单项数据压缩法[J];大众科技;2010年04期
9 张俊兰;冯伍;叶倩;;浅析图像压缩技术[J];延安大学学报(自然科学版);2007年04期
10 秦旭;数字压缩技术原理及发展[J];现代电视技术;1999年02期
中国重要会议论文全文数据库 前10条
1 李骏;陆欢寰;周皓峰;王智慧;汪卫;施伯乐;;基于Contour Cube的有界近似压缩算法[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
2 胡志华;熊小鸿;牛冀平;;基于矩形区域的二值图像结构与像素混合压缩算法研究[A];第一届中国智能计算大会论文集[C];2007年
3 许志高;沈明玉;;流程工业CIMS架构及实时数据库技术探讨[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
4 黄晓阳;王博亮;黄荔丽;吴志坚;鞠颖;;一种改进的行程编码及其在CT图像中的应用[A];第十四届全国图象图形学学术会议论文集[C];2008年
5 后小亮;刘奇志;高先锋;檀宝权;;大量多态数据流的综合压缩算法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
6 王立华;蓝天飞;;使用压缩算法实现雷达原始资料共享的技术方法[A];2004年湖北省气象学会年会学术论文详细摘要集[C];2004年
7 丁超;元昌安;李桂来;覃晓;彭昱忠;;基于GEP的多数据流的压缩算法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
8 魏美勇;张国良;;视频共享服务应用技术研究[A];信息时代——科技情报研究学术论文集(第三辑)[C];2008年
9 黄孜祺;廖宏;卿旭;吴彩荣;;一种以二值图像格式保存多种纯色信息的压缩算法[A];广西计算机学会2009年年会论文集[C];2009年
10 陈长清;刘晓锋;刘云生;裴小兵;周恒;;容忍入侵实时数据库系统的体系结构[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
中国重要报纸全文数据库 前10条
1 孙明;抚油二厂启用实时数据库系统[N];中国化工报;2003年
2 湖南 古铜;无损压缩CD之APE[N];电脑报;2003年
3 李东生;ZIP文件和JPG文件[N];新闻出版报;2000年
4 鸣人;保存JPEG的两个秘密[N];中国摄影报;2010年
5 魏俊岭;细说文件压缩[N];电脑报;2002年
6 丁之;数码相机小知识[N];中国测绘报;2007年
7 赵俊鹏;HD Photo挑战JPEG[N];计算机世界;2007年
8 本报记者 王磊;匆忙中,生活有否“有损压缩”?[N];文汇报;2010年
9 特约撰稿人 姜敏;开启美丽新世界(F01版)[N];电脑报;2001年
10 周一兵;燕化建设ERP提升管理水平[N];中国石化报;2005年
中国博士学位论文全文数据库 前10条
1 任学军;基于熵降变换的无线传感网感知数据无损压缩算法研究[D];西北大学;2011年
2 黄博强;基于Context模型和矢量—标量量化器的ECG信号压缩[D];复旦大学;2010年
3 常为领;面向灾备的无损数据压缩关键技术研究[D];哈尔滨工业大学;2010年
4 王喜珍;小波变换在地震数据压缩和震相到时拾取中的应用研究[D];中国地震局地球物理研究所;2004年
5 毕研秋;电力系统数据压缩的算法研究及通信网络仿真[D];山东大学;2007年
6 苏令华;高光谱图像压缩技术研究[D];国防科学技术大学;2007年
7 李剑军;实时数据库系统节能降负策略研究[D];华中科技大学;2012年
8 李恒建;掌纹图像压缩加密及其安全认证研究[D];西南交通大学;2010年
9 马静;干涉高光谱图像高效压缩技术研究[D];西安电子科技大学;2009年
10 解伟;小波图像压缩技术在数字电影中的应用研究[D];北京邮电大学;2007年
中国硕士学位论文全文数据库 前10条
1 文水英;实时数据库中历史数据压缩算法的研究[D];中南大学;2008年
2 籍俊伟;无损图像压缩技术的研究与应用[D];北京化工大学;2004年
3 夏萍;数据压缩技术的研究[D];中北大学;2010年
4 徐慧;实时数据库中数据压缩算法的研究[D];浙江大学;2006年
5 周成兵;医学图像数据压缩方法研究[D];江苏大学;2005年
6 秦书平;一种新的基于模板的医疗影像压缩方法的研究[D];山东科技大学;2004年
7 陈鑫铎;实时历史数据库架构和实时数据压缩算法的设计与实现[D];电子科技大学;2008年
8 张丽丽;基于PI实时数据库的电厂故障诊断系统研究[D];华北电力大学(河北);2007年
9 王浩;遥测噪声数据实时无损压缩设备的研制[D];中北大学;2009年
10 潜陈懿;矢量地图格式中数据压缩技术的研究与实现[D];浙江工商大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026