收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

时序数据的高效存储与检索

韩骅宇  
【摘要】:时序数据被广泛应用于生产生活中的众多领域,由于时序数据具有时间累积特性,因而,其数据量通常十分庞大。而现有的存储方法在空间利用、查询速度上存在不足,因此,时序数据的高效存储与检索成为一个重要的课题。 时序数据具有时间性、局部性、累积性、不可预测性等数据特征,本文的研究目标即针对上述特征,设计实现一种编码压缩算法,在保证数据准确性和完整性的情况下,对时序数据进行无损压缩,尽可能地减少数据冗余,提高存储空间利用率,同时保证数据检索效率,并最终将该算法应用到时序数据处理系统当中。 本文设计实现了适于时序数据特征的行列存储结构。该结构针对时序数据不同阶段的应用需求,将行存储与列存储进行有机结合,为不同数据操作提供合适的数据结构。 本文提出并实现了针对整型时序数据的TSDAC算法。该算法通过直接取址编码,实现了整型数据的变长高效编码压缩和直接访问。此外,TSDAC算法还通过相异数存储策略有效减少连续冗余数据的存储;通过LGAP压缩算法,以差值代替原数据进行存储,有效减少数据存储所需的空间;通过限制层数的动态规划提高数据的随机访问效率;通过连续数据查询算法,提高数据的连续读取效率。 本文提出并实现了针对浮点型时序数据的FTSDAC算法。该算法通过浮点数小数点的移位操作,将浮点型数据转换为整型数据,并结合TSDAC算法以整数形式实施编码压缩,从而实现了浮点数的高效无损压缩存储和快速查询。 实验结果表明,TSDAC算法和FTSDAC算法可以有效地实现时序数据的高效存储与检索,其压缩率和检索速度等性能显著优于DAC算法及Bzip2算法。 本文还设计实现了时序数据高效存储与检索系统,通过实现分治存储、分层存储等存储策略,从系统结构层面提高了时序数据的压缩效果和检索速度。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 郑斌祥,杜秀华,席裕庚;时序数据相似性挖掘算法研究[J];信息与控制;2002年03期
2 王小宜,卢正鼎,凌贺飞;一个基于小波的时序数据异常探测新算法[J];计算机工程与科学;2005年06期
3 钟清流;蔡自兴;;基于统计特征的时序数据符号化算法[J];计算机学报;2008年10期
4 段立娟;高文;王伟强;;时序数据库中相似序列的挖掘[J];计算机科学;2000年05期
5 陈涛,王丽珍;基于时序数据的空间面向属性归纳算法[J];云南大学学报(自然科学版);2004年05期
6 关云鸿;杨静;;高维时序数据的相似搜索[J];贵州大学学报(自然科学版);2006年01期
7 程文聪;邹鹏;贾焰;;基于小波概要的区间差分skyline研究[J];计算机科学;2010年11期
8 孙颂恩;施润身;;时序数据中弱限制周期模式的挖掘[J];计算机辅助工程;2005年04期
9 孙忠林;;时序数据集成的同步机制研究[J];计算机应用与软件;2010年02期
10 蔡庆生;王靖;高俊波;陆勤;;基于时序数据的模式发现算法研究[J];模式识别与人工智能;2001年01期
11 曾红月,姚敏;时序数据挖掘方法研究[J];计算机工程与设计;2004年11期
12 王良武;;基于时序数据和序列数据的挖掘及在矿山的应用前景[J];矿业快报;2006年07期
13 黄建设;;基于时序数据库的转移规则挖掘算法研究[J];计算机仿真;2008年06期
14 喻伟,陈国青;基于时序数据的延迟关联规则的挖掘[J];计算机应用研究;2002年12期
15 钟清流;蔡自兴;陈明权;杨先芬;;时序数据的动态有界符号化方法[J];控制与决策;2008年10期
16 黄河;熊范纶;杭小树;黄轲;;时序数据库中快速相似搜索的算法研究[J];模式识别与人工智能;2003年02期
17 刘昆;李颖芳;李红林;;一种时序数据间断频繁项挖掘算法[J];科技视界;2013年06期
18 高俊波,陆勤,蔡庆生,高仲明;基于时序数据的模式发现算法研究[J];计算机工程;2000年08期
19 王大治,李曼,王嘉许;从时序数据库中挖掘频繁部分周期模式的高效算法[J];许昌学院学报;2003年02期
20 周家杰;余丹;马世龙;陈丽萍;;面向航天器测试的时序数据模式表示方法研究[J];计算机应用研究;2011年01期
中国重要会议论文全文数据库 前2条
1 罗雄飞;王宏安;田丰;戴国忠;滕东兴;;FisheyeLines:一种时序数据的可视化技术[A];第四届和谐人机环境联合学术会议论文集[C];2008年
2 陈懿冰;张玲玲;石勇;;基于改进的支持向量回归机的金融时序预测[A];第六届(2011)中国管理学年会论文摘要集[C];2011年
中国博士学位论文全文数据库 前1条
1 程文聪;面向大规模网络安全态势分析的时序数据挖掘关键技术研究[D];国防科学技术大学;2010年
中国硕士学位论文全文数据库 前9条
1 韩骅宇;时序数据的高效存储与检索[D];北京交通大学;2014年
2 周强;时序数据挖掘在经济领域中的应用研究[D];合肥工业大学;2005年
3 花珊;面向时序数据流的分布式缓存系统设计与实现[D];中山大学;2014年
4 周到;基于Microarray时序表达数据识别周期表达基因[D];华中科技大学;2007年
5 张元;基于智能决策支持的时序数据挖掘系统的研究[D];华北工学院;2004年
6 赵国庆;基因表达时序数据聚类和比对分析方法研究[D];苏州大学;2011年
7 姚世杰;基于流形学习的高维时序数据状态估计算法的研究与实现[D];武汉科技大学;2014年
8 刘惠峰;基于时序NDVI的疏勒河流域植被覆盖分类研究[D];兰州大学;2014年
9 王惠君;基于模糊理论的时间序列预测模型研究[D];西北大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978