收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

流数据查询算法若干关键技术研究

李卫民  
【摘要】: 近年来,流数据在网络监控、传感器网络、航空航天、气象测控和金融服务等应用领域广泛出现。这些数据和传统的数据相比,有着不同的特点:数据量大、连续性、实时性。随机存取采用的是单一线性数据扫描,完整地将数据流存储到本地是不可行的,在线分析要求分析的过程非常快,且实时分析的系统资源是有限的。由于具有上述这些特点,处理流数据的算法必须是快速的,且其空间复杂度要低,最终的结果是近似的,但又需具备一定的精度。针对流数据的查询处理,本文做了如下研究: 1、提出把线性预测编码技术(Linear Prediction Coding,LPC)的频谱方法与动态时间弯曲(Dynamic Time Warping,DTW)方法结合起来,并将此新方法运用到流数据的相似性搜索。主要解决流数据相似性搜索的两个关键问题:用更少的特征值来获取流数据的关键特征和采用有效的距离度量方式。LPC频谱方法是从数据对象中提取有效特征的方法之一,与离散傅立叶变换(Discrete Fourier Transform,DFT)和离散小波变换(DiscreteWavelet Transform,DWT)方法相比,这种方法用更少的频谱系数来描述流数据的大部分能量和信息,具有较好的数据压缩能力。采用动态时间弯曲距离度量方法克服了欧几里德距离度量方法自身的缺陷。本文把LPC频谱方法与动态时间弯曲方法两者结合起来,提高了相似性查询的精度。 2、提出一种新颖的时间序列流的处理和描述方法:即中值省略方法。该方法通过区段聚集近似(Piecewise Aggregate Approximation,PAA)和中值省略二个步骤对时间序列流进行处理,达到数据省略描述的目的。首先按照PAA方法把原时间序列做适当的缩减,转换成PAA序列,然后运用中值省略方法把PAA序列按值域的中位值对时间序列进行简单的处理,通过序列的值与中位值进行比较转换成二进制序列。与没有进行处理过的数据和按均值省略处理的数据相比,本文提出的中值省略方法无论在时间、空间上,还是数据分析的质量上都有明显的提高。当流数据中存在野数据时,中值省略方法体现出更好的性能。 3、AR~*模型包括AR、ARMA、GRACH,这类模型是预测时间序列的经典模型。近年来研究人员把广义回归神经网络技术(Generalized RegressionNeural Network,GRNN)引入预测领域,并且表明它是替代线性和非线性模型较好的模型。本文把AR~*模型与广义回归神经网络技术结合起来,构造一个混合模型AR~*-GRNN,充分利用这两个模型在线性和非线性拟合的优点。在AR~*-GRNN中,对时间序列建立AR~*模型获取了时间序列的统计和易变性等特征信息,克服了单个模型在时间序列流上预测的弱点,改善了原模型的预测性能。实验证明,通过这两类模型的混合构造是一种有效提高预测性能的方法,能达到单个模型无法达到的效果。 4、提出一种新的降载框架——基于AR~*-GRNN的QoS降载管理框架研究。当大量高速到达的流数据出现时,系统过载情况会经常发生,查询处理必须考虑系统的负载情况,所以如何在资源有限的条件下,获得满意的查询结果是我们所面临的重要问题。本文提出了基于AR~*-GRNN的QoS降载管理框架,在这个框架中,使用了LPC技术来有效地提取流数据的特征值,当降载情况发生时,通过AR~*-GRNN模型,运用历史的特征值来预测已卸载部分的数据特征值,并运用QoS信息得出最佳的降载计划,从而完成过载环境下的数据分析工作。本文的相关实验证实了此方法的可行性和有效性。 本文研究了上述四个问题,提出了新的解决方法,通过一系列的实验将本文提出的方法与前人的研究方法进行分析比较,实验结果表明本文的方法占有优势,这也就说明了本文提出的方法是对现有流数据查询处理方法的有效的改进和补充。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 蒋嵘;基于形态表示的时间序列相似性搜索[J];计算机研究与发展;2000年05期
2 杨颖;陈德华;;基于小波神经网络的时间序列流数据的研究[J];计算机技术与发展;2006年06期
3 孙锋;;数据挖掘在给水管网安全中的应用[J];电脑知识与技术(学术交流);2006年32期
4 张涛;金顺福;刘国华;王丽珍;;相似时间子序列快速搜索的改进算法[J];计算机工程;2009年16期
5 梁建海;杜军;孙秀霞;李湘清;;一种复合高维时间序列相似性搜索方法[J];计算机工程;2006年10期
6 毛红保;张凤鸣;冯卉;张亮;;基于特征点转换的时间序列符号化方法[J];计算机工程;2008年12期
7 孙兵;刘雯;田地;宋桐;富妍;;基于时间序列的数据挖掘在证券中的应用[J];吉林大学学报(信息科学版);2010年03期
8 谷赫;;时间序列的数据挖掘在证券预测分析中的应用[J];现代情报;2008年09期
9 李俊奎;王元珍;李海波;左琼;;一种时间序列相似搜索中提前终止效率的估算方法[J];计算机科学;2009年01期
10 杜奕;李纪锋;;基于分段时间序列的试井数据相似性查询算法[J];上海第二工业大学学报;2008年02期
11 汤胤;;时间序列相似性分析方法研究[J];计算机工程与应用;2006年01期
12 李卫民;刘建伟;乐嘉锦;;一种新的基于AR* -GRNN的QoS降载管理框架[J];小型微型计算机系统;2011年03期
13 肖晶;黄国兴;赵若韵;黄豫蕾;;时间序列的快速相似性搜索改进算法[J];计算机科学;2003年09期
14 谭小野;数据挖掘在电网安全中的应用[J];东北电力技术;2005年08期
15 朱天;白似雪;;基于模式距离度量的时间序列相似性搜索[J];微计算机信息;2007年30期
16 张建业;潘泉;张鹏;梁建海;;基于斜率表示的时间序列相似性度量方法[J];模式识别与人工智能;2007年02期
17 梁建海;张建业;杨峰;潘泉;;基于斜率偏离的时间序列相似性搜索方法研究[J];计算机应用研究;2010年01期
18 刘世元,江浩;面向相似性搜索的时间序列表示方法述评[J];计算机工程与应用;2004年27期
19 郑诚;舒坚;;多尺度时间序列异常事件检测[J];计算机工程与应用;2006年31期
20 王阅;高学东;;基于重标级差分析的时间序列分割方法[J];计算机工程与应用;2008年29期
中国重要会议论文全文数据库 前10条
1 吴炎;杜栋;;改进BP神经网络及其对江苏省粮食产量的仿真预测[A];决策科学与评价——中国系统工程学会决策科学专业委员会第八届学术年会论文集[C];2009年
2 张玉峰;贾成刚;张文喜;;应用时间序列评估人工增雨效果[A];推进气象科技创新加快气象事业发展——中国气象学会2004年年会论文集(下册)[C];2004年
3 卓明;王丽珍;谭旭;;基于时间序列相似性搜索的预测算法[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
4 王永忠;曾昭磐;;混沌时间序列点预测方法研究[A];1999中国控制与决策学术年会论文集[C];1999年
5 王波;张斌;;一种基于云模型的时间序列特征表示方法[A];2005中国控制与决策学术年会论文集(下)[C];2005年
6 王有良;周文国;;基于时间序列的基坑水平变形预测模型[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年
7 王玉涛;程国辉;周建常;王师;;神经网络在高炉铁水硅含量预报中的应用[A];1998中国控制与决策学术年会论文集[C];1998年
8 许伦辉;傅惠;徐建闽;;基于分形维数的交通流预测模型及算法研究[A];2003年中国智能自动化会议论文集(下册)[C];2003年
9 胡坤;刘思峰;;时间序列灰色定权聚类模型[A];2004年中国管理科学学术会议论文集[C];2004年
10 蒋斌松;韩立军;贺永年;;时间序列Lyapunov指数的估算及预测[A];矿山建设工程新进展——2005全国矿山建设学术会议文集(下册)[C];2005年
中国博士学位论文全文数据库 前10条
1 李卫民;流数据查询算法若干关键技术研究[D];东华大学;2008年
2 杨正瓴;时间序列中的混沌判定、预报及其在电力系统中的应用[D];天津大学;2003年
3 张晓伟;水文动力系统自记忆特性及其应用研究[D];西安理工大学;2009年
4 倪丽萍;基于分形技术的金融数据分析方法研究[D];合肥工业大学;2010年
5 刘大同;基于Online SVR的在线时间序列预测方法及其应用研究[D];哈尔滨工业大学;2010年
6 张永林;车辆道路数值模拟与仿真研究[D];华中科技大学;2010年
7 崔亚强;沪深300股指内在复杂性分析及预测研究[D];天津大学;2010年
8 杨谈;网络混沌行为及其控制的研究[D];北京邮电大学;2009年
9 李星毅;基于相似性的交通流分析方法[D];北京交通大学;2010年
10 肖辉;时间序列的相似性查询与异常检测[D];复旦大学;2005年
中国硕士学位论文全文数据库 前10条
1 谷赫;时间序列的数据挖掘在证券预测分析中的应用研究[D];吉林大学;2005年
2 杨敏;水文时间序列相似性模型的研究与应用[D];河海大学;2002年
3 何永沛;时间序列数据挖掘在股市预测分析中的应用研究[D];重庆大学;2008年
4 宋桐;基于时间序列的数据挖掘在证券分析中的应用[D];吉林大学;2009年
5 郭小芳;时间序列数据挖掘中的若干问题研究[D];西北大学;2008年
6 李新萍;基于比特序列变化模式聚类的时间序列相似搜索[D];华中科技大学;2007年
7 张特来;基于时间序列的数据挖掘方法在电力负荷预测中的应用研究[D];辽宁工程技术大学;2006年
8 Ashraf Fetoh Eata;[D];厦门大学;2001年
9 王丽敏;两类模糊随机时间序列预测方法[D];河北大学;2001年
10 王琦;时间序列在油田效益审计中的应用[D];吉林大学;2009年
中国重要报纸全文数据库 前10条
1 ;《时间序列与金融数据分析》[N];中国信息报;2004年
2 东证期货 王爱华 杨卫东;两年涨跌轮回 秋季普遍下跌[N];期货日报;2009年
3 本报记者 刘松柏;“超级月球”引发地震不成立[N];经济日报;2011年
4 权证一级交易商 国信证券;正股走势及时间序列主导下半年权证市场运行结构[N];证券时报;2006年
5 房鹏;数码书信寄真情[N];中国电脑教育报;2005年
6 刘丽萍;时间序列季节调整描述经济活动的利器[N];中国信息报;2000年
7 西南证券高级研究员 董先安德圣基金研究中心 郭奔宇;预计6月CPI同比上涨7.2%[N];证券时报;2008年
8 国泰君安期货 吴泱 郑腾;基金持仓与期货价格关系的实证研究[N];期货日报;2008年
9 倪成群;人民币升值背景下中外金价和黄金投资收益关联性研究[N];期货日报;2008年
10 中期研究院 王璐 吕圳;重标极差法的期货品种收益波动性研究[N];期货日报;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978