收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

连续查询硬处理器及相关算法研究

钱江波  
【摘要】:数据流的高速性和无限性以及计算机资源的有限性使得提高数据处理的速度成为数据流管理系统的关键。目前已有的数据流管理原型系统都是从查询优化、系统调度等方面来提高速度,在高速数据流环境下都存在明显的不足。降载策略是解决高速数据流处理的一个方法,但也有局限性,如可用于聚集计算,但不能应用于连接操作。本文基于数据管理技术发展的前瞻性考虑,以高速数据流为处理对象,不局限于通过查询优化、系统调度等方法来提高数据流的处理速度,而是考虑采用一种全新的体系结构来加速数据处理。国内外尚没有这方面的研究报道,具有较高的创新性。本文内容涉及多个研究领域,除数据库技术外,还涉及具体的机器指令设计、硬处理器设计和编译技术等。本文的主要研究工作有以下几方面: 1.在深入研究国际上先进的数据流管理原型系统基础上,提出了一种适合数据流并发连接处理的方法M3Join。该方法充分考虑数据的“流”特性,体现数据驱动特点,以多线程并行和类似路由器的处理方式保证数据的高速处理,同时注重查询间和查询内的并行。M3Join可用于硬件实现,为更高速度地处理数据流提供了可能。实验结果表明,M3Join具有良好的性能,能够满足多流多窗口的并发连接查询的需要。 2.提出适合数据流连续查询处理的架构SeuStreams。在传统数据库中,由于需求是即时查询而不是连续查询,因此通常不考虑并发查询处理。一般处理原则是尽可能将选择、投影操作移向查询树的叶节点。而在连续查询中,由于存在大量并发查询,如果先执行选择将破坏对于连接结果的共享性,而恰恰此时的连接操作是最耗时的。本文深入研究了适合SeuStreams查询处理的三种可共享连接结果的策略:Shared PushDown、PullUp和Filtered PullUp。通过理论分析和实验证明,在数据流的连续查询处理中,PullUp策略性能较低,而Filtered PullUp和Shared PushDown策略各有优势。由于Filtered PullUp处理简单,消耗内存相对较少,因此一般情况下Filtered PullUp是适合SeuStreams的最佳方案。 3.为进一步提高系统处理的效率,我们也对并发连接查询的优化算法作了深入研究,提出数据流窗口连接的近似优化算法SQFGS。在并发查询条件下,一条查询的优化可能会牵涉到其它许多的查询,迫使它们的修正正在执行的查询计划。而查询计划的调整是非常复杂和耗资源的。我们提出的SQFGS优化策略简单易行,对一条查询的优化不会牵涉到其它查询,理论和实验证明其性能在可接受的范围内。SQFGS策略尤其适用于硬件处理的查询计划生成,当然,SQFGS策略也适合于查询更新频率很高的系统。 4.绝大多数连续查询处理算法是用软件实现的,我们提出了用硬件加速数据流连接处理的方法,极大地提高了处理的速度。为了处理不同的连接条件,我们设计并实现了用于数据流连接的处理器WJSP及其指令系统WJSI,并提出集成方法以提高WJSP的扩展性和并行性,同时也提高处理的速度。我们将WJSP与STREAM原型作了比较,结果显示WJSP比STREAM的速度提高20多倍,说明WJSP具有相当高的处理性能。WJSP可嵌入到路由器、交换机、传感器等设备中,提供高速的数据流连接处理。廉价且高性能的连接操作协处理器能够增强DSMS的处理能力,尤其是在类似网络监控等性能要求较高的领域。 本文的研究旨在拓展提高数据流处理速度的新方法,探索提高数据流管理系统性能的新路子,为许多重要的数据流处理领域提供更为先进、实用的解决方案,同时也为数据管理技术理论、方法的发展作出新贡献。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 郑伟;周喜超;马超;智勇;;支持分级服务的电能质量数据库查询处理模型[J];电力科学与工程;2010年11期
2 钱江波;徐宏炳;董逸生;刘学军;王永利;杨雪梅;;共享连接结果的连续查询处理[J];东南大学学报(自然科学版);2007年01期
3 刘学军;钱江波;;分布式数据流连接查询算法[J];计算机工程;2006年21期
4 王建涛;蔡淮;;数据流管理若干关键问题的研究[J];成都信息工程学院学报;2008年03期
5 钟颖莉;王伟平;杨丰;;数据流连续查询处理技术的研究[J];哈尔滨商业大学学报(自然科学版);2009年04期
6 钱江波;徐宏炳;董逸生;王永利;刘学军;杨雪梅;;基于最小生成树的数据流窗口连接优化算法[J];计算机研究与发展;2007年06期
7 王金栋;周良;张磊;丁秋林;;一类数据流连续查询的降载策略研究[J];武汉大学学报(工学版);2005年06期
8 任美睿;谢元贞;郭龙江;;数据流管理系统TelegraphCQ的研究[J];哈尔滨理工大学学报;2006年02期
9 王永利,徐宏炳,董逸生,钱江波,刘学军;配电自动化的数据流管理系统设计[J];电力系统自动化;2004年13期
10 王伟平;李建中;张冬冬;郭龙江;;基于滑动窗口的数据流连续J-A查询的处理方法[J];软件学报;2006年04期
11 冯卫兵;李战怀;;流系统的降载技术[J];计算机工程与应用;2008年06期
12 张炜;李建中;石胜飞;;一种预测性连续时空区域查询处理方法[J];计算机工程与应用;2006年29期
13 王金栋;周良;张磊;丁秋林;;基于分枝路径分析的连续查询降载算法[J];应用科学学报;2007年01期
14 王栩,李建中,王伟平;基于滑动窗口的数据流压缩技术及连续查询处理方法[J];计算机研究与发展;2004年10期
15 刘景春;数据流管理系统关键技术研究[J];佳木斯大学学报(自然科学版);2005年04期
16 周明中;龚俭;;数据流管理系统综述[J];计算机工程;2006年02期
17 司开君;毛宇光;;一种新的基于数据流的数据模型[J];计算机技术与发展;2007年01期
18 武珊珊;谷峪;吕雁飞;于戈;;一种数据流上截止期敏感的滑动窗口处理策略[J];计算机科学;2007年07期
19 宋燕伟;胡平;;数据流管理系统TelegraphCQ的研究与应用[J];计算机时代;2007年06期
20 赵宗敏;王洋;吴海涛;;数据流多连续查询优化技术[J];计算机应用;2009年S2期
中国重要会议论文全文数据库 前10条
1 廖巍;景宁;李军;吴秋云;;一种通用的可伸缩增量连续查询处理框架[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
2 潘晓;郝兴;孟小峰;;基于位置服务中的连续查询隐私保护研究[A];第26届中国数据库学术会议论文集(A辑)[C];2009年
3 陈红;王珊;;多阶段并行多查询处理框架[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
4 韩璐;王朝坤;邹鹏;徐亚军;;不确定图数据上的不确定查询处理[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
5 夏添;蔡文渊;徐林昊;钱卫宁;周水庚;周傲英;;P2P环境下的查询处理代价估算[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
6 熊蜀光;李建中;王宏志;高宏;;一种基于编码的图模型XML数据的存储与查询处理方法[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
7 王伟平;李建中;张冬冬;郭龙江;王栩;;一种数据流连续查询的并行处理技术[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
8 朱金清;王伟;周军锋;孟小峰;;基于相关性语义的高效XML Twig查询处理方法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
9 姚建中;孙建伶;姜忠鼎;董金祥;;OSCAR路径表达式的查询处理[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
10 肖刚;庄严;郑振楣;石树刚;;SamBase中的对象查询处理[A];数据库研究与进展95——第十三届全国数据库学术会议论文集[C];1995年
中国博士学位论文全文数据库 前10条
1 钱江波;连续查询硬处理器及相关算法研究[D];东南大学;2006年
2 宫学庆;基于Bloom Filter的路径表达式查询处理[D];复旦大学;2006年
3 闫莺;多数据类型的数据流查询处理及优化[D];复旦大学;2008年
4 洪亮;移动计算环境下的位置相关数据服务策略研究[D];华中科技大学;2009年
5 赵亮;面向位置服务的移动对象并发查询处理技术[D];国防科学技术大学;2010年
6 李瑞轩;异构信息集成中的查询处理与优化研究[D];华中科技大学;2004年
7 杨颖;分布式数据流查询处理若干关键技术的研究[D];东华大学;2006年
8 吴爱华;不一致数据的查询处理[D];复旦大学;2010年
9 陈良刚;移动计算环境中位置相关数据管理[D];复旦大学;2003年
10 刘喜平;XML文档搜索中的查询处理技术研究[D];江西财经大学;2010年
中国硕士学位论文全文数据库 前10条
1 马嘉;数据流管理原型系统的设计与实现[D];西南交通大学;2006年
2 宋卫东;数据流管理系统的研究与设计[D];南京航空航天大学;2005年
3 张立杰;数据流中适应性查询处理机制的研究[D];辽宁大学;2006年
4 刘琴;基于kalman滤波器的数据流查询优化的研究[D];东南大学;2006年
5 张晋;传感器网络的数据管理的研究[D];哈尔滨工程大学;2006年
6 孟清;基于语义缓存的并行查询技术的设计与实现[D];国防科学技术大学;2004年
7 陈庆华;B1级安全数据库安全机制的研究[D];哈尔滨工程大学;2004年
8 姜国伟;数据库电子商务性能测评系统ACID子系统实现和MySQL与PostgreSQL查询处理分析[D];吉林大学;2005年
9 郭志勇;基于SOPC技术的手持式数字存储示波表硬件设计[D];电子科技大学;2005年
10 范雪;无源OLED256级灰度的子场控制技术方案的研究[D];电子科技大学;2005年
中国重要报纸全文数据库 前10条
1 奎儒;国际邮件查询处理问答[N];中国邮政报;2002年
2 奎儒;国际邮件查询处理问答[N];中国邮政报;2002年
3 本报记者 刘学习;Sybase ASE15从容面对数据爆炸[N];计算机世界;2005年
4 王泽蕴李琨;IBM院士王云:数据库的下一代技术一点也不炫[N];中国计算机报;2007年
5 ;Sybase新一代数据库ASE15简介(二)[N];计算机世界;2005年
6 孙金虎 记者 齐宁;全省首家网上信访专用平台在宝塔区开通[N];延安日报;2007年
7 芮信;芮城推行“三书一卡”告知制[N];中国纪检监察报;2005年
8 中国人民大学信息学院 潘晓;既要服务也要保护隐私[N];中国计算机报;2008年
9 哈尔滨工业大学计算机科学与工程学院 李建中 石胜飞;移动计算环境中的数据管理[N];计算机世界;2002年
10 荆延宁;中心局作业系统给据散件的处理[N];中国邮政报;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978