收藏本站
《东南大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

连续查询硬处理器及相关算法研究

钱江波  
【摘要】:数据流的高速性和无限性以及计算机资源的有限性使得提高数据处理的速度成为数据流管理系统的关键。目前已有的数据流管理原型系统都是从查询优化、系统调度等方面来提高速度,在高速数据流环境下都存在明显的不足。降载策略是解决高速数据流处理的一个方法,但也有局限性,如可用于聚集计算,但不能应用于连接操作。本文基于数据管理技术发展的前瞻性考虑,以高速数据流为处理对象,不局限于通过查询优化、系统调度等方法来提高数据流的处理速度,而是考虑采用一种全新的体系结构来加速数据处理。国内外尚没有这方面的研究报道,具有较高的创新性。本文内容涉及多个研究领域,除数据库技术外,还涉及具体的机器指令设计、硬处理器设计和编译技术等。本文的主要研究工作有以下几方面: 1.在深入研究国际上先进的数据流管理原型系统基础上,提出了一种适合数据流并发连接处理的方法M3Join。该方法充分考虑数据的“流”特性,体现数据驱动特点,以多线程并行和类似路由器的处理方式保证数据的高速处理,同时注重查询间和查询内的并行。M3Join可用于硬件实现,为更高速度地处理数据流提供了可能。实验结果表明,M3Join具有良好的性能,能够满足多流多窗口的并发连接查询的需要。 2.提出适合数据流连续查询处理的架构SeuStreams。在传统数据库中,由于需求是即时查询而不是连续查询,因此通常不考虑并发查询处理。一般处理原则是尽可能将选择、投影操作移向查询树的叶节点。而在连续查询中,由于存在大量并发查询,如果先执行选择将破坏对于连接结果的共享性,而恰恰此时的连接操作是最耗时的。本文深入研究了适合SeuStreams查询处理的三种可共享连接结果的策略:Shared PushDown、PullUp和Filtered PullUp。通过理论分析和实验证明,在数据流的连续查询处理中,PullUp策略性能较低,而Filtered PullUp和Shared PushDown策略各有优势。由于Filtered PullUp处理简单,消耗内存相对较少,因此一般情况下Filtered PullUp是适合SeuStreams的最佳方案。 3.为进一步提高系统处理的效率,我们也对并发连接查询的优化算法作了深入研究,提出数据流窗口连接的近似优化算法SQFGS。在并发查询条件下,一条查询的优化可能会牵涉到其它许多的查询,迫使它们的修正正在执行的查询计划。而查询计划的调整是非常复杂和耗资源的。我们提出的SQFGS优化策略简单易行,对一条查询的优化不会牵涉到其它查询,理论和实验证明其性能在可接受的范围内。SQFGS策略尤其适用于硬件处理的查询计划生成,当然,SQFGS策略也适合于查询更新频率很高的系统。 4.绝大多数连续查询处理算法是用软件实现的,我们提出了用硬件加速数据流连接处理的方法,极大地提高了处理的速度。为了处理不同的连接条件,我们设计并实现了用于数据流连接的处理器WJSP及其指令系统WJSI,并提出集成方法以提高WJSP的扩展性和并行性,同时也提高处理的速度。我们将WJSP与STREAM原型作了比较,结果显示WJSP比STREAM的速度提高20多倍,说明WJSP具有相当高的处理性能。WJSP可嵌入到路由器、交换机、传感器等设备中,提供高速的数据流连接处理。廉价且高性能的连接操作协处理器能够增强DSMS的处理能力,尤其是在类似网络监控等性能要求较高的领域。 本文的研究旨在拓展提高数据流处理速度的新方法,探索提高数据流管理系统性能的新路子,为许多重要的数据流处理领域提供更为先进、实用的解决方案,同时也为数据管理技术理论、方法的发展作出新贡献。
【学位授予单位】:东南大学
【学位级别】:博士
【学位授予年份】:2006
【分类号】:TP332

知网文化
【引证文献】
中国博士学位论文全文数据库 前1条
1 李云照;高速网数据过滤若干关键技术研究[D];国防科学技术大学;2009年
中国硕士学位论文全文数据库 前2条
1 周茂春;可重构数据流SPJ查询处理器研究[D];宁波大学;2012年
2 王志杰;数据流窗口连接与相关性分析研究[D];宁波大学;2012年
【参考文献】
中国期刊全文数据库 前1条
1 吴恩华;图形处理器用于通用计算的技术、现状及其挑战[J];软件学报;2004年10期
【共引文献】
中国期刊全文数据库 前10条
1 李建明;万单领;迟忠先;胡祥培;;一种基于GPU加速的细粒度并行粒子群算法[J];哈尔滨工业大学学报;2006年12期
2 郑习龙;申东新;梁红;陆琳琳;陈伟;;基于B/S结构的分布式高职学生信息数据库管理系统[J];中国环境管理干部学院学报;2008年03期
3 潘红岩;郝忠孝;;基于4CDRS的空间连接查询[J];哈尔滨理工大学学报;2010年04期
4 刘伟峰;赵改善;孔祥宁;蔡杰雄;张兵;;基于多GPU的三维Kirchhoff积分法体偏移[J];华中科技大学学报(自然科学版);2011年S1期
5 钱江波,徐宏炳,王永利,刘学军,董逸生;多数据流滑动窗口并发连接方法[J];计算机研究与发展;2005年10期
6 唐滔;杨学军;林一松;;基于迭代序的流程序局部性分析和优化[J];计算机研究与发展;2012年06期
7 段俊勇;王守城;任海霞;赵文彬;;WinCC配方功能在中央空调节能改造中的应用[J];节能;2010年02期
8 方建文;于金辉;马文龙;;图形硬件加速的实时水面绘制[J];计算机工程与应用;2006年15期
9 李琳;李肯立;;基于图形处理器的层次聚类算法效率研究[J];计算机工程与应用;2008年31期
10 杨靖宇;刘昭华;张永生;;遥感图像渐进式传输的GPU并行加速研究[J];计算机工程与应用;2010年15期
中国重要会议论文全文数据库 前6条
1 刘伟峰;唐先明;韩宝东;朱文妹;;基于GPU计算的光线投射法体绘制研究[A];图像图形技术研究与应用2009——第四届图像图形技术与应用学术会议论文集[C];2009年
2 任鸿翔;金一丞;尹勇;;基于GPU的多重凹凸贴图方法[A];2007系统仿真技术及其应用学术会议论文集[C];2007年
3 张春燕;;一种基于图形处理器的数据流计算模式[A];全国第19届计算机技术与应用(CACIS)学术会议论文集(下册)[C];2008年
4 刘伟峰;蒋楠;宋付英;孟凡密;陈芳莉;;图像处理的GPU加速技术研究与评价[A];第十四届全国图象图形学学术会议论文集[C];2008年
5 黄炎灿;董玮;陈立军;;数据流上的自适应连接算法[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
6 赵文兵;廖湖声;谢昆青;;基于函数依赖的信息泄漏评估研究[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
中国博士学位论文全文数据库 前10条
1 李敏;基于协同异构模型的成形模拟计算加速[D];华中科技大学;2010年
2 吴锋;基于GPU并行计算的数值模拟与燃煤锅炉系统的优化研究[D];浙江大学;2010年
3 杨超;虚拟战场中电磁环境三维建模与绘制方法研究[D];国防科学技术大学;2010年
4 郑元满;重磁三维物性实时可视化反演关键技术研究[D];中国地质大学(北京);2011年
5 徐晓旸;三维虚拟展馆中的光照技术研究[D];南京大学;2011年
6 马安国;高效能GPGPU体系结构关键技术研究[D];国防科学技术大学;2011年
7 陈永健;基于内容的大规模图像检索关键技术研究[D];华中科技大学;2011年
8 韦虎;三维外形测量系统中的数据处理关键技术研究[D];南京航空航天大学;2010年
9 唐滔;面向CPU-GPU异构并行系统的编程模型与编译优化关键技术研究[D];国防科学技术大学;2012年
10 杨靖宇;摄影测量数据GPU并行处理若干关键技术研究[D];解放军信息工程大学;2011年
中国硕士学位论文全文数据库 前10条
1 温乃峰;舰船综合体模型控制视景仿真的研究与实现[D];哈尔滨工程大学;2010年
2 韩君;近期数据流频繁项集挖掘[D];大连理工大学;2010年
3 卢晓伟;基于GPU的数据流处理方法研究[D];大连理工大学;2010年
4 付浩生;交互式海洋动漫平台场景特效制作[D];中国海洋大学;2010年
5 李伟;基于Web文语转换通讯系统的设计与实现[D];华东师范大学;2010年
6 戚明渊;基于多模纹理分类的图像隐写分析算法[D];华东理工大学;2011年
7 王涛;基于GPU的程序分析与并行化研究[D];解放军信息工程大学;2010年
8 牛武斌;基于GPU的目标对背景红外辐射的散射计算[D];西安电子科技大学;2011年
9 年华;GPU通用计算与基于SIFT特征的图像匹配并行算法研究[D];西安电子科技大学;2010年
10 张鹏;基于GPU的并行AES加密算法实现[D];吉林大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 殷丽华;方滨兴;张宏莉;;快速的多模式匹配算法[J];哈尔滨工业大学学报;2007年12期
2 钱江波,徐宏炳,王永利,刘学军,董逸生;多数据流滑动窗口并发连接方法[J];计算机研究与发展;2005年10期
3 杨雪梅;董逸生;徐宏炳;刘学军;钱江波;王永利;;高维数据流的在线相关性分析[J];计算机研究与发展;2006年10期
4 钱江波;徐宏炳;董逸生;王永利;刘学军;杨雪梅;;基于最小生成树的数据流窗口连接优化算法[J];计算机研究与发展;2007年06期
5 周傲英;金澈清;王国仁;李建中;;不确定性数据管理技术研究综述[J];计算机学报;2009年01期
6 周勇;王皓;程春田;郭禾;;基于GPU的多数据流相关系数并行计算方法研究[J];计算机应用研究;2010年04期
7 谭思炜;潘红兵;;一种动态可重构Reed-Solomon译码器的设计[J];计算机测量与控制;2011年03期
8 周国亮;冯海军;何国明;陈红;;图形处理器在数据管理领域的应用研究综述[J];计算机科学与探索;2010年04期
9 余建明;徐波;薛一波;;基于网络处理器的高速字符串匹配[J];清华大学学报(自然科学版);2008年04期
10 曹锋;周傲英;;基于图形处理器的数据流快速聚类[J];软件学报;2007年02期
中国博士学位论文全文数据库 前6条
1 刘海峰;安全操作系统若干关键技术的研究[D];中国科学院研究生院(软件研究所);2002年
2 代六玲;互联网内容监管系统关键技术的研究[D];南京理工大学;2005年
3 宋世杰;基于序列模式挖掘的误用入侵检测系统及其关键技术研究[D];国防科学技术大学;2005年
4 谭建龙;串匹配算法及其在网络内容分析中的应用[D];中国科学院研究生院(计算技术研究所);2003年
5 段丹青;入侵检测算法及关键技术研究[D];中南大学;2007年
6 孙小涓;海量网络流实时处理的优化技术研究[D];中国科学院研究生院(计算技术研究所);2008年
中国硕士学位论文全文数据库 前3条
1 史先龙;基于FPGA的可重构计算技术的应用研究[D];北京化工大学;2006年
2 丁鹏;基于GPU的通用并行计算库的设计与研究[D];西南石油大学;2007年
3 李雪;大规模特征串匹配技术的研究[D];北京邮电大学;2008年
【二级引证文献】
中国期刊全文数据库 前1条
1 骆潇;郭健;邓敏;白斌;;基于FPGA的多模式匹配算法研究与实现[J];计算机工程;2012年18期
中国博士学位论文全文数据库 前1条
1 郭磊;面向高速网络管控的多业务识别关键技术研究[D];解放军信息工程大学;2012年
【二级参考文献】
中国期刊全文数据库 前1条
1 吴恩华,柳有权;基于图形处理器(GPU)的通用计算[J];计算机辅助设计与图形学学报;2004年05期
【相似文献】
中国期刊全文数据库 前10条
1 李琳;孙士兵;;数据流聚类方法发展研究[J];长沙民政职业技术学院学报;2008年04期
2 陈军;周明天;杨晓燕;;数据流系统降载研究综述[J];计算机应用研究;2008年10期
3 武珊珊,宋宝燕,于亚新,于戈;一种支持多目标的数据流操作语言[J];小型微型计算机系统;2005年05期
4 赵法信;刘俊岭;;数据流聚类算法研究[J];通化师范学院学报;2006年02期
5 郑广寰;林锦贤;;数据流上基于代价优化的机制研究[J];福建电脑;2006年09期
6 王爽;杨广明;王国仁;;分布式数据流系统通信有效性研究综述[J];微型机与应用;2007年S1期
7 王丹;赵晶;邝劲筠;;一种数据流块查询操作符的设计与实现[J];北京工业大学学报;2007年12期
8 刘耀宗;王湛;张宏;刘凤玉;;数据流的预测与分类研究[J];计算机科学;2007年11期
9 侯燕;王永利;;基于近似等深柱状图的数据流并行聚集算法[J];解放军理工大学学报(自然科学版);2008年01期
10 王飞超;李国;倪现君;韩业红;;数据流频繁项挖掘的研究[J];中国科技信息;2010年19期
中国重要会议论文全文数据库 前10条
1 张冬冬;李建中;王伟平;郭龙江;;分布式复式数据流的处理[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
2 楚红涛;寒枫;张燕;王婷;;基于数据流的挖掘研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
3 尹婷;李红燕;;窗口模型下数据流查询流水化执行的研究[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
4 孟军;张航黎;张建英;郭禾;;分布式数据流的渐增式聚集维护算法[A];2006年全国开放式分布与并行计算学术会议论文集(二)[C];2006年
5 韩近强;杨冬青;唐世渭;;数据流处理中一种自适应的直方图维护算法[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
6 蔡致远;熊方;钱卫宁;周傲英;;核合并分析及其在数据流密度估计上的应用[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
7 王亦兵;杨树强;王晓伟;;一个面向数据流的多维分析系统的研究与实现[A];全国计算机安全学术交流会论文集(第二十四卷)[C];2009年
8 于亚新;王国仁;陈灿;苏林;朱歆华;赵相国;;基于操作符优先级的两种分布式数据流负载分配算法研究[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
9 周锐;肖川;王国仁;韩东红;霍欢;;数据流滑动窗口连接上的卸载技术的研究[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
10 田李;王乐;贾焰;邹鹏;李爱平;;分布式数据流上低通信开销的连续极值查询方法研究[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
中国博士学位论文全文数据库 前10条
1 陈华辉;基于遗忘特性的数据流概要结构及其应用研究[D];复旦大学;2008年
2 孔英会;数据流技术及其在电力信息处理中的应用研究[D];华北电力大学(河北);2009年
3 朱辉生;基于情节规则匹配的数据流预测研究[D];复旦大学;2011年
4 崇志宏;基于屏蔽/汇总技术的数据流处理算法[D];复旦大学;2006年
5 姚远;海量动态数据流分类方法研究[D];大连理工大学;2013年
6 常建龙;数据流聚类及电信数据流管理[D];复旦大学;2008年
7 袁志坚;数据流突发检测若干关键技术研究[D];国防科学技术大学;2008年
8 金澈清;数据流上若干查询处理算法的研究[D];复旦大学;2005年
9 王金栋;数据流系统中负载管理技术应用研究[D];南京航空航天大学;2006年
10 王永利;数据流概要与数据流分析若干关键问题研究[D];东南大学;2006年
中国硕士学位论文全文数据库 前10条
1 史艳翠;时间序列数据流预测技术与应用研究[D];华北电力大学(河北);2009年
2 郑凯;数据流上的相似性查询及优化[D];复旦大学;2009年
3 何孔新;面向数据流的数据聚类算法研究[D];哈尔滨工程大学;2008年
4 李有生;一种改进的数据流处理算法的研究与实现[D];吉林大学;2010年
5 周驰;数据流上概念漂移的检测和分类[D];郑州大学;2010年
6 王小龙;数据流上的变化的挖掘算法研究[D];大庆石油学院;2006年
7 王斌;双层数据流聚类框架的设计与实现[D];吉林大学;2004年
8 罗秀;数据流在线分类算法的研究与实现[D];东北大学;2009年
9 富春岩;小波方法在数据流中的应用与研究[D];哈尔滨理工大学;2007年
10 吕晓;一种改进的数据流突变检测算法的研究[D];哈尔滨工程大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026