收藏本站
《东南大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

连续查询硬处理器及相关算法研究

钱江波  
【摘要】:数据流的高速性和无限性以及计算机资源的有限性使得提高数据处理的速度成为数据流管理系统的关键。目前已有的数据流管理原型系统都是从查询优化、系统调度等方面来提高速度,在高速数据流环境下都存在明显的不足。降载策略是解决高速数据流处理的一个方法,但也有局限性,如可用于聚集计算,但不能应用于连接操作。本文基于数据管理技术发展的前瞻性考虑,以高速数据流为处理对象,不局限于通过查询优化、系统调度等方法来提高数据流的处理速度,而是考虑采用一种全新的体系结构来加速数据处理。国内外尚没有这方面的研究报道,具有较高的创新性。本文内容涉及多个研究领域,除数据库技术外,还涉及具体的机器指令设计、硬处理器设计和编译技术等。本文的主要研究工作有以下几方面: 1.在深入研究国际上先进的数据流管理原型系统基础上,提出了一种适合数据流并发连接处理的方法M3Join。该方法充分考虑数据的“流”特性,体现数据驱动特点,以多线程并行和类似路由器的处理方式保证数据的高速处理,同时注重查询间和查询内的并行。M3Join可用于硬件实现,为更高速度地处理数据流提供了可能。实验结果表明,M3Join具有良好的性能,能够满足多流多窗口的并发连接查询的需要。 2.提出适合数据流连续查询处理的架构SeuStreams。在传统数据库中,由于需求是即时查询而不是连续查询,因此通常不考虑并发查询处理。一般处理原则是尽可能将选择、投影操作移向查询树的叶节点。而在连续查询中,由于存在大量并发查询,如果先执行选择将破坏对于连接结果的共享性,而恰恰此时的连接操作是最耗时的。本文深入研究了适合SeuStreams查询处理的三种可共享连接结果的策略:Shared PushDown、PullUp和Filtered PullUp。通过理论分析和实验证明,在数据流的连续查询处理中,PullUp策略性能较低,而Filtered PullUp和Shared PushDown策略各有优势。由于Filtered PullUp处理简单,消耗内存相对较少,因此一般情况下Filtered PullUp是适合SeuStreams的最佳方案。 3.为进一步提高系统处理的效率,我们也对并发连接查询的优化算法作了深入研究,提出数据流窗口连接的近似优化算法SQFGS。在并发查询条件下,一条查询的优化可能会牵涉到其它许多的查询,迫使它们的修正正在执行的查询计划。而查询计划的调整是非常复杂和耗资源的。我们提出的SQFGS优化策略简单易行,对一条查询的优化不会牵涉到其它查询,理论和实验证明其性能在可接受的范围内。SQFGS策略尤其适用于硬件处理的查询计划生成,当然,SQFGS策略也适合于查询更新频率很高的系统。 4.绝大多数连续查询处理算法是用软件实现的,我们提出了用硬件加速数据流连接处理的方法,极大地提高了处理的速度。为了处理不同的连接条件,我们设计并实现了用于数据流连接的处理器WJSP及其指令系统WJSI,并提出集成方法以提高WJSP的扩展性和并行性,同时也提高处理的速度。我们将WJSP与STREAM原型作了比较,结果显示WJSP比STREAM的速度提高20多倍,说明WJSP具有相当高的处理性能。WJSP可嵌入到路由器、交换机、传感器等设备中,提供高速的数据流连接处理。廉价且高性能的连接操作协处理器能够增强DSMS的处理能力,尤其是在类似网络监控等性能要求较高的领域。 本文的研究旨在拓展提高数据流处理速度的新方法,探索提高数据流管理系统性能的新路子,为许多重要的数据流处理领域提供更为先进、实用的解决方案,同时也为数据管理技术理论、方法的发展作出新贡献。
【学位授予单位】:东南大学
【学位级别】:博士
【学位授予年份】:2006
【分类号】:TP332

【引证文献】
中国博士学位论文全文数据库 前1条
1 李云照;高速网数据过滤若干关键技术研究[D];国防科学技术大学;2009年
中国硕士学位论文全文数据库 前2条
1 周茂春;可重构数据流SPJ查询处理器研究[D];宁波大学;2012年
2 王志杰;数据流窗口连接与相关性分析研究[D];宁波大学;2012年
【参考文献】
中国期刊全文数据库 前1条
1 吴恩华;图形处理器用于通用计算的技术、现状及其挑战[J];软件学报;2004年10期
【共引文献】
中国期刊全文数据库 前10条
1 岳五九;徐正玉;;数据库系统安全探析[J];安徽水利水电职业技术学院学报;2006年04期
2 马丽君;;浅析VFP数据库完整性约束[J];白城师范学院学报;2009年06期
3 徐品;蓝善祯;刘兰兰;;利用GPU进行通用数值计算的研究[J];中国传媒大学学报(自然科学版);2009年02期
4 李立新;叶剑;余洋;;基于GPU的MD6算法快速实现[J];北京工业大学学报;2010年05期
5 Byeong-Seob You;Hae-Young Bae;;A graph-based sliding window multi-join over data stream[J];重庆邮电大学学报(自然科学版);2007年03期
6 杨靖宇;张永生;张宏兰;纪松;;基于可编程图形硬件的遥感影像并行处理研究[J];测绘工程;2008年03期
7 杨靖宇;张永生;董广军;;基于GPU的遥感影像SAM分类算法并行化研究[J];测绘科学;2010年03期
8 游中胜;;基于Hashtable的数据库操作方法探讨[J];重庆师范大学学报(自然科学版);2006年01期
9 刘昆;王晓斌;廖成;;图形处理器(GPU)加速时域有限元的二维辐射计算[J];电波科学学报;2008年01期
10 黄玉龙;刘明波;;应用图形处理器实现无功优化并行计算[J];电工技术学报;2011年11期
中国重要会议论文全文数据库 前6条
1 刘伟峰;唐先明;韩宝东;朱文妹;;基于GPU计算的光线投射法体绘制研究[A];图像图形技术研究与应用2009——第四届图像图形技术与应用学术会议论文集[C];2009年
2 任鸿翔;金一丞;尹勇;;基于GPU的多重凹凸贴图方法[A];2007系统仿真技术及其应用学术会议论文集[C];2007年
3 张春燕;;一种基于图形处理器的数据流计算模式[A];全国第19届计算机技术与应用(CACIS)学术会议论文集(下册)[C];2008年
4 刘伟峰;蒋楠;宋付英;孟凡密;陈芳莉;;图像处理的GPU加速技术研究与评价[A];第十四届全国图象图形学学术会议论文集[C];2008年
5 黄炎灿;董玮;陈立军;;数据流上的自适应连接算法[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
6 赵文兵;廖湖声;谢昆青;;基于函数依赖的信息泄漏评估研究[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
中国博士学位论文全文数据库 前10条
1 李敏;基于协同异构模型的成形模拟计算加速[D];华中科技大学;2010年
2 吴锋;基于GPU并行计算的数值模拟与燃煤锅炉系统的优化研究[D];浙江大学;2010年
3 杨超;虚拟战场中电磁环境三维建模与绘制方法研究[D];国防科学技术大学;2010年
4 郑元满;重磁三维物性实时可视化反演关键技术研究[D];中国地质大学(北京);2011年
5 徐晓旸;三维虚拟展馆中的光照技术研究[D];南京大学;2011年
6 马安国;高效能GPGPU体系结构关键技术研究[D];国防科学技术大学;2011年
7 陈永健;基于内容的大规模图像检索关键技术研究[D];华中科技大学;2011年
8 韦虎;三维外形测量系统中的数据处理关键技术研究[D];南京航空航天大学;2010年
9 唐滔;面向CPU-GPU异构并行系统的编程模型与编译优化关键技术研究[D];国防科学技术大学;2012年
10 杨靖宇;摄影测量数据GPU并行处理若干关键技术研究[D];解放军信息工程大学;2011年
中国硕士学位论文全文数据库 前10条
1 温乃峰;舰船综合体模型控制视景仿真的研究与实现[D];哈尔滨工程大学;2010年
2 韩君;近期数据流频繁项集挖掘[D];大连理工大学;2010年
3 卢晓伟;基于GPU的数据流处理方法研究[D];大连理工大学;2010年
4 付浩生;交互式海洋动漫平台场景特效制作[D];中国海洋大学;2010年
5 李伟;基于Web文语转换通讯系统的设计与实现[D];华东师范大学;2010年
6 戚明渊;基于多模纹理分类的图像隐写分析算法[D];华东理工大学;2011年
7 王涛;基于GPU的程序分析与并行化研究[D];解放军信息工程大学;2010年
8 牛武斌;基于GPU的目标对背景红外辐射的散射计算[D];西安电子科技大学;2011年
9 年华;GPU通用计算与基于SIFT特征的图像匹配并行算法研究[D];西安电子科技大学;2010年
10 张鹏;基于GPU的并行AES加密算法实现[D];吉林大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 万国根;秦志光;;改进的AC-BM字符串匹配算法[J];电子科技大学学报;2006年04期
2 王永利;徐宏炳;董逸生;钱江波;刘学军;;基于低阶近似的多维数据流相关性分析[J];电子学报;2006年02期
3 钱江波;王永利;陈征;陈华辉;金光;;数据流窗口连接查询处理器研究[J];电子学报;2009年02期
4 董培良,俞承芳;一种可重构处理器的设计[J];复旦学报(自然科学版);2004年01期
5 徐惠萍;;可重构技术综述[J];甘肃科技;2007年10期
6 殷丽华;方滨兴;张宏莉;;快速的多模式匹配算法[J];哈尔滨工业大学学报;2007年12期
7 钱江波,徐宏炳,王永利,刘学军,董逸生;多数据流滑动窗口并发连接方法[J];计算机研究与发展;2005年10期
8 杨雪梅;董逸生;徐宏炳;刘学军;钱江波;王永利;;高维数据流的在线相关性分析[J];计算机研究与发展;2006年10期
9 钱江波;徐宏炳;董逸生;王永利;刘学军;杨雪梅;;基于最小生成树的数据流窗口连接优化算法[J];计算机研究与发展;2007年06期
10 周傲英;金澈清;王国仁;李建中;;不确定性数据管理技术研究综述[J];计算机学报;2009年01期
中国博士学位论文全文数据库 前6条
1 刘海峰;安全操作系统若干关键技术的研究[D];中国科学院研究生院(软件研究所);2002年
2 代六玲;互联网内容监管系统关键技术的研究[D];南京理工大学;2005年
3 宋世杰;基于序列模式挖掘的误用入侵检测系统及其关键技术研究[D];国防科学技术大学;2005年
4 谭建龙;串匹配算法及其在网络内容分析中的应用[D];中国科学院研究生院(计算技术研究所);2003年
5 段丹青;入侵检测算法及关键技术研究[D];中南大学;2007年
6 孙小涓;海量网络流实时处理的优化技术研究[D];中国科学院研究生院(计算技术研究所);2008年
中国硕士学位论文全文数据库 前3条
1 史先龙;基于FPGA的可重构计算技术的应用研究[D];北京化工大学;2006年
2 丁鹏;基于GPU的通用并行计算库的设计与研究[D];西南石油大学;2007年
3 李雪;大规模特征串匹配技术的研究[D];北京邮电大学;2008年
【二级引证文献】
中国期刊全文数据库 前1条
1 骆潇;郭健;邓敏;白斌;;基于FPGA的多模式匹配算法研究与实现[J];计算机工程;2012年18期
【二级参考文献】
中国期刊全文数据库 前1条
1 吴恩华,柳有权;基于图形处理器(GPU)的通用计算[J];计算机辅助设计与图形学学报;2004年05期
【相似文献】
中国期刊全文数据库 前10条
1 郑伟;周喜超;马超;智勇;;支持分级服务的电能质量数据库查询处理模型[J];电力科学与工程;2010年11期
2 钱江波;徐宏炳;董逸生;刘学军;王永利;杨雪梅;;共享连接结果的连续查询处理[J];东南大学学报(自然科学版);2007年01期
3 刘学军;钱江波;;分布式数据流连接查询算法[J];计算机工程;2006年21期
4 王建涛;蔡淮;;数据流管理若干关键问题的研究[J];成都信息工程学院学报;2008年03期
5 钟颖莉;王伟平;杨丰;;数据流连续查询处理技术的研究[J];哈尔滨商业大学学报(自然科学版);2009年04期
6 钱江波;徐宏炳;董逸生;王永利;刘学军;杨雪梅;;基于最小生成树的数据流窗口连接优化算法[J];计算机研究与发展;2007年06期
7 王金栋;周良;张磊;丁秋林;;一类数据流连续查询的降载策略研究[J];武汉大学学报(工学版);2005年06期
8 任美睿;谢元贞;郭龙江;;数据流管理系统TelegraphCQ的研究[J];哈尔滨理工大学学报;2006年02期
9 王永利,徐宏炳,董逸生,钱江波,刘学军;配电自动化的数据流管理系统设计[J];电力系统自动化;2004年13期
10 王伟平;李建中;张冬冬;郭龙江;;基于滑动窗口的数据流连续J-A查询的处理方法[J];软件学报;2006年04期
中国重要会议论文全文数据库 前10条
1 廖巍;景宁;李军;吴秋云;;一种通用的可伸缩增量连续查询处理框架[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
2 潘晓;郝兴;孟小峰;;基于位置服务中的连续查询隐私保护研究[A];第26届中国数据库学术会议论文集(A辑)[C];2009年
3 陈红;王珊;;多阶段并行多查询处理框架[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
4 韩璐;王朝坤;邹鹏;徐亚军;;不确定图数据上的不确定查询处理[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
5 夏添;蔡文渊;徐林昊;钱卫宁;周水庚;周傲英;;P2P环境下的查询处理代价估算[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
6 熊蜀光;李建中;王宏志;高宏;;一种基于编码的图模型XML数据的存储与查询处理方法[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
7 王伟平;李建中;张冬冬;郭龙江;王栩;;一种数据流连续查询的并行处理技术[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
8 朱金清;王伟;周军锋;孟小峰;;基于相关性语义的高效XML Twig查询处理方法[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
9 姚建中;孙建伶;姜忠鼎;董金祥;;OSCAR路径表达式的查询处理[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
10 肖刚;庄严;郑振楣;石树刚;;SamBase中的对象查询处理[A];数据库研究与进展95——第十三届全国数据库学术会议论文集[C];1995年
中国重要报纸全文数据库 前10条
1 奎儒;国际邮件查询处理问答[N];中国邮政报;2002年
2 奎儒;国际邮件查询处理问答[N];中国邮政报;2002年
3 本报记者 刘学习;Sybase ASE15从容面对数据爆炸[N];计算机世界;2005年
4 王泽蕴李琨;IBM院士王云:数据库的下一代技术一点也不炫[N];中国计算机报;2007年
5 ;Sybase新一代数据库ASE15简介(二)[N];计算机世界;2005年
6 孙金虎 记者 齐宁;全省首家网上信访专用平台在宝塔区开通[N];延安日报;2007年
7 芮信;芮城推行“三书一卡”告知制[N];中国纪检监察报;2005年
8 中国人民大学信息学院 潘晓;既要服务也要保护隐私[N];中国计算机报;2008年
9 哈尔滨工业大学计算机科学与工程学院 李建中 石胜飞;移动计算环境中的数据管理[N];计算机世界;2002年
10 荆延宁;中心局作业系统给据散件的处理[N];中国邮政报;2007年
中国博士学位论文全文数据库 前10条
1 钱江波;连续查询硬处理器及相关算法研究[D];东南大学;2006年
2 宫学庆;基于Bloom Filter的路径表达式查询处理[D];复旦大学;2006年
3 闫莺;多数据类型的数据流查询处理及优化[D];复旦大学;2008年
4 洪亮;移动计算环境下的位置相关数据服务策略研究[D];华中科技大学;2009年
5 赵亮;面向位置服务的移动对象并发查询处理技术[D];国防科学技术大学;2010年
6 李瑞轩;异构信息集成中的查询处理与优化研究[D];华中科技大学;2004年
7 杨颖;分布式数据流查询处理若干关键技术的研究[D];东华大学;2006年
8 吴爱华;不一致数据的查询处理[D];复旦大学;2010年
9 陈良刚;移动计算环境中位置相关数据管理[D];复旦大学;2003年
10 刘喜平;XML文档搜索中的查询处理技术研究[D];江西财经大学;2010年
中国硕士学位论文全文数据库 前10条
1 马嘉;数据流管理原型系统的设计与实现[D];西南交通大学;2006年
2 宋卫东;数据流管理系统的研究与设计[D];南京航空航天大学;2005年
3 张立杰;数据流中适应性查询处理机制的研究[D];辽宁大学;2006年
4 刘琴;基于kalman滤波器的数据流查询优化的研究[D];东南大学;2006年
5 张晋;传感器网络的数据管理的研究[D];哈尔滨工程大学;2006年
6 孟清;基于语义缓存的并行查询技术的设计与实现[D];国防科学技术大学;2004年
7 陈庆华;B1级安全数据库安全机制的研究[D];哈尔滨工程大学;2004年
8 姜国伟;数据库电子商务性能测评系统ACID子系统实现和MySQL与PostgreSQL查询处理分析[D];吉林大学;2005年
9 郭志勇;基于SOPC技术的手持式数字存储示波表硬件设计[D];电子科技大学;2005年
10 范雪;无源OLED256级灰度的子场控制技术方案的研究[D];电子科技大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026