收藏本站
《厦门大学》 2007年
收藏 | 手机打开
二维码
手机客户端打开本文

面向高速网络的数据流处理系统研究与应用

陈磊松  
【摘要】: 传统的数据库管理系统适合于处理针对有限存储的数据集的一次性查询。然而,像网络监控、金融分析、制造业和传感器网络等现代的应用却需要针对连续而且无限的数据流进行持续查询。在这些应用中,数据不再以有限存储的数据集的形式存在,而是以多重、持续、快速、时变形式到达的数据流。在处理这些需要实时响应的大容量数据流时,传统数据处理基本结构的局限性更加突出。使用传统的数据库管理系统,简单地将到达的数据装入数据库中再进行操作是不可行的,因为它不能直接支持数据流处理中典型的持续查询,更重要的是,近似问题和适应性是数据流处理的两个关键因素,而传统的数据库管理系统关注的却是使用稳定的查询计划获得精确的结果。因此,现有的数据库管理系统多数只能用于为面向数据流的应用提供离线存储支持。 本文应用闭环控制理论和一定的运算符调度算法,主要关注如何建立一种既适合高速网络数据流传输特性,又适合网络波动环境的适应性数据流持续查询处理的原型系统。首先,较为详细地分析了网络数据流的传输特性;在此基础上提出数据流查询处理模型设计的特殊的功能需求,指出传统数据库管理系统在处理数据流问题上的局限性;进而提出了一个针对数据流持续查询处理的框架模型,该模型以数据流查询处理系统的适应性为重点,应用低延迟分段调度策略,实现在降低内存使用需求的同时,尽量缩小输出延迟,提高数据流处理系统的适应性和查询的精度;在查询语言方面,以通用的结构化查询语言SQL为基础,将数据流持续查询与现有数据库管理系统结合起来,对标准的SQL增加数据流的引用,扩充滑动窗口的语义,更好地为数据流查询服务。在查询模型及语言设计的基础上,提出基于闭环控制理论的原型系统,分析模型在复杂网络环境下的适应性机制,并介绍系统主要模块的实现方法。最后给出了一个网络流量管理方面的应用实例。结论部分总结了本文的研究工作,简要介绍了这一领域未来的几个研究方向。
【学位授予单位】:厦门大学
【学位级别】:硕士
【学位授予年份】:2007
【分类号】:TP274

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 赵文波;孙小科;马草川;;基于非线性窗口增长的TCP Westwood改进算法[J];计算机应用;2011年09期
2 ;研究显示全球半数移动网络运营商正在部署LTE网[J];电信快报;2011年07期
3 ;把握机遇 融合创新——CCBN2010引领广电产业新浪潮[J];电源技术应用;2010年03期
4 戴月;陈波;吴坚;;基于遗传神经网络的入侵检测系统ONE-CLASS分类器设计[J];微计算机信息;2011年07期
5 ;行业要闻:国际[J];通信管理与技术;2011年04期
6 赵月爱;陈俊杰;;重抽样方法FHNN及其在入侵检测中的应用[J];计算机工程与应用;2011年22期
7 桑如海;;构建重庆日报报业集团云计算系统[J];软件导刊;2011年07期
8 王积有;;浅谈变电站综合自动化系统[J];科技致富向导;2011年27期
9 ;豪雅Android手机[J];办公自动化;2011年15期
10 肖锋;;数字化变电站自动化系统分析[J];电气时代;2011年09期
中国重要会议论文全文数据库 前10条
1 阮卫挺;马兆丰;;高速网络下的恶意流量检测研究[A];2010年全国通信安全学术会议论文集[C];2010年
2 武珊珊;宋宝燕;袁锋;于亚新;于戈;;数据流模型研究[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
3 吴勇军;唐红;;高速网络中基于特定业务流的流量测量方法研究[A];现代通信理论与信号处理进展——2003年通信理论与信号处理年会论文集[C];2003年
4 杨学良;;高速网络中多媒体流的服务质量(QoS)保证[A];全国计算机网络应用年会论文集(2001)[C];2001年
5 项炎平;易建强;赵冬斌;文庭永;;高速网络TCP拥塞控制研究进展[A];2006中国控制与决策学术年会论文集[C];2006年
6 王琮;宋智玲;贾小珠;;报文抽样在高速网络入侵检测中的应用[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(上册)[C];2008年
7 陈婷婷;李哲英;;USB2.0数据传输环节逻辑电路低功耗设计[A];全国第十届信号与信息处理、第四届DSP应用技术联合学术会议论文集[C];2006年
8 刘玉英;孙珍;李世银;黄远江;;N-TCP在高速网络中的性能研究[A];2009年中国智能自动化会议论文集(第二分册)[C];2009年
9 孙玫肖;;软件需求分析方法的研究[A];铁道科学技术新进展——铁道科学研究院五十五周年论文集[C];2005年
10 郑军;胡铭曾;云晓春;郑仲;;基于数据流方法的大规模网络异常发现[A];全国网络与信息安全技术研讨会'2005论文集(上册)[C];2005年
中国重要报纸全文数据库 前10条
1 陈芸芸;欧盟计划全面推行高速网络[N];中国电子报;2010年
2 本报记者 李晓玉;红色年代捍卫通信生命线 立体高速网络见证90年历程[N];通信信息报;2011年
3 本报记者 柯文;高速网络降低门槛[N];中国高新技术产业导报;2001年
4 记者 张蕾;昆明交通迈向高速网络智能[N];昆明日报;2010年
5 ;高速网络安全解决方案[N];计算机世界;2002年
6 本报记者 游雪晴;高速网络联出数字九运[N];科技日报;2001年
7 ;高速网络矩阵打印系统[N];科技日报;2000年
8 上海贝尔副总裁 冯叶;多方位入手实现高速网络优化[N];中国电子报;2009年
9 沐滟;明年60亿元投向交通基础建设[N];无锡日报;2007年
10 ;管制机构令德国电信开放高速网络[N];人民邮电;2007年
中国博士学位论文全文数据库 前10条
1 罗燕;高速网络中拥塞控制研究[D];重庆大学;2004年
2 苏凡军;高速网络拥塞控制算法研究[D];浙江大学;2006年
3 金澈清;数据流上若干查询处理算法的研究[D];复旦大学;2005年
4 王勇;WEB数据挖掘研究[D];西北工业大学;2006年
5 闫莺;多数据类型的数据流查询处理及优化[D];复旦大学;2008年
6 周黔;高性能数据流模式发现算法及其应用研究[D];浙江大学;2008年
7 陈华辉;基于遗忘特性的数据流概要结构及其应用研究[D];复旦大学;2008年
8 张晨;数据流聚类分析与异常检测算法[D];复旦大学;2009年
9 刘学军;数据流聚集查询和频繁模式挖掘的研究[D];东南大学;2006年
10 陈一骄;网络入侵检测系统高速处理技术研究[D];国防科学技术大学;2007年
中国硕士学位论文全文数据库 前10条
1 陈磊松;面向高速网络的数据流处理系统研究与应用[D];厦门大学;2007年
2 王德锁;高速网络中的TCP拥塞控制算法研究[D];四川大学;2004年
3 车娟;基于4位MCU的通用计算器芯片数学运算系统的研究与实现[D];暨南大学;2004年
4 郭明亮;高速网络中实时流量识别系统的研究与设计[D];北京邮电大学;2010年
5 白岩;高速网络认证算法研究及实现[D];北京邮电大学;2011年
6 蔡建;高速网络上的实时文本检索和过滤系统[D];四川大学;2004年
7 康晓宁;分布式高速网络入侵防御系统研究与试验性实现[D];清华大学;2004年
8 陈飞波;基于最窄平行四边形的数据流突变检测算法[D];复旦大学;2008年
9 胡敏;高速网络入侵检测系统中规则匹配算法的研究[D];西北工业大学;2005年
10 李鹏;高速网络数据的获取和还原[D];大连海事大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026