收藏本站
《中国科学院大学(中国科学院深圳先进技术研究院)》 2020年
收藏 | 手机打开
二维码
手机客户端打开本文

多路数据流θ连接的流过滤问题研究

胡紫玥  
【摘要】:数据流是一组大量、快速、顺序、连续到达的数据集合。近年来,电子商务、网络监控、广告系统等用于数据流处理的应用越来越引起重视。作为基本操作之一,连接在流的处理过程中起着非常重要的作用。是连接条件,包括,≤,≥,,如果为“=”,则称为等值连接。其目的在于找出不同数据集中满足连接条件的特定对象。针对海量流式数据分析处理中的多路数据流连接处理,本论文从等值连接和非等值连接两个模块分别进行了研究,并且分别提出了高效的解决办法。在非等值连接方面,本文提出了FastThetaJoin,这是一种多个数据流中用于连接操作的优化技术。连接作为许多数据分析任务中经常使用的基本查询操作,在实际应用中,对多路数据流进行连接操作是非常困难的。由于多个操作组件之间的数据移动,因此涉及巨大的通讯和计算成本,使其难以在分布式环境中有效实施。与之前的研究方法一样,FastThetaJion也会尝试最小化连接的数量,但是在制定分区策略,删除不必要的数据和执行笛卡尔积时,FastThetaJion提出了与其他方法不同的分段过滤策略。通过这些策略,FastThetaJoin不仅可以有效地减少连接的操作数量而且还可以有效提高其在分布式环境中的运行效率。本文在Spark Streaming框架中实现了FastThetaJoin,实验结果表明,与现有解决方案相比,本文提出的方法可以减少参与连接的数据量,加快连接处理速度,进而提高连接的性能,和现有的算法相比可以提升30%以上的速度。此外,优化的效果与数据流的特性有关。数据特征差距越大,优化效果越明显。在等值连接方面,本文提出了一个新的面向流的过滤器,名为多重布谷鸟过滤器(MCF)。这是一种基于经典布谷鸟过滤器的多重布谷鸟过滤器,可用于判断在特定时间段内所有数据流中是否存在某一相同元素。该方法将多个数据集的成员资格查询分解为多个操作,并将查询置于流环境中,每个数据流对应一个过滤器。实验结果表明,随着数据流数量的增加,插入和查询操作的时间也会增加。MCF的查询时间也随着滑动窗口的减小和窗口数量的增加而逐渐增加。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前19条
1 东方春晓;;远去的布谷鸟[J];决策探索(上);2020年06期
2 新志;;布谷鸟,高原春天的使者[J];新西藏(汉文版);2019年03期
3 牧笛;快乐的布谷鸟[J];北方音乐;2005年05期
4 刘剑;;布谷鸟[J];内蒙古林业;2017年09期
5 周锐;郑凯军;;帮布谷鸟找医生[J];小猕猴学习画刊;2019年17期
6 柏铭久;;布谷鸟在秋天叫什么[J];中国诗歌;2019年06期
7 丁美中;;布谷鸟[J];青年文学家;2020年10期
8 孙鹤;;布谷鸟[J];青年文学家;2020年19期
9 徐馨柔;;布谷鸟[J];小学生天地;2018年34期
10 池玉林;;《布谷鸟与丰收》[J];流行色;2019年06期
11 亚楠;;布谷鸟在歌唱(组诗)[J];广州文艺;2019年11期
12 弓木;;布谷鸟[J];现代语文(教学研究版);2011年07期
13 刘储齐;;飞翔的小布谷鸟[J];小学教学研究;2012年18期
14 李尚培;白明植;;布谷鸟的故事[J];早期教育(家教版);2011年05期
15 蓑依;;布谷鸟[J];现代语文(学术综合版);2013年01期
16 ;布谷鸟[J];新教育;2018年03期
17 ;小布谷鸟长大了[J];小学阅读指南(低年级版);2018年01期
18 王雅馨;;我是森林中的布谷鸟[J];琴童;2018年06期
19 方卫平;;小布谷鸟长大了[J];语文世界(小学生之窗);2018年Z2期
中国重要会议论文全文数据库 前10条
1 游友基;;辛笛:不倦追求与歌唱的布谷鸟[A];看一支芦苇——辛笛诗歌研究文集[C];2012年
2 徐钧;;鄂尔多斯学是一枝艳丽的社科之花[A];《鄂尔多斯学研究成果丛书》地方学研究[C];2012年
3 徐浩杰;丁政豪;吕中荣;刘济科;;基于改进布谷鸟算法的结构损伤识别[A];中国力学大会-2015论文摘要集[C];2015年
4 周锐;肖川;王国仁;韩东红;霍欢;;数据流滑动窗口连接上的卸载技术的研究[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
5 沙瀛;谭建龙;;一种采用拟合曲线计算滑动窗口下数据流的最大值/最小值的方法[A];第二十四届中国数据库学术会议论文集(技术报告篇)[C];2007年
6 肖理业;邵维;程友峰;王秉中;;基于布谷鸟算法的共形阵列方向图综合[A];2015年全国微波毫米波会议论文集[C];2015年
7 孙婷;赵哲;陈立军;张旭亮;;数据流滑动窗口上线性回归参数的递推式算法[A];第二十四届中国数据库学术会议论文集(技术报告篇)[C];2007年
8 杨兴华;于亚新;于戈;欧征宇;武珊珊;;一种数据流滑动窗口上的索引连接策略[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
9 张龙波;李战怀;余敏;王勇;蒋芸;;面向数据流滑动窗口的随机抽样算法研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
10 郭兵洁;张天成;李景银;于戈;;基于时标的滑动窗口模型在数据流查询中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
中国重要报纸全文数据库 前10条
1 本报记者 郭晓东 通讯员 任哲峰;“常青树”迎来了“布谷鸟”[N];金融时报;2019年
2 欧阳杼;《布谷鸟的蛋是谁的》:东野圭吾的好胜基因[N];文艺报;2011年
3 王亚静 梁志苗 吕志英;洛阳联通 “布谷鸟”搭起咨询投诉平台[N];人民邮电;2009年
4 董娟;中国企业更适合做布谷鸟和益生菌[N];中国经营报;2006年
5 殷国安;加班加薪,劳动部门不能只当“布谷鸟”[N];检察日报;2007年
6 易水;IT新词集锦[N];计算机世界;2004年
7 罗吉万;布依文化产业的现状与发展趋势[N];贵州民族报;2011年
8 吴应海;少当“布谷鸟”,多当“啄木鸟”[N];恩施日报;2010年
9 黔西南日报融媒体记者 查必芳 毛倪佳;“四朵金花”绽放北京[N];黔西南日报;2019年
10 记者 胡增民;三方合力 江苏布谷鸟粮食交易平台正式发布[N];粮油市场报;2020年
中国博士学位论文全文数据库 前3条
1 程加堂;演化算法中多样性与自适应性增强机制的方法研究[D];西安理工大学;2019年
2 周瑞红;基于群智能优化理论的聚类改进方法及应用研究[D];吉林大学;2017年
3 李祥飞;基于政策干预和误差校正的非线性经济时间序列预测研究[D];天津大学;2014年
中国硕士学位论文全文数据库 前10条
1 胡紫玥;多路数据流θ连接的流过滤问题研究[D];中国科学院大学(中国科学院深圳先进技术研究院);2020年
2 万谦;非线性代数方程组求解的布谷鸟算法及其改进算法研究[D];哈尔滨工业大学;2016年
3 候慧超;布谷鸟优化算法改进及与粒子群算法融合研究[D];渤海大学;2014年
4 薛益鸽;改进的布谷鸟搜索算法及其应用研究[D];西南大学;2015年
5 王凯;基于布谷鸟搜索的特征选择算法研究[D];吉林大学;2015年
6 张杰;基于布谷鸟算法的优化问题求解[D];东北师范大学;2015年
7 田明正;求解多目标优化问题的基于布谷鸟搜索策略的两种改进算法[D];武汉大学;2017年
8 刘延龙;布谷鸟算法的应用研究及算法性能度量[D];东北林业大学;2016年
9 周欢;基于改进布谷鸟算法的电子商务配送中心选址研究[D];河南大学;2016年
10 解翔宇;布谷鸟搜索及其在双聚类分析的应用研究[D];电子科技大学;2014年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978