收藏本站
《中国科学院研究生院(计算技术研究所)》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

分布式数据采集与监测系统的设计、实现及应用

王金伟  
【摘要】:在计算机系统结构和性能的研究过程中,数据采集和监测系统一直都具有十分重要的作用,它能够获取软硬件运行时所产生的可以反映系统性能、负载和效率等特征的大量数据,从而为现有系统的改进和新结构的设计提供参考。当前,以数据和计算中心为主体的集中式个人计算和存储模式成为了新结构研究中的热点。在这种模式中,计算和存储资源被集中放置在服务器端,用户通过与服务器连接的瘦客户端和虚拟化技术获得独立、安全的个人计算环境。集中模式试图通过服务器端的大规模资源共享来提高资源利用率从而降低成本,这给服务器的设计带来了挑战。而这种服务器的资源及负载实际上是现有大量个人资源和负载的某种聚合。因此,研究现有个人计算机上的资源使用、应用和用户行为等特征,可以为集中模式中服务器的设计提供量化的参考,这就需要对目前大量分布在网络环境中的个人计算机上的数据进行长时期采集与监测,并且,在此过程中采集和监测的数据类型和人群也可能随着研究的进行而发生动态变化。针对这些研究需求,本文设计并实现了一个动态可更新的分布式数据采集与监测系统,并对系统收集到的数据进行了全面的分析。 本文的主要工作和贡献是: 1.分析了典型的分布式监测系统的结构和技术特点,针对集中模式研究的需求,讨论了用于获取网络环境中个人计算机数据的采集和监测系统设计中的关键问题。在总结和分析已有系统的基础上,提出了一个动态可更新的分布式数据采集和监测系统DDCS的体系结构,这一结构融入了数据采集模块独立化和监测过程服务化的设计思想,并基于Manager/Agent模型,很好的满足了长期研究过程中采集数据类型动态变化的需求。 2.基于动态可更新的体系结构,实现了分布式数据采集和监测系统DDCS。DDCS通过动态更新协议实现了参数,数据采集器和系统三个级别的动态更新机制;它通过多种技术实现了系统的轻载性;DDCS还支持多层次和跨网域的数据采集和监测,并且通过提供数据采集器开发包实现了系统的可扩展机制。 3.将DDCS在40台个人办公计算机上进行了部署实验,收集到大量真实数据,通过从资源使用,办公应用和用户行为三个层次对数据的分析和讨论,得到了一系列特征和规律。其中,我们发现办公计算机的CPU平均利用率只有12.9%,内存平均有30%多的剩余,磁盘和网络I/O带宽平均利用率不到1%。 本文所述的DDCS系统,实验所得的数据以及分析的结果都将用于集中式的个人计算和存储模式中服务器端的资源组织和分配策略以及任务调度算法等方面的研究。
【学位授予单位】:中国科学院研究生院(计算技术研究所)
【学位级别】:硕士
【学位授予年份】:2006
【分类号】:TP274.2

手机知网App
【引证文献】
中国硕士学位论文全文数据库 前2条
1 戴敏利;基于Muster的集群渲染系统功能扩展研究与开发[D];华中师范大学;2007年
2 陶捷;动态跟踪系统的性能模型研究及基于动态跟踪技术的机群监测软件的设计与实现[D];复旦大学;2008年
【同被引文献】
中国期刊全文数据库 前10条
1 赵云来;好莱坞的Linux风暴(一)[J];电视字幕(特技与动画);2005年08期
2 李树声;网络集群渲染在3D动画制作中的应用[J];广播与电视技术;2004年09期
3 崔建伟;;CCTV节目包装制作系统工程项目介绍——2005年度国家广电总局科技创新奖工程类一等奖[J];广播与电视技术;2006年05期
4 阮冰;;校园网格环境下计费系统的研究[J];广西轻工业;2006年05期
5 谭朋柳;金海;张明虎;;分布式实时系统的集中式相对时钟同步方法[J];华中科技大学学报(自然科学版);2007年02期
6 何戈,董小社,钱德沛;网络计算环境下一种计费方法的研究与实现[J];计算机工程与应用;2003年17期
7 陈颉;周智;黄刘生;;负载平衡在三维渲染中的应用[J];计算机工程与应用;2005年34期
8 蒋敏;单家芳;孔军;;基于Socket的多平台通讯研究[J];计算机工程与应用;2005年36期
9 牛丹梅,丁建立;一种用于校园网格的计费系统设计[J];计算机工程;2005年S1期
10 吴恩华,柳有权;基于图形处理器(GPU)的通用计算[J];计算机辅助设计与图形学学报;2004年05期
中国硕士学位论文全文数据库 前8条
1 梁青云;基于Linux集群并行应用程序监控技术的研究[D];郑州大学;2004年
2 来淼;并行算法性能评测及并行监测工具关键技术的研究与实现[D];国防科学技术大学;2003年
3 房波;基于通用可编程GPU的视频编解码器——架构、算法与实现[D];浙江大学;2005年
4 阴斐;LINUX集群可视化监测工具的研究与实现技术[D];郑州大学;2005年
5 赵月辉;大规模机群远程监控管理关键技术及实现[D];中国科学院研究生院(计算技术研究所);2006年
6 陈倩;并行程序性能分析系统的研究与实现[D];国防科学技术大学;2005年
7 何淼;分布式网格监测系统中监测与基础分析组件的研究与实现[D];北京邮电大学;2006年
8 甘小方;基于GPU的颜色传递算法在视频处理中的应用[D];大连理工大学;2006年
【二级引证文献】
中国期刊全文数据库 前2条
1 刘焕敏;王华;段慧芬;;集群渲染在航天仿真中的研究与实现[J];飞行器测控学报;2010年04期
2 王永滨;石民勇;洪志国;;网络环境下集群渲染技术综述[J];微电子学与计算机;2008年09期
【相似文献】
中国期刊全文数据库 前10条
1 戴杰;;国外化学战剂远距离监测系统发展概况评述[J];激光与红外;1988年01期
2 崔亦飞;何京敏;;IBM-PC总线控制的地下监测系统[J];自动化与仪表;1993年02期
3 李玉忍,姬劳;DOS环境下实时多任务监测系统的实现[J];微电子学与计算机;1994年02期
4 王惠丰,王妙玲;SG-600旋转机械监测系统的研制和开发[J];电站系统工程;2001年03期
5 胡友民,杜润生,杨叔子;冗余式分层监测系统可靠性分析[J];机械工程学报;2003年08期
6 黄伟力,虞晓磊;基于VB6.0的PC机与AT89c51的温度智能检测系统的实现[J];煤炭技术;2005年05期
7 赵新宇;基于MSComm控件下监测系统与GPS接收机间串行通信实现[J];长沙电力学院学报(自然科学版);2005年03期
8 厉铁帅;陈鸣;;基于SNMP的IP网络流监测系统的设计与实现[J];军事通信技术;2006年02期
9 吕勇;李友荣;朱瑞荪;陈阳;;一种嵌入式远程监测与诊断系统及其应用[J];现代制造工程;2007年03期
10 高军礼;袁江南;肖曙红;查长礼;;直线电机监测系统的关键技术研究[J];制造业自动化;2007年07期
中国重要会议论文全文数据库 前10条
1 屈金泉;周昂;;挖泥船疏浚监测系统[A];第7届全国核电子学与核探测技术学术年会论文集(三)[C];1994年
2 曾宇清;甘敦文;丁勇;王卫东;王辉;朱军;;机车车载轨道安全监测系统的研制[A];第八届全国振动理论及应用学术会议论文集摘要[C];2003年
3 葛徽衍;张永红;贾金海;;黄河小北干流及渭河流域雨量监测系统开发应用[A];推进气象科技创新加快气象事业发展——中国气象学会2004年年会论文集(下册)[C];2004年
4 闫生存;孙役;李振作;;光纤陀螺系统在水布垭工程的成功应用[A];2008南方十三省水电学会联络会暨学术交流会论文集[C];2008年
5 刘英;杨志法;王全才;;可用于岩土工程动态监测的某些便携式监测技术[A];面向21世纪的岩石力学与工程:中国岩石力学与工程学会第四次学术大会论文集[C];1996年
6 李保军;王海燕;张雪;申晓红;程刚;;基于低声能辐射的隔水管VIV监测关键参数研究[A];2009’中国西部地区声学学术交流会论文集[C];2009年
7 朱志龙;;湖北省水功能区限制纳污红线水质监测体系建设[A];实行最严格水资源管理制度高层论坛优秀论文集[C];2010年
8 吴琴;张红侠;吕婧妍;;全自动综合油料监测系统的功能及应用[A];第十七届全国大功率柴油机学术年会论文集[C];2011年
9 史惟直;;上海地铁一号线杂散电流防护及监测[A];中国土木工程学会隧道与地下工程学会地铁专业委员会第十二届学术交流会论文集[C];1998年
10 王群;陈思中;史敏锐;;七号信令集中监测系统功能分析[A];中国通信学会信息通信网络技术委员会2003年年会论文集[C];2003年
中国重要报纸全文数据库 前10条
1 吴磊磊;南京首批36个公共建筑安装用电监测系统[N];中国建材报;2010年
2 记者 尹婷婷;洗浴行业首次入围[N];成都日报;2005年
3 记者 邓华宁;我国棉花主产区初步建立市场监测系统[N];新华每日电讯;2006年
4 姚秀娟;首都机场噪声与运行监测系统投入运行[N];中国民航报;2008年
5 金鑫 孙广贺 刘涛;黑龙江移动雨量监测系统投入运行[N];人民邮电;2005年
6 俊康马健;我市采取扎实措施迎战主汛期[N];宜兴日报;2008年
7 房超峰;浅谈网间结算与互联互通监测系统[N];人民邮电;2003年
8 么志洁 张小晶;内蒙古网间结算及互联监测系统正式运行[N];人民邮电;2005年
9 甘信建;四川通管局完善互联互通监测系统[N];人民邮电;2007年
10 王学林 黄玉兰;新疆新能源托海水电厂改造大坝监测系统[N];中国安全生产报;2008年
中国博士学位论文全文数据库 前10条
1 王德俊;面向服务的分布式系统动态更新研究[D];上海交通大学;2010年
2 徐小辉;构件化软件动态更新关键技术及形式化研究[D];上海交通大学;2011年
3 冯兆祥;岩质桥基稳定性分析方法及监测系统研究[D];河海大学;2002年
4 杨保岑;大跨桥梁施工期结构形态监测系统的实现与应用研究[D];武汉大学;2010年
5 张青;滑坡地质灾害TDR监测技术研究[D];吉林大学;2007年
6 朱大勇;高频地波雷达在近海区域的应用研究[D];厦门大学;2008年
7 夏欣;基于电阻率测量的海床蚀积过程原位监测技术研究[D];中国海洋大学;2009年
8 何勇军;大坝安全监控的人工智能技术研究[D];河海大学;2002年
9 邓念东;基于OO-Solid数据模型的三维地质模型构建与动态更新方法研究[D];西安科技大学;2009年
10 刘永前;大型桥梁结构健康监测技术研究与应用[D];北京交通大学;2007年
中国硕士学位论文全文数据库 前10条
1 王金伟;分布式数据采集与监测系统的设计、实现及应用[D];中国科学院研究生院(计算技术研究所);2006年
2 徐丽;柔性线路板电镀生产过程监测系统的设计与实现[D];苏州大学;2005年
3 曾欢;温室环境监控系统中无线局域网技术的研究[D];北京林业大学;2008年
4 杨宏;复用型数据流监测系统的研究[D];武汉大学;2004年
5 杜丹;基于DSP的电能质量在线网络监测系统[D];华北电力大学(北京);2005年
6 杜晓坤;信息融合与Lon Works总线在煤矿监测系统中的应用研究[D];辽宁工程技术大学;2006年
7 李涛;电网地磁感应电流监测系统后台软件开发[D];华北电力大学(北京);2007年
8 周凡;流媒体监测系统的完善与性能优化[D];北京邮电大学;2007年
9 刘毅;基于DSP的电能质量监测系统的研究[D];湖南大学;2008年
10 李栋;基于无线传感器网络的温室监测系统的设计与研究[D];江南大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026