收藏本站
《电子科技大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

一种透明的分布式计算框架及其在网络优化软件中的应用

洪道友  
【摘要】: ZXPOS网络规划优化系统,基于网络的工程参数、无线参数、路侧数据等多种数据,从多个方面对网络进行统计、检查和分析,从而对网络进行规划、评估和优化。该过程中需要涉及到大量的计算处理,如路由预测、测地线计算、PN规划、自动载频规划、以及仿真过程中的路径损耗计算等等。面对这类海量数据,计算通常需要耗费大量的内存和CPU资源。如果采用单机模式来处理海量数据,不仅耗时很长且效率极低,很大程度上降低了工程效率。而超级计算机过于昂贵,布置集群系统又存在许多困难,如费用昂贵、硬件要求高、部署困难等。在该背景下,本文提出了一种基于局域网的分布式计算框架,充分利用现有网络设备和闲置计算机资源,把单机的运算负载分散到多台PC机上,极大得缩短了运算时间,同时又最大限度地屏蔽了底层的分布式计算过程,以达到易管理易使用的目的。 本文针对网络优化和网络仿真数据处理中,基于海量数据和海量的计算的基础上,提出了一种能够充分利用现有的企业级网络资源,且具有易管理易使用特点的分布式计算处理方案。该方案中,以动态链接库的形式组织算法文件,以适应各种分布式算法。系统具有较高的任务透明性,计算数据和算法文件相互独立设计。该框架具有较好的智能性,能自动检测机器信息及网络环境,采用负载平衡的方式进行任务的透明分配。通过合理的任务调度,性能高的计算节点分配的任务比较多,性能低的计算节点分配的任务比较少。 从应用角度上,通过本文的研究,可使类似具有数台或数十台PC机的部门,只要这些计算机连接在网络上,而无需任何额外的硬件投入,即可配置为功能强大的分布式网络计算平台,从而实现海量计算的快速求解,并且不会影响单机的日常工作。我们将大计算任务以通过某种方式分解成多个的小任务,发布在分布式计算平台上。随着计算网络规模的扩大,计算平台的计算节点将越来越多,必将大大提高效率。这种低成本的计算框架其潜在的经济与社会效益极大。 经过实验,本文提出了用基于局域网的分布式计算框架基本上可以满足网络优化软件中海量测试数据的计算。在有限的经济条件下,我们采用这种分布式并行计算的方法来解决这些难解问题,有较强的科研价值和实用性。
【学位授予单位】:电子科技大学
【学位级别】:硕士
【学位授予年份】:2009
【分类号】:TP393.02

手机知网App
【参考文献】
中国期刊全文数据库 前10条
1 彭德纯;;当前分布式计算研究之特点[J];国际学术动态;1996年06期
2 陈华平,林洪,陈国良;并行分布计算中的启发式任务调度[J];计算机研究与发展;1997年S1期
3 邵堃,刘宗田,孙智勇;分布式计算环境的比较研究[J];计算机工程与应用;2001年13期
4 薛行;孙钟秀;;异构型分布式计算机系统技术[J];计算机科学;1992年06期
5 余一娇;金海;;对等网络中的搭便车行为分析与抑制机制综述[J];计算机学报;2008年01期
6 鞠九滨,徐高潮,杨鲲;ILBOT:用于工作站机群的智能动态负载平衡软件[J];计算机学报;1996年02期
7 游文建;霍宏;方涛;;分布式计算环境的自由市场模型及其性能分析[J];计算机应用;2005年S1期
8 裴丹,汪东升,沈美明;工作站网络系统进程迁移机制[J];软件学报;1999年10期
9 陈华平,ustc.edu.cn,黄刘生,ustc.edu.cn;启发式任务调度中的处理器选择策略[J];软件学报;1999年11期
10 刘振英,方滨兴,胡铭曾,张毅;一个有效的动态负载平衡方法[J];软件学报;2001年04期
【共引文献】
中国期刊全文数据库 前10条
1 陈秀芳;;Snort技术在分布式入侵检测系统中的应用研究[J];安徽电子信息职业技术学院学报;2009年04期
2 张伟林;网络并行计算及在计算力学中的应用[J];安徽建筑工业学院学报(自然科学版);2003年01期
3 章文;物探数据处理网络并行计算环境的设计和实现[J];安庆师范学院学报(自然科学版);2002年02期
4 张晓阳,霍达,代春生;分布式城市的概念、原型及基本属性[J];北京工业大学学报;2003年03期
5 吕晓斌,朱自强;二维跨音速Euler方程分区并行算法[J];北京航空航天大学学报;2000年02期
6 徐小龙;熊婧夷;杨庚;李玲娟;;基于电子票券和全局信誉度的P2P激励机制[J];北京理工大学学报;2011年10期
7 陈才;杨放春;苏森;双锴;;考虑节点自主特性的对等网络拓扑优化调整[J];北京邮电大学学报;2011年01期
8 邹华胜;分布式OS模型及其设计困难的探讨[J];中国煤炭经济学院学报;1997年04期
9 黄明和,钟萃相,尹红;线性阵列上的一种新的并行排序算法[J];江西师范大学学报(自然科学版);2005年03期
10 尚明生,刘宴兵,孙世新;阶段并行模型上的并行算法设计[J];重庆邮电学院学报(自然科学版);2001年03期
中国重要会议论文全文数据库 前10条
1 王菲;郑炼功;;面向网络的三维战场环境开发技术的研究[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年
2 曾睿;;一种基于基因思想的核在开发式分布处理(ODP)模型中的应用[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(上册)[C];2008年
3 张锦雄;;矩阵相乘并行算法的MPI实现[A];广西计算机学会2004年学术年会论文集[C];2004年
4 于宏霞;黄志春;;嵌入式网关中分布式通信模块设计[A];广西计算机学会2007年年会论文集[C];2007年
5 黄李冲;于忠海;陈田;;基于RBR-CBR的数控刀具材料选择专家系统[A];全国先进制造技术高层论坛暨第十届制造业自动化与信息化技术研讨会论文集[C];2011年
6 邹逢兴;曾令李;高政;刘烽;;一种求解混合流水车间调度问题的分布式方法[A];2009中国控制与决策会议论文集(2)[C];2009年
7 刘浩;李曙升;贺江峰;袁著祉;;基于消息的事件驱动机制在复杂工业控制中的应用[A];1996年中国控制会议论文集[C];1996年
8 陈宁军;倪桂强;潘志松;姜劲松;;基于中间件的分布式网络异常检测系统[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
9 马明全;周明全;耿国华;;分布式大规模交通网络实时模拟系统[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
10 何佳洲;;一种基于层次黑板模型的信息融合框架[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 丁和艳;铝合金车轮CNC机械抛光工艺优化的基础研究[D];华中科技大学;2010年
2 周云;面向实时作战决策支持的动态数据驱动仿真理论和方法研究[D];国防科学技术大学;2010年
3 彭春光;基于语义交互和动态重构的兵棋推演系统概念框架及其关键技术研究[D];国防科学技术大学;2010年
4 郭良敏;P2P文件共享系统中的副本技术研究[D];中国科学技术大学;2011年
5 郭东;P2P网络的动力学建模与算法研究[D];中国科学技术大学;2011年
6 王先超;三值光学计算机监控系统之任务管理及其理论研究[D];上海大学;2011年
7 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年
8 秦丰林;对等网络流媒体关键技术及激励机制研究[D];山东大学;2011年
9 霍英;基于超节点体系结构的P2P覆盖网优化技术研究[D];中南大学;2011年
10 刘志文;基于外网等值的多区域电力系统无功优化计算[D];华南理工大学;2011年
中国硕士学位论文全文数据库 前10条
1 韩冬振;远程诊断中心的设计与实现[D];郑州大学;2010年
2 侯佳奇;社保联网审计中增量数据分布式处理的研究[D];哈尔滨工程大学;2010年
3 李力军;基于移动Agent的分布式计算研究与实现[D];哈尔滨工程大学;2010年
4 高和东;GPU并行计算在LSSVM建模中的研究与应用[D];大连理工大学;2010年
5 赵汉卿;智能算法在气体识别与NoC单元映射中的研究[D];大连理工大学;2010年
6 武聪;基于混合式P2P动态拓扑构造系统的应用研究[D];辽宁工程技术大学;2009年
7 李海永;面向电子政务地理信息共享服务的空间数据实体化方法[D];辽宁工程技术大学;2009年
8 孙健超;基于Linux的集群系统的应用研究[D];辽宁工程技术大学;2009年
9 牛园园;分布式数据库有关连接查询优化算法的研究[D];长沙理工大学;2010年
10 张准;远程数据自动恢复支持技术研究[D];沈阳理工大学;2010年
【二级参考文献】
中国期刊全文数据库 前10条
1 何炎祥,夏循斌,孙祥胜,陈燕涛;一种分布式OS自动生成系统模型[J];高技术通讯;1995年04期
2 王多强,魏建宾,陈志勇,薛志东;分布式计算系统中的动态调度策略研究[J];华中科技大学学报;2001年S1期
3 曹鸿强,肖侬,卢锡城,刘艳;一种基于市场机制的计算网格资源分配方法[J];计算机研究与发展;2002年08期
4 陈华平,林洪,陈国良;并行分布计算中的启发式任务调度[J];计算机研究与发展;1997年S1期
5 谢树煜;魏刚毅;刘晓峰;;分布式计算机系统中操作系统的设计与实现[J];计算机工程与应用;1990年Z1期
6 何炎祥;;分布式系统中的“合一-阀值”任务分配算法[J];计算机工程与应用;1990年Z1期
7 谢树煜,唐宾;面向分布知识处理的分布式任务调度器[J];计算机工程与应用;1993年05期
8 鞠九滨,魏晓辉,徐高潮,尹玉;DPVM:支持任务迁移和排队的PVM[J];计算机学报;1997年10期
9 温钰洪,王鼎兴,郑纬民;异构机群系统中的最优处理机分配算法[J];计算机学报;1996年03期
10 陈华平,计永昶,陈国良;分布式动态负载平衡调度的一个通用模型[J];软件学报;1998年01期
【相似文献】
中国期刊全文数据库 前10条
1 黄水源;段隆振;周理凤;;一种基于J2EE服务器集群的中间件负载平衡系统[J];南昌大学学报(理科版);2005年06期
2 姚凯;基于工作站群负载平衡若干问题的研究[J];佳木斯大学学报(自然科学版);1998年02期
3 金之雁,王鼎兴;一种适用于有限差分模式的负载平衡区域分解方法[J];气象学报;2002年02期
4 查志琴,高波;Web服务器的规划与负载平衡设计[J];常州工学院学报;2002年02期
5 孔令凡,吕丽民;基于B/S的网管负载平衡问题研究[J];浙江工业大学学报;2002年02期
6 田颖,许鲁;分布式文件系统中的负载平衡技术[J];计算机工程;2003年19期
7 汪芸;王俊岭;;一种面向主动复制服务器的负载平衡框架(英文)[J];Journal of Southeast University;2005年04期
8 许少华;刘飒;;IP电话中RADIUS服务器负载平衡的设计与实现[J];大庆石油学院学报;2007年01期
9 朱君;赵宁;;Euler方程非结构网格分布式并行计算[J];数值计算与计算机应用;2007年03期
10 赵佳;陆建德;;基于动态标价的负载平衡方案——无组织P2P系统中解决导向搜索所产生的问题[J];计算机应用与软件;2008年01期
中国重要会议论文全文数据库 前10条
1 杨国华;;ATM与PDH网间互联与技术实现[A];科技、工程与经济社会协调发展——中国科协第五届青年学术年会论文集[C];2004年
2 刘礼农;刘洪;李幼铭;;波动方程三维叠前深度偏移并行计算的负载平衡方案[A];中国科学院地质与地球物理研究所二○○三学术论文汇编·第四卷(油气资源)[C];2003年
3 范新媛;徐国治;陈研;王东民;;基于机群的网络服务器系统构架研究[A];2002海峡两岸三地无线科技研讨会论文集[C];2002年
4 蒋进曦;刘惠;韩伟红;贾焰;;数据库服务器级容错和负载平衡服务的研究[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
5 孙建林;;梅山带钢热连轧过程控制系统中的计算机技术[A];中国金属学会2003中国钢铁年会论文集(4)[C];2003年
6 章小宁;许都;李乐民;;具有多优先级的两级交换机性能分析[A];通信理论与信号处理新进展——2005年通信理论与信号处理年会论文集[C];2005年
7 洪晓光;王海洋;王新军;董继润;;并行数据库多维负载平衡的动态数据分布调整算法[A];第十五届全国数据库学术会议论文集[C];1998年
8 张敏;;构建大规模WebGIS网站的探究——针对WebGIS的理正IMS负载平衡技术[A];中国地理信息系统协会第八届年会论文集[C];2004年
9 施进明;;气象卫星资料处理业务中的并行计算技术[A];信息技术在气象领域的开发应用论文集(一)[C];2005年
10 邓启文;韦庆;李泽湘;;提高遥操作系统的透明性[A];第25届中国控制会议论文集(中册)[C];2006年
中国重要报纸全文数据库 前10条
1 王韬;30亿 广州打造网络互联[N];中国计算机报;2003年
2 闫冰;CES 2008强调网络互联[N];网络世界;2008年
3 ;iTCM产品必备八大性能[N];计算机世界;2001年
4 记者 谢苗枫 实习生 姜芝树 通讯员 赖红英;“电子白板”逐步取代传统黑板[N];南方日报;2006年
5 记者 常姗姗;清华学子领略网络互联前沿技术[N];科技日报;2000年
6 候云峰 袁波;负载平衡的网络转发技术[N];中国电脑教育报;2004年
7 本报记者 程晖;中国亟待成立网络互联银行[N];中国经济导报;2007年
8 ;从网络互联到应用互联[N];中国计算机报;2003年
9 ;网络互联 协同支付[N];中国计算机报;2003年
10 ;IPSec/SSL VPN一体化部署[N];计算机世界;2006年
中国博士学位论文全文数据库 前10条
1 杨帆;基于负载平衡的新一代核心网络技术研究[D];北京邮电大学;2010年
2 蒋江;异构集群系统中基于进程迁移机制的负载平衡算法的研究[D];国防科学技术大学;2002年
3 陈锡明;基于NOW的任务调度和负载平衡方法研究[D];电子科技大学;2000年
4 范国闯;Web应用服务器关键技术研究[D];中国科学院研究生院(软件研究所);2004年
5 陈香兰;面向服务的分布式操作系统及其上的服务组合关键技术研究[D];中国科学技术大学;2007年
6 郭荣祥;基于VEGA网格的Dixon结式分布式计算[D];中国科学院研究生院(成都计算机应用研究所);2006年
7 张大雷;乳液原位悬浮聚合法制备透明ABS树脂的研究[D];吉林大学;2006年
8 韩定一;对等网络的社区模型及其在搜索中的应用[D];上海交通大学;2007年
9 杨建波;基于多小波及遗传算法的数字水印技术研究[D];吉林大学;2005年
10 林蔚;移动自组网的路由技术研究[D];哈尔滨工程大学;2006年
中国硕士学位论文全文数据库 前10条
1 洪道友;一种透明的分布式计算框架及其在网络优化软件中的应用[D];电子科技大学;2009年
2 陈乐;基于集群的网络作业管理系统的研究与实现[D];西北工业大学;2006年
3 唐觅;支持并行任务的多约束网格调度模型研究[D];吉林大学;2006年
4 马自谦;基于组件代理服务器的DCOM负载平衡策略与实现[D];山东大学;2005年
5 彭旭东;基于局域网的并行计算负载平衡[D];天津大学;2004年
6 刘小灵;网格作业调度中可用性技术研究[D];吉林大学;2006年
7 蒋淳;基于Agent的集群系统负载平衡技术研究与应用[D];南京航空航天大学;2005年
8 曲野;VinaGame的分布共享服务器集群的访问控制和一致性管理[D];吉林大学;2009年
9 郑锦;实时分布式系统的容错设计与负载平衡算法的研究[D];辽宁工程技术大学;2004年
10 金全凯;分布式并行计算模型(DPCM)的设计与实现[D];大连理工大学;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026