收藏本站
《北京邮电大学》 2015年
收藏 | 手机打开
二维码
手机客户端打开本文

面向服务的数据集成若干关键技术研究

鄂新华  
【摘要】:随着服务计算在Intern et与企业信息网络中的空前发展,B2B、 B2A、O2O与LBSNS等新的服务模式不断涌现,服务网络中服务间的协作与交互呈现爆炸式增长。同时服务网络的自治性、松散耦合性与弱监管性等特性导致网络中数据服务的交互复杂度急剧攀升,数据间的格式异构、内容不相容与数据源异质等问题将组合服务的数据集成成本增加与资源利用率低下等问题日益显现。网络中的服务系统越发需要通过动态、可伸缩的形式进行相互整合,提高数据服务调度能力与计算服务的协同能力,并保证服务系统的服务质量,提高其中组合服务的执行效率。数据服务是采用面向服务的思想将服务网络中的数据服务化,在组合服务中,数据服务能力提供的过程也是传统数据集成模式服务化的过程,相对于传统的联邦数据库与数据仓库的集成方法,面向服务的数据集成具备模式灵活扩展、资源动态调度与集成即时处理等优势,适合数据庞杂服务多样的网络环境。本文以服务计算为支撑技术、研究服务组合过程中的数据服务集成技术,从服务发现、服务选择、服务调度与服务组合四个阶段的数据服务处理过程展开研究,通过建立基于异常感知的服务组合架构,设计基于综合相似度的服务发现方法,建立基于信任度的数据服务选择策略,实现组合服务中数据服务的有效处理,保证服务系统整体质量。本文主要的创新点为:1)针对海量同质异构数据源在匹配过程中的准确性低下问题,提出一种基于综合相似度的匹配算法ComSM(Comprehensive Similarity Matching),从服务的数据性匹配、功能性匹配与非功能性匹配三个方面对服务需求与发布服务进行多维度匹配,在数据性相似度计算中,通过半结构化文件重构的方式对数据服务进行转义,采用结构和内容两个方面对数据服务进行相似度分析,同时,文中采用描述属性与语义两种方法对服务功能性相似度进行计算。在此基础上考虑服务使用者服务质量的制约,基于K均值算法设计了对于发布服务QoS选择策略,并结合三个维度的匹配对服务候选集进行推断。通过实验对比表明,相对于属性与语义混合的相似度匹配算法,综合相似度匹配算法在候选集的选取上准确性提高了18%左右。2)针对大规模数据服务集成环境下的服务评价可信性问题,提出了通过三层验证的可信服务选择算法TLVCSS(Three Layer Validation Credible Service Selection)。算法在考虑发布服务信任度与组合服务依赖关系的同时,满足数据服务的数据性需求,通过数据服务间的相互制约关系提升服务选择的精度。首先,在服务选择之前将数据特性融入信任度中,并建立数据服务质量信任度模型,并在模型中考虑分时的评测方法对服务需求QoS与发布服务QoS进行连续比对,提高了候选服务集的准确性;然后利用服务上下文对初步评级的可信服务进行筛选;最后,在此基础上考虑数据服务执行质量的因素,优化服务数据性选择。通过实验表明,在数据服务选择过程中,相对于传统的可信服务选择算法,本文算法节省了约12%的发布服务的QoS计算量,并提高了23%左右的服务选择准确性。3)针对服务替换对于整体组合服务的效用影响问题,提出了—种基于全局补偿代价约束的服务调度算法G3C(Global CompensationCost Constraints)。算法首先分析长事务模型中的QoS变化以及数据性质量对于补偿操作的影响,实现局部补偿与全局补偿在服务调度过程中的制衡计算;然后,通过提出动态备选机制提高补偿操作的执行效率;最后,通过结合替换代价的损耗,完善全局补偿代价的内容。在试验中表明,结合动态备选机制的补偿机制成功率相对于传统补偿机制提高了约32%。4)针对数据集成服务中间件由于发生异常而导致服务组合更新准确性降低的问题,提出一种基于环境感知的数据服务组合算法EPDSP(Environmental Perception Data Service Portfolio),并提出了基于主、被动异常感知的服务组合处理框架LPSC(Lord, Passive Abnormal Perception of Service Composition)。算法首先提出主、被动组合服务异常行为模型,并基于行为模型对服务主被动异常进行监测;随后,通过EPDS P算法,结合启发式算法划分自愈备选集,并通过计算资源、数据资源与网络资源对现有服务进行自愈性更新,并在此基础上提出基于感知的组合服务框架LPSC,将异常检测模块、服务发现模块、服务训练与服务资源配置模块整合,配合组合建模,提升组合服务的自愈能力。
【学位授予单位】:北京邮电大学
【学位级别】:博士
【学位授予年份】:2015
【分类号】:TP393.09

【参考文献】
中国期刊全文数据库 前10条
1 邓松;万常选;刘喜平;廖国琼;;基于用户反馈的深网数据源选择[J];小型微型计算机系统;2012年11期
2 单锦辉;徐克俊;王戟;;一种软件故障诊断过程框架[J];计算机学报;2011年02期
3 印莹;张斌;张锡哲;;面向组合服务动态自适应的事务级主动伺机服务替换算法[J];计算机学报;2010年11期
4 郭文越;陈虹;刘万军;;基于SOA的数据共享与交换平台[J];计算机工程;2010年19期
5 陈冬林;聂规划;李晓菲;;面向客户视角的Web服务组合优化与集成管理方法[J];计算机应用研究;2010年09期
6 王艳敏;谢强;丁秋林;;基于本体和Web Services的数据交换平台[J];计算机技术与发展;2010年05期
7 王海;陈妍;范琳;李增智;;一种利用描述逻辑的语义Web服务前提/效果匹配方法[J];西安交通大学学报;2010年04期
8 袁敏;黄志球;曹子宁;肖芳雄;;一种扩充的π-演算及事务性等价关系研究[J];计算机研究与发展;2010年03期
9 范小芹;蒋昌俊;王俊丽;庞善臣;;随机QoS感知的可靠Web服务组合[J];软件学报;2009年03期
10 朱锐;郭长国;王怀民;;一种基于补偿代价的长事务调度算法[J];软件学报;2009年03期
中国博士学位论文全文数据库 前3条
1 杨勇;SOA等级化服务替换理论与机制[D];复旦大学;2011年
2 张龙昌;面向复杂上下文的组合服务决策方法研究[D];北京邮电大学;2011年
3 夏永霖;复合服务自恢复关键技术研究[D];中国科学技术大学;2010年
中国硕士学位论文全文数据库 前2条
1 杨晓英;基于OWL-S的Web服务语义描述方法的研究[D];北京邮电大学;2009年
2 刘斌;基于QoS本体的语义Web服务选择研究[D];北京邮电大学;2008年
【共引文献】
中国期刊全文数据库 前10条
1 XU Xiangyang;LIU Qing;ZHANG Weixin;YANG Guangyi;LIU Jinshuo;;A Simplified-Syntax-Based Static Structure Model for Embedded Software Analysis[J];Wuhan University Journal of Natural Sciences;2016年04期
2 沈记全;孔祥君;;基于改进蚁群优化算法的QoS区间数服务组合方法[J];计算机工程;2016年07期
3 张晓丽;徐飞飞;;基于企业服务总线的统一数据展现平台设计与实现[J];河南理工大学学报(社会科学版);2016年02期
4 陈志明;李鹏;胡小梅;王汉东;;漳河水库三维仿真管理信息系统设计与实现[J];人民长江;2016年12期
5 刘文瑞;易世界;栗娟;杨威;刘进;;基于贝叶斯服务依赖图的错误定位[J];武汉大学学报(理学版);2016年03期
6 刘志忠;彭辉;曹雷;;面向全局约束的QoS分解与服务状态监控机制研究[J];电子学报;2016年04期
7 陆文星;涂竹松;梁焱;;基于HBase的数据共享模型研究[J];计算机技术与发展;2016年04期
8 邓松;;面向旅游人文信息集成的Web数据源选择[J];山东大学学报(理学版);2016年03期
9 赵海蛟;潘善亮;;基于Mule ESB的电子监察系统的设计与实现[J];数据通信;2016年01期
10 王先清;黄昌勤;罗旋;聂瑞华;汤庸;梅晓勇;;基于语义扩展类型论的云服务替换性判定研究[J];通信学报;2016年02期
中国博士学位论文全文数据库 前6条
1 鄂新华;面向服务的数据集成若干关键技术研究[D];北京邮电大学;2015年
2 鲁芹;服务计算异常处理关键技术研究[D];大连海事大学;2015年
3 史银雪;目标驱动—情境感知的柔性Web服务组合研究[D];中国农业大学;2014年
4 许楠;基于本体的上下文感知计算关键技术研究[D];大连海事大学;2015年
5 贾志淳;Web服务故障的诊断方法研究[D];大连海事大学;2013年
6 赵楷;语义编程语言SPL中的异常处理机制研究[D];武汉大学;2011年
中国硕士学位论文全文数据库 前10条
1 张惠娟;基于Web服务的企业服务资源均等化分配机制研究[D];河南理工大学;2015年
2 张丽芬;一种基于混合QOS的服务选择方法[D];华中师范大学;2015年
3 张耘搴;Z石油公司运维信息系统分析与设计[D];电子科技大学;2014年
4 唐艳艳;Web服务的智能调度及执行监控的研究与实现[D];北京工业大学;2013年
5 梁奕欢;面向信息管理系统的服务扩展描述模型及匹配算法研究[D];重庆大学;2013年
6 李月;满足QoS一致性的实时流服务策略研究[D];东北大学;2012年
7 张善德;基于P2P的语义Web服务发现研究[D];中南大学;2012年
8 赵旭;上下文感知的高性能计算服务发现技术研究[D];解放军信息工程大学;2012年
9 郭永社;网络制造环境中服务组合的研究[D];西安工业大学;2011年
10 覃明文;基于服务操作的细粒度服务发现机制研究与应用[D];重庆大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 余伟;李石君;文利娟;田建伟;;基于数据质量的Deep Web数据源排序[J];小型微型计算机系统;2010年04期
2 马震远;周杰;陈楚;张凌;;一种分段测量保证QoS约束的任播通信模型[J];西安交通大学学报;2010年02期
3 姜山;郑庆华;刘晓;董巍;;一种支持大规模应用层组播的混合拓扑覆盖网络[J];西安交通大学学报;2010年02期
4 王海;朱正东;范琳;李增智;;以语义规则刻画服务请求的Top-kWeb服务发现方法[J];西安交通大学学报;2010年02期
5 杜小智;齐勇;侯迪;陈滢;;重配置与周期再生相结合的软件再生模型[J];西安交通大学学报;2010年01期
6 陈衡;钱德沛;伍卫国;;无线传感器网络地理位置路由度量方法[J];西安交通大学学报;2009年12期
7 吴众欣;韩彪;钱德沛;王永剑;;面向Web服务总线集成的分阶段优先级事件驱动架构[J];西安交通大学学报;2009年12期
8 李金铃;周颢;赵保华;;基于隐马尔可夫模型的无线局域网媒体接入控制层入侵检测方法[J];西安交通大学学报;2009年12期
9 章志燮;周颢;赵保华;;面向变异分析的协议安全测试方法[J];西安交通大学学报;2009年12期
10 李保红;牛慧芳;赵银亮;;可废除并发签名机制[J];西安交通大学学报;2009年12期
中国博士学位论文全文数据库 前5条
1 夏亚梅;动态服务组合中的若干关键技术研究[D];北京邮电大学;2009年
2 刘栋;上下文感知计算技术研究及其在语义Web服务中的应用[D];北京邮电大学;2009年
3 李飞;Web服务的分布式QoS管理及其关键技术研究[D];北京邮电大学;2008年
4 李祯;混合QoS模型感知的语义Web服务组合决策算法研究[D];北京邮电大学;2008年
5 梁晟;基于语义Web的服务自动组合技术的研究[D];中国科学院研究生院(软件研究所);2004年
【相似文献】
中国期刊全文数据库 前10条
1 韩蕊;;大数据呼唤数据集成新思维[J];互联网周刊;2013年22期
2 陈小慧;企业级工艺数据集成管理技术方案[J];机电信息;2001年10期
3 殷晓岚,付远彬,李京;企业数据集成模式的研究[J];计算机工程与应用;2002年12期
4 赵赛;陈松乔;邓莎莎;;基于规则树的Web数据集成包装器的设计与实现[J];计算机技术与发展;2006年06期
5 潘晔;任广伟;舒艳;;利用本体进行Web数据集成[J];贵州工业大学学报(自然科学版);2006年03期
6 唐桂芬;廖巍;陈荦;景宁;;面向地理数据服务的空间数据集成关键技术研究[J];计算机科学;2007年09期
7 周冰;;调查显示:数据集成获中国企业认同[J];信息化纵横;2008年08期
8 董峰;李晋宏;;企业数据集成综述[J];中国金属通报;2008年42期
9 韩明;;油田开发数据综合集成的研究[J];数字石油和化工;2009年07期
10 金芳;;基于虚拟化技术的高校数据集成[J];价值工程;2012年04期
中国重要会议论文全文数据库 前10条
1 蔡彪;廖闻剑;彭艳兵;;Deep Web数据集成和关键技术综述[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年
2 许国艳;王志坚;;基于主动服务的领域数据集成研究[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年
3 胥永康;吴志杰;席传裕;岳筱玲;;基于数据拆分的数据集成技术研究[A];2005全国计算机程序设计类课程教学研讨会论文集[C];2005年
4 李宗华;肖道纲;彭明军;;数字武汉空间基础数据集成建库及应用[A];坚持科学发展观 推进自主创新 促进国家创新型城市建设——武汉市第二届学术年会论文集[C];2006年
5 乔慧捷;赵海军;纪力强;;生物多样性数据集成模式初探[A];第五届全国生物多样性保护与持续利用研讨会论文摘要集[C];2002年
6 张寿明;张云生;向风红;缪尔康;;异构设备数据集成实践[A];中国自动化学会全国第九届自动化新技术学术交流会论文集[C];2004年
7 张德钦;饶克锋;顾进广;;基于语义的工业联合体数据集成机制[A];全国冶金自动化信息网2014年会论文集[C];2014年
8 刘靖;刘江宁;;数据集成体系架构及其实现框架研究[A];山东省计算机学会2005年信息技术与信息化研讨会论文集(二)[C];2005年
9 李宗华;彭明军;;规划国土资源管理空间数据集成应用与运行机制探讨[A];2004城市规划年会论文集(下)[C];2004年
10 祝晓红;刘炜;李俊丽;;用WPF进行复杂数据集成的方法研究[A];第二十七届中国控制会议论文集[C];2008年
中国重要报纸全文数据库 前10条
1 于翔;集成即服务:面向云的数据集成[N];网络世界;2009年
2 邹大斌;发挥数据的最大价值[N];计算机世界;2007年
3 于翔;谁碾碎了数据?[N];网络世界;2007年
4 本报记者 于翔;数据集成驱动企业实时创新[N];网络世界;2010年
5 本报记者 于翔;数据集成市场演绎“大国崛起”[N];网络世界;2010年
6 本报记者 于翔;数据集成开启云征程[N];网络世界;2010年
7 本报记者 于翔;数据集成进入快速成长期[N];网络世界;2010年
8 于翔 王翔;收复数据孤岛[N];网络世界;2007年
9 朱文;CIO希望攻克数据质量关[N];计算机世界;2008年
10 吕梁市煤炭设计研究院 张萍;浅析数据集成环境下煤炭企业管理信息系统的构建[N];吕梁日报;2012年
中国博士学位论文全文数据库 前10条
1 张燕;Web数据集成中实体演化与关联问题研究[D];山东大学;2015年
2 鄂新华;面向服务的数据集成若干关键技术研究[D];北京邮电大学;2015年
3 朱笑尘;异质过程数据集成与修复[D];清华大学;2015年
4 王欣;数据集成技术若干问题的研究[D];上海交通大学;2010年
5 张永新;面向Web数据集成的数据融合问题研究[D];山东大学;2012年
6 吴春明;Deep Web数据集成关键技术及其在农业领域的应用[D];西南大学;2011年
7 魏红雨;基于4G地学空间数据集成关键技术研究[D];吉林大学;2014年
8 曹顺良;生物学数据集成若干关键问题研究[D];复旦大学;2005年
9 周春英;超数据集成挖掘方法与技术研究[D];浙江大学;2012年
10 陈义;面向数据集成的数据复制和查询优化[D];中国科学院研究生院(软件研究所);2004年
中国硕士学位论文全文数据库 前10条
1 翟妍伟;基于联邦的异构数据集成与交换系统研究与实现[D];西南交通大学;2015年
2 贾存鑫;链接数据技术在生物医学领域的应用技术研究[D];南京大学;2015年
3 姜玉茹;变电站数据集成与智能化应用研究[D];山东大学;2015年
4 申亚鹏;基于用户反馈的多源非结构化数据集成研究[D];浙江大学;2015年
5 李明;多元空间位置数据集成和服务方法研究[D];南京师范大学;2015年
6 李莉;保障信息系统数据集成管理工具的研究与实现[D];西安电子科技大学;2014年
7 徐喆昊;基于同义实体识别的Web数据集成[D];合肥工业大学;2015年
8 陈俊宁;海上试验场综合数据集成与管理系统设计与实现[D];中国海洋大学;2015年
9 朱默;基于开源平台的高校主数据管理平台分析与设计[D];东南大学;2015年
10 张鹏;多数据库环境数据集成与转换技术研究[D];北方工业大学;2016年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026