收藏本站
收藏 | 论文排版

数据集成技术若干问题的研究

王欣  
【摘要】: 近年来,计算机技术的不断发展和应用的广泛普及加快了人类社会信息化的进程。数据集成技术是解决目前普遍存在的“信息孤岛”问题的重要方法。数据集成系统的优劣评判标准是看该系统是否能使用户以最小的代价,高效率的使用这些数据。系统是否能够提供一致的数据是实现此标准的基础。所以,针对数据集成中的数据不一致性问题,本文基于以下两个方面展开了研究:1)通过对数据集成系统返回查询结果中的不一致数据进行分析、解决,从而得到一致的查询结果。基于这种方式,本文基于数据源质量开展了相关研究,提出了解决方法,并给出了普适计算环境下的解决策略和算法。同时设计实现了一个原型系统。2)由数据集成系统提供不一致的数据集,并由专家对所有不一致数据进行集中评估。基于这种方式,本文重点研究了专家参与解决数据不一致性问题时如何取得最好的系统收益。 具体而言,论文的主要研究工作和创新性包括以下几个方面: 1)针对数据集成中数据不一致性问题提出了基于数据源质量的解决方法。本文定义了数据源质量指标,设计了数据集成的数据模型。基于该数据模型,对数据集成中的数据不一致性问题给出了明确的定义。为了能够处理定性的指标值,使用模糊多属性决策方法来解决查询结果中的不一致数据。并基于实验进行验证,得到了良好的实验结果。 2)由于普适计算环境具有动态性的特点,普适环境中数据源质量可能经常发生改变并且获得实际的数据源质量是非常困难的。本文针对普适环境的特点,提出了基于模糊多属性群决策的方法来解决数据集成中的数据不一致性问题。本文使用数据质量指标和消费质量指标来描述数据源的质量。在数据质量指标中,定义了一个数据源属性――“历史可信度”。“历史可信度”表示在数据不一致性问题的处理过程中,数据源提供数据的整体正确程度,并且可以基于用户反馈修改该属性的值。本文提出的解决方案首先基于数据源的消费质量指标,使用效用函数对数据进行初步筛选。然后使用了数据质量指标和模糊多属性群决策方法来选择最合适的数据源提供的数据作为查询结果中不一致数据的解决结果,并将一致的查询结果提供给用户。根据用户反馈,调整相关数据源的历史可信度指标值。实验结果验证了本文提出方法的有效性。 3)领域专家参与解决数据集成系统中的数据不一致性问题时,针对如何让专家的评估更有效率,使数据集成系统取得最大的收益,本文提出了基于完美信息价值的解决方法。本文基于查询结果的质量来评估系统效用,定义了系统效用公式,并进一步得到了完美信息价值的计算公式。根据计算得出的完美信息价值对所有待评估的不一致数据集进行排序,使专家的评估可以最大化系统收益。并基于实验验证方法的有效性,得到了良好的实验结果。 4)基于本文提出的解决数据不一致性问题的方案,设计实现了上海世博数据集成子系统的原型系统。该系统采用了基于可信度的数据集成技术,以服务总线和XML为基础,以基于模式的集成为核心,基于Web服务统一封装异构数据源。在该子系统中,用户可以根据需要选择是否解决查询结果中的数据不一致性问题,这增强了系统的灵活性。世博数据集成子系统采用近似面向对象的数据模式管理方法对系统内数据进行描述和集成,并基于效用函数和模糊多属性群决策的方法对不一致数据进行解决。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 张蒲生,苏运霖;基于政务数据仓库的数据集成及关键技术[J];计算机工程;2003年09期
2 吴健鸣;;利用Java实现Lotus Domino和数据库系统的数据集成[J];上海电机学院学报;2006年03期
3 范志勇;肖冬荣;张群;;基于PDM框架下的CAPP与PDM的数据集成[J];微计算机信息;2007年04期
4 武树东;赵全明;索依娜;;物流信息系统中的数据集成技术[J];商场现代化;2007年10期
5 张恩;刘春红;段德全;;基于XML/Web Services的异构数据集成研究[J];广西师范大学学报(自然科学版);2008年03期
6 刘高嵩;龙军;;基于CORBA和Web Services的异构数据源集成研究[J];计算机系统应用;2009年07期
7 刘春玲;;基于虚拟视图的教务管理数据集成方式研究[J];电脑知识与技术;2010年19期
8 连云峰;卢昱;陈立云;马懿;;军械装备保障模拟训练系统数据集成研究[J];信息技术;2011年05期
9 王艳君,王运格,吴丽红;异构数据库间数据集成的方法[J];烟台师范学院学报(自然科学版);1999年04期
10 李军怀,张景,周明全,耿国华;基于XML的企业异构数据集成方法研究[J];计算机工程;2002年09期
11 李宝林,王秀峰,兰芸,段菲;CBRDI:一种基于范例推理的数据集成方法[J];计算机工程与应用;2003年16期
12 石金峰,綦瑞萍,余小军,李海军;基于GIS的城市地下综合管网系统的建立[J];辽宁工程技术大学学报;2005年04期
13 赵赛;陈松乔;邓莎莎;;基于规则树的Web数据集成包装器的设计与实现[J];计算机技术与发展;2006年06期
14 秦学勇;;数据仓库中数据集成的研究[J];农业网络信息;2006年08期
15 杨宏英;林长松;;异构数据集成系统的应用模式与技术实现[J];微电子学与计算机;2006年08期
16 杨威;;基于XML的异构数据集成研究[J];科技信息(学术版);2006年10期
17 李润洲;宋彩利;;校园网格数据集成中间件体系结构研究[J];西安科技大学学报;2006年04期
18 倪志刚;洪玫;刘佳;;基于服务数据对象的异构系统数据集成方案研究[J];计算机应用;2007年S1期
19 张晓星;唐朝晖;;企业多源异构数据库数据集成的研究[J];可编程控制器与工厂自动化;2007年03期
20 田源;;数据仓库技术在数据服务平台中的应用[J];福建电脑;2008年06期
中国重要会议论文全文数据库 前10条
1 曹禹;申德荣;于戈;余恩运;周文生;寇月;;数据网格内一种基于本体的数据集成处理机制[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
2 祝晓红;刘炜;李俊丽;;用WPF进行复杂数据集成的方法研究[A];第二十七届中国控制会议论文集[C];2008年
3 王帅;缪嘉嘉;李爱平;韩伟红;贾焰;;一种基于构件技术和消息代理模式的数据集成方法[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
4 姜芸;吴学伟;;面向服务的地理数据集成中间件的设计与实现[A];第二届“测绘科学前沿技术论坛”论文精选[C];2010年
5 胥永康;吴志杰;席传裕;岳筱玲;;基于数据拆分的数据集成技术研究[A];2005全国计算机程序设计类课程教学研讨会论文集[C];2005年
6 李明歆;马世龙;许可;;航天器测试数据资源集成的研究[A];2007中国控制与决策学术年会论文集[C];2007年
7 杨军生;;基于GIS的城市规划数据的特征分析及集成方法的研究[A];2007'全国测绘科技信息交流会暨信息网成立30周年庆典论文集[C];2007年
8 杨雪梅;李灿东;周任材;林端宜;;中医症状术语体系库的建立[A];中国中西医结合学会诊断专业委员会2009’年会论文集[C];2009年
9 许桂芝;翟秉仁;陈丕富;蔡鸿;张爽;;采油厂生产管理信息系统的数据库集成[A];1996中国控制与决策学术年会论文集[C];1996年
10 苏春燕;刘国华;;基于域语义约束的MiniCon算法[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
中国博士学位论文全文数据库 前10条
1 王欣;数据集成技术若干问题的研究[D];上海交通大学;2010年
2 张文江;地质灾害数据集成关键技术研究[D];成都理工大学;2013年
3 蒋永国;面向传感网的海洋观测数据集成关键技术研究[D];中国海洋大学;2010年
4 卜志国;海洋生态环境监测系统数据集成与应用研究[D];中国海洋大学;2010年
5 李鹏;面向地质勘查的多源异构数据集成关键技术研究[D];中国地质大学;2013年
6 周春英;超数据集成挖掘方法与技术研究[D];浙江大学;2012年
7 陈义;面向数据集成的数据复制和查询优化[D];中国科学院研究生院(软件研究所);2004年
8 李雁妮;深网数据集成与挖掘关键问题的建模及算法研究[D];西安电子科技大学;2013年
9 张永新;面向Web数据集成的数据融合问题研究[D];山东大学;2012年
10 殷晓冬;声学测深数据处理与海陆数据集成方法研究[D];大连理工大学;2010年
中国硕士学位论文全文数据库 前10条
1 张红宇;数据集成中本体映射的研究[D];中南大学;2005年
2 缪建明;集散控制系统的数据集成的研究与应用[D];福州大学;2003年
3 刘军;分布式智能异构数据集成支持系统的原型实现[D];大连海事大学;2003年
4 李凯;面向SCM数据集成的DW解决方案研究[D];大连理工大学;2006年
5 文静;数据集成中数据冲突检测和解决方法研究[D];山东大学;2010年
6 张雪洁;基于XML的数据集成平台框架及关键技术研究[D];河海大学;2004年
7 周艳芳;基于XML的ERP和电子商务数据集成[D];四川大学;2004年
8 袁红;保险公司数据集成关键技术的研究及应用[D];重庆大学;2004年
9 常萍英;基于OPC的机器人焊接生产线监控系统的数据集成及软件开发[D];东南大学;2004年
10 王宇鸽;电子政务中异构数据资源集成技术的应用研究[D];北方工业大学;2006年
中国重要报纸全文数据库 前10条
1 于翔;谁碾碎了数据?[N];网络世界;2007年
2 ;SaaS需要数据集成[N];网络世界;2007年
3 陈友梅;数据集成 永中Office之本[N];中国计算机报;2002年
4 邹大斌;发挥数据的最大价值[N];计算机世界;2007年
5 姜学军(山东省医药卫生科技信息研究所) 程永(浪潮商用系统公司;山东省地税系统的数据集成[N];电脑商报;2005年
6 李稚;“集成”的困惑[N];计算机世界;2002年
7 于翔 王翔;收复数据孤岛[N];网络世界;2007年
8 刘学纲;互联互通平台的数据集成[N];中国计算机报;2003年
9 朱文;CIO希望攻克数据质量关[N];计算机世界;2008年
10 本报记者 邹大斌;Informatica:从数据中淘金[N];计算机世界;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978