基于元知识的数据挖掘系统研究

【摘要】： 从大量数据中抽取出有价值的信息和运行规律的数据挖掘技术在数据库技术发展了30余年的今天，无论是对商业经营还是工企决策，都有极其重要的经济价值和理论意义，但此新兴领域还有许多尚待解决的问题，还处于创新者提出概念研究者去解决问题的阶段。目前市场上已有多种适用商业模式的通用数据挖掘系统，但实际上这些系统极其不好用，只有那些非常熟悉数据挖掘技术的人才能够理解和使用它们，而普通用户是很难应用这些技术来解决自己的问题。 原因在于传统的数据挖掘模型缺乏充分表达挖掘目标的手段和必要的交互性且其评价标准单一，不能满足当前实际应用的需要。尽管通过设计高效算法及优化策略，会在某种程度上缓解这一矛盾，但并不能真正解决这一问题。本文以面向用户为原则，试图从数据挖掘系统的整体结构的高度来探讨解决这一问题的方法，其研究重点是提出基于元知识的数据挖掘系统模式并设计灵活、实用的算法。 本文的目的是赋予数据挖掘系统三个重要属性：交互性，可控性，易用性。由于用户不了解数据挖掘领域，他不知道要挖掘的是哪种类型的信息及如何正确表达系统需要他表达的思想，甚至不可能了解面对的数据库，元知识描述领域知识使得在这些方面能给与用户最大的帮助，本文给出了符合元数据交换标准的数据挖掘用元知识的内容、组织方式和应用模型，提出了基于元知识的数据挖掘系统体系结构，使数据库与数据挖掘系统真正融合，使领域知识在组织、表达、使用上有依据，为指导挖掘过程提供了手段，使数据量规模化有依据，数据源多样化有规范、可控制。 关联规则是数据挖掘研究的重要内容，高效的算法是数据挖掘的重要组成部分，而且面对复杂的多方面的需求，应提供针对各种因素的各具特色的互补的多种算法，本文详尽地研究了基于约束的关联规则挖掘算法的思想，深入地研究了约束的分类、确定其可利用的性质，在此基础上提出了针对联合约束中前驱和后继重叠时的改进策略和复杂聚集约束的转换方法。本文还给出了支持度匹配模式、0支持度约束等概念及模式匹配原则，引进枚举树确定模式最小支持度，设计了支持可变支持度约束的算法。 哈尔滨工程大学博士学位论文 元知识为灵活实现上述算法提供了支持手段。 最后，提出了利用信息增益选择约束的方法，给出了基于元知识的关 联规则挖掘系统的操作流程，探讨了可视化的功能实现问题，提出了在结 果评价阶段将评价规则作为元知识统一到挖掘过程中的思想，以利于提高 全系统的挖掘效率和准确性。 本文为实现以人为中心的探索性数据挖掘及提高其实用性作了初步 的探索工作。