农业垂直搜索引擎语义化若干问题的研究与实现

【摘要】：大量的农业技术、供求信息、市场信息、政策法规和农业新闻等信息资源分布在互联网上农业网站中。然而由于互联网信息资源具有信息异质、异构、分散、重复现象严重的特点,缺少统一的形式化表达,形成各种各样的“信息孤岛”,很难对农业信息资源进行整合和利用。针对这个问题,在国家自然基金(“农业复杂自适应搜索模型研究”)的支持下,面向农业的搜索模型—搜农应运而生。然而该模型还是基于文本关键字匹配的数据处理方式,不能充分理解信息包含的语义信息,在准确率和召回率这两大信息检索系统性能指标上还有很大提升空间。 针对这个问题,本文根据网络农业资源的特点,在农业领域本体构建的基础上,将本体作为领域知识库应用于垂直搜索引擎的数据预处理、数据索引和用户检索三个环节,将本体的语义添加到搜索引擎的数据处理过程中。 相对于原有模型,数据预处理环节的语义改进主要包括：信息的空间属性的抽取、信息地理名称的实体解析和价格动态变化的关系抽取；索引环节的语义改进主要包括：文档的语义标注和语义扩展；用户检索环节的改进包括：在语义标注环境下普通用户的检索策略和基于用户模型的语义扩展方法。 论文的主要研究内容总结如下： 1.针对网络上农业资源空间属性表达的多样性、显性表达的缺失等问题,本文提出一种借助领域本体和WEB搜索引擎构建知识库抽取并判别信息的空间属性的方法,将语义添加到信息的空间属性抽取过程中。 2.针对农业地理名称实体解析的问题,本文提出一种将空间属性抽取算法和Markov逻辑网络进行结合进行地理名称实体解析的方法,将空间属性抽取中的语义信息带入到地理名称的实体解析过程中。 3.针对从大量非结构化的文本中抽取价格变化关系的问题,本文设计了一种基于条件随机场进行关系抽取,并用领域本体对抽取的结果进行语义上的统计合并的农产品价格变化关系抽取方法。 4.针对农业领域资源的特点,本文提出一种结合领域本体和句法分析相结合的核心词汇抽取方法,并依据本体对文档主题进行推断,与本体中的概念进行语义关联；另一方面对文档中抽取的核心词汇基于领域本体进行语义扩张。 5.在用户检索环节,针对索引中文档和本体概念的语义关联状况,设计了普通用户双索引检索的机制；对注册用户基于本体构建用户模型,并基于用户模型对查询进行语义扩展。 6.最后,本文给出了面向农业的垂直搜索引擎的整体的语义化设计。