面向专利数据的多数据源集成与表达

许 谦

摘要:近年来,随着信息源的不断增长,人们对综合研究多数据源数据的需求越来越强烈。为了专利研究工作的便利,建立自动化、高效率、高准确性的多数据源集成检索系统是十分必要的。通过系统提供的统一的检索界面,可以为用户提供无缝的、灵活的访问方式,以缓解用户分别查询不同数据库的压力。

关键词:多数据源 数据源集成 数据表达 专利数据

随着全球信息化进程的加快,人们越来越深刻地认识到,信息是与材料和能源同等重要的战略资源,是重要的财富和资产。信息资源对经济社会发展的作用日益突出,已成为开放环境下政治、经济、文化和军事等国际竞争的焦点。数据是信息的载体,它通常是指人类通过不同的传感方式所获得的原始资料,如表格、曲线、图形、文字、图像、文本、视频等。

数据的组织方式主要有以下两种:结构化数据和非结构化数据。结构化数据指存储在数据库里,可以用二维表结构来逻辑表达实现的数据,主要包括全文数据库、摘要数据库等各种传统数据库,其特点是数据结构性强,准确率高,查询方便,使用和维护通过数据库软件进行管理,并有一定的操作规范。而不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频、视频信息等等,这些信息的形式相对不固定,难以用有限规则表达。

近年来,随着信息源的不断增长,计算机网络和数据库系统的迅速发展,人们对存取、关联、组合多数据源数据的需求越来越强烈。如分布的多数据库系统、数据仓库系统、WEB信息收集系统等集成系统不断涌现,在这些系统中,数据和信息的集成是其中的核心问题之一。信息资源的异构性在信息系统中无处不在,越来越多的应用需要访问各种异构数据源。为了达到异构数据源的共享,必须首先解决数据集成问题。数据集成为多数据源提供一个完整的数据源模式和一致的访问接口,用户不必考虑数据模型的多样性、异构性、数据抽取、数据合成等问题,只需指定他们想要的数据。

为了专利研究工作的便利,建立自动化、高效率、高准确性的多数据源集成检索系统是十分必要的。通过系统提供的统一的检索界面,为用户提供无缝的和灵活的访问方式,可以缓解用户分别查询不同数据库的压力。用户可以同时检索多个自治的、分布的和异构的数据源。多数据源集成检索系统不需要用户提供如何或者从哪里可以获得信息的详细情况,可以屏蔽多数据源中数据命名的不一致,非结构化和结构化数据的不一致,以及各数据源查询能力不同等因素。

以专利数据为主进行研究,多数据源集成检索系统需要分别获取的数据分为结构化数据和非结构化数据两类。

结构化数据指各种专利数据库中的数据,包括中国专利数据库、美国专利数据库、EI、INSPEC等。这些专业数据库集成了与专利相关的最新文献、科技成果、标准等信息,可以完整地展现专利产生的背景、最新发展动态、相关领域的发展趋势,可以浏览发明人与发明机构更多的论述以及在各种出版物上发表的信息。这些数据覆盖面广,权威性高,结构性强,是数据来源的主要部分。

非结构化数据主要指Web网站上的数据,包括与所查询内容有关的各种信息,如百度、谷歌、与专利有关的网站信息等。Web 技术的飞速发展,在促使人们信息交流的方式变的更加方便快捷的同时,也积累了大量的数据,如何发现并利用隐藏在这些数据背后的知识就成为当前信息技术领域研究的热点问题之一。这些数据具有丰富多样、时效性强、更新速度快等特点,是专业结构化数据库的重要补充部分。

为了对检索到的信息进行集成,将关于同一主体的多条信息综合为一条完整的信息,就必须对数据内容的一致性进行研究。针对检索的主体,系统需要在众多记录中寻找相似重复记录进行匹配,根据匹配的结果进行处理,删除部分记录或者多个记录合并为一个更完整信息的记录,同时将这些步骤中的处理过程和结果写入数据库,以便进行后续清洗过程,避免重复检验,以及更好的进行切片、切块等操作。解决这类问题需要的技术有:记录匹配算法、重复检测算法、合并过程中的冲突解决算法等。只有分析出哪些信息的内容具有高度的相关性与一致性,才能对这些信息的内容进行集成。数据内容的一致性检验是数据集成的前提和基础。

在数据集成的过程中,数据清洗和数据质量一直是一个非常关键的问题,它直接影响到数据表达的准确性。将数据准确无误地表达出来是数据集成的最终目标,数据清洗正是为了提高数据质量,使之符合用户使用要求,从而提高基于这些数据的信息服务的质量和效率。因此,使用高效、准确的表达方法将集成后的数据表达出来是至关重要的。

数据清洗与集成的内容主要包括以下方面:1.对异构的数据进行分析,使之具有良好的通用的结构,将非标准数据统一化成结构数据,根据数据字典消除不一致的数据,将元素标准化。2.对标准化的元素进行一致性校验,将内容上的一些错误进行修改。3.去处重复的和错误的数据记录。4.补充原始数据中不完整及遗漏的字段。例如对数据中不完整的字段补充必要的信息,使之完整;为空值字段设置合适的值;增加字段以添加额外的信息。最后得到整合完毕的数据。

将集成完毕的数据展现给用户是系统的最终目的,最终的数据应该尽可能包含全部的正确信息,条理清晰,结构明确。界面设计是人与计算机之间传递和交换信息的媒介,良好的界面设计必须遵循以下几个基本原则:1.用户导向原则,要站在用户的观点和立场上来考虑设计,有良好的交互性。2.简洁和易于操作原则。3.布局控制,界面中的信息量要适中,结构匀称。4.视觉平衡,要合理搭配文字、图表以及空白区域。5.和谐与一致性,一致的结构设计、导航设计和操作设计,可以让浏览者对软件的形象有深刻的记忆,迅速而又有效的进入在软件中自己所需要的部分,快速了解整个软件的各种功能操作。

多数据源集成检索系统是最近几年出现的一种新的服务方式,在一定程度上解决了网络环境下分布式异构数据库的检索问题,缓解了用户分别查询不同数据库的压力。目前,面向专利数据的多数据源集成与表达方法研究尚存在空白,我们可以通过对国外类似系统的研究,从中得到借鉴,这对具有本地化特色的多数据源集成检索系统的开发有一定的启发作用。