基金信息采集系统的相关技术研究

甘文坛

(湖北工业大学，湖北 武汉 430068)



基金信息采集系统的相关技术研究

甘文坛

(湖北工业大学，湖北 武汉 430068)

随着计算机技术的不断发展和改进，基金信息资源的增长速度也不断提高，搜索引擎能够有效地解决用户对大量信息快速搜索困难的问题。但是这种方式无法为用户提供具有全面性和针对性的基金信息。虽然目前网络中存在许多金融信息网站，其中也包括了基金信息，但是它们都存在一定的不足，比如信息缺乏权威性、真实性。因此基金信息采集系统的设计应用，能够非常有效地满足投资者对基金信息的需求。虽然目前已经有许多成熟的基金信息采集系统，但是由于这种系统属于公司的商业机密范畴，其设计和开发的关键技术无法公布，从而影响到基金采集系统的普及和发展。

基金信息；采集；技术研究

1 信息采集系统概述

信息采集系统的主要作用是将所需网页中的大量非结构化数据提取出来，并将其转换到数据库进行保存。

信息采集系统最重要的功能就是能够对大量网页中的信息进行采集，并且根据用户需求，从中挑选出与之相符合的数据并将其转换到数据库进行保存，与此同时此系统还能够满足用户检索的需求[1]。

目前采用最多的信息采集系统的运作流程基本相同，具体步骤如下：(1)根据用户需求确定采集目的；(2)根据采集目的对系统进行设置，使之能够根据用户需求进行数据采集；(3)在采集的过程中，对系统进行控制，当检测到网页内容产生更新时，系统的采集设置也要随之更新；(4)在对采集完成后的数据进行分析后，将数据转换到能够保存到数据库中的格式；(5)将转换后的数据发布到系统软件上。

2 增量式信息采集系统

2.1 增量式web信息采集系统基本概念

增量采集系统面向的领域就是需要定期更新的网页数据采集模式。这种采集方式的过程为：首先进行正常的数据采集，而在接下来的采集过程中只去更新当前网页中产生变化的数据信息，以及新增的网页信息，而对没有发生数据信息变化的网页则不进行采集。增量的频率也与网页数据更新的频率相关[2]。

这种增量Web信息采集系统的实现方式主要由以下几种：(1)以网页数据更新的频率为标准设置采集频率；(2)通过查看对应网页最后更新日期进行数据更新；(3)以RSS协议为标准为用户提供数据更新；(4)利用非线性方法改进爬虫的数据更新效果。

2.2 增量式web信息采集系统运作流程

增量式web信息采集系统主要包含四个功能模块，分别为网页页面采集、页面解析、URL去重以及数据更新检测。

增量式web信息采集系统在运作过程中，首先要将系统服务器中的网页信息与互联网中需要检测的网页信息进行对比，当检测到网页信息发生变化，或者在服务器中没有相对应的网页时，就对服务器中的信息进行更新操作[3]。

3 增量式web信息采集系统研究现状

目前比较知名的增量采集系统之一是Web Fountain Crawler，它的主要运作步骤和原理如下：(1)首先根据所需收集信息的网页更新频率不同，将其进行适当分组；(2)将整个数据采集过程分割成多个阶段，每个阶段进行任务分配，同时各个阶段的任务不能相同。

另一种较为著名的增量采集系统是由智利大学的研究学者研究出来的，名为Univ.Chile Crawler[4]，该系统的采集判断依据是对应网页索引的时新性。在采集的过程中，该系统首先是对评估价值较高的网页进行数据采集，这种评估价值是通过对网页多种因素综合考察得到的结果，在对不同网页的价值进行排序后，分析该网页是否需要进行数据采集操作。

国内开发的天网增量搜集系统同样具有较高的性能，该系统的主要作用是对国内网页数据进行采集。这三种采集系统能够在实际中进行应用，属于大型的采集系统。

4 中国资本市场电子信息化批露系统

在对基金相关数据信息进行采集之前，我们应当明确数据采集的主要来源网站，对网站信息进行评估之后，我们发现专业权威的网站采集得到的结果更能够提供准确的基金信息，其中首要选择的就是各大基金公司的官方网站。而互联网上此类网站种类繁多，采用的信息发布方式也有所区别，在系统解析阶段应当针对不同的基金网站指定对应的解析方案。证监会于2009年建立了对资金交易市场信息统一的标准化信息披露平台，此平台将XBRL技术作为基础支撑交媾，能够将数据资源进行交互，发布准确可靠的市场信息，为证监会管理资本市场提供辅助依据，同时还为投资者提供了标准化信息查询平台，便于投资者及时了解市场信息。在本系统中我们对此披露平台中的信息进行采集和解析，能够得到标准化统一格式的基金信息，省去了对不同网站类型和内容的方案制定过程。

基金电子化信息披露平台的建立对整个基金市场的监管和维护举足轻重的作用。主要变现为以下四个方面：首先此平台系统内能够为各大基金管理机构提供统一的技术平台，有助于各大基金管理机构根据平台上的标准化信息提升自身信息质量，提高公司的诚信度，使得公司能够从内部进行整顿；其次此平台为投资者提供了标准化信息查询平台，便于投资者及时了解市场信息；再次采用此种方式提供标准化的基金市场信息，有助于各大机构提高对自身信息发布的科学性和标准性；最后此种披露系统能够根据基金行业情况及时有效地发布信息，使得基金信息更加全面准确。

[1] 李甫英.证券投资基金在我国发展的历史和现状[J].党史文苑,2004年06期

[2] 王敬,冯新力.中国证券投资基金的需求细分与供给创新[J].财经科学,2004年06期

[3] 陆娜.我国证券投资基金业发展中的主要问题及对策研究[硕士学位论文].西南财经大学，2009

[4] 京华时报.证监会发放首批第三方基金销售牌照-基金销售迎来新力量[EB/OL].http://epaper.jinghua.cn/html/2012-02/23/content_763785.htm

甘文坛(1985.10-)，男，广东韶关人，本科，助理工程，研究方向：计算机应用。

TP3

A

1671-1602(2016)20-0008-01