基于多层前馈神经网络SPDS算法的地质数据非线性分析问题研究*

戴 珂，张少仲，蒋 波，白 英，王小妹

(大连海事大学信息学院，辽宁 大连 116026)

基于多层前馈神经网络SPDS算法的地质数据非线性分析问题研究*

戴 珂，张少仲，蒋 波，白 英，王小妹

(大连海事大学信息学院，辽宁 大连 116026)

多层前馈神经网络善于解决非线性分析问题，但对于复杂的地质数据，普通的训练算法难以收敛。首先介绍了SPDS算法，并把它用于解决地质数据的非线性分析问题。算法的仿真实验表明，用SPDS算法训练的多层前馈神经网络，比较好地解决了该问题。

BP算法；SPDS算法；非线性分析

1 引言

人工神经网络是国际上迅速发展的前沿研究方向之一。它模拟生物神经结构，有着杰出的学习能力，具有广泛的应用前景。特别是它能以任意精度逼近非线性函数，这个特点使它更适合解决非线性问题。近20年来，神经网络技术逐渐成熟，而且已经被用于解决实际生活中诸如控制、分类、模式识别、模拟仿真等问题。但是，作为神经网络经典训练算法的BP算法，由于存在着一些缺点，使得用它来训练网络时，经常会不收敛[1]。

近年来，关于BP算法的改进算法的研究一直是一个热点。基于单参数动态搜索算法的SPDS(Single Parameter Dynamic Search)算法也是其中之一[2～4]。SPDS算法的优点是，由于巧妙地避开了“网络瘫痪”[5]，从而收敛速度很快[6]；也不易落入局部极小点；用它训练得到的网络的泛化能力和容错能力很强[7]；特别是它的算法复杂性是网络参数个数的指数形式，更适合解决网络参数不太大而样本很大的问题[8]。

在研究我国某地钼矿蚀度、矿化的成因时，要研究钼(Mo)与其他变量的关系，用以预测钼矿化的强度与变化，揭示矿化与蚀度的关系，以指导找矿与勘探工作。为了找到钼(Mo)与其他变量的关系，本文建立了神经网络模型，介绍了SPDS算法，并用文献[9]提供的样本数据进行训练，得到收敛的网络。而文献[9]试图用线性回归分析的方法解决此问题，通过与他们实验结果的对比，表明用神经网络方法更适合解决该问题。

2 神经网络模型

2.1 神经网络模型

本文采用前馈式神经网络，其结构如图1所示。各神经元以层状方式排列组成网络，每一层由多个节点(神经元)组成，每层中的节点与相邻层中的节点通过权值连接；但与同层中的其他节点和非相邻层中的节点没有连接。第一层为输入层，最后一层为输出层，中间为隐层。输入层神经元的输入等于输出。隐层和输出层神经元的输入为“加权和”的形式；输出为S型的活化函数。活化函数通常取Sigmoid函数，即f(x)=1/(1+exp(-c×x))，其中系数c可以调节曲线的斜率，影响曲线的形状。

Figure 1 Structure of feed-forward neural network图1 前馈式神经网络结构示意图

前馈式神经网络是最具代表性、应用最广泛的神经网络之一，它集中体现了人工神经网络的大规模并行处理、分布式存储、适应性和学习等特点。学者们的研究还表明，这种三层前馈式神经网络不仅能以任意精度逼近任意函数，还能以任意精度逼近其各阶导数[10]。

2.2 SPDS算法

本文只研究三层前馈神经网络的误差函数:

其中,Opi为输出层第i个节点对应于第p个训练样本的实际输出，而ypi为相应的期望输出值。

(1)

神经网络的训练就是使θi、wij、φj、wkj这四组变量取适当的值，使得误差函数E取到全局极小值。

基于单参数动态搜索算法的SPDS算法，就是将这四组变量逐一作为变量处理，其他值均用上次迭代后的储存值代替。这样四个误差函数分别记为E1、E2、E3和E4，它们都是关于变量的连续可微函数。

(1)输出层单元阈值。

设对于输出层第i0个单元的阈值为x，当固定其他各参数不变时，目标函数E1为：

(2) 隐层到输出层连接权值。

设第i0个输出层单元到第j0个隐层单元的权值为x，当固定其他各参数不变时，目标函数E2为：

(3) 隐层单元阈值。

设对于隐层第j0个单元的阈值为x，当固定其他各参数不变时，目标函数E3为：

(4) 隐层到输入层连接权值。

设第k0个输入层单元到第j0个隐层单元的权值为x，当固定其他各参数不变时，目标函数E4为：

不难看出，每个误差函数均为下面形式：

3 实验分析

为了说明用神经网络的模型更能反映钼(Mo)与其他变量的关系，从而可以预测钼矿化的强度与变化，揭示矿化与蚀度的关系，进而指导找矿与勘探工作。我们选用前馈型神经网络模型用于建立钼元素与其他六种物质含量的关系，网络结构为6-6-1，用文献[9]提供的样本数据(见表2)进行训练，训练的算法分别采用BP算法和SPDS算法，算法的收敛结果见表1。训练好的网络权值和阈值见表3。训练所用机器配置是AMDAthlon(TM) 64X2DualCoreProcessor4000+ 2.11GHz, 3.00GB内存，系统是WindowsXPProfessional，编程语言是C。

Table 1 Training results of geologicaldata analysis with SPDS and BP表1 SPDS算法与BP算法对地质数据分析问题的迭代结果

由实验结果可知，BP算法不能收敛，无法反映钼元素与其他六种物质含量的关系；而SPDS算法却能很快收敛。实际输出结果(见表2)与文献[9]的线性回归分析的结果对比，反映出用SPDS算法训练的前馈型神经网络模型能很好地反映钼元素与其他六种物质含量的关系，是解决该问题的比较理想的方法。

4 结束语

对于复杂的地质数据，它们之间的关系不是线性关系所能描述的，使用善于解决非线性问题的前馈式神经网络作为模型来揭示这些地质数据的关系，这是一个有益的尝试。同时，还需要找到神经网络的一个训练算法，它既要适合地质数据特点，又要收敛性比较好，这样才能完整地解决问题。本文首先介绍了更容易收敛的SPDS算法，并把它用于解决地质数据的非线性分析问题。算法的仿真实验表明，用SPDS算法训练的多层前馈神经网络比较好地解决了该问题。

[1] Zhang Ling, Zhang Bo. The analysis of BP algorithm in neural network[J]. Pattern Recognition and Artificial Intelligence, 1994, 7(3):191-195. (in Chinese)

[2] Wang Xue-feng, Feng Ying-jun. A new training algorithm in multilayer neural network [J]. Journal of Harbin Institute of Technology, 1997, 29(2):23-25. (in Chinese)

[3] Wang X F, Feng Y J, Zhao X. A single parameter dynamic searching algorithm for multi-layer neural networks (Part I)[J]. International Journal of Innovative Computing, Information and Control, 2008, 4 (9):2221-2233.

[4] Wang X F, Zhao X, Feng Y J. A single parameter dynamic searching algorithm for multi-layer neural networks (Part II)[J]. International Journal of Innovative Computing, Information and Control, 2008, 4 (11):2941-2954.

[5] Feng Ying-jun, Zhang Shao-zhong, Wang Xue-feng, et al. Cause for paralysis of BP network[J]. Journal of Harbin Institute of Technology, 2000, 32(5):81-83. (in Chinese)

[6] Zhang Shao-zhong, Feng Ying-jun, Wang Xue-feng, et al. A new algorithm of multilayer feedforward neural networks based on single parameter coordinate rotatory method[J]. Acta Electronica Sinica, 1999, 27(2):115-116. (in Chinese)

[7] Zhang Shao-zhong, Feng Ying-jun. Generalization and fault tolerance of single parameter dynamic search algorithm[J]. Journal of Harbin Institute of Technology, 2000, 32(6):1-4. (in Chinese)

[8] Zhang Shao-zhong, Feng Ying-jun. Robustness of SPDS algorithm for BP network [J]. Journal of Harbin Institute of

Table 2 Training results of SPDS and refrence[9] about geological data analysis表2 地质数据分析的SPDS算法训练结果与文献[9]的结果对比

Table 3 Training results of neural network (weights and thresholds)表3 网络训练结果(阈值和权值)

Technology, 2000, 32(2):60-61. (in Chinese)

[9] Xu Z B,Lou Y R,Jin C H.All regression analysis and optimization method and the application in geology[M]. Beijing:Geology Press, 1990.(in Chinese)

[10] Hornik K. Some new results on neural network approximation [J]. Neural Networks, 1993, 4(6):1069-1072.

附中文参考文献:

[1] 张铃，张钹. 神经网络中BP算法的分析[J]. 模式识别与人工智能，1994，7 (3):191-195.

[2] 王雪峰，冯英浚. 多层神经网络的一种新的学习算法[J]. 哈尔滨工业大学学报，1997, 29 (2):23-25.

[5] 冯英浚, 张少仲, 王雪峰, 等. BP网络瘫痪的原因分析[J]. 哈尔滨工业大学学报, 2000, 32 (5):81-83.

[6] 张少仲, 冯英浚, 王雪峰, 等. 基于单参数坐标轮换法的多层前馈型神经网络的一种新型算法[J]. 电子学报, 1999, 27 (2):115-116.

[7] 张少仲, 冯英浚. 单参数动态搜索算法的泛化与容错能力[J]. 哈尔滨工业大学学报, 2000, 32 (6):1-4.

[8] 张少仲, 冯英浚. BP网络的SPDS训练算法的鲁棒性[J]. 哈尔滨工业大学学报, 2000, 32 (2):60-61.

[9] 徐振邦，娄元仁，金淳浩.全部回归分析与优选方法及其在地质学中的应用[M]. 北京：地质出版社，1990.

DAIKe,born in 1957,engineer,his research interests include optimization algorithm, network engineering, and software engineering.

张少仲(1965-),男，江苏南京人，博士，高级工程师，研究方向为优化算法、神经网络和软件工程。E-mail:Zhang_shaozhong2001@yahoo.com.cn

ZHANGShao-zhong,born in 1965,PhD,senior engineer,his research interests include optimization algorithm, neural network, and software engineering.

《计算机工程与科学》高性能计算专刊和专栏征文通知

一、刊物简介

《计算机工程与科学》是由国防科技大学计算机学院主办的中国计算机学会会刊，是国内外公开发行的计算机类综合性学术刊物。本刊已先后被列为中文核心期刊、中国科技信息研究所中国科技论文统计分析源期刊(中国科技核心期刊)、中国科学引文数据库来源期刊(CSCD核心期刊)、中国学术期刊(光盘版)全文入编期刊、中国期刊网全文入编期刊、中国学术期刊综合评价数据库来源期刊。

二、征稿范围(但不限于)

目前，国内高性能计算的研究方兴未艾，为更好地宣传目前国内高性能计算领域的研究和应用现状，我刊计划从2013年开始每年出版一期高性能计算专刊，并且常年增设高能性能计算专栏，重点是面向国内高性能计算领域的研究和应用。包括：

(1)系统研制技术：体系结构、系统软件、软件并行化、多核编程、编译技术、GPU计算、低功耗技术、系统优化技术。

(2)系统应用：EDA设计仿真、CAE、数值计算、计算化学、计算物理、材料设计、量子力学、分子动力学、流体力学、工业设计、图像渲染、生物信息、生命科学、气象、天文、金融、石油勘探、工程计算、地震资料处理、集群管理、并行应用软件开发(MPI、OpenMP、CUDA)、Linpack测试研究、超算服务等。

三、投稿要求

(1)投稿方式：采用“计算机工程与科学在线投稿系统”(http://www.joces.org.cn)投稿。投稿时请在备注栏中注明“高能性能计算专刊或专栏”字样。

(2)稿件格式：参照《计算机工程与科学》下载中心的排版规范(网站上提供了论文模版，可下载)。

(3)投稿文章未在正式出版物上发表过，也不在其他刊物或会议的审稿过程中，不存在一稿多投现象；保证投稿文章的合法性(无抄袭、剽窃、侵权等不良行为)。

(4)其他事项请参阅投稿指南： http://www.joces.org.cn/CN/column/column291.shtml。

(5)专刊投稿文章按《计算机工程与科学》正常标准收取审稿费和版面费，但将会优先发表；发表之后，将按《计算机工程与科学》的标准支付稿酬，并赠送样刊。

《计算机工程与科学》编辑部

ResearchofthegeologicaldatanonlinearanalysisproblembasedontheSPDSalgorithminthemultilayerfeed-forwardnetwork

DAI Ke,ZHANG Shao-zhong,JIANG Bo,BAI Ying,WANG Xiao-mei

(School of Information,Dalian Maritime University,Dalian 116026,China)

The multilayer feed-forward neural network is good at solving the nonlinear analysis problem, but for complex geological data, the common training algorithm is difficult to converge. The SPDS algorithm is proposed to solve the problem of the geological data nonlinear analysis. Simulation results show that the proposed algorithm can be better to solve the problem in the multilayer feed-forward neural network.

BP algorithm;SPDS algorithm;nonlinear analysis

1007-130X(2014)08-1528-05

2012-10-22;

：2013-02-25

国家自然科学基金资助项目(61173034)

TP393

：A

10.3969/j.issn.1007-130X.2014.08.018

戴珂(1957-),男,辽宁大连人，工程师，研究方向为优化算法、网络工程和软件工程。E-mail:Zhang_shaozhong2001@yahoo.com.cn

通信地址：116026 辽宁省大连市凌海路1号大连海事大学信息学院

Address:School of Information,Dalian Maritime University,1 Linghai Rd, Dalian 116026,Liaoning,P.R.China