增量构造负相关异构神经网络集成的方法

傅向华　冯博琴　马兆丰　何　明

摘要：基于负相关异构网络，提出了一种增量构造异构神经网络集成(NNE)的方法．该方法在训练成员网络时，不仅调整网络的连接权值，而且动态调整网络的结构，从而在提高单个网络精度的同时增加各成员网络之间的差异度，减小网络集成的泛化误差．该方法包括构造最佳异构网络(BHNN)和构造异构网络集成(HNNE)两个部分，BHNN基于负相关学习动态构造多个最佳网络，HNNE利用训练好的最佳网络增量地构造异构NNE．使用网络泛化误差和集成泛化误差，整个集成过程可自动完成，无需预先确定成员网络的结构．分别对回归和分类问题进行了实验，相对于单个网络，该方法在测试数据集上的错误率降低了17％～85％，与已有的Boosting、Bagging等网络集成方法相比，错误率也有不同程度的改善．

关键词：神经网络集成；负相关学习；构造性神经网络；增量构造

中图分类号：TPl8文献标识码：A文章编号：0253-987X(2004)08-0796—04