ARM 与神经网络处理器的通信方案设计

周齐国，黄晞，赵悔

（福建师范大学光电与信息工程学院，福州350108）

引 言

人工神经网络在很多领域得到了很好的应用，尤其是具有分布存储、并行处理、自学习、自组织以及非线性映射等特点的网络应用更加广泛。嵌入式便携设备也越来越多地得到应用，多数是基于ARM 内核及现场可编程门阵列FPGA 的嵌入式应用。某人工神经网络的FPGA 处理器能够对数据进行运算处理，为了实现集数据通信、操作控制和数据处理于一体的便携式神经网络处理器，需要设计一种基于嵌入式ARM 内核及现场可编程门阵列FPGA的主从结构处理系统满足要求。

1 人工神经网络处理器

1.1 人工神经网络模型

人工神经网络是基于模仿大脑功能而建立的一种信息处理系统。它实际上是由大量的、很简单的处理单元（或称神经元），通过广泛的互相连接而形成的复杂网络系统。最早的神经元模型是MP 模型，由输入X、连接权值W 和阈值θ、激活函数f和输出O组成，如图1所示。

神经元j的输出为：

式中：netj是神经元j的净输入，xi是神经元j的输入，wij是神经元i到神经元j的权值，θj是神经元j的阈值，f（）是神经元净输入和输出之间的变换函数，称为激活函数。［1］

后来的各种网络模型基本都由这几个因素构成，例如图2的三层BP神经网络模型。

图1 人工神经元的MP模型

三层BP网络的标准学习算法如下［2］，当网络输出与

图2 三层BP神经网络模型

期望输出不等时，存在输出误差E，定义如下：

进一步展开，是各层权值wij（隐层到输出层）、vij（输入层到隐层）的函数：

要使误差不断减小，需对权值进行处理，最终的权值调整的公式为：

三层前馈神经网络的BP学习算法的向量形式如下，对于输出层：

对于隐层：

容易看出，各层权值调整公式均由3个因素决定，即学习率η、本层输出的误差信号δ以及本层出入信号Y（或X）。其中，输出层误差信号与网络的期望输出与实际输出之差有关，直接反映了输出误差，而各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的。

神经网络的训练学习的过程就是通过不断地调整各个节点的权值，使输出误差达到最小，最终获得稳定可靠的权值，实现网络的预定功能。

1.2 人工神经网络的FPGA实现

算法公式实际隐含着各种运算过程，乘累加计算、激活函数及其导数的计算和逻辑运算是3种必不可少的运算，因此FPGA 的实现主要是各种运算器的设计和连接。处理器要处理各种类型的数据，样本数据X（训练样本、实际样本），网络参数（学习速率η、每层神经元个数n等）和权值W 是必不可少的。网络参数和初始权值用来对网络初始化，训练样本用来训练网络学习，最后在网络应用阶段对实际样本进行处理。

图3展示的是FPGA 神经网络处理器的主体部分：存储模块和运算模块。根据网络的结构特点，连接权值处于各个神经元节点的连接处，与各自的权值运算结构一一对应，为分布式，所以分布式存储器WM 中存储权值数据；样本数据统一从网络的输入层进入网络，故DM 中存储样本数据；MAE是处理器的运算部分。［1］

图3 神经网络的运算模块和数据存储结构图

2 通信硬件设计

2.1 系统整体架构

系统整体结构框图如图4所示，分为ARM 端和FPGA 端两个部分。ARM 端有两个功能：一是从内存中读取已有数据，通过DMA 方式下载到FPGA 端，按照数据类型将数据下载到不同的存储设备和存储空间；二是对FPGA 进行控制，主要是各种中断操作。FPGA 端的功能是接收ARM 传送的数据，存储数据，并在微程序控制器的控制下进行运算处理，最后把结果上传给ARM。

图4 系统整体结构框图

ARM 端以S3C44B0X芯片为核心，外部扩展各类设备构成。S3C44B0X 是三星公司的16／32位微处理器，片内集成了ARM7TDMI核，并在此基础上集成了丰富的外围功能模块，为嵌入式设备提供一个低成本高性能的方案。

S3C44B0X 拥有4通道的DMA 控制器，两个ZDMA，连接于SSB（三星系统总线）；另外两个BDMA，连接在SSB和SPB（三星外围总线）之间的接口层。其中ZDMA可从存储器到存储器、存储器到I／O 设备和I／O 设备到存储器传送数据。DMA 操作由S／W 或来自外部请求引脚（nXDREQ0／1）的请求来启动。［3］

在DMA 操作中，通过配置DMA 特殊功能寄存器来实现对DMA 的控制，如图5所示。

图5 ZDMA 控制器框图

FPGA端的组成为FPGA芯片和扩展存储器。按处理数据类型的不同设计不同的存储结构，具体如下所列。神经网络的结构参数存放于控制寄存器组，初始权值、稳定权值存放于分布式存储器，其他参数（学习速率、学习速率调整因子等）存放于专用寄存器组A 中，处理结果存放于专用寄存器组B中，样本数据存放于扩展存储器SD卡中。

以上所述的存储体，除扩展存储器外其他结构都在FPGA芯片内部设计完成。采用这种设计是基于FPGA 片上存储资源的使用情况：①FPGA 的配置文件占用；②分布式存储器占用；③各类寄存器组占用。当样本数据数量较大时会占用比较大的空间，FPGA 芯片将不能满足，因此不能把样本数据存储在片上，而是存储于扩展存储器。

2.2 硬件连接

从上面的介绍容易发现，ARM 芯片的通信对象是基于SRAM 工艺的FPGA 芯片上的存储体。因此，FPGA芯片作为存储设备时，ARM 芯片可直接与其相连。ARM与FPGA 硬件连接示意图如图6所示。

图6 ARM 与FPGA硬件连接示意图

ARM 与FPGA 的片上存储体的地址总线连接设置为12位，足够存储和寻址需求。

数据总线的宽度为28位。神经网络处理器的数据精度为16位［4］，FPGA 样本数据寄存器还有12位外部扩展存储器的地址数据，因此整个数据总线的宽度为二者之和。除样本数据寄存器之外的片上存储体，数据线占用28位数据总线中的低16位。

控制总线包括ARM 端的片选线nGCS6 和读／写控制线。对ARM 相应的寄存器进行配置可激活BANK6（FPGA 片上存储体）和读／写数据。

根据数据存储位置的不同，硬件连接可分成两方面。如图7所示。

图7 FPGA端部分硬件连接示意图

第一，存储位置为FPGA 端的外部扩展存储器。①ARM 与FPGA 通过12位地址总线、28位数据总线及控制总线直接相连，数据写入样本数据寄存器。②样本数据寄存器的28位数据按照12位地址数据、16位样本数据，通过FPGA 与外部扩展存储器之间的12位地址总线、16位数据总线，在存储控制模块的控制下，把样本数据写入扩展存储器。因此，把样本数据寄存器分为两部分，低16位为样本数据，高12位为该样本数据在外部扩展存储器的存储地址，如下所示。

存储地址样本数据27 26 25…17 16 15 14 13…2 1 0

第二，存储位置为FPGA 的片上存储体。ARM 与FPGA 通过12位地址总线、28位数据总线中的低16位、控制总线直接相连，控制寄存器组、专用寄存器组、分布式存储器连接在这些总线上面。

片上集成存储系统采用统一编址的方式，其优势在于可以通过ARM 芯片的DMA 方式进行数据传输，既可以提高传输速率又能够释放CPU。外部扩展存储器因为只受FPGA 控制而采用独立编址，但地址域的设计接续片上集成存储系统的地址，如此方便操作。

3 ZDMA控制设计

ARM 端与FPGA 端的数据通信如图8所示，分为3个阶段：

①网络初始化阶段的数据通信：配置网络初始化数据。a）需对网络训练执行阶段②，b）否则执行阶段③。

②网络训练阶段的通信：下载训练样本数据，训练完成上传稳定的权值。

③实际应用阶段的通信：下载实际样本数据，上传处理结果。

每一个阶段都是在ZDMA的方式下进行。每一个阶段完成后都会进入中断，提示本阶段完成并进行下一步操作。

图8 数据通信阶段流程图

3.1 下载数据时ZDMA的配置

按照是否为样本数据，通信可分为两个阶段：一是面向FPGA 片上集成存储系统的非样本数据通信，二是面向FPGA 片外扩展存储器的样本数据通信。

本设计使用ZDMA0、ZDMA1 两个通道中的一个。与ZDMA 有关的特殊功能寄存器有：

ZDMA 控制寄存器（①ZDCONn）：主要用于对DMA通道进行控制，允许外部DMA 请求（nXDREQ）。

ZDMA0／1初始源／目的地址和计数寄存器、ZDMA0／1当前源／目的地址和计数寄存器。

ZDMAn 初始／当前源地址寄存器（②ZDISRC、③ZDCSRC）：初始源地址为数据在ARM 芯片内存的存放地址；当前源地址为即将传输的数据的内存地址，值为初始源地址＋计数值。

ZDMAn初始／当前目的地址寄存器（④ZDIDES、⑤ZDCDES）：分为两个阶段：第一阶段传输非样本数据时初始目的地址为BANK6的起始地址；当前目的地址是变化的，为初始目的地址＋计数值。第二阶段传输样本数据时初始目的地址也是当前目的地址，为样本数据寄存器的地址。

ZDMAn初始／当前目的计数寄存器（⑥ZDICNT、⑦ZDCCNT）：初始值为0，当前值随着传输数据的个数逐一递增，直至达到所有数据的数量。样本数据和非样本数据的传输分两个阶段进行，各自独立。

从这个过程中可以看出，配置ZDMA 时需考虑FPGA 端存储结构体多样性的问题。

3.2 上传数据时ZDMA的配置

神经网络处理器的稳定权值和处理结果存储在FPGA 上统一编址的专用寄存器组B中，不存在存储结构体多样性的问题，所以上传数据时ZDMA 的配置相对简单：

初始源地址即专用寄存器组B的起始地址，每传送一次数据专用寄存器组的地址指针＋1并作为当前源地址。

初始目的地址为要存放数据的内存块的起始地址，每传送一次数据内存块地址指针＋1并作为当前目的地址。

计数寄存器的初始值为0，每传送一次数据其值＋1，达到设定的目标值时数据上传即完成。

结 语

本文首先介绍了人工神经网络的模型和算法以及FPGA 的实现，并通过对网络结构的分析设计了FPGA 端的数据存储系统。然后分析了ARM 端和FPGA 端各自的功能，在此基础上把两者结合在一起，设计了一种利用ARM 的ZDMA 方式相互通信的方案。

［1］翁宗煌.基于FPGA 的BP 网络可重构设计及实现［D］.福州：福建师范大学，2007.

［2］韩力群.人工神经网络教程［M］.北京：北京邮电大学出版社，2006：60-62.

［3］田泽.嵌入式系统开发与应用教程［M］.北京：北京航空航天大学出版社，2005：316-323.

［4］张萧，黄晞，仲伟汉，等.Sigmoid函数及其导函数的FPGA 实现［J］.福建师范大学学报：自然科学版，2011，27（2）：62-65.