基于ESN模型的公共政策与中小企业技术创新水平关系研究

任树伟　鞠晓峰

（哈尔滨工业大学，黑龙江　哈尔滨　150080）



基于ESN模型的公共政策与中小企业技术创新水平关系研究

任树伟鞠晓峰

（哈尔滨工业大学，黑龙江哈尔滨150080）

摘要：针对公共政策和中小企业技术创新水平的关系问题，构建回声状态网络（Echo State Networks，ESN）分析模型。在公共政策体系中，选取科技政策、财政政策、税收政策作为表征变量；在中小企业的技术创新成果中，选取发明专利作为不连续创新成果的表征变量，同时选取实用新型和外观设计专利作为连续创新成果的表征变量。实证分析结果显示，对于中小企业的技术创新水平，科技政策和财政政策的影响更为明显，税收政策的影响较弱。

关键词：公共政策；中小企业；科技创新；回声状态网络

一、引言

推动科学技术的发展、促进技术创新能力的提升，已经成为全社会、全人类发展的主旋律。世界各国都在加大科技投入，催生科技成果并加以转化，甚至超前部署创新产业以适应未来经济发展需要[1]。

在我国各类推动技术创新发展的力量中，中小企业占有举足轻重的地位。中小企业不仅是繁荣经济发展、促进社会就业、缩小城乡差距的主力军，也是推动科技发展和技术创新水平提高的具体践行者[2]。

发达国家对于中小企业的技术创新发展，大都注重政策扶持，从国家层面为其提供原动力。近年来，我国借鉴发达国家的成功经验，制定促进中小企业技术创新水平提升的各类政策。这些政策已覆盖财政、税收、产业、科技等诸多领域，形成帮扶中小企业发展科技的政策体系[3]。

创新政策体系对于创新活动的影响过程非常复杂，其中涉及诸多政策主体，政策作用效果影响创新活动的方方面面。张楠指出，我国的技术创新扶持政策来自多个政府部门，如科技部、财政部、发改委、教育部等十余个国家部委和众多地方政府机构。从范围来看，这些政策覆盖科技投入、税收激励、金融扶持、知识产权保护等八大领域[4]。Bae以韩国的科技政策为对象展开研究，指出公共政策对于一个国家的科学技术发展起到重要导向作用[5]。Marrocu指出，一个国家或地区的公共政策，在很大程度上体现了政府对技术创新速度、技术创新规模、技术创新发展方向的影响意志，可以看作政府对科学技术发展的调控手段[6]。Vecchiato认为，各国现有的公共政策存在一个共性问题，即政府层面的激励措施和企业创新活动中的实际需求存在一定偏差，做好企业技术创新的意愿和需求调查，是今后各国制定公共政策的重要前提[7]。

将研究问题模型化、将研究结果定量化，是公共政策激励创新研究领域的热点问题。徐伟民以上海市的高新技术企业为研究对象，分析公共政策对技术创新的影响。研究过程中，上海市125个高新技术企业的技术创新数据和公共政策表征数据被带入动态面板数据的分析模型。实证结果显示，来自政府的科技资金投入对企业技术创新产出有明显的正向驱动作用，而且此类公共政策越稳定，对企业技术创新的驱动作用越强烈[8]。周赟将宁波市的各类公共政策进行系统归纳，在AHP层次分析模型框架下，探讨公共政策对于宁波市企业自主创新能力的影响。实证分析结果表明，宁波市企业的自主创新意识较强，对科技资金补贴、科技平台建设、技术创新服务等方面的科技政策有较强烈需求[9]。周锐以LEM面板模型作为分析工具，以山东省17个地区的相关数据作为研究对象，分析公共政策对中小企业创新活动的影响，得出公共政策直接影响中小企业在技术创新活动中的资金投入，进而影响技术创新成果产出[10]。

本文将分析公共政策和中小企业技术创新水平之间的关系，采用状态回声网络模型（ESN），分别从科技政策、财政政策、税收政策视角，分析公共政策对中小企业科技创新活动的影响。

二、回声状态网络分析理论

公共政策和中小企业技术创新水平的关系问题，是一个多元化的高复杂性问题。首先，作用于中小企业技术创新活动的政策体系本身就非常复杂，包含不同类别的公共政策，这些政策不仅单独作用于中小企业的创新活动，还可能产生复合作用效果。其次，中小企业的技术创新活动有连续创新和不连续创新之分，不同类型的中小企业对于不同公共政策的关注程度存在差异。国家通过各种公共政策的制定，试图利用科技、财政、税收等手段实现对企业创新活动的刺激，可以看作是这个复杂系统的激励；而中小企业根据自身情况适应政策，有选择性地开展连续创新或不连续创新活动，可以看作是这个复杂系统的响应。本文旨在要发现这个复杂系统中激励——响应的内在规律并展开模型化、数据量化研究，为公共政策制定和中小企业技术创新提供参考。

神经网络通过对复杂系统内部构成关系的神经元映射，有效解决复杂系统输入和输出的关系问题。神经网络有静态神经网络和动态神经网络之分。回声状态网络（Echo State Networks，ESN）是一种新型动态神经网络，不仅具备传统动态神经网络的诸多特点，还可以有效处理非线性时间序列数据作为复杂系统输入的问题。为此，本文借助ESN理论，对公共政策和中小企业技术创新水平的关系问题，按照复杂系统建模，探寻新的研究路径。

（一）ESN的结构特征

相比于以往的神经网络方法，ESN在隐含层的核心结构以储备池的形式出现，可以随机生成并具有短时记忆功能。在网络训练方面，ESN只需要线性回归即可完成训练，并且仅对隐含层到输出层的权重进行调整即可达到ESN修正目的。该特点使得ESN网络对不同复杂系统问题具有普遍的适应性，并且表现出较高处理效率。典型的ESN结构如图1所示。

从图1的ESN结构中可以看出，ESN继承神经网络的一般结构特征，即包括输入层、隐含层、输出层，各层神经元之间的连接以权重系数表达。将输入层、隐含层、输出层的神经元列写为向量的形式，如公式（1）所示：

公式中，I（k）、C（k）、O（k）分别代表输入层向量、隐含层向量、输出层向量，l、m、n分别代表3个向量中包含的神经元个数，表示ESN系统的采样时刻。

ESN和一般神经网络的显著区别在于，其隐含层神经元规模庞大并且连接稀疏，可灵活地表征输入层和输出层的状态连接，因此隐含层向量称为状态连接向量。ESN的隐含层是整个ESN系统的动力枢纽，被称为储备池。

输入层和储备池之间、储备池和输出层之间、储备层各神经元之间，分别通过3个权重矩阵连接，其数学形式分别如公式（2～4）所示。

式中，Φic表示输入层和储备池之间的权重连接矩阵，可知该矩阵的维度为l×m维。

式中，Φco表示储备池和输出层之间的权重连接矩阵，可知该矩阵的维度为m×n维。

式中，Φcc表示储备池各神经元之间的权重连接矩阵，可知该矩阵的维度为m×m维。

在ESN的结构形式下，当采样时刻从k变化为k+1时，整个ESN的状态更新情况可以根据公式（5）和公式（4～6）得出。

图1　ESN的结构

（二）ESN的关键参数

对比ESN和一般神经网络结构可知，储备池是其性能关键所在。ESN的储备池以及ESN系统具有几个鲜明的特点：第一，ESN的储备池存储容量大。根据不同使用者的需求，储备池中的神经元数目可以设置几十到几千个。第二，ESN储备池中各神经元采取稀疏连接的方式。这种连接方式使得储备池的复杂度降低，各个神经元的耦合程度也大为降低，有利于ESN训练时间缩短和训练效率提升。第三，ESN的训练过程可以采用线性回归方法完成。在ESN的具体使用中，输入层和储备池之间的权重连接矩阵Φic、储备池各神经元之间的权重连接矩阵Φcc初始化后保持不变，整个训练过程只需要调整储备池和输出层之间的权重连接矩阵Φco即可。这不仅大大简化训练过程，也使ESN的稳定性更强。第四，ESN的当前状态和之前若干个时刻的状态有关，这使其具备一定时间范围内的记忆能力。这个特点使得ESN用于时间序列数据的拟合和预测成为可能。

ESN储备池及ESN系统上述特点的实现，依赖于一些关键参数。决定ESN储备池规模的参数用N表示，代表储备池中神经元的个数。在实际应用时，合适的N值设定具有重要意义。如果N值过小，储备池对于数据的表达能力会明显不足，产生欠拟合；如果N值过大，又会导致ESN复杂度增加，数据处理时会产生过拟合。

谱半径R是ESN储备池的另一个关键参数，实际上是储备池各神经元之间的权重连接矩阵Φcc的最大特征值绝对值。谱半径R在很大程度上反映了ESN储备池的记忆性能，过小记忆性能差，过大储备池会不稳定。当R介于（0，1）区间时，ESN会表现出稳定的回声状态，这也是ESN被称为回声状态网络的原因。

输入层数据进入储备池之前，可以按照比例进行一定程度的缩放，这个缩放因子一般用δI来表示。当δI取值较小时，储备池的线性特征增强；当δI取值较大时，储备池的非线性特征明显。

储备池各神经元连接的稀疏程度，一般用D表示。D在很大程度上反映各个神经元连接的活跃性，D值增大，储备池的动力更充沛；D值降低，储备池复杂度、耦合度升高。在实际使用中，ESN储备池稀疏度D，一般选择在1％～10％区间。

三、公共政策与中小企业技术创新水平关系的ESN模型构建

鉴于回声状态网络在处理时间序列数据的诸多优势，本文考虑利用ESN研究公共政策与中小企业技术创新水平的关系问题。因为在这个问题中，公共政策相当于输入激励，中小企业的创新水平相当于受激输出，二者表征变量的年度数据又是时间序列数据，符合ESN构建的结构特征。

（一）ESN结构设计

从结构上看，ESN包括输入层、输出层、储备池。因此，要构建公共政策对中小企业技术创新水平施加影响的ESN，需要合理配置三层的结构，据此设计出的ESN结构如图2所示。

对于这个具体的ESN而言，公共政策相当于ESN的激励，因此公共政策的表征变量应映射为输入层神经元；中小企业技术创新水平相当于ESN的响应，因此中小企业技术创新水平的表征变量应映射为输出层神经元。将公共政策分别从科技政策、财政政策、税收政策三个角度解读，最终选取R&D人员全时当量、技术市场成交额、科技企业孵化器数量、财政科技支出、政府采购规模、企业所得税总额、企业营业税总额、国内增值税总额等8个表征变量[11]，同时作为本节ESN的输入层神经元。从连续创新和不连续创新两个角度剖析中小企业技术创新水平，实用新型专利数量、外观设计专利数量、发明专利数量3个表征变量，也将作为本节ESN的输出层神经元。

图2　本文问题ESN的结构

（二）ESN参数配置

为确保本文构建的ESN能够获得预期效果，需要对其中关键参数进行合理配置。考虑到输入层神经元个数为8、输出层神经元个数为3，整个ESN规模不是很大，经过小样本训练，为其配置神经元个数为80的储备池；为确保ESN表现出稳定的回声状态，设定谱半径R的大小为0.75。为保证ESN储备池活跃程度，尽可能降低其耦合程度，将稀疏度参数D设置为10％。考虑到输入神经元数据和输出神经元数据处于同一数量级别，设置输入缩放因子δI为0.4。

（三）ESN训练流程

将ESN应用于时间序列数据的处理时，一般采取如下的流程：

第一步：对ESN中的储备池进行关键参数配置，包括储备池规模N、谱半径R、输入缩放因子δI、稀疏程度D。

第二步：对ESN的输入层神经元和输出层神经元进行配置，并遴选对应的时间序列数据，形成输入和输出的映射关系。

第三步：初始化权重连接矩阵Φic和Φcc，通过对ESN的训练确定Φco。Φic和Φcc通过在[-1，1]上均匀分布的随机映射确定，并在整个训练过程中保持不变。给输入层神经元I（k）输入数据后，可以根据Φic和Φcc得到储备池神经元C（k）的数据，进而输出层神经元O（k）的数据。

第四步，判断ESN何时达到收敛。ESN训练的目的，实际上就是使得在给定输入数据的情况下，调整Φcc使ESN输出和给定的输出数据尽可能逼近。当逼近程度足够小时，可以认为ESN达到稳定，此时的ESN即表征给定输入和给定输出的映射关系。本文在给定公共政策数据作为输入的情况下，通过训练达到稳态时的ESN就可以用于表征公共政策和中小企业技术创新水平的抽象数学关系。

在公式（7）中，O（k）表征给定的输出神经元配置数据，ΦccC（k）是根据给定输入和现有ESN结构及权重矩阵等参数下计算出的实际的输出神经元数据，至此可以设置判定收敛的条件如下：

式中，O'（k）表征训练过程中实际计算出的输出数据，ε为一个很小的阈值。公式（8）可以认为ESN达到表征给定输入和给定输出关系的稳定状态，ESN训练过程结束。通过ESN训练直至达到稳定结构，可获得公共政策数据作为输入、中小企业技术创新水平数据作为输出的抽象数学模型，但这个模型无法直接显示不同公共政策对中小企业技术创新水平的影响，以及哪类政策作用更强。

为此，采用如下的方法判断三种公共政策对于中小企业技术创新水平影响的强弱。在科技政策、财政政策、税收政策中，选取其中一种公共政策作为主要输入神经元，而其他两种公共政策作为次要神经元，分别执行三次训练。获得各自的ESN稳定状态后，对主要神经元数据进行微调，观察其微小变化对于ESN输出的影响，以此从ESN理论的角度考查三种政策的重要性。

四、科技政策作为输入主元的ESN模型训练

在三种公共政策变量中，先以科技政策的3个变量作为输入主元，财政政策和税收政策作为输入次元执行ESN训练。

（一）ESN结构调整

为体现科技政策作为主神经元和其他政策作为次神经元的区别，将I1、I2、I33个神经元对应的输入缩放因子δI取0.4，而将其余5个输入神经元的输入缩放因子δI降低为0.1。调整之后的ESN结构如图3所示。

图3　科技政策作为主元的ESN结构

（二）ESN数据配置

根据图3的ESN结构，对其输入层和输出层进行数据配置。其中，输出层数据取1995—2012年中小企业3项专利表征变量年度数据的自然对数，如表1所示。

输入层3个主元取科技政策表征变量年度数据的自然对数，如表2所示。

（三）ESN误差分析

当科技政策变量作为主元进行ESN训练并达到稳态时，对输出数据的训练误差进行统计分析。由于输出层包括3个神经元，将这3个神经元的训练数据误差取平均值作为训练误差，可得到科技政策作为主元的ESN训练误差分析结果，如图4所示。

由图4可见，当科技政策变量作为输入主元时，公共政策和中小企业技术创新水平关系的ESN网络达到稳态时，中小企业技术创新水平变量作为输出的训练误差在-0.05到0.05之间。

为考查科技政策作为主元对于达到稳态的ESN的影响，将I1、I2、I3的数据只保留小数点后一位（例如：表2中I1的第一个数据为2.933857，处理后变为2.9），重新作为输入数据观测输出数据的训练误差，误差分析结果如图5所示。

表1　输出层的时间序列数据

表2　输入层主元的时间序列数据

图4　科技政策作为主元的ESN训练误差

图5　科技政策微调的ESN训练误差

由图5可见，作为主元的科技政策变量进行微调后，以此作为输入会引起输出数据训练误差的一个明显变化。输入微调后的误差范围，从（-0.05，0.05）变化到（-0.5，0.5）。这说明科技政策变量作为主元的微调，引起误差范围近10倍的变化，可看出在本文构建的ESN系统中，科技政策变量作为输入主元对于整个系统有着很大的影响，其变化会导致中小企业创新水平作为输出的较大变化。

五、财政政策作为输入主元的ESN模型训练

（一）ESN结构调整

为体现财政政策作为主元和其他政策作为次元的区别，将I4、I53个神经元对应的输入缩放因子δI取0.4，而将其余6个输入神经元的输入缩放因子δI降低为0.1。调整之后的ESN结构如图6所示。

（二）ESN数据配置

根据图4的ESN结构，对其输入层和输出层进行数据配置。其中，输出层神经元数据仍取表1中的数据，输入层两个主元取财政政策表征变量年度数据的自然对数，如表3所示。

图6　财政政策作为主元的ESN结构

（三）ESN误差分析

当财政政策变量作为主元进行ESN训练并达到稳态时，对输出数据的训练误差进行统计分析，可以得ESN训练误差分析结果，如图7所示。

由图7可知，当财政政策变量作为输入主元时，公共政策和中小企业技术创新水平关系的ESN网络达到稳态时，中小企业技术创新水平变量作为输出的训练误差在-0.05到0.05之间。为考查财政政策作为主元对于达到稳态的ESN的影响，将I4、I5的数据只保留小数点后一位，重新作为输入数据观测输出数据的训练误差，误差分析结果如图8所示。

表3　输入层主元的时间序列数据

图7　财政政策作为主元的ESN训练误差

图8　财政政策微调的ESN训练误差

由图8可知，作为主元的财政政策变量进行微调后，以此作为输入会引起输出数据训练误差的一个明显变化。输入微调后的误差范围，从（-0.05，0.05）变化到（-0.6，0.5）。说明财政政策变量作为主元的微调，引起误差范围10倍以上的变化，可以看出在本文构建的ESN系统中，财政政策变量作为输入主元对于整个系统有很大影响，其变化会导致中小企业创新水平作为输出的较大变化。

六、税收政策作为输入主元的ESN模型训练

（一）ESN结构调整

为体现税收政策作为主元和其他政策作为次元的区别，将I6、I7、I83个神经元对应的输入缩放因子δI取0.4，而将其余5个输入神经元的输入缩放因子δI降低为0.1。调整之后的ESN结构如图9所示。

图9　税收政策作为主元的ESN结构

（二）ESN数据配置

根据图5的ESN结构，对其输入层和输出层进行数据配置。其中，输出层神经元数据仍取表1中数据，输入层3个主元取税收政策表征变量年度数据的自然对数，如表4所示。

（三）ESN误差分析

当税收政策变量作为主元进行ESN训练并达到稳态时，对输出数据的训练误差进行统计分析，可以得到税收政策作为主元的ESN训练误差分析结果，如图10所示。

由图10可知，当税收政策变量作为输入主元时，公共政策和中小企业技术创新水平关系的ESN网络达到稳态时，中小企业技术创新水平变量作为输出的训练误差在-0.10到0.12之间。

为考查税收政策作为主元对于达到稳态的ESN的影响，将I6、I7、I8的数据只保留小数点后一位，重新作为输入数据观测输出数据的训练误差，误差分析结果如图11所示。

表4　输入层主元的时间序列数据

图10　税收政策作为主元的ESN训练误差

图11　税收政策微调的ESN训练误差

从图11可见，作为主元的税收政策变量进行微调后，以此作为输入会引起输出数据训练误差的一个明显变化。输入微调后的误差范围，从（-0.10，0.12）变化到（-0.24，0.22）。说明税收政策变量作为主元的微调，引起误差范围近2倍的变化，可看出在本文构建的ESN系统中，税收政策变量作为输入主元对于整个系统的影响相对较小，其变化导致中小企业创新水平作为输出的变化不大。

七、结论

第一、科技政策和财政政策作为输入主元，ESN达到稳态后，输出数据的训练结果误差范围相对较小，更接近真实值；税收政策作为输入主元，ESN达到稳态后，输出数据的训练结果误差范围相对较大。

第二、科技政策和财政政策作为输入主元，ESN达到稳态后，其输入数据的微小变化，会导致输出数据的较大变化，说明两者对“公共政策和中小企业技术创新水平关系”这个ESN系统影响更大，对于“中小企业技术创新水平”这个输出影响更大；税收政策作为输入主元，ESN达到稳态后，其输入数据的微小变化，导致输出数据的变化也不大，说明其对“公共政策和中小企业技术创新水平关系”这个ESN系统影响较小，对于“中小企业技术创新水平”这个输出影响不大。

综上，科技政策和财政政策的影响更为明显，税收政策的影响较弱。

对于公共政策的制定而言，应关注以下三个问题：一是在未来一个时间范围内，维持现有的政策体系，中小企业技术创新活动会产生怎样的创新结果；二是改变现有政策体系中的某一部分或某几部分，中小企业技术创新活动会有哪些改变、会改变到何种程序、创新结果会和维持原有政策体系有何区别；三是如果希望中小企业的技术创新水平达到某种程度，应怎样调整公共政策体系，具体的调整幅度是多少。如果能够相对准确地实现中小企业技术创新发展预测，对于相应公共政策的制定和现有公共政策体系的调整具有重要意义。

参考文献:

［1］黄国涛.科技政策咨询技术路线探讨——以高薪技术企业认定咨询为例[J].科技管理研究,2012(5).

［2］李晨光,张永安.企业对政府创新科技政策的响应机理研究:基于回声模型[J].科技进步与对策,2013(7).

［3］张永安,李晨光.区域企业响应科技政策创新的回声模型构建[J].科学与科学技术管理,2013(9).

［4］张楠,林绍福,孟庆国.现行科技政策体系于ICT自主创新企业反馈研究[J].中国软科学,2010(3).

［5］Bae S H,Lim J S,Shin K W,et al.The Innovation Policy of Nanotechnology Development and Convergence for the New Korean Government[J].Journal of Nanopariticle Research,2013 (11).

［6］Marrocu E,Paci R,Usai S.Proximity,Networking and Knowledge Production in Europe: What Lessons for Innovation Policy?[J].Technological Forecasting and Social Change,2013(8)

［7］Vecchiato R,Roveda C.Foresight for Public Procurement and Regional Innovation Policy: The Case of Lombardy[J].Resarch Policy,2014(2).

［8］徐伟民,李志军.政府政策对高新技术企业专利产出的影响及其门槛效应——来自上海的微观实证分析[J].上海经济研究,2011(7).

［9］周赟,董新平,郑瑜.宁波市政府科技政策与企业自主创新的实证研究[J].价格月刊,2010(1).

［10］周锐,李爽.科技政策因素对中小企业创新影响的实证分析[J].统计与决策,2011(5).

［11］任树伟,鞠晓峰.三种政策对于中小企业科技创新水平的影响研究[J].东北农业大学学报（社会科学版）,2014(6).

作者简介：任树伟（1969-），男，黑龙江科技大学管理学院副教授，哈尔滨工业大学经济管理学院博士研究生，研究方向为政府信息化、公共政策以及技术创新。

基金项目：教育部青年基金项目“R&D联盟网络对高新技术企业竞争优势影响机理研究”（12YJC630309）

中图分类号：F224

文献标识码：A

文章编号：1672-3805(2016)01-0007-10

收稿日期：2015-12-24