深度神经网络优化研究

主持人 柳伟（教授，博士，深圳信息职业技术学院计算机学院院长）：

深度神经网络在计算机视觉、自然语言处理等应用领域取得了突破性进展，但如何在资源受限的场景下部署神经网络模型一直是学术界和工业界关注的热点。目前的神经网络优化技术主要包括神经网络结构优化，神经网络损失函数优化和神经网络模型压缩等三类，目的是在少损失精度的前提下为神经网络“瘦身”，达到“四两拨千斤”的效果。

本栏目四篇文章涵盖了上述三类神经网络优化方法。其中《一种基于Boosting的差分互补卷积网络》和《基于CNN层内结构优化的图像分类》主要关注神经网络结构优化。前者提出一种多尺度差分互补卷积单元，增强了层内特征的表达能力；后者提出了一种跳跃连接以聚合层内的高级语义信息和低级空间信息。《一种基于对抗MSE度量的自编码网络优化方法》提出了一种用生成对抗网络学习均方误差损失函数权重的方法。《基于特征图自注意力机制的神经网络剪枝算法》基于特征图的重要性确定神经网络剪枝方案。深度学习实质上是模拟人脑的计算过程，相信随着人们对思维过程的分析越来越透彻，深度学习的“黑盒子”一定会变成“白盒子”，届时神经网络优化技术路线将更加清晰。本栏目四篇文章有助于大家比较全面地了解神经网络优化，看到深度学习在应用中存在的瓶颈和未来的发展趋势。