面向人工智能的数字信号处理课程案例设计

张海剑，夏桂松，余 磊，江 昊

（武汉大学，武汉 430072）

现如今，计算机技术、大数据、云计算、移动通信及各种互联网技术发展迅速，促进了以这些新型信息技术为核心的人工智能系统的高速发展。人工智能已经成为引领新一轮科技革命和产业变革的战略性技术以及世界上众多国家的战略需求，国内外越来越多的高等学校开始设立与人工智能相关的专业、学科或课程体系，全球已经有超过400 所高校建立了人工智能研究方向。教育部印发了《高等学校人工智能创新行动计划》，要求高校全面贯彻党的十九大精神，以习近平新时代中国特色社会主义思想为指导，贯彻创新、协调、绿色、开放、共享的新发展理念，围绕科教兴国、人才强国、创新驱动发展、军民融合等战略，加快构建高校新一代人工智能领域人才培养体系和科技创新体系，全面提升高校人工智能领域人才培养、科学研究、社会服务、文化传承创新及国际交流合作的能力，推动人工智能学科建设、人才培养、理论创新、技术突破和应用示范全方位发展，为我国构筑人工智能发展先发优势和建设教育强国、科技强国、智能社会提供战略支撑。在新工科建设背景下，人工智能专业旨在培养中国人工智能产业的应用型人才，截至2020 年全国有215所高校获批设置人工智能本科专业，武汉大学、华中科技大学和浙江大学获批设置人工智能交叉学科。国务院发布的《新一代人工智能发展规划》确立了我国新一代人工智能的“三步走”战略目标，将我国人工智能技术与产业发展上升为国家重大发展战略，使得人工智能成为各行各业发展的助推器。教育部、科技部和国家发展改革委等多个国家部委相继颁布指南和创新计划，指导高校进一步完善人工智能学科体系。

人工智能（AI）是一门以信息技术为基础，面向计算机、神经生理学等多个学科方向的应用型交叉学科。目前的AI 课程群除涉及人工智能导论、数据结构与算法、模式识别、自然语言处理、知识表示与处理及计算机系统基础等传统内容外，还增加了人工智能现代方法、智能体、语音处理、深度学习、强化学习、认知心理学和脑科学等内容，其中一些增加的课程已经出现在MIT、CMU 及Stanford 等国外高校开设的AI 课程中。人工智能专业和课程体系的发展将给电子信息类的课程带来理论和实践等各方面的改革与创新，如优质AI 教学资源的开放共享平台及“人工智能+X”相关的各类产学研实践项目等。对于未来高校的课程体系改革，强调人工智能与其他学科、课程深度交叉融合，已经成为必然趋势。大量的人工智能技术已经应用在电子信息类专业中的信号处理、机器视觉和智能系统等方面，如何从信号处理和信息处理基础课程体系出发，融合最前沿的人工智能教学内容，以构建电子信息类人工智能专业人才培养模式，成为信号处理类课程发展所面临的问题之一。

数字信号处理（DSP）课程是面向电子信息类学科专业开设的基础课程，同时也是电子与计算机专业等信息领域学科的专业基础课程，与语音处理、图像处理、机器学习及计算机视觉等人工智能核心课程具有千丝万缕的联系。笔者认为，在当前人工智能领域高速发展时期，面向AI 方向的电子信息类课程内容和框架需要作出相应调整，原因在于以下几点。（1）技术发展趋势与国家人才培养需求。AI 技术已经应用在电子信息类专业中的信号处理、智能系统和机器学习等方面，如何从信号与信息处理基础课程体系出发，融合最前沿的AI 教学内容与案例，迎合了国家对AI 人才的培养需求。（2）行业发展背景需求。随着人工智能技术的迅猛发展，AI 方向毕业的学生就业市场前景广阔，社会各行业对AI 人才的需求将会越来越大。虽然AI 专业及其课程受到了学生的欢迎，但不同学科的AI 课程设置与改革仍然是制约人工智能发展的重要因素。因此，将前沿的AI 案例融入DSP 课程的体系框架，可以让学生更顺利过渡到AI 的核心课程体系，对电子信息类专业中的AI人才培养具有重要意义。

一、面向AI 的DSP 课程案例设计

当前人工智能主流技术知识体系均建立在信号处理理论基础之上，例如“卷积运算”“不确定性分析”等，相应的课程包括信号与系统、数字信号处理、图像处理、语音处理及机器视觉等。信号与信息处理学科为人工智能提供了坚实的理论基础，其基本原理和方法已经应用到几乎所有的物理系统和社会计算中，可以实现通信、语音及图像等信号采样、传输与分析全科研链条的智能化处理。数字信号处理课程作为信号处理系列课程中的重要环节，主要以离散时间序列与线性时不变系统的分析与处理为核心内容，围绕DTFT、DFT、Z 变换及滤波器等分析与处理手段展开讨论。面向电子信息类专业的AI 人才培养，应该结合AI 专业自身培养定位与课程体系结构，有针对性地将DSP 课程的建设思路从“信号”偏向于“数据”，重构以“信号分析与处理”为核心、“数据学习”为导向的DSP 课程框架。

我们在经典的DSP 课程结构基础上，通过创建由信号（离散序列）构成的样本库，设计利用深度神经网络（DNN）实现信号分析与处理的AI 案例，以突出“数据学习”为导向的DSP 课程新结构，如图1 所示。该课程结构在帮助学生建立信号与系统分析与处理知识结构的同时，引入了语音、图像等前沿领域的AI 教研案例和科研成果，可以满足学生对人工智能相关领域的知识需求。最终目标是让电子信息类学生从数字信号处理中研究时域/频域的基础方法过渡到人工智能专业的主干核心课程中来，例如图像处理和模式识别近几年的研究热点——时频分析、稀疏表示、深度学习与神经网络等。

图1 面向AI 的DSP 课程案例设计（信号分析与处理+AI 案例）

数字信号处理课程知识点繁多，其中傅里叶变换和滤波器设计是DSP 的两大核心知识点。在大数据时代背景下，以“数据”为核心成为了人工智能的典型特点，所以培养学生掌握数据分析、处理的方法是人工智能方向DSP 课程的重要任务之一。接下来，我们围绕傅里叶变换（信号分析）和滤波器卷积运算（信号处理）两个核心内容，进行跨学科探索性研究，设计面向人工智能的“数据学习”课程案例。

二、信号分析案例：基于数据学习的智能语音分离

傅里叶变换及其二维时频变换作为信号频率分析的重要手段，一直是DSP 课程的核心知识点。近来，智能语音成为《国家新一代人工智能标准体系建设指南》中的关键领域技术之一，我们以语音信号为课程案例设计对象，设计了一个基于“数据学习”和注意力机制的编码网络模型，以替换经典数字信号处理中短时傅里叶变换（STFT）的角色，并应用于混合语音信号的智能分离。

该案例中设计的编码模块与分离模型可以直接取代传统语音分离中的STFT 与二值掩膜预测，无需任何调整，且具有更低的算法复杂度。值得一提的是，当语音信号源数增加且未知时，所提算法的性能相比于现有算法在所有任务中均能持续显著提高。更多的案例细节可以参考我们github 网站的开源代码：https：//github.com/yimingxiao1/speech-separation。

三、信号处理案例：基于数据学习的二维卷积运算

傅里叶变换和卷积处理均建立在信号频率分析基础之上，传统DSP 课程通过设计数字滤波器增强或者减弱某个频带信号，且通过卷积处理实现数字滤波器。定义数字滤波器冲激响应序列为h[n]，当输入序列为x[n]时，系统的输出可以表示为h[n]与x[n]的卷积形式。我们以信号的二维卷积运算为例，设计了一个基于“数据学习”的卷积神经网络（CNN），以替换经典数字信号处理中二维卷积的角色，并应用于非平稳信号的时频分析。

时频域分辨率和多分量导致的交叉项是制约信号时频分析效果的两大重要因素。传统的Cohen 类二次型时频分布基于经典的维格纳-威利分布（WVD），在模糊函数域设计一个合适的滤波器（即核函数）进行交叉项抑制，从而得到信号的无交叉项时频分布。如果将滤波器的冲激响应h[n]设计为低通序列，那么用于时频分析的核函数等价于一个低通数字滤波器。通过设计该低通滤波器冲激响应的频率特性，可以得到滤波器或者卷积输出y[n]的频率成分。然而，该类方法受到时频分析中“交叉项”与“分辨率”不能同时提升性能的限制，即尽管抑制了交叉项，但往往以牺牲信号时频域分辨率为代价。根据傅里叶理论中的频谱卷积定理，我们观察到，核函数和WVD 在时频域满足二维卷积的运算关系，这对卷积神经网络结构设计具有一定的指导意义，启发我们构思出利用基于“数据学习”的卷积核代替传统人为调参的核函数。具体来说，我们设计了一个数据驱动模型，通过大量数据挖掘信息，可实现同时提高分辨率和抑制交叉项的任务。该数据驱动模型是一种多通道的可学习卷积神经网络，由两部分组成，分别为普通二维卷积块和短接二维卷积块。普通二维卷积块由多个较大尺寸的二维多通道卷积核以及非线性函数堆叠而成，通过寻找信号时频分布中主要的方向信息，完成对原始WVD 平滑的任务；而短接二维卷积块则由多个较小尺寸的二维多通道卷积核以及非线性函数堆叠而成，另外还引入了短接的操作以防止信息在网络传递的过程中丢失导致网络性能退化。值得注意的是，实验验证了尺寸较小的卷积核更适用于提高分辨率任务，所以在短接二维卷积块中需要使用尺寸较小的卷积核。为了进一步精确判断信号时频分布中各时频点的方向，我们引入了人工智能瓶颈注意力模块（BAM），对短接二维卷积块输出中的每一个点进行加权。实验结果证明，提出的可学习卷积核模型在提高分辨率的同时，也能极大程度抑制交叉项。更重要的是，虽然训练网络模型的数据集仅使用了合成信号（由不交叠/交叠非平稳信号组合而成），但训练好的网络模型在合成信号和实际蝙蝠回声信号测试上均取得了较好的效果。

在训练数据量充足和参数最优化的情况下，该案例设计的CNN 打破了“交叉项”与“分辨率”难以兼顾的限制，相比于现有的Cohen 类二次型时频分布，可以取得比经典DSP 中的确定性卷积运算更显著的信号分析效果。更多的案例细节和实验结果可以参考我们的开源网站：https：//github.com/teki97/KL-TFD。

上述案例与DSP 课程中的傅里叶分析和滤波器卷积运算形成了鲜明的对比，体现了如何以“数据学习”的方式解决信号分析与处理的问题。另外，通过布置基于Python 的案例设计课程作业，学生可以举一反三，将具有共性的思维方式应用于课程中的其他专业问题求解。我们认为，面向AI 的DSP 案例真正发挥了DSP 课程与AI 类课程之间的桥梁纽带作用，不仅让学生们熟悉了神经网络等AI 课程知识，而且大大提高了他们的专业课学习兴趣。因此，通过重构信号处理系列课程的体系框架，在信号与信息处理类课程中引入前沿的人工智能教学案例，让学生从专业基础课程顺利地过渡到了人工智能专业的主干核心课程。

四、结束语

面向AI 的信号与信息处理类课程致力于构建基础理论人才与“AI+X”复合型人才并重的培养体系，探索深度融合的学科建设和人才培养新模式。本文以DSP课程为研究对象，提出面向AI 的DSP 课程案例建设，以改进传统的DSP 课程知识体系，为学生学习不同学科的思想方法以及进一步学习与应用人工智能技术奠定基础。我们以二维傅里叶变换（STFT）和二维卷积运算为例，阐释如何设计前沿的AI 教学案例配合DSP 课堂教学，不仅使学生了解了AI 行业发展的最新动态，也能让学生更深刻地理解课程核心知识点。同时，通过设计和分享AI 的最新科研成果，也进一步提升了教师的科研和教学能力。后续工作会建立以Python 语言为基础的教学实践资源，以完善实践课程内容。