信息论与应用数学关联教学法研究

刘宴涛 秦娜 朱向庆

摘  要：信息论是电子信息工程和通信工程的专业课，以香农信息论和编码学为主要教学内容。现行的信息论教学凸显出孤立封闭教学的问题，缺少与其他学科和课程的知识关联，不利于拓展知识的广度和深度。为此，提出一种信息论与应用数学的关联教学法，重点在于设计关联案例，给出三个教学案例解释关联案例的设计过程。教学实践证明该方法有助于学生理清学科知识的内在联系，建立立体化网状知识体系。

关键词：信息论;关联教学法;应用数学;概率论;线性代数;近世代数

中图分类号：G642        文献标志码：A          文章编号：2096-000X（2023）31-0115-04

Abstract： Information Theory is a specialty course for the majors of electronic information engineering and communication engineering. It takes classical Shannon information theory and coding as main contents. Present teaching activity of Information Theory exposed the problem of isolated closed teaching， which is deficient of knowledge correlation to other disciplines and courses， thence is lack of breadth and depth of knowledge. To solve this problem， this paper proposed a correlative teaching method for Information Theory and applied mathematics， which emphasized designing teaching cases. Three teaching cases are given to illustrate the designing procedure of correlative teaching. Teaching practices show that the method helps students figure out the inner connection of disciplines and knowledge， as well as build a solid mesh knowledge system.

Keywords： Information Theory; correlative teaching; applied mathematics; probability theory; linear algebra; modern algebra

信息論是通信工程、电子信息工程等相关专业的专业核心课，其重要性可以和信号与系统以及通信原理等课程相比拟。以通信工程专业为例，该专业是非常典型的工科专业，具有鲜明的理论与实践相结合、硬件与软件相结合的特点。图1给出了该专业本科生培养的课程架构和知识地图，把本科阶段所学的课程分为硬件课程、软件课程和理论课程，从知识层次上看，下层课程是上层课程的基础和先修课，对上层课程起到支撑作用。另外，通信专业本科生的就业方向大致可以分为硬件工程师、软件工程师和系统工程师，三类人才在课程选取和修习上对图1所示的课程各有侧重。然而，无论是哪种人才培养方向和目标，通信工程专业的学生都要打下坚实的理论基础，尤其是应用数学基础。由图1可见，高等数学、线性代数和概率论三门数学课对专业课的学习具有强支撑作用，学生在低年级如果没有掌握基本的微积分计算和矩阵运算，不理解概率的基本概念，那么在高年级将很难学习和透彻理解信号与系统、通信原理、信息论等专业课程的思想和精髓。因此，对于工科专业的本科教学应该大力提倡专业知识和数学知识的关联教学。

信息论在图1中处于中间位置，对本科生知识体系的构建起到承上启下的作用，其地位和信号与系统及通信原理等课程同等重要。但是从课程特点上看，信息论比这些课程更抽象[1]，信号与系统、通信原理中涉及的概念或技术往往非常具体，比如波形和频谱都是可观测的，采样、量化、调制和解调等技术也都很直观和具象。从数学工具上看，微积分、线性代数和概率论中比较简单的数学运算对于学习和理解这些课程已经足够。然而，信息论中的概念往往非常抽象，比如至今尚无法给出对于“信息”的完美的或者公理化的定义，熵和互信息等都是看不见摸不着的抽象量。此外，信息论具有与应用数学紧密结合的特点，比如渐进等分割性的证明需要用到概率极限理论，信道编码和网络编码又需要具备有限域等近世代数的数学基础，这些都是本科生学得比较差甚至是没有学习过的内容，对有效地学习信息论构成了巨大障碍。

尽管抽象难懂，但信息论对于信息技术相关学科和相关专业的知识体系的构建却是至关重要的。信息论是信息科学的奠基石，熵和信道容量等概念从认识论的层面上帮助学生透过现象看本质，揭示了信息的根本特征和通信的关键问题，信源编码和信道编码则从方法论的层面上帮助学生理解如何提高通信的有效性和可靠性，直接服务于工程应用。因此，学习信息论，了解其基本概念和理论，建立信息论的思维和视角对于通信和电子信息等专业的学生和从业者是非常必要的。

一  信息论的教学现状分析

目前国内高校的信息论课程有些开设在本科阶段，有些开设在硕士研究生阶段，课程和教材内容大多是以经典香农信息论为主，也有一些涉及现代网络信息论[1]。近年来，教学工作者一直对信息论课程进行改革探索。陈燕[2]基于问题引导思路探讨了信息论课程的混合教学方法和多维评价体系。刘建刚等[3]从5G移动通信的角度，探讨了信息论与应用数学课程的内在联系。黄英等[4]基于此课程探讨了研究生教学中课程思政的可行路径。孙兵等[5]以平均互信息量的知识点教学为例，帮助学生体会信息的涵义。庞宏[6]从该课程的内容、方法、思政三方面论述了教学改革思路。杨树伟[7]探索了如何在信息论课程中兼顾理论教学和提高学生动手实践、解决问题的能力的思路。周萝鱼[8]提出了一种基于任务驱动的信息论与编码的教学方法。陈婧等[9]针对此课程给出了关于教学内容、方法、师资、考试的一揽子改革方案。车书玲等[10]探索了MOOC和翻转课堂在信息论教学中的应用。林愿等[11]基于CDIO（Conceive-Design-Inplement-Operate）理念对该课程合理选择教学内容，改进教学方法，提出了改革思路。李如玮等[12]针对信息论的课程特点在教学过程中引入OBE（Outcome Based Education）理念，采用基于问题的教学方法并在考核方式中引入过程性评价。

尽管上述研究对信息论教学从不同角度给予了改进，但分析该课程的特点和教学现状并结合教学实践可以发现，信息论课程在教学大纲制订和教学实施过程中仍然凸显的问题是封闭孤立式教学，缺少与其他课程和知识的关联教学。目前本科教育的现状是各个专业之间、各门课程之间存在严重的藩篱，课程体系表现出明显的“烟囱效应”，即各门课程孤立封闭地按照本门课程的教学大纲进行授课，课程之间存在严重的藩篱隔阂。

这一问题在信息论教学中尤其凸显，现行的信息论教学只讲授本课程的内容，缺少与其他课程、理论、技术、行业的关联。事实上，信息论是20世纪初随着通信由模拟技术向数字技术转变而建立的，在这个过程中随着人们越来越从统计科学的视角看待通信工程，越来越应用概率统计、随机过程的方法建模和分析通信问题，需要建立一套关于信息的统计理论。在这个背景下，香农应用概率论的思想和方法构建了信息论大厦。此外，信息论和编码学与随机过程、线性代数、近世代数等应用数学分支有着千丝万缕的联系，无论是教学还是科研工作都不能把信息论和应用数学割裂开来，也不应该把信息论孤立封闭在自己的学科体系内。高等教育好的教学内容组织方式应该是帮助学生建立一张立体化网状的知识地图，而不是各门课程孤立存在的“烟囱式”的知识体系。为此应加强信息论与应用数学的关联教学，提高学生的综合素质。

二  信息论与应用数学的关联教学法

信息论与应用数学具有千丝万缕的联系，为了促進两者的交叉融合，拓展知识的广度和深度，提高学生的综合素质，建立完善的知识体系，本文提出了一种信息论和应用数学的关联教学法，其主要内容包括设计信息论与应用数学的关联案例，建立关联案例集，进行关联教学。

首先，关联教学法的核心是发掘和设计信息论和应用数学之间的关联案例。这需要授课教师具有丰富的教学经验和广阔的专业知识，必须对专业知识体系非常熟悉，能找到关联案例的切入点，并准确洞悉学生的迷茫困惑所在。

其次，汇总关联案例，建立关联案例集，并对其进行持续滚动更新。这是一项长期工作。教师应该秉持发展的理念，在自己的教学和科研工作中发现和发掘新的案例，通过学生的理解程度和课堂反馈随时优化和更新老的案例。

最后，应用关联案例进行实践教学。教学形式可以非常灵活，不必拘泥于课堂教学，可以采用论坛、讲座、培训班、头脑风暴和Case Study等多种灵活的教学方式，而且教学地点也不必限于教室，可以在实验室、会议室甚至是草坪或餐厅，这种灵活甚至是松散的学习方式更能激发学生的发散思维和学习兴趣，更适用于临时性的、非系统教学的、以启发兴趣和发现问题为主要目的的学习。

为了解释和演示关联教学法的实施过程，下节将通过三个关联案例来说明如何在信息论和应用数学之间建立关联。

三  关联案例

（一）  信息论与概率论相关联

在应用数学的各个分支中，概率论与信息论具有天然的密切联系，事实上香农信息论就是建立在概率论基础之上的，因此有必要在信息论教学过程中凸显概率论元素。下面以离散熵的概念为例阐释信息论与概率论的关联。

在信息论中，离散信源被定义为如下离散随机变量X，其取值个数可以有限或无限（即n=∞）

为了度量X蕴含的信息量，首先定义X取某个具体取值（比如ai）的信息量如下

I（X=ai）=log

=-log[P（ai）]。

上式中对数如果取以2为底，则信息量的单位为bit（比特）。上式取P（ai）的倒数是符合直观感觉的，即事件发生的概率越小，其蕴含的信息量越大;上式取对数的原因在于信息对概率要满足可加性，即两个独立事件ai和aj同时发生所蕴含的信息量I（ai∩aj）应该等于这两个事件各自信息量的和I（ai）+I（aj），即

I（ai∩aj）=log

=log

=log

+log

=I（ai）+I（aj）。

进一步，信源X的信息量被定义为a1到an的信息量的统计平均值（数学期望），把这个值称为信源X的离散熵，记为H（X），即

H（X）=E[I（X=ai）]=-P（ai）logP（ai）。

可见，作为信息论核心概念的熵正是应用概率的方法定义和度量的。不仅如此，信息论中还存在大量与概率论的关联，比如渐进等分割性与大数定律、信道矩阵与条件概率、译码准则与平均错误概率，等等。教学过程中突出这些关联能够帮助学生寻根溯源，构建立体化网状的知识体系。

（二）  信息论与线性代数相关联

编码学是信息论的重要组成部分，包括信源编码、信道编码和密码在内的各种编码都离不开线性代数计算。

图2示意了（n，k）线性分组码的编译码流程，编码是将一个k比特的二进制信息序列u一一映射为一个n比特的码序列v，v也被称为许用码字。这个映射过程是通过下式矩阵乘积完成的，其中G表示线性分组码的生成矩阵。

v经过信道传输后，在接收端收到一个n比特的码序列r，由于噪声的影响，接收码字r和发送码字v可能相同也可能不同，后者表示传输过程出现了错误。译码是将接收到的n比特码序列r还原成信源发送的k比特序列u，此过程需要通过下式矩阵乘积计算伴随式s，H表示线性分组码的校验矩阵。

译码器通过s来判断传输过程是否发生了错误，如果s=0则表示没有错误，即r=v，根据u和v的一一映射即可还原u;如果s≠0则表示出现了错误，即r≠v，此时需要通过概率计算估计与r最接近的v。

可见，信道编译码的核心是生成矩阵G和校验矩阵H，是通过线性代数中矩阵运算完成的。通过信息论与线性代数相关联有助于帮助学生理解编码的本质属性。

（三）  信息论与近世代数相关联

进一步，编码学的理论基础是近世代数，尤其是有限域，这是一种建立在有限集合上能进行加减乘除四则运算的完备的代数系统。具体定义（有限域）：非空有限集合F中，定义了两种代数运算加法“+”和乘法“·”，如果满足

1）F关于加法构成交换群，其加法单位元记为0。

2）F中非零元素关于乘法构成交换群，其乘法单位元记为1。

3）乘法对于加法分配律成立，即对于∀a，b，c∈F，满足

a·（b+c）=a·b+a·c，

（b+c）·a=b·a+c·a，

则称集合F关于代数运算“+”和“·”构成一个有限域。任意元素a在加法下的逆元记作（-a），在乘法下的逆元记作（a-1）。

作为有限域的例子，{0，1，2，3，4，5，6}关于模7加和模7乘构成有限域，加法表和乘法表如图3所示，记该域为GF（7）。

推而广之，对于任意的素数p，{0，1，…，p}关于模p加和模p乘都构成有限域GF（p）。其中最有代表性的就是{0，1}关于模2加和模2乘构成有限域GF（2），如图4所示。这是数字通信的基础。把信息论与有限域相关联有助于帮助学生理解编码学的数学基础。

四  结束语

现行的本科教育体系存在明显的藩篱效应，各个专业、各门课程只是孤立封闭地讲授本专业、本课程的知识，缺少学科、专业和课程之间的交叉、融合、关聯。针对此问题，本文以信息论课程为例，探讨了如何在信息论和应用数学之间设计关联案例进行关联教学。通过三个关联案例演示了关联教学法的思想和实施过程。教学实践证明，关联教学法有助于在学科之间、专业之间、课程之间形成助力，帮助学生理解知识的内在联系，知其然亦知其所以然，突破课程之间的藩篱，在学科之间、专业之间融会贯通，最终构建立体化网状的知识体系。

参考文献：

[1] 刘宴涛，王雪冰，秦娜.信息论-经典与现代[M].北京：电子工业出版社，2019.

[2] 陈燕.基于问题引导式的信息论与编码课程“线上+线下”混合式教学探索[J].高教学刊，2022，8（24）：132-135.

[3] 刘建刚，胡桔洲.面向5G网络的信息论与编码课程教学探讨[J].计算机时代，2019（11）：102-105.

[4] 黄英，雷菁，刘严，等.工科研究生课程思政改革实践探索研究——以“信息论与编码”课程为例[J].工业和信息化教育，2022（9）：53-56.

[5] 孙兵，李建楠，李景文，等.平均互信息量的案例式教学方法研究[J].电气电子教学学报，2022，44（4）：78-81.

[6] 庞宏.信息论与编码课程教学改革[J].西部素质教育，2022，8（12）：128-130.

[7] 杨树伟.信息论与编码技术课程教学研究[J].潍坊学院学报，2022，22（2）：107-110.

[8] 周萝鱼.任务驱动下的信息论与编码课程的教学实践[J].大学教育，2018（9）：1028-110.

[9] 陈婧，邹海林，张玉玲，等.信息论与编码课程教学改革的探讨与实践[J].大学教育，2018（9）：99-101.

[10] 车书玲，孙蓉，刘刚.《信息论基础》慕课和翻转课堂相结合的教学探索[J].教育现代化，2020，7（9）：46-48.

[11] 林愿，周细凤.基于CDIO理念的“信息论与编码”课程的改革与实践[J].科教文汇，2016（11）：54-55.

[12] 李如玮，赵德群，黎海涛.本科生“信息论基础”课程建设与教学改革探索[J].教育现代化，2019，6（82）：94-95.

基金项目：2023年度广东省教育科学规划课题（高等教育专项）“新工科电子信息类专业的关联教学研究”（2023GXJK486）;2021年度广东省本科高校高等教育教学改革项目“面向工程认证的网络信息工程相关新工科专业的应用数学教育研究”（粤教高函[2021]29号）;2021年度广东省高等学校教学管理学会课程思政建设项目“信息理论与编码”（粤高校教管学会[2022]1号）;2022年度广东省高等教育学会实验室管理专业委员会基金项目“粗细颗粒度相结合的《计算机网络》实验教学方法”（GDJ20220290）;2020年度广东省课程思政示范课堂项目“物联网技术（传感器网络）”（粤教高函[2021]4号）;2022年度广东省自然科学基金面上项目“基于网络信息论的均匀分数网络容量域研究”（2022A1515011345）;2021年度广东省普通高校特色创新项目“基于网络编码的云存储编码研究”（2021KTSCX124）;2023年度梅州市自组网与云计算工程技术研究中心（2023GC03）;2022年度梅州市社会发展科技计划项目“基于OPNET的森林火险监防传感网和灾害救助应急通信网仿真研究”（2022B110）;2022年度嘉应学院课程思政示范课程项目“物联网技术”（嘉院教[2022]48号）;2020年度嘉应学院高等教育教学改革项目“网络信息工程相关新工科专业的应用数学教育研究”（JYJG20200102）;2022年度嘉应学院高等教育教学改革项目“面向工程认证的计算机网络实验教学体系”（JYJG2022222）;2021年度嘉应学院质量工程项目“计算机网络”（嘉院教[2021]20号）;2023年嘉应学院科研项目“基于OPNET的移动自组网MAC协议研究”（2023KJY020）

第一作者简介：刘宴涛（1975-），男，汉族，吉林蛟河人，博士，副教授，硕士研究生导师。研究方向为网络通信、网络信息论、物联网、云计算等。

*通信作者：秦娜（1982-），女，汉族，辽宁葫芦岛人，博士，助理实验师。研究方向为教育技术学、计算机网络等。