信息论与编码课程理论联系实际教学模式的探索

姑丽加玛丽·麦麦提艾力，艾斯卡尔·肉孜

(1.新疆师范大学数学科学学院，新疆 乌鲁木齐 830017；2.新疆大学数学与系统科学学院)

0 引言

信息论与编码是一门培养学生应用概率论、随机过程、数理统计和近代代数的方法来研究广义的信息传输、提取和处理一般规律的专业方向课程，是信息、通信和计算机等专业培养方案中的主干课程[1]。

国家对网络信息安全十分重视[2-3]。信息安全作为网络空间安全一级学科的重要学科专业，承担着为国家培养人才的重任，以培养出具有良好的数学基础和数学思维能力、能解决信息技术和工程计算中的实际问题的高级专业人才。

信息论是一门与通信系统理论有着密切关系的学科[4]，逻辑推理过程较多，相对比较枯燥，涉及的知识点繁杂、理论性强，内容比较抽象，加之大量的数学公式以及相关定理，教学难度系数较高[5]。从目前的教学状况看，学生对于信息论的产生和发展历史不够了解，对信息的数学模型的转换理解度不够，学习的编码理论无法应用于实践，达不到学以致用的目的。因此在教学过程中适当引入实际应用案例，不仅可以丰富课堂内容，也可以激发学生的学习热情，让学生积极参与到课堂中，促进师生之间的互动交流。

结合几年的教学经验，本文尝试用信息论与编码课程一些灵活的教学方法，通过实际的案例应用，将学生带入实际应用问题的场景中，在解决实际问题的过程中学习知识，提高学生的课堂参与度和兴趣，培养学生独立思考的能力，促进学生体会信息论与编码课程的现实意义和理论价值。

1 内在关系及案例引导

信息论与编码课程内容主要包括信息传输系统、信息的定义和度量、离散信源和连续信源的信息熵、信道和信道容量、平均失真度和信息率失真函数、信源编码、信道编码等。课程核心内容围绕无失真信源编码定理、信道编码定理、限失真信源编码定理为主要脉络的香农三大极限定理以及香农公式展开。

从信息传输系统的基本原理可以给学生讲解课程内容之间的内在联系和香农三大定理的实际意义。首先举几个实际应用例子，给学生提出思考问题，比如：在日常生活中我们最常见的信息传输设备是手机，那么手机信息传输的基本原理会是什么样的？信息传输系统中的信源和信宿可以比喻打电话和接电话的双方，由图1可以解释信息传输系统的基本原理。

图1 数字通信系统

从打电话到接电话的过程中信息传输的通道称为信道，信息传出后到达信道之前需要解决三个问题：模拟和数字信号之间的转换；提高信息传输率R（信源编码器的主要功能）；增加可靠性，降低出错概率pe→0（信道编码器的主要功能）。

为提高信息传输率，根据香浓第一定理（式1），平均编码长度nˉ大于平均符号熵H(x)时才可以得到唯一可译码，但同时要满足尽可能短的要求，不能超过H(x)+1，这样才可以得到最好的编码效率η=H(x)。

信道的基本原理可以比喻高速公路，每个道路都有最低和最高限速，信息传输通道也一样。根据香浓第二定理：当编码长度n →∞时，错误概率pe≤e-nE(R) →0，可靠性函数E(R)在0 ＜R＜C的范围内为正。香浓第二定理说明信息传输率R要小于信道容量，也就是信道所能容纳的最大信息量，才能保证可靠传输(pe→0)。信道编码是有目的地增加码符号，以进行检验和纠错。

根据香浓第三定理：当R＞R(D)时，只有信源序列足够长，一定存在一种编码方法，使平均失真≤D+ε，否则，必有≥D。

2 外在关系

信息论与编码关系到概率论、随机过程、数理统计和近代代数等多个专业课程。相关定理和公式的证明和推导涉及到的知识点繁杂，比较抽象并需要逻辑推理。上课的过程中通过讲解生活中随处可见的实例，联系公式理论上可以使学生更易于理解概念的内在本质，从而将理论应用到实践中去。

⑴信息论与概率的关系

信息的度量方法是信息论与编码课程中最基本的内容，根据概率论的基本知识和贝叶斯公式可以很容易给学生讲解基本概念和公式推导。比如：给出两个一周天气预报的信源x={晴，晴，晴，晴，晴，晴，晴}和x’={晴，晴，晴，雪，晴，晴，晴}，从这两个信源可以看出x’的信息量比x 大I(x′) →∞，因为x’(4)=’雪’跟前后信源的差别很大、相关性小、发生概率小q(x′) →0。事件x很常见q(x)→1，因此信息量小I(x′)→0。从这个例子可以推导信息量是概率的递减对数函数，因此可以得到自信息量的公式对I(xi)进行求平均得到信息熵互信息量I(xi;yj)是信源x 和信宿y 相互通信之后的信息量，从x 和y 的不同角度可以推导I(xi;yj)的公式，从x的角度分析，x通信之前的不确定性I(xi)，收到y 之后对x 仍存在的不确定性用I(xi|yj)，x 和y 之间的通信过程是这两个不确定性减少的过程，由此可以得到互信息量公式（式⑵），同样从y 和xy 的角度可以得到另外两种表达式（式⑶和式⑷）并对其进行统计平均可以得到I(x;y)和H(x)之间的关系式（式⑸～式⑺）。由式⑸～式⑺可以得到维拉图（图2），从维拉图中可以看出通信过程中发送的实际有意义的信息量由I(x;y)来度量，图2 右边的苹果标志在信息论角度上指出通信过程中实际传输的信息量。

图2 维拉图

利用全概率公式可以证明互信息量和信息熵之间的关系式。下面给出式⑸的证明方法，其他公式也可以类推。

⑵信息论与线性代数的关系

信息论与编码中，线性分组码是整个纠错码中很重要的一类码。从线性分组码的基本概念和编码方法中可以直观的体会线性代数的相关知识在信息论与编码中的重要性。线性分组码中每一个码字v可以看成是以输入信息u作为系数的基向量的线性组合：

矩阵G 为线性分组码的生成矩阵。线性分组码(n,k)是由矩阵G 的行向量张成的子空间，由秩零化度定理可知，矩阵G 的零空间N(G)的维度为n-k。因而可以找出n-k 个线性独立的向量，h0,h1,h2,...,hn-1张成了G的零空间N(G)。

可以得出：

矩阵H为线性分组码的校验矩阵。如(7,4)汉明码信息位为4 位，监督位为3 位，监督位有2 × 3=8 种组合。可能发生的结果如下：

根据码元错误与校正子的关系可以列出监督方程，如S1与a6,a5,a3,a2有关。汉明码的监督方程为：

监督矩阵：

码组向量：

记为：H·AT=0

根据监督方程确定了编码方程：

两边同时取转置：

其中Q=PT，然后得到生成矩阵G=[Ik×k;Q]，所以编码矩阵方程为

生成系统码形式的汉明码的生成矩阵为：

3 实践环节

信息论与编码这门课不是简单的传授理论知识需适当安排相关编码计算任务和上机实践。平均编码长度在满足香浓第一定理的范围之内可以对同一个信源找出不同的编码序列并可以得到不同编码效率，可以给学生安排对同一个信源找出最好的编码效率的任务，学生根据自己学过的相关定理和编码方法，在寻找最好的编码效率的过程中发现问题和不懂的地方，这样一方面可以巩固相关知识，另一方面可以提高学生的计算、解决问题和逻辑思维能力。编写代码是学好这门课的重要途径，比如信源编码和信道编码，在书本上学习原理和实现方法后要上机实验，最终得到运算结果才可以更清楚编码方法的逻辑、具体实现流程和实际应用等，同时可以弱化学生的机械计算，加强学生的动手能力和应用能力。

4 总结

本文结合教学经验，主要讨论信息论与编码课程教学中理论联系实际的一些灵活的教学方法，帮助学生更好地理解数字通信系统的基本原理，同时理解与其他课程之间的联系，这有助于推导各相关公式和证明。针对实践教学环节，分别讨论了安排编码计算任务和上机实践等教学手段，在编码方面，同一题可以用不同的编码来解，以此让学生在解决实际问题的过程中学习理论知识，可以提高学生的课堂参与度和兴趣，培养学生独立思考的能力，促进学生体会信息论与编码课程的现实意义和理论价值。