面向计算机人才培养的信息论与编码教学实践

吴嘉婧 李全忠

[摘 要] “信息论与编码”是一门以“香农三大理论”为基础的理论课程，是包括通信工程、计算机科学与技术、信息与计算科学等多个信息相关专业的本科生和研究生的专业课。近年来在面向计算机相关专业进行“信息论与编码”课程教学实践中发现，学生普遍感觉此课程理论性较强且内容偏难，因此较难顺利完成此课程的学习。针对计算机应用型人才进行“信息论与编码”课程教学过程中面临的困境，并结合教学实践从教学内容、教学方法和考核方式等方面对课程教学进行改革，并取得了较好的效果，对计算机专业人才的理论基础培养有一定的借鉴作用。

[关键词] 信息论;编码;计算机应用;本科教学;教学实践

[基金项目] 2020—2023年国家自然科学基金项目“通信—电力相依网络弹性过程的建模、分析与优化”（61973325）;2021—2022年中山大学国家高等教育质量常态检测数据中心重点研究项目“面向计算机人才培养的信息论与编码教学实践”（M1801）

[作者简介] 吴嘉婧（1989—），女，江西吉安人，博士，中山大学计算机学院副教授，博士生导师，主要从事区块链和图挖掘技术研究;李全忠（1984—），男，广东茂名人，博士，中山大学计算机学院副教授（通信作者），主要从事无线通信研究。

[中图分类号] G642.0   [文献标识码] A   [文章编号] 1674-9324（2021）33-0021-04    [收稿日期] 2021-03-12

一、引言

信息论是将通信技术、概率论、随机过程、数理统计等学科相结合逐步发展而形成的一门新兴科学，也是现代信息技术的奠基性理论。信息论的创始人是美国著名的数学家与通信学家香农

（C.E.Shannon），他于1948年发表的《通信的数学理论》一文被视为标志着信息论产生的奠基性论文，因此信息论又称为“香农信息论”。在信息论中，信息的传递过程被作为一种统计现象来考虑，因此信息这种抽象概念的度量、传递和变化规律，可用数理统计的方法进行研究。信息论的研究内容包括信息的定义、度量、存储、传输和理解等，而在信息的传输和存储过程中通常需要考虑信息编码技术。“信息论与编码”即为涵盖信息论理论与编码技术的一门课程，也是中山大学计算机学院计算机类专业本科和研究生阶段的主修专业课程。本校开设的“信息论与编码”课程以信息熵的基本概念为核心，以香农三大编码定理——可变长无失真信源编码定理、有噪信道编码定理和保失真度准则下的有失真信源编码定理为核心内容，重点培养计算机专业的学生对信息论基本原理的理解，并培养利用信息论的理论与思维视角来分析解决计算机实际应用中的问题[1]。

然而，本课程运用了大量的数学知识，课程内容多，教材中存在大量的理论证明和推导，对学生抽象思维和逻辑推理能力的要求较高。此外，计算机专业的学生普遍对通信领域的基本原理和发展状况了解较少，且普遍感兴趣的是近年来热门的计算机应用领域，例如人工智能、数据挖掘、区块链等，因此对本门课程学习的兴趣和主动性不大。近年来，笔者在从事计算机专业“信息论与编码”课程教学的过程中发现，学生普遍对理论学习兴趣平平，且有畏难情绪，对信息理论与计算机应用的关联感到困惑，无法全面掌握课程内容。因此，本文重点对计算机应用型人才培养过程中进行“信息论与编码”理论教学时的特色和存在的困难进行了分析，并结合教学实践从课程教学内容、教学方法与考核方式三个方面入手，提出了相应的教学改革措施。

二、计算机专业讲授“信息论与编码”课程存在的问题

（一）学生缺乏必要的学科背景

“信息论与编码”在面向通信和电子类专业学生开设时，通常是基于前导课程“信号与系统”或“通信原理”。“信号与系统”介绍了信号的频谱、信号处理方面的基础知识，而“通信原理”介绍了基本的通信框架和信道与信源的含义。香农信息论主要研究了通信理论中的有效性和可靠性的问题，因此通信和信号处理的相关知识可以帮助学生更好地理解香农理论的现实背景，以及信源与信道编码的意义。然而，在面向计算机类学生开设“信息论与编码”时，学生通常没有学习过上述课程，因而对通信系统的传输背景、信源和信道的概念、编码的意义及通信系统的性能指标不甚了解，很难理解信息传输的基本逻辑与理论框架[2]。此外，在数学背景方面，“信息论与编码”涉猎高等数学、线性代数、离散数学、概率论与数理统计、随机过程、数值分析和最优化方法等与工科数学相关的知识，超出了本专业本科生和研究生的学习范畴。即使学生学过类似的概率论和微积分等内容，信息论证明中用到的不少知识也超出了本科的教学要求。因此，学生缺乏必要的通信背景知识和数学基础，给“信息论与编码”课程教学的顺利开展带来了不小的挑战。

（二）教材中的数学理论繁杂抽象

在香农信息论中，信息上的概念和三个编码定理都是用数学来描述的。本课程选用的中英文教材分别是人民邮电大学出版的《信息论基础》[3]和Wiley-Blackwell出版的Elements of Information Theory[4]。相比而言，中文教材较为简明，较符合国内学生的学习习惯，同时涵盖了信息论与编码两方面的内容。然而，中文教材主要针对通信和电子专业而编写，里面涉及很多具体的通信背景和物理学知识，计算机专业的学生理解和消化起来有一定的难度。为了帮助学生更好地理解信息理论，我们还选用了由国际学术权威专家Thomas M.Cover和Joy A.Thomas撰写的Elements of Information Theory作为英文参考教材，该教材中作者对信息论中的很多关键概念和定理提出了自己的研究心得，对学生加深信息理论的理解具有启发性。然而，两本教材都无法避免大量的数學公式和理论推导，几乎涵盖了工科所要求的大部分数学内容，包括高等数学、概率论、随机过程、线性代数等。教材中大量的理论证明对学生的数学基础、抽象思维和逻辑推理能力要求较高，导致很多计算机专业的学生无法深刻理解这门课程。