信息论与编码(第3版)/“十二五”普通高等教育本科规划教材 pdf epub mobi txt 电子书 下载 2025

简体网页||繁体网页

☆☆☆☆☆

陈运，周亮，陈新，陈伟建 著

图书标签:

• 信息论
• 编码学
• 通信原理
• 数字通信
• 信道编码
• 信息传输
• 高等教育
• 教材
• 电子工程
• 计算机科学

店铺： 玖创图书专营店

出版社： 电子工业出版社

ISBN：9787121277009

商品编码：29788458809

包装：平装

出版时间：2015-12-01

基本信息

书名：信息论与编码(第3版)/“十二五”普通高等教育本科规划教材

定价：35.90元

作者：陈运,周亮,陈新,陈伟建

出版社：电子工业出版社

出版日期：2015-12-01

ISBN：9787121277009

字数：

页码：208

版次：3

装帧：平装

开本：16开

商品重量：0.4kg

编辑推荐

---

内容提要

---

本书为“十二五”普通高等教育本科规划教材。本书系统介绍和论述了信息的基本概念；信息论的起源、发展及研究内容；香农信息论的三个基本概念：信源熵、信道容量和信息率失真函数，以及与这三个概念相对应的三个编码定理；解决通信系统有效性、可靠性和安全性的三类编码：信源编码、信道编码和安全编码――密码的基本方法，以及密码安全性与信息论的关系等内容。为了便于教学和读者自学，每章后面都附有习题。

目录

---

章 概论t（1）
1．1 信息的概念和分类t（1）
1．1．1 信息的概念t（1）
1．1．2 信息的分类t（4）
1．2 信息论的起源和发展t（4）
1．2．1 信息论创立的理论基础和
技术条件t（4）
1．2．2 信息论的诞生和发展现状t（5）
1．2．3 信息论的未来发展趋势t（6）
1．3 信息论的研究内容t（7）
1．3．1 通信系统模型t（7）
1．3．2 信息论研究内容t（7）
思考题t（8）
第2章 离散信源熵t（9）
2．1 基本概念t（9）
2．2 离散信源熵的基本概念和性质t（9）
2．2．1 单符号离散信源的数学模型t（10）
2．2．2 自信息量及其性质t（10）
2．2．3 信源熵及其性质t（13）
2．3 多符号离散平稳信源熵t（19）
2．3．1 多符号离散平稳信源的
数学模型t（19）
2．3．2 离散平稳无记忆信源熵t（20）
2．3．3 离散平稳有记忆信源熵t（22）
2．3．4 马尔可夫信源的极限熵t（25）
2．3．5 冗余度、自然语信源及
信息变差t（29）
习题t（31）
第3章 无失真离散信源编码t（33）
3．1 基本概念t（33）
3．2 离散无失真信源编码定理t（33）
3．2．1 定长编码定理t（34）
3．2．2 变长编码定理t（35）
3．2．3 码字可译条件t（36）
3．3 香农编码t（38）
3．4 费诺编码t（39）
3．5 赫夫曼编码t（40）
3．6 游程组合编码t（44）
习题t（47）
第4章 离散信道容量t（49）
4．1 互信息量和平均互信息量t（49）
4．1．1 单符号离散信道的数学模型t（49）
4．1．2 互信息量及其性质t（49）
4．1．3 平均互信息量及其性质t（52）
4．1．4 各种熵之间的关系t（62）
4．2 单符号离散信道的信道容量t（63）
4．2．1 单符号离散信道容量定义t（63）
4．2．2 几种特殊离散信道的信道容量t（64）
4．2．3 离散信道容量的一般计算方法t（69）
4．3 多符号离散信道的信道容量t（71）
4．3．1 多符号离散信道的数学模型t（71）
4．3．2 多符号离散信道容量定义t（72）
4．3．3 离散无记忆扩展信道的信道
容量t（73）
4．3．4 独立并联信道的信道容量t（75）
4．4 网络信息论t（76）
4．4．1 多址接入信道的信道容量t（77）
4．4．2 广播信道的信道容量t（79）
4．4．3 相关信源的边信息和公信息t（80）
习题t（82）
第5章 纠错编码t（85）
5．1 纠错编码的基本概念t（85）
5．1．1 差错控制系统模型及分类t（85）
5．1．2 纠错编码分类t（86）
5．1．3 译码准则t（87）
5．1．4 信道编码定理t（88）
5．2 线性分组码t（88）
5．2．1 线性分组码的基本概念t（88）
5．2．2 线性分组码的编码t（88）
5．2．3 线性分组码的译码t（89）
5．2．4 典型码例t（92）
5．3 循环码t（95）
5．3．1 循环码的基本概念t（95）
5．3．2 循环码的描述t（96）
5．3．3 循环码的伴随多项式与检错t（101）
5．3．4 BCH码与RS码t（102）
5．4 卷积码t（104）
5．4．1 卷积码的矩阵描述t（104）
5．4．2 卷积码的多项式描述t（107）
5．4．3 卷积码的状态转移图与
栅格描述t（109）
5．4．4 维特比(Viterbi)译码算法t（112）
习题t（117）
第6章 连续信源熵和信道容量t（121）
6．1 连续信源熵t（121）
6．1．1 连续信源熵的定义t（121）
6．1．2 几种特殊连续信源的信源熵t（123）
6．1．3 连续信源熵的性质和定理t（125）
6．2 熵功率t（129）
6．3 连续信道的信道容量t（131）
6．3．1 连续信道的数学模型及信道
容量定义t（131）
6．3．2 加性连续信道容量计算和
香农公式t（131）
习题t（133）
第7章 信息率失真函数t（135）
7．1 基本概念t（135）
7．1．1 失真函数与平均失真度t（136）
7．1．2 信息率失真函数的定义t（139）
7．1．3 信息率失真函数的性质t（140）
7．2 离散信源信息率失真函数t（143）
7．2．1 离散信源信息率失真函数的
参量表达式t（144）
7．2．2 二元及等概率离散信源的信息率
失真函数t（146）
7．3 连续信源信息率失真函数t（150）
7．3．1 连续信源信息率失真函数的
参量表达式t（150）
7．3．2 高斯信源的信息率失真函数t（151）







7．4 信息价值t（154）
7．5 信道容量与信息率失真
函数的比较t（157）
习题t（157）
第8章 限失真信源编码t（159）
8．1 基本概念t（159）
8．2 保真度准则下的信源编码定理t（159）
8．3 量化编码t（160）
8．3．1 佳标量量化编码t（160）
8．3．2 矢量量化编码t（164）
8．4 相关信源编码t（167）
8．4．1 预测编码t（167）
8．4．2 差值编码t（169）
8．5 变换编码t（172）
8．5．1 子带编码t（172）
8．5．2 小波变换t（173）
习题t（175）
第9章 密码安全性的信息论测度
方法t（177）
9．1 基本知识t（177）
9．1．1 保密通信系统模型t（177）
9．1．2 密码基本概念t（178）
9．2 密码算法的安全性测度t（178）
9．2．1 完善保密性t（179）
9．2．2 解距离t（180）
9．3 古典代替密码的安全性分析t（180）
9．3．1 加法密码的安全性分析t（181）
9．3．2 乘法密码的安全性分析t（183）
9．3．3 仿射密码的安全性分析t（185）
9．4 边信息泄露的互信息分析t（186）
9．4．1 数据加密标准简介t（186）
9．4．2 DES算法的边信道安全性分析t（188）
习题t（191）
参考文献

作者介绍

---

陈运，电子科技大学通信与信息工程学院教授，主要从事信息论、信息安全等方面的教学、科研等工作，主持编写了国家十一五、十二五规划教材

文摘

---

序言

---

数学的语言，信息的律动：探索信息论与编码的深层奥秘 在信息爆炸的时代，理解和驾驭信息已成为一项核心能力。从电子邮件到高清视频，从基因序列到宇宙深处的信号，信息无处不在，其传输、存储和处理的效率与可靠性，直接关系到我们科技发展的速度和人类社会的进步。而信息论与编码，正是揭示信息本质、设计高效信息系统的理论基石。本书将带领您踏上一段迷人的数学之旅，深入探索信息世界最根本的规律，解锁信息传输的极限，并掌握构建可靠通信与存储系统的艺术。 第一章：信息之源——离散无记忆信源与熵的革命 我们将从最基础的概念出发：信源。什么是信息？信息量如何衡量？本章将引入“离散无记忆信源”这一核心模型，它模拟了许多实际场景，例如独立抛掷硬币、每次独立地吐出某个字符的打字机等。在这里，我们将接触到信息论的灵魂——熵（Entropy）。熵，这个看似抽象的数学概念，实际上是衡量一个信源不确定性或平均信息量的精确尺度。一个高熵的信源，意味着每次输出都充满惊喜，其信息量更大；反之，低熵的信源则 predictability 较高，信息量相对较小。 我们将学习如何计算离散无记忆信源的熵，并深入理解其性质。例如，当所有可能输出的概率相等时，熵达到最大值，这直观地解释了为什么随机性越高，信息量越大。我们还会探讨联合熵和条件熵，它们帮助我们理解多个随机变量之间的关系，以及在一个变量已知的情况下，另一个变量的不确定性。这将为我们后续理解更复杂的信息系统奠定坚实的基础。 第二章：沟通的桥梁——离散信道与信道容量的极限 有了信息源，我们自然需要考虑信息的传输。本章将引入“离散信道”的概念，这是信息的载体，是将信息从发送端传递到接收端的媒介。信道并非完美，它会引入噪声，导致信息失真。我们将分析各种类型的离散信道，如二元对称信道（BSC）、二元删除信道等，并学习如何量化信道中的噪声水平。 核心在于互信息（Mutual Information）。互信息衡量了接收到的信号包含了发送信号多少信息。它揭示了信道是如何“泄露”发送端信息的，以及在噪声干扰下，我们能保留多少原始信息。在此基础上，我们将迎来信息论中最具里程碑意义的概念之一——信道容量（Channel Capacity）。信道容量定义了在给定信道上，能够可靠传输信息的最大速率。它是一个理论上的上限，一旦传输速率超过信道容量，信息的可靠传输将变得不可能。我们将探讨影响信道容量的因素，并理解其在通信系统设计中的至关重要性。 第三章：压缩的智慧——信源编码与无损压缩的艺术 信息的传输往往伴随着冗余，而冗余是信息存储和传输效率的敌人。信源编码的目标就是去除这些冗余，以最紧凑的方式表示信息，从而节省存储空间和传输带宽。本章将深入探讨信源编码的原理和方法，重点关注无损压缩。 我们将学习香农第一定理（或称无损编码定理），它指出，任何信源的平均码长不能小于其熵。这意味着熵是无损压缩的理论极限。在此基础上，我们将介绍几种经典的无损压缩算法，如霍夫曼编码（Huffman Coding）。霍夫曼编码是一种基于频率的变长编码方法，它为出现频率高的符号分配短码字，为出现频率低的符号分配长码字，从而实现整体码长的最小化。我们将详细分析霍夫曼编码的构建过程及其性能。 此外，我们还会触及算术编码（Arithmetic Coding），它通常能比霍夫曼编码获得更接近熵的压缩率，并且在处理概率分布不均匀的符号时表现更佳。通过理解这些编码技术，您将能够深刻体会如何从数学上剥离冗余，实现信息的精炼。 第四章：信号的守护——信道编码与纠错码的威力 在信息传输过程中，噪声是不可避免的，它会引入错误。信道编码的目的就是在信息中添加冗余，使得接收端能够检测到错误，甚至纠正错误，从而提高信息传输的可靠性。本章将聚焦于信道编码，探索构建容错系统的奥秘。 我们将从最基础的线性分组码（Linear Block Codes）入手，如重复码、奇偶校验码。这些简单的编码方式能够检测到特定数量的错误。随后，我们将深入学习更强大的编码技术，如海明码（Hamming Codes），它们不仅能检测错误，还能纠正一定数量的单个错误。 更进一步，我们将探索循环码（Cyclic Codes），如BCH码（Bose-Chaudhuri-Hocquenghem codes）和里德-所罗门码（Reed-Solomon codes）。这些编码在现代通信和存储系统中扮演着至关重要的角色，尤其在CD、DVD、卫星通信、数据存储等领域有着广泛应用。里德-所罗门码的强大纠错能力，能够有效对抗突发性错误，是实现高可靠通信的关键。我们将学习它们的编码和译码原理，并理解它们为何如此强大。 第五章：概率的导航——最大似然译码与贝叶斯判决 接收端接收到包含噪声的信号后，如何从中恢复出最可能发送的原始信息？本章将引入译码的概念，它是信道编码的逆过程，旨在从带有噪声的接收信号中推断出原始信息。 我们将学习最大似然译码（Maximum Likelihood Decoding），它是一种经典的译码策略，旨在找到最有可能产生接收到的信号的原始发送码字。虽然在理论上最优，但在计算上可能非常复杂。 为了应对复杂情况，我们将探讨最大后验概率（MAP）译码，以及基于贝叶斯定理（Bayes' Theorem）的贝叶斯判决（Bayesian Decision）。这些方法利用接收信号的统计特性和信道的噪声模型，计算出各个可能发送码字出现的后验概率，并选择概率最大的码字作为译文。我们还会讨论一些更实际的译码算法，如软判决译码（Soft-Decision Decoding），它利用了接收信号的幅度信息（而不仅仅是硬判决后的0或1），从而获得更好的译码性能。 第六章：信息世界的演化——卷积码与现代通信的基石 在前面章节中，我们主要讨论了分组码，即信息被分成固定长度的块进行编码。然而，许多实际通信系统使用的是卷积码（Convolutional Codes）。卷积码将信息比特流视为连续的，并根据当前输入比特和之前若干个输入比特来生成输出码字。 本章将深入研究卷积码的结构、编码方法以及其关键的译码算法。我们将介绍维特比算法（Viterbi Algorithm），这是卷积码最著名和最有效的译码算法之一。维特比算法通过搜索最优路径来近似最大似然译码，它在实际应用中具有极高的效率和优异的性能，是许多现代通信系统（如Wi-Fi、3G、4G等）不可或缺的一部分。 第七章：纠缠的密码——多用户通信与信息论的新疆界 当我们谈论信息传输时，往往假设是点对点的通信。然而，在实际生活中，我们经常面临多用户通信的场景，例如多台设备同时访问互联网、无线网络中的多个用户共享信道等。这些场景带来了新的挑战，如干扰和资源分配。 本章将初步涉足多用户通信的领域，介绍一些基本概念，如多址接入（Multiple Access）。我们将探讨如何设计能够容忍其他用户存在的通信系统，以及如何在有限的资源下，最大化整体系统的吞吐量和公平性。这部分内容将为我们打开更广阔的视野，理解信息论在复杂通信网络中的应用。 结语 信息论与编码是一门深刻而优美的学科，它将数学的严谨性与信息的奥秘融为一体。通过本书的学习，您将不仅仅掌握一套工程工具，更重要的是，您将能够从一个全新的视角审视信息，理解信息传输的极限，并具备设计高效、可靠信息系统的能力。无论您是未来的通信工程师、计算机科学家，还是对信息世界充满好奇的探索者，本书都将为您提供一把开启信息宝藏的钥匙，引导您在信息时代的浪潮中，乘风破浪。

评分☆☆☆☆☆

这本书的习题设计，用一个词来形容就是“实战导向且颇具挑战性”。我发现，书末的练习题不仅仅是对公式的简单代入和验算，很多题目都设置成了开放性的设计或需要综合运用多个章节知识点才能解决的综合题。例如，有的题目会要求你基于特定的约束条件，自行设计一种满足效率要求的编码方案，并分析其在特定信道下的误码率表现。这种强迫读者进行“创造性应用”的练习模式，极大地锻炼了工程思维。我记得有几道题，我花了整整一个下午才勉强得出满意的答案，但解决完之后，那种成就感是无与伦比的，因为它意味着我不再是单纯的知识接收者，而开始能够运用这些工具去解决实际问题了。尽管它可能不适合那些只想应付考试的学生，但对于志在成为专业工程师或研究人员的读者来说，这本书提供了一个绝佳的实践沙盘，让理论学习真正落地生根，变得有血有肉。

评分☆☆☆☆☆

我记得我那会儿为了准备一个与信道容量相关的项目，不得不翻阅这本教材的特定章节。与其他我翻阅过的仅停留在公式陈述的资料不同，这本书在阐述香农的信道编码定理时，不仅给出了严谨的数学论证，还配有非常详尽的背景铺垫，解释了为什么在存在噪声的信道中，存在一个“容量极限”这一概念的重要性。它不是简单地扔出一个结论，而是花了大量的篇幅去构建“噪声信道模型”的物理意义。这种对理论根源的深挖，使得我对那些看似抽象的“噪声”和“带宽”有了更具象的理解。虽然在阅读到那些极限分析部分时，我不得不放慢速度，甚至需要借助草稿纸来辅助推导，但最终的收获是巨大的。这本书的价值就在于，它迫使你去直面那些最核心、最难啃的理论堡垒，一旦攻克，你对该领域认识的深度就会有一个质的飞跃，这远比记住几个快速编码算法的实现要来得更有价值。

评分☆☆☆☆☆

我抱着试一试的心态，挑了几个自认为比较晦涩的章节开始攻读，结果发现这本书的讲解风格堪称教科书中的“硬核玩家”。它似乎更倾向于直接展示数学推导的完整过程，每一个定理的证明都力求严谨到位的，几乎没有为照顾读者的理解便利而进行过度的简化。这种“直给式”的教学方法，对于那些已经具备一定基础，急需深入理解证明背后的逻辑和数学原理的人来说，简直是如获至宝。我尤其欣赏它对一些关键引理的论述，虽然过程冗长，但每一步的逻辑跳跃性都控制得非常好，只要你跟得上，就能清晰地看到结论是如何从基本假设中诞生的。然而，对于像我这种，更倾向于先理解“为什么这样设计”的直觉性解释的读者来说，可能需要配合其他更具启发性的辅助材料。这本书更像是理论的“圣经”，而不是“入门导游”，它为你铺设了最坚实的地基，但如何在这地基上搭建起你自己的理解大厦，还需要读者自己付出极大的努力去消化那些密集的符号和公式。

评分☆☆☆☆☆

这本书的整体结构安排，体现出一种非常清晰的递进关系，从信息论的基础概念，如熵、互信息，一步步过渡到编码理论的各个分支。最让我印象深刻的是它在处理不同编码方案时的对比分析。比如，在介绍完经典的香农-范诺编码后，紧接着就引入了霍夫曼编码，并且非常细致地对比了两者的效率差异，这种并列分析的方式，极大地增强了知识点的对比度和冲击力。它不像有些教材那样将不同内容割裂开来，而是努力构建一个统一的理论框架。阅读过程中，我经常会发现，一个在前面章节看似孤立的理论工具，在后面的章节中被巧妙地应用起来，解决了看似不相关的编码问题。这种全局观的培养，是很多单点突破的教程所无法给予的。可以说，这本书不仅仅是在教你“怎么做”，更是在告诉你“为什么信息科学的整体结构是这样的”，这种宏大叙事的构建，让人读完后对整个领域产生一种豁然开朗的感觉，仿佛打开了一扇通往更深层次理解的大门。

评分☆☆☆☆☆

这本厚重的家伙拿到手里，首先被它扎实的装帧震撼了。封面设计得相当专业，那种理工科教材特有的严肃感扑面而来，让人立刻感觉到这不是一本可以轻松翻阅的读物。我记得当时购买它，主要是冲着“十二五”规划教材这个名头去的，总觉得官方推荐的教材在体系上应该是最完备、最权威的。翻开内页，那种熟悉的印刷字体和排版风格，一下子把我拉回了大学时代对着公式和定理发愁的日子。纸张质量不错，长时间阅读也不会觉得刺眼，这一点对于需要啃下大量理论的学科来说至关重要。虽然我个人对这方面的深入研究兴趣并非百分之百浓烈，但仅仅是看到目录中那些密密麻麻的章节标题，比如“信源编码的理论极限”、“线性分组码的代数结构”之类的，就能体会到作者团队在梳理知识体系上花费的心血。它给人的感觉就是，只要你把这里的每一个概念都弄明白了，那么在信息传输和数据压缩的底层逻辑上，你就不会再有什么大的困惑。这种百科全书式的覆盖面，是很多轻量级参考书无法比拟的，但同时也意味着，对于初学者而言，入门的门槛可能会设置得比较高，需要相当的毅力和扎实的数学基础作为支撑。