編輯推薦
新版已上市:
普通高等教育“十五”國傢級規劃教材
“十二五”江蘇省高等學校重點教材
信息論與編碼是電子信息類專業的基礎,對於理論研究和工程應用均由重要的指導作用。對於本科生和工程技術人員來說,由於理論基礎的不足以及實際應用的需要,不可能花很多精力去研讀復雜難懂、枯燥乏味的證明,他們迫切需要一本介紹信息論基礎知識且與實際應用緊密聯係的書籍,本書就是齣於這樣的目的編寫的。從多年的銷售數據和讀者的積極反饋來看,本書也起到瞭很好的普及作用。
(1)注重基本概念,用較通俗的文字解釋其物理意義,輔以一定的例題和圖錶說明。不再以復雜的公式來證明這些孰知的公理。
(2)聯係當前實際通信技術,使讀者學習後概念清晰,可以有目標地將概念應用於實際工作中。
(3)配有豐富的教學資源,包括習題、PPT、實驗係統和教學平颱等,可以在清華大學齣版社網站下載。
內容簡介
《高等院校信息與通信工程係列教材:信息論與編碼(第2版)》重點介紹由香農理論發展而來的信息論的基本理論以及編碼的理論和實現原理。全書分7章,在介紹瞭有關信息度量的基礎上,重點討論瞭信道容量、率失真函數,以及無失真信源編碼、限失真信源編碼、信道編碼和密碼學中的理論知識及其實現原理。《高等院校信息與通信工程係列教材:信息論與編碼(第2版)》注重概念,采用通俗的文字,聯係目前實際通信係統,用較多的例題和圖不闡述基本概念、基本理論及實現原理,盡量減少繁雜的公式定理證明。在各章的最後還附有內容小結和大量習題,書後附有部分習題答案,便於讀者學習,加深對概念和原理的理解。此外,《高等院校信息與通信工程係列教材:信息論與編碼(第2版)》有配套電子教案。
作者簡介
曹雪虹,南京工程學院副校長,南京郵電大學通信與信息工程學院教授、博士生導師。長期從事信息與通信工程專業的教學和科研工作,開設“信息論基礎”、“編碼理論”、“信息論與編碼”、“數字信號處理”等本科和研究生課程。主持或參加國傢自然科學基金、信息産業部、省自然科學基金等科研項目十餘項,內容包括無綫通信、多媒體傳輸等方麵的理論研究和産品研發。已在國內外學術刊物和會議上發錶學術論文70多篇,其中多篇被SCI/EI/ISTP收錄。主編和參編齣版專著和教材5本,其中主編《信息論與編碼》被列入“十五”國傢級規劃教材,《信息論基礎》被列入“十一五”國傢級規劃教材。《信息論與編碼》已經被全國百餘所高校選用,纍計印刷20餘次,銷售量超過10萬冊。
目錄
第1章 緒論
1.1 信息論的形成和發展
1.2 通信係統的模型
習題
第2章 信源與信息熵
2.1 信源的描述與分類
2.1.1 無記憶信源
2.1.2 有記憶信源
2.1.3 馬爾可夫信源
2.2 離散信源熵和互信息
2.2.1 自信息量
2.2.2 離散信源熵
2.2.3 互信息
2.2.4 數據處理中信息的變化
2.2.5 熵的性質
2.3 離散序列信源熵
2.3.1 離散無記憶信源的序列熵
2.3.2 離散有記憶信源的序列熵
2.4 連續信源熵和互信息
2.4.1 幅度連續的單個符號信源熵
2.4.2 波形信源熵
2.4.3 最大熵定理
2.5 冗餘度
本章小結
習題
第3章 信道與信道容量
3.1 信道的基本概念
3.1.1 信道的分類
3.1.2 信道參數
3.1.3 信道容量的定義
3.2 離散單個符號信道及其容量
3.2.1 無乾擾離散信道
3.2.2 對稱DMC信道
3.2.3 準對稱DMC信道
3.2.4 一般DMC信道
3.3 離散序列信道及其容量
3.4 連續信道及其容量
3.4.1 連續單符號加性信道
3.4.2 多維無記憶加性連續信道
3.4.3 限時限頻限功率的加性高斯白噪聲信道
3.5 信源與信道的匹配
本章小結
習題
第4章 信息率失真函數
4.1 平均失真和信息率失真函數
4.1.1 失真函數
4.1.2 平均失真
4.1.3 信息率失真函數R(D)
4.1.4 信息率失真函數的性質
4.1.5 信息率失真函數與信道容量的比較
4.2 離散信源和連續信源的R(D)計算
本章小結
習題
第5章 信源編碼
5.1 編碼的定義
5.2 無失真信源編碼
5.2.1 定長編碼定理
5.2.2 變長編碼定理
5.2.3 最佳變長編碼
5.3 限失真信源編碼定理
5.4 常用信源編碼方法簡介
5.4.1 遊程編碼
5.4.2 算術編碼
5.4.3 矢量量化
5.4.4 預測編碼
5.4.5 變換編碼
本章小結
習題
第6章 信道編碼
第7章 加密編碼
附錄 本書所用符號及含義
部分習題參考答案
參考文獻
精彩書摘
第1章 緒論
科學技術的發展使人類跨入瞭高度發展的信息化時代。在政治、軍事、經濟等各個領域,信息的重要性不言而喻,有關信息理論的研究正越來越受到重視。
人們在自然和社會活動中,獲取信息並對其進行傳輸、交換、處理、檢測、識彆、存儲、顯示等操作,對這方麵科學的研究就是信息科學。信息論(information theory)是信息科學的主要理論基礎之一。它主要研究可能性和存在性問題,為具體實現提供理論依據。與之對應的是信息技術(information technology),信息技術主要研究怎樣實現的問題。
通過本章的學習,可以瞭解下列問題:信息論的形成和發展;信息論研究的內容及信息的基本概念。本章還結閤通信係統模型介紹瞭模型中各部分的作用、編碼的種類和研究內容。
1.1 信息論的形成和發展
信息論理論基礎的建立,一般來說開始於香農(C.E.Shannon)在研究通信係統時所發錶的論文。隨著研究的深入與發展,信息論有瞭更為寬廣的內容。
信息在早些時期的定義是由奈奎斯特(H.Nyquist)和哈特利(L.V.R.Hartley)在20世紀20年代提齣來的。1924年奈奎斯特解釋瞭信號帶寬和信息速率之間的關係;1928年哈特利最早研究瞭通信係統傳輸信息的能力,給齣瞭信息度量方法;1936年阿姆斯壯(Armslrong)提齣增大帶寬可以使抗乾擾能力加強。這些研究工作都給香農很大的影響,他在1941年至1944年對通信和密碼進行深入研究,並用概率論的方法研究通信係統,揭示瞭通信係統傳遞的對象就是信息,並對信息給以科學的定量描述,提齣瞭信息熵的概念。
……
前言/序言
信息論與編碼(第2版) 內容簡介 《信息論與編碼(第2版)》是一本麵嚮高等院校信息與通信工程專業的權威教材,旨在係統、深入地介紹信息論的基本原理、核心概念以及編碼技術在現代通信係統中的關鍵作用。本書在原有基礎上進行瞭全麵修訂和內容拓展,緊密結閤瞭信息與通信工程領域的最新發展和前沿技術,力求為讀者提供一個紮實、全麵的理論基礎和麵嚮實踐的應用視野。 本書共分為十五章,結構清晰,邏輯嚴謹。 第一部分:信息論基礎 第一章:信息論概述 本章首先迴顧信息論的起源與發展曆程,介紹信息科學的內涵與研究對象。重點闡述信息的度量方式,引入“信息熵”這一核心概念,詳細講解其定義、性質以及不同概率分布下熵的計算方法。通過一係列經典的例子,幫助讀者理解信息熵所蘊含的“不確定性”和“平均信息量”的含義,並初步認識到信息熵在數據壓縮、信道容量等方麵的理論意義。此外,本章還會介紹信息熵與概率、隨機變量之間的關係,為後續章節的學習奠定堅實基礎。 第二章:信源編碼 本章深入探討信源編碼的原理與方法,其核心目標是去除信源中的冗餘,實現信息的有效傳輸和存儲。首先介紹離散無記憶信源模型,在此基礎上引入“變長編碼”的概念,並詳細講解其重要代錶——霍夫曼編碼。通過具體的算法步驟和算例,展示如何構建最優的二元變長碼,並分析其編碼效率。隨後,本章將介紹更一般的信源編碼方法,包括算術編碼,並探討其在實際應用中的優勢。同時,還會涉及具有統計特性的信源模型,如馬爾可夫信源,並介紹適用於這類信源的編碼技術。本章強調瞭信源編碼與信息論中熵的概念緊密相連,解釋瞭理論上的最小平均碼長界限。 第三章:互信息與條件熵 本章重點研究兩個隨機變量之間的信息關係,引入“互信息”這一關鍵度量。詳細闡述互信息的定義、性質,以及它如何衡量一個隨機變量對另一個隨機變量的“依賴程度”或“信息量”。通過對互信息與熵的分解,揭示其與條件熵、聯閤熵的內在聯係。重點講解條件熵的概念,以及它在描述給定一個隨機變量的情況下,另一個隨機變量仍保留的不確定性。本章將通過圖示和代數方法,深入剖析條件熵、互信息、聯閤熵和邊際熵之間的相互關係,包括信息增益、信息損失等重要概念,為後續理解信道容量和信息傳輸提供必要的理論工具。 第四章:馬爾可夫鏈與信源建模 本章將信息論的理論框架擴展到具有時序關聯的信源,引入“馬爾可夫鏈”模型。詳細介紹零階、一階、高階馬爾可夫鏈的定義、狀態轉移矩陣以及其概率特性。通過實例分析,展示如何根據實際數據建立馬爾可夫鏈模型,例如文本、語音等。深入探討馬爾可夫鏈的狀態轉移概率、平穩分布等重要概念。在此基礎上,本章會分析馬爾可夫信源的熵率,並將其與離散無記憶信源的熵進行對比,理解不同信源模型的特性。這部分內容對於理解更復雜的通信係統和數據壓縮算法至關重要。 第二部分:信道編碼與糾錯 第五章:離散無記憶信道模型 本章係統介紹各種典型的離散無記憶信道模型,包括二元對稱信道(BSC)、二元刪除信道(BDC)、二元輸入離散輸齣無記憶信道(BIAWGN)等。詳細闡述每個模型的概率轉移矩陣,以及輸入輸齣隨機變量之間的統計關係。通過清晰的定義和數學推導,幫助讀者理解不同信道模型所代錶的噪聲特性和乾擾類型。重點講解如何計算這些信道的互信息,並在此基礎上引入“信道容量”的概念,即信道能夠可靠傳輸的最大信息速率。本章將通過算例,直觀展示信道容量的計算方法及其重要意義。 第六章:信道容量與率失真理論 本章是信息論的核心章節之一,深入探討“信道容量”的含義和計算。在掌握瞭離散無記憶信道的模型後,本章將進一步講解如何計算更一般信道的容量,包括連續輸入輸齣信道的容量。詳細介紹香農的信道編碼定理,闡述在信道容量以下,可以實現任意低的差錯率傳輸。在此基礎上,本章還會引入“率失真理論”的概念。講解“失真度量”的定義,以及“率失真函數”的含義,即為瞭達到特定的失真水平,所需的最小信息速率。率失真理論為有損信源編碼和數據壓縮提供瞭重要的理論依據,本章將介紹其基本原理和與信道容量的聯係。 第七章:綫性分組碼 本章開始進入信道編碼領域,重點介紹“綫性分組碼”這一基礎且重要的糾錯碼族。詳細闡述綫性分組碼的數學定義,包括生成矩陣、校驗矩陣以及它們之間的關係。深入講解碼字的形式、參數(如碼長、信息比特數、校驗比特數、最小漢明距離)的含義及其對糾錯能力的影響。本章將介紹碼字和伴隨式的計算方法,以及如何利用校驗矩陣進行接收端譯碼,包括伴隨式譯碼法。通過具體的編碼和譯碼算例,幫助讀者理解綫性分組碼的工作原理和糾錯過程。 第八章:循環碼 本章在介紹綫性分組碼的基礎上,重點講解“循環碼”的特性。詳細闡述循環碼的代數結構,以及其與多項式的緊密聯係。介紹生成多項式、校驗多項式,並展示如何利用它們構造循環碼。重點講解BCH碼和RS碼(裏德-所羅門碼)的原理和構造方法,這是兩類性能優異的糾錯碼,在光盤存儲、衛星通信等領域有著廣泛應用。本章將分析BCH碼和RS碼的參數、糾錯能力,並概述其譯碼算法(如戈萊格判決算法)。 第九章:捲積碼 本章介紹另一大類重要的糾錯碼——“捲積碼”。區彆於分組碼,捲積碼的編碼過程是連續的,具有“記憶”特性。詳細闡述捲積碼的編碼器結構(移位寄存器、生成多項式),以及其輸齣碼字的生成方式。引入“狀態圖”、“樹狀圖”和“網格圖”來描述捲積碼的結構和譯碼過程。重點講解維特比(Viterbi)譯碼算法,這是捲積碼最經典也是最高效的譯碼算法之一。通過算例,詳細展示維特比算法的工作原理和實現步驟。 第十章:Turbo碼與LDPC碼 本章介紹當前在編碼領域取得巨大成功的“現代編碼技術”——Turbo碼和LDPC碼。Turbo碼是一種基於迭代譯碼的糾錯碼,通過組閤兩個簡單的捲積碼(或其類似結構),並采用並行的迭代譯碼方式,能夠接近香農限,性能極為優異。詳細闡述Turbo碼的編碼結構、迭代譯碼原理以及其性能優勢。LDPC碼(低密度奇偶校驗碼)則是一種基於稀疏校驗矩陣的綫性分組碼,同樣具有接近香農限的優異性能,且譯碼復雜度相對可控。本章將介紹LDPC碼的構造方法、校驗矩陣的稀疏性特點,以及其迭代譯碼算法。 第三部分:應用與發展 第十一章:信道容量與編碼的匹配 本章將信息論的理論結論與信道編碼的實際應用相結閤,深入探討“信道容量”與“編碼性能”之間的關係。迴顧香農的信道編碼定理,並分析如何在實際係統中設計和選擇編碼方案以逼近信道容量。對比不同類型編碼(綫性分組碼、捲積碼、Turbo碼、LDPC碼)的性能特點,以及它們在不同信道條件下的適用性。討論編碼效率、譯碼復雜度與糾錯能力之間的權衡,為讀者在實際工程設計中提供指導。 第十二章:信息論在數據壓縮中的應用 本章將信息論的原理應用於數據壓縮領域。在迴顧第二章信源編碼的基礎上,本章將更深入地探討有損數據壓縮的原理,結閤率失真理論,介紹基於統計模型和變換域的壓縮算法,如JPEG圖像壓縮、MPEG視頻壓縮中的熵編碼部分。詳細分析這些算法如何利用數據的統計特性和人眼的感知特性來去除冗餘,並量化信息損失,以實現高壓縮比。 第十三章:信息論在密碼學中的應用 本章將信息論的視角引入密碼學。介紹信息論在密碼分析中的作用,例如利用熵的概念衡量密碼的安全性。探討信息論在設計安全密碼體製方麵的貢獻,包括一次性密碼本(OTP)的理論安全性。討論隨機數生成、僞隨機序列生成等與密碼學密切相關的概念,並解釋其與信息論原理的聯係。 第十四章:信息論在機器學習中的應用 本章將信息論的工具和思想應用於現代機器學習領域。介紹互信息在特徵選擇中的應用,如何利用互信息來衡量特徵與目標變量之間的相關性,從而選擇最優特徵子集。講解熵在決策樹構建中的作用,例如信息增益和基尼係數作為劃分標準。討論KL散度(相對熵)在衡量概率分布相似性方麵的應用,以及其在概率模型比較、信息檢索等領域的價值。 第十五章:信息論與編碼的未來發展 本章展望信息論與編碼領域的未來發展趨勢。介紹當前研究的前沿方嚮,例如極編碼(Polar Code)在糾錯碼領域的突破性進展,以及其在5G等通信標準中的應用。討論量子信息論和量子糾錯碼的最新進展,以及其可能對未來計算和通信技術帶來的顛覆性影響。探討信息論在人工智能、大數據分析、生物信息學等新興交叉領域的潛在應用。 《信息論與編碼(第2版)》通過嚴謹的數學推導、豐富的實例分析和清晰的章節組織,旨在幫助讀者掌握信息論的核心概念和編碼技術,理解它們在現代通信、數據處理、安全通信等領域的關鍵作用,為從事信息與通信工程領域的研究和開發打下堅實的基礎。本書適閤作為高等院校信息與通信工程、計算機科學與技術、電子工程等專業本科生和研究生的教材,也可供相關領域的工程師和研究人員參考。