本書在借鑒了國內外眾多的信息論優秀教材和參考資料之后編寫了《信息論基礎》。教材以香農的三個編碼定理為中心，重點講述了相關的基本概念、基本原理和基本方法。教材只是講述經典信息論的內容，沒有涉及過多的分支。
李梅，2003年至今在中國地質大學（北京）工作，主要從事信號與信息處理的教學和科研工作，主講課程包括《信息理論與編碼》、《虛擬儀器技術》、《現代數字信號處理》。
緒論………………………………………………………………………………………………… 1
0．1 信息的概念 …………………………………………………………………………… 1
0．2 信息論的研究對象、目的和內容 …………………………………………………… 2
擴展閱讀：信息論的形成和發展…………………………………………………………… 5
擴展閱讀：量子通信與量子信息論………………………………………………………… 6
第1章 信息的度量 …………………………………………………………………………… 8
1．1 自信息和互信息 ……………………………………………………………………… 8
1．1．1 自信息 …………………………………………………………………………… 8
1．1．2 互信息 ………………………………………………………………………… 10
1．2 平均自信息…………………………………………………………………………… 11
1．2．1 平均自信息（信息熵）的概念 …………………………………………………… 11
1．2．2 熵函數的性質 …………………………………………………………………… 12
1．2．3 聯合熵與條件熵 ………………………………………………………………… 15
1．3 平均互信息…………………………………………………………………………… 19
1．3．1 平均互信息的概念 ……………………………………………………………… 19
1．3．2 平均互信息的性質 ……………………………………………………………… 20
1．3．3 數據處理定理 …………………………………………………………………… 24
1．3．4 相對熵（KL散度） ……………………………………………………………… 25
擴展閱讀：凸函數及詹森不等式 ………………………………………………………… 26
擴展閱讀：信息增益與決策樹 …………………………………………………………… 27
動手實踐：圖像的熵和平均互信息 ……………………………………………………… 29
習題1 ……………………………………………………………………………………… 29
第2章 信源及信源熵 ………………………………………………………………………… 34
2．1 信源的分類及其數學模型…………………………………………………………… 34
2．2 離散單符號信源……………………………………………………………………… 35
2．3 離散多符號信源……………………………………………………………………… 36
2．3．1 離散平穩無記憶信源 …………………………………………………………… 36
2．3．2 離散平穩有記憶信源 …………………………………………………………… 38
2．3．3 馬爾可夫信源 …………………………………………………………………… 40
2．3．4 信源的相關性和剩余度 ………………………………………………………… 44
2．4 連續信源……………………………………………………………………………… 46
2．4．1 連續信源的最大熵 ……………………………………………………………… 50
2．4．2 連續信源的熵功率 ……………………………………………………………… 51
擴展閱讀：隨機過程 ……………………………………………………………………… 52
擴展閱讀：隱馬爾可夫模型與賭場風云 ………………………………………………… 56
習題2 ……………………………………………………………………………………… 58
第3章 信道及其信道容量 …………………………………………………………………… 63
3．1 信道的分類…………………………………………………………………………… 63
3．2 離散單符號信道……………………………………………………………………… 64
3．2．1 離散單符號信道的數學模型 ……………………………………………………… 64
3．2．2 信道容量的概念 ………………………………………………………………… 66
3．2．3 幾種特殊信道的信道容量………………………………………………………… 68
3．2．4 離散對稱信道的信道容量………………………………………………………… 69
3．2．5 一般離散信道的信道容量………………………………………………………… 73
3．2．6 信道容量定理 …………………………………………………………………… 77
3．2．7 信道容量的迭代算法* …………………………………………………………… 80
3．3 離散多符號信道及其信道容量……………………………………………………… 83
3．4 組合信道及其信道容量……………………………………………………………… 86
3．4．1 獨立并聯信道 …………………………………………………………………… 87
3．4．2 級聯信道………………………………………………………………………… 87
3．5 連續信道及其信道容量……………………………………………………………… 88
3．5．1 連續隨機變量的互信息 ………………………………………………………… 88
3．5．2 加性高斯信道的信道容量………………………………………………………… 90
3．5．3 多維高斯加性信道的信道容量 …………………………………………………… 91
3．6 波形信道的信道容量………………………………………………………………… 92
擴展閱讀：信道容量定理引理 …………………………………………………………… 93
動手實踐：信道容量的迭代算法 ………………………………………………………… 94
習題3 ……………………………………………………………………………………… 95
第4章 無失真信源編碼 ……………………………………………………………………… 99
4．1 信源編碼概述………………………………………………………………………… 99
4．1．1 編碼器 ………………………………………………………………………… 99
4．1．2 碼的分類 ……………………………………………………………………… 101
4．2 定長碼及定長信源編碼定理 ……………………………………………………… 103
4．3 變長碼及變長信源編碼定理 ……………………………………………………… 106
4．3．1 Kraft不等式和McMillan不等式 ………………………………………………… 107
4．3．2 唯一可譯碼的判別準則 ………………………………………………………… 108
4．3．3 緊致碼平均碼長界限定理 ……………………………………………………… 109
4．3．4 無失真變長信源編碼定理（香農第一定理） …………………………………… 111
4．4 變長碼的編碼方法 ………………………………………………………………… 115
4．4．1 香農編碼 ……………………………………………………………………… 115
4．4．2 香農-費諾-埃利斯編碼 ……………………………………………………… 116
4．4．3 二元霍夫曼碼 ………………………………………………………………… 116
4．4．4 r元霍夫曼碼 …………………………………………………………………… 119
4．4．5 費諾碼 ………………………………………………………………………… 120
4．5 實用的無失真信源編碼方法 ……………………………………………………… 122
4．5．1 游程編碼 ……………………………………………………………………… 122
4．5．2 算術編碼 ……………………………………………………………………… 124
4．5．3 LZW編碼 ……………………………………………………………………… 126
擴展閱讀：漸進等分割性和典型序列…………………………………………………… 129
習題4 ……………………………………………………………………………………… 132
第5章 有噪信道編碼 ……………………………………………………………………… 136
5．1 信道編碼的相關概念 ……………………………………………………………… 136
5．1．1 錯誤概率和譯碼規則 …………………………………………………………… 137
5．1．2 錯誤概率與編碼方法 …………………………………………………………… 142
5．2 有噪信道編碼定理 ………………………………………………………………… 148
5．3 糾錯編碼 …………………………………………………………………………… 150
5．3．1 糾錯編碼分類 ………………………………………………………………… 150
5．3．2 糾錯編碼的基本概念 …………………………………………………………… 152
5．3．3 線性分組碼 …………………………………………………………………… 153
5．3．4 幾種重要的線性分組碼 ………………………………………………………… 163
5．3．5 卷積碼* ……………………………………………………………………… 168
5．3．6 TCM碼、級聯碼、Turbo碼和LDPC碼 ………………………………………… 171
動手實踐5．1：Hamming(7，4)編譯碼器 ……………………………………………… 172
動手實踐5．2：通信系統仿真 …………………………………………………………… 172
習題5 ……………………………………………………………………………………… 173
第6章 限失真信源編碼 …………………………………………………………………… 178
6．1 失真測度 …………………………………………………………………………… 178
6．1．1 失真函數 ……………………………………………………………………… 179
6．1．2 平均失真 ……………………………………………………………………… 181
6．2 信息率失真函數 …………………………………………………………………… 182
6．2．1 D失真許可信道………………………………………………………………… 182
6．2．2 信息率失真函數的定義 ………………………………………………………… 182
6．2．3 信息率失真函數R(D)的性質…………………………………………………… 183
6．3 限失真信源編碼定理 ……………………………………………………………… 188
6．4 信息率失真函數的計算* ………………………………………………………… 188
6．4．1 應用參量表示式計算R(D)……………………………………………………… 189
6．4．2 率失真函數的迭代算法 ………………………………………………………… 195
6．5 常用的限失真信源編碼方法 ……………………………………………………… 197
6．5．1 量化編碼 ……………………………………………………………………… 198
6．5．2 預測編碼 ……………………………………………………………………… 199
6．5．3 變換編碼 ……………………………………………………………………… 201
動手實踐：圖像的離散余弦變換………………………………………………………… 203
習題6 ……………………………………………………………………………………… 203
第7章 信息論的應用 ……………………………………………………………………… 206
7．1 最大熵譜估計 ……………………………………………………………………… 206
7．2 基于信息論的信息融合技術 ……………………………………………………… 207
7．2．1 聚類分析法 …………………………………………………………………… 208
7．2．2 神經網絡法 …………………………………………………………………… 210
7．2．3 熵法 …………………………………………………………………………… 211
7．3 壓縮感知與信息論 ………………………………………………………………… 211
附錄 A 信息論學習要點……………………………………………………………………… 214
附錄 B 習題參考答案………………………………………………………………………… 223
參考文獻………………………………………………………………………………………… 224
新書資訊