《普通高等教育“十二五”規(guī)劃教材·電子信息類(lèi)精品教材：信息論與編碼基礎(chǔ)》系統(tǒng)論述香農(nóng)（shannon）信息論的基礎(chǔ)理論和編碼的基本理論及方法。內(nèi)容包括：信息的定義、自信息、互信息、信息熵、平均互信息、信道容量與匹配信源、串接信道與數(shù)據(jù)處理；擴(kuò)展信源的信息熵、平均符號(hào)熵、馬爾柯夫（Markov）信源的極限熵、剩余度、擴(kuò)展信道的平均互信息、獨(dú)立并列信道的信道容量；連續(xù)信源的相對(duì)熵、熵功率、高斯白噪聲加性信道的最高信息傳輸速率；單義可譯碼的結(jié)構(gòu)定理、信源符號(hào)速率極限定理、霍夫曼（Huffman）碼編碼方法及其性能評(píng)估、費(fèi)諾（Fano）碼和香農(nóng)（shannon）碼的編碼方法；最小平均誤碼率譯碼規(guī)則、幾種糾錯(cuò)碼的編碼方法及其最小誤碼率、誤碼率極限定理、線(xiàn)性分組碼的代數(shù)結(jié)構(gòu)和編碼譯碼方法、系統(tǒng)完備碼的最小平均誤碼率、漢明（Hamming）碼的最優(yōu)化；信息率-失真函數(shù)R（D）的定義和性質(zhì)、離散信源R（D）的表達(dá)式、擴(kuò)展信源的R（D）與數(shù)據(jù)壓縮的關(guān)系等。
《普通高等教育“十二五”規(guī)劃教材·電子信息類(lèi)精品教材：信息論與編碼基礎(chǔ)》可作為高等院校高年級(jí)本科生的教材，也可供相關(guān)專(zhuān)業(yè)的研究生和從事信息理論、信息技術(shù)的科研、教學(xué)和工程技術(shù)人員參考。
信息論產(chǎn)生于通信領(lǐng)域，是解決通信問(wèn)題的有力工具。經(jīng)半個(gè)多世紀(jì)的發(fā)展，它已成為整個(gè)信息科學(xué)中最完整、最系統(tǒng)、最成熟的一門(mén)學(xué)科，是通信和信息處理有關(guān)專(zhuān)業(yè)的基礎(chǔ)學(xué)科。由于解決問(wèn)題的思路和方法的獨(dú)特、新穎和有效，在當(dāng)今信息時(shí)代，它與其他自然科學(xué)，甚至社會(huì)、人文科學(xué)的有關(guān)學(xué)科，相互滲透、密切結(jié)合，顯示出它的勃勃生機(jī)和不可估量的發(fā)展前景。隨著時(shí)代的發(fā)展和文明程度的不斷提高，高等院校和科研院所，普遍開(kāi)設(shè)本科生、研究生的信息論有關(guān)課程。
作者于2001年編著，由中國(guó)科學(xué)技術(shù)大學(xué)出版社出版發(fā)行的《信息論與編碼》一書(shū)，在2003年入選中華人民共和國(guó)教育部研究生工作辦公室推薦的“研究生教育用書(shū)”，并分別于2004年、2009年由中國(guó)科學(xué)技術(shù)大學(xué)出版社出版發(fā)行第二版、第三版。
本書(shū)是作者總結(jié)從事30余年高等院校和科研院所本科生、研究生信息論課程的教學(xué)經(jīng)驗(yàn)，面向高等院校高年級(jí)本科生編寫(xiě)的信息論及其相關(guān)課程的教材。
“著眼基礎(chǔ)，強(qiáng)化基礎(chǔ)”是本書(shū)的宗旨。
本書(shū)重點(diǎn)介紹和論述香農(nóng)（Claude E?Shannon）信息論和編碼的基礎(chǔ)理論和方法。
在“引言”中，首先提出信息論的“三大理論支柱”，作為一條主線(xiàn)，貫穿本書(shū)始終。它也是交給讀者進(jìn)入信息論學(xué)術(shù)殿堂大門(mén)，必備的一把“鑰匙”。
本書(shū)內(nèi)容共設(shè)7章，分為兩大部分。
第一部分（第1、2、3、4章）論述信息論的基礎(chǔ)理論。為了強(qiáng)化“系統(tǒng)”總體概念，由“單符號(hào)離散通信系統(tǒng)”（第1、2章）、“多符號(hào)離散通信系統(tǒng)”（第3章）、“連續(xù)通信系統(tǒng)”（第4章）三個(gè)“橫向”教學(xué)板塊，構(gòu)成“橫向”教學(xué)結(jié)構(gòu)體系。在教學(xué)進(jìn)程中，以“系統(tǒng)”為一個(gè)整體，由簡(jiǎn)到繁、由淺入深、循序漸進(jìn)、逐步提升。
第二部分（第5、6、7章）論述編碼的基礎(chǔ)理論和方法。重點(diǎn)論述“無(wú)失真信源編碼定理”、“抗干擾信道編碼定理”，以及信息率—失真函數(shù)的基礎(chǔ)理論。側(cè)重介紹“霍夫曼（Huffman）碼”、“線(xiàn)性分組碼”的編碼理論和方法，闡明信息率—失真函數(shù)與“限失真信源編碼”（數(shù)據(jù)壓縮）之間的關(guān)系。列舉大量例題，說(shuō)明采用編碼手段，實(shí)施通信系統(tǒng)“最優(yōu)化”的具體途徑和方法，展示通信系統(tǒng)“最優(yōu)化”的光明前景。
本書(shū)各章、節(jié)以及下屬標(biāo)題設(shè)置，體現(xiàn)信息論基礎(chǔ)理論體系的結(jié)構(gòu)框架。在論述中，用定理的形式，表述信息論的基本概念、重要結(jié)論和編碼的基本理論。用深入細(xì)致、邏輯嚴(yán)密、步步推進(jìn)的數(shù)學(xué)分析過(guò)程，推導(dǎo)、論證每一個(gè)定理。體現(xiàn)信息論基礎(chǔ)理論的完整演繹體系。
為了幫助讀者排除學(xué)習(xí)信息論過(guò)程中經(jīng)常遇到的數(shù)學(xué)分析方面的困難，結(jié)合有關(guān)內(nèi)容，適當(dāng)介紹必要的數(shù)學(xué)基礎(chǔ)知識(shí)，提供不同的證明途徑和方法。同時(shí)，用通俗易懂、富有哲理的比喻，詮釋定理的物理意義和內(nèi)涵，闡明香農(nóng)信息論向人們揭示的信息產(chǎn)生、信息傳輸、信息處理的規(guī)律，彰顯香農(nóng)信息論的信息觀(guān)。
本書(shū)各章、節(jié)基本上覆蓋了香農(nóng)信息論基礎(chǔ)理論的主要內(nèi)容。在教學(xué)過(guò)程中，可根據(jù)限定學(xué)時(shí)數(shù)和其他相關(guān)實(shí)際情況，從中挑選適當(dāng)章、節(jié)作為課堂教學(xué)內(nèi)容。有些內(nèi)容，可供教師備課參考，或供學(xué)生自修閱讀。各章所附“習(xí)題”，難易程度不一，亦可適當(dāng)選擇使用。
本書(shū)除供高等院校高年級(jí)本科生作為教材外，也可供有關(guān)專(zhuān)業(yè)的研究生和從事信息理論、信息技術(shù)、通信工程的教學(xué)、科研、工程技術(shù)人員參考。
熱忱希望廣大讀者對(duì)書(shū)中的錯(cuò)誤和不當(dāng)之處，予以批評(píng)指正！
姜丹 于北京
引言
第1章 單符號(hào)離散信源
1.1 信源的信息熵
1.1.1 信源的數(shù)學(xué)模型
1.1.2 信源符號(hào)的自信量
1.1.3 信源的信息熵
1.2 信息熵的代數(shù)性質(zhì)
1.2.1 熵函數(shù)的對(duì)稱(chēng)性
1.2.2 熵函數(shù)的非負(fù)性和確定性
1.2.3 熵函數(shù)的連續(xù)性和擴(kuò)展性
1.2.4 熵函數(shù)的可加性
1.2.5 熵函數(shù)的遞推性
1.3 信息熵的解析性質(zhì)
1.3.1 熵函數(shù)的極值性
1.3.2 熵函數(shù)的上凸性
1.3.3 熵函數(shù)的最大值
1.4 熵函數(shù)的唯一性
習(xí)題
第2章 單符號(hào)離散信道
2.1 平均互信息
2.1.1 信道的數(shù)學(xué)模型
2.1.2 信道兩端符號(hào)的概率變化
2.1.3 兩個(gè)符號(hào)之間的互信息
2.1.4 兩個(gè)隨機(jī)變量之間的平均互信息
2.2 平均互信息的數(shù)學(xué)特性
2.2.1 平均互信息的非負(fù)性
2.2.2 平均互信息的極值性
2.2.3 平均互信息的上凸性
2.3 信道容量與匹配信源
2.3.1 信道容量的定義
2.3.2 信道容量的一般算法
2.3.3 匹配信源的等量平衡特性
2.4 幾種特殊信道的信道容量
2.4.1 無(wú)噪信道的信道容量
2.4.2 強(qiáng)對(duì)稱(chēng)信道的信道容量
2.4.3 對(duì)稱(chēng)信道的信道容量
2.4.4 準(zhǔn)對(duì)稱(chēng)信道的信道容量
2.5 串接信道的平均互信息
2.5.1 串接信道的數(shù)學(xué)描述
2.5.2 平均條件互信息
2.5.3 平均聯(lián)合互信息
2.5.4 數(shù)據(jù)處理定理
習(xí)題
第3章 多符號(hào)離散信源與信道
3.1 離散平穩(wěn)信源的數(shù)學(xué)模型
3.1.1 多符號(hào)離散信源的一般概念
3.1.2 離散平穩(wěn)信源的定義
3.1.3 平穩(wěn)信源的數(shù)學(xué)模型
3.2 擴(kuò)展信源的信息熵
3.2.1 無(wú)記憶擴(kuò)展信源的信息熵
3.2.2 有記憶擴(kuò)展信源的信息熵
3.2.3 擴(kuò)展信源信息熵的比較
3.3 平均符號(hào)熵和極限熵
3.3.1 平均符號(hào)熵
3.3.2 極限熵
3.4 馬爾柯夫信源的極限熵
3.4.1 M信源的定義
3.4.2 m?M信源的數(shù)學(xué)模型
3.4.3 各態(tài)歷經(jīng)m?M信源的極限熵
3.4.4 剩余度
3.5 擴(kuò)展信道的平均互信息
3.5.1 擴(kuò)展信道的由來(lái)
3.5.2 擴(kuò)展信道的數(shù)學(xué)描述
3.5.3 擴(kuò)展信道的平均互信息的數(shù)學(xué)特性
3.6 無(wú)記憶擴(kuò)展信道的信道容量
3.6.1 無(wú)記憶擴(kuò)展信道的獨(dú)立并列特性
3.6.2 獨(dú)立并列信道的信道容量
習(xí)題
第4章 連續(xù)信源與信道
4.1 單維連續(xù)信道的平均互信息
4.1.1 單維連續(xù)信道的數(shù)學(xué)描述
4.1.2 連續(xù)信源的信息熵
4.1.3 連續(xù)信道的疑義度
4.1.4 信息熵差與相對(duì)熵差
4.1.5 平均互信息的三種表達(dá)式
4.2 連續(xù)信源的相對(duì)熵
4.2.1 “相對(duì)”二字的由來(lái)及其內(nèi)涵
4.2.2 幾種連續(xù)信源的相對(duì)熵
4.3 最大相對(duì)熵定理
4.3.1 相對(duì)熵的數(shù)學(xué)特性
4.3.2 最大相對(duì)熵定理
4.3.3 熵功率與信息變差
4.3.4 “相對(duì)熵”和“信息熵”稱(chēng)呼的統(tǒng)一
4.4 高斯白噪聲加性信道的信道容量
4.4.1 加性信道的信道容量
4.4.2 高斯加性信道的信道容量
4.4.3 高斯白噪聲加性信道的信道容量
4.4.4 香農(nóng)公式的詮釋
習(xí)題
第5章 無(wú)失真信源編碼
5.1 單義可譯定理
5.1.1 單義可譯碼
5.1.2 非延長(zhǎng)碼及其構(gòu)成
5.1.3 單義可譯結(jié)構(gòu)定理
5.2 無(wú)記憶信源符號(hào)速率極限定理
5.2.1 平均碼長(zhǎng)與碼率
5.2.2 平均碼長(zhǎng)極限定理
5.2.3 碼率極限定理
5.2.4 符號(hào)速率極限定理
5.3 有記憶信源符號(hào)速率極限定理
5.4 霍夫曼碼
5.4.1 霍夫曼編碼方法
5.4.2 霍夫曼碼是非延長(zhǎng)碼
5.4.3 霍夫曼碼是有效碼
習(xí)題
第6章 抗干擾信道編碼
6.1 譯碼規(guī)則和平均誤碼率
6.1.1 譯碼規(guī)則
6.1.2 誤碼率和平均誤碼率
6.1.3 最小平均誤碼率譯碼規(guī)則
6.2 編碼方法和最小平均誤碼率
6.2.1 糾錯(cuò)碼W（Ⅰ）的最小平均誤碼率
6.2.2 糾錯(cuò)碼W（Ⅱ）的最小平均誤碼率
6.2.3 糾錯(cuò)碼W（Ⅲ）的最小平均誤碼率
6.3 抗干擾信道編碼定理
6.3.1 漢明（Hamming）距離與檢糾能力
6.3.2 漢明距離與最小平均誤碼率
6.3.3 疑義度與平均誤碼率
6.3.4 平均誤碼率與碼率
6.3.5 誤碼率極限定理
6.4 線(xiàn)性分組碼
6.4.1 線(xiàn)性分組碼的代數(shù)結(jié)構(gòu)
6.4.2 生成矩陣
6.4.3 一致校驗(yàn)矩陣
6.4.4 譯碼表
6.4.5 漢明碼的最優(yōu)化
習(xí)題
第7章 信息率-失真函數(shù)
7.1 信息率-失真函數(shù)R（D）的定義
7.1.1 平均互信息的下凸性
7.1.2 平均失真度
7.1.3 R（D）函數(shù)的定義
7.2 R（D）函數(shù)的數(shù)學(xué)特性
7.2.1 R（D）函數(shù)的連續(xù)性
7.2.2 R（D）函數(shù)的下凸性
7.2.3 R（D）函數(shù)的單調(diào)遞減性
7.3 離散信源的R（D）函數(shù)
7.3.1 R（D）函數(shù)的定義域
7.3.2 R（D）函數(shù)的表達(dá)式
7.4 擴(kuò)展信源的R（D）函數(shù)
7.4.1 擴(kuò)展信道的平均失真度
7.4.2 擴(kuò)展信源R（D）函數(shù)的數(shù)學(xué)特征
7.5 R（D）與數(shù)據(jù)壓縮
7.5.1 數(shù)據(jù)壓縮的一般運(yùn)行機(jī)制
7.5.2 R（D）與壓縮比
7.5.3 通信系統(tǒng)最優(yōu)化前景
習(xí)題
附錄A 供熵函數(shù)計(jì)算用的幾種函數(shù)表
新書(shū)資訊