本書是“十二五”普通高等教育本科國家級規劃教材，且為教育部評選的“2008年度普通高等教育精品教材”。
本書系統地論述了香農信息論基本理論及某些應用問題，基本覆蓋了信息論的各個方面的內容。內容包括：信息的定義和度量；各類離散信源和連續信源的信息熵；有記憶、無記憶、離散和連續信道的信道容量；香農信息論的三個基本定理：無失真信源編碼定理、限失真信源編碼定理和信道編碼定理；網絡信息理論及保密系統的信息理論。本書還介紹了無失真數據壓縮(即無失真信源編碼)的實用的編碼算法與方法，以及信道糾錯編碼的基本內容和分析方法；最后簡要地介紹了信息論與熱力學、光學、統計學、生物學和醫學等其他學科交叉結合的應用內容。尤其是新增第13章,介紹量子力學與信息理論交叉結合而飛速發展起來，又極具誘人前景的量子信息科學。
第4版前言
第4版前言
自1948年至今60多年來，以香農信息論為核心的信息理論從發展走向了成熟。在信息理論的主導和推動下，信息計算技術、信息存儲與處理技術以及信息安全可靠的傳輸技術等都取得了突破性的進展和卓越的成就。然而，值得關注的是近十多年來，一門量子物理學與香農信息理論交叉融匯的新興科學——量子信息科學迅速崛起并取得飛速發展。它的主要內容包括有量子計算（量子計算機）、量子通信、量子保密學以及量子信息論等。量子信息科學將原有的香農經典信息擴充為量子信息，用微觀粒子的量子態來表述量子信息。以往香農經典信息理論是將信息荷載在實際的物理載體——信號上，來研究信息的提取、計算、傳輸和變換處理等。也就是將信息荷載到經典物理學中的經典物理態上。而量子信息科學是將信息荷載到微觀物理系統的微觀量子態上，來研究量子信息的提取、計算、傳輸和處理等。因此，它必須遵循微觀量子態的特性和遵循量子力學理論的規律。這就使信息的提取、計算、存儲、傳輸和處理等都發生了根本性的變革。在研究和分析微觀量子態特性的基礎上，展現出量子信息科學具有奇特的和驚人的優越性。它可以實現無法比擬的、極高速的并行量子計算。可以實現超光速和無條件安全性的信息傳輸以及可實現非定域性和超空間性的遠距離通信等。近年來，世界各國在量子信息科學的技術和理論等方面都取得了眾多的、引人矚目的研究成果。我國在量子通信和量子保密通信方面也取得具有世界先進水平的科研成果，初步奠定了量子通信實用化和產業化的技術基礎。然而，量子信息科學還處于起步和發展階段，有著大量的課題和困難需要探索、研究和解決。其中我們關心的量子信息論更有許多內容有待深入地研究。所以，量子信息科學將是當今信息科學領域中最具廣闊發展前景的重要研究方向。
在再版《信息論——基礎理論與應用》一書之際，作者認為有必要將量子信息科學簡介作為第13章的內容加入本書。目的是希望通過該章簡要的論述，使讀者今后能更多地注意量子信息科學發展的動向。也希望讀者在掌握香農信息論的基礎上，對量子信息科學，特別是對量子信息論激起興趣，并進行深入地研究和探討。
在第13章編寫過程中曾得到中科院研究生院物理學院丁亦兵教授的幫助和指教，在此表示衷心感謝。同時也參閱引用了一些國內外最近有關量子信息科學方面的著作，在此謹向作者們表示深切的謝意。
由于作者水平所限，書中有不當和錯誤之處，敬請專家、學者和廣大讀者批評指正。
作者
2014年12月
前 言
人類社會的生存和發展無時無刻離不開信息的獲取、傳遞、處理、再生、控制和利用。
信息論正是一門把信息作為研究對象，以揭示信息的本質特性和規律為基礎，應用概率
論、隨機過程和數理統計等方法來研究信息的存儲、傳輸、處理、控制和利用等一般規律的
科學。它主要研究如何提高信息系統的可靠性、有效性、保密性和認證性，以使信息系統最
優化。
自從1948年香農發表了《通信的數學理論》一文，宣告了信息論作為一門獨立的、全新的學科成立。自此之后，信息理論本身得到不斷地發展和深化，尤其是在信息理論的指導下,信息技術也獲得飛快發展。這又使信息的研究沖破了香農狹義信息的范疇，幾乎滲透到自然科學與社會科學的所有領域，從而形成了一門具有劃時代意義的新興學科——信息科學。近年來，逐漸形成和發展起來的光學信息論、量子信息論、生物信息論或生物信息學都是信息科學的重要分支和發展的重要領域。
當人類邁入21世紀——高度信息化時代以來，移動通信、互聯網通信、
多媒體技術、計算機技術、空間技術等信息技術出現了超越人們想象的、前所未有的發展速
度。在這些領域中，只要涉及信息的存儲、傳輸和處理就要用到香農信息理論——無失真通
信的傳輸速率極限(即香農極限)、無失真和限失真信源編碼理論(即數據壓縮原理)和信道
編碼理論(即糾錯編碼理論)等。甚至人們娛樂生活中如數字激光影碟機、數碼相機、數字家
庭音像系統、網絡游戲等都普遍采用了糾錯編碼技術和數據壓縮技術。所以，現在人們對于信息的概念、信息論的基本理論已不再感到陌生、抽象深奧和難以理解與掌握，同時也越來越意識到學習和掌握信息理論的重要。
在這種形勢下，各高校的熱門專業“信息工程技術專業”得到快速發展，專業的知識結構也做了相應調整，先后將《信息論與編碼》及有關課程列為本科生、研究生必修的專業基礎課。與此同時，全國幾百所高校先后在理學院(或數學系)內新增設了“信息與計算科學專業”，也將《信息論與編碼》作為此專業的必修基礎課。甚至，在物理學、光學、聲學，以及生物學專業的研究生中也增設或選修有關信息論的課程。
為滿足廣大讀者的需要，作者在幾十年的教學實踐和科研工作的積累,以及在1986年、1989年最早編寫出版的全國統編教材《信息論基礎》［37］一書基礎上，于2001年編寫出版了《信息論——基礎理論與應用》［38］一書。經近十年的使用和修改，在增加了信道糾錯編碼的內容的基礎上，現又在章節上做一些適當的調整和修改，以求內容和框架結構更全面合理，以期能適應不同專業的需求。
本書系統地介紹香農(Shannon)信息論和編碼理論及其應用。全書注重基本概念、基本定理和基本分析方法的論述，并結合實例建立概念和數學模型，給出詳細的、必要的數學推演過程和證明。一般來說，在重要定理的證明前后都會描述定理和結論的物理意義或實用意義及證明的思路，然后通過嚴密推理和巧妙證明進一步說明定理和結論的完美，以期望做到物理概念清晰，邏輯性、系統性強，數學結構嚴謹完整又避免純數學的枯燥乏味。在內容的編排上，力求由淺入深、循序漸進，合理地安排章節。全書力圖做到既有實際應用背景，又有清晰的數學思想和嚴密推理。
全書共有12章。第1、2、3、4章是全書的基礎。首先闡述信息的概念，引出香農關于信息的定義和測度。在這基礎上討論各類離散信源、連續和波形信源的信息測度——信息熵，以及各類離散信道、連續和波形信道的信息傳輸率與信道容量。
第5、6、7章主要論述香農信息論的三個基本定理——離散信源的無失真編碼定理、有噪信道編碼定理及限失真信源編碼定理，此部分內容是香農信息論的核心部分。
第8章集中介紹了若干常用的無失真信源編碼方法，以闡明香農無失真信源編碼定理的應用與意義。
第9章論述了信道糾錯編碼的基本內容及一些主要的糾錯編碼如線性分組碼、循環碼和卷積碼。該章從有噪信道編碼定理出發，在讀者已具有的工程數學基礎上給出糾錯編碼的基本概念，然后討論各種糾錯碼的編、譯碼算法。避免了從近世代數理論角度進行討論，減小了學習的難度。有了這章的學習基礎就可對糾錯編碼理論進行深入的研究。
第10章討論網絡信息論(又稱為多用戶信息理論),比較全面地介紹了各種網絡信道的信源和信道編碼定理。這一章在本書中占用了一定的篇幅，主要因為實際的各種信息傳輸系統、
信息流通系統都是復雜的信息流通網。另外，多用戶信息理論也是由香農首先給出的，并且
目前還存在著許多有待研究和解決的理論問題。隨著網絡通信技術的發展和普及，網
絡信息理論顯得更為重要，而且已成為信息研究的熱門領域。
第11章簡要地介紹香農用信息論的觀點對信息保密問題的論述。正是香農的論述把信息保密安全問題的研究引入到科學研究的軌道，使保密學迅速發展成為一個獨立的分支。
第12章簡要地探討一些信息論與熱力學、光學、統計學、生物、醫學等學科的關系和應用，使讀者了解信息論與其他學科交叉結合的發展前景。
第1章至第7章是本書的主體，學好了這幾章就掌握了信息論的主要理論和內容。為幫助讀者學習和掌握，每章結尾均給出小結，以公式形式列出該章的主要內容。各章還配有大量習題。為避免讀者對本書所用符號產生混淆，還將主要所用符號統一列表說明，以供參閱。書后的附錄，為讀者提供了所需的一些數學基礎知識。同時為配合本書的學習和解題，作者已編寫并由電子工業出版社出版了《信息論與編碼學習輔導及習題詳解》［39］一書，可供讀者學習使用。
全書引入了弱ε典型序列，幾個重要定理都采用此統一的分析方法進行證明，使定理證
明簡潔明了，而且又使單用戶信息理論和網絡信息理論中定理的證明方法達成一致。但這些
章節均標以“*”號出現。書中標有“*”號的章節和小字體部分均屬于嚴格的數學證明或加
深、加寬的內容。各高校、各專業可根據學時的多少或學生的知識程度適當取舍，只講授主要基本內容，省略“*”章節和小字體部分。省略后并不影響全書的系統性、邏輯性和可讀性。所以，本書可作為信息工程、通信工程技術和計算機科學專業本科生和研究生的教材，也可作為其他有關專業所需的教材。
為了便于教師使用本教材進行課堂教學，還配套提供了電子教案。
本書第8章“字典碼”一節由趙建中老師協助編寫。孫建京、路而紅、彭一凡等老師閱讀了書稿部分章節并提出許多中肯的修改意見。劉泉、陳立、趙黎明、施燕瓊、許曉東、陳曦、張棟等同志參與了審稿、繪圖、習題錄入、電子教案編程等大量工作，在此一并表示衷心的感謝。
在本書編寫修改過程中，參閱了國內外一些經典著作，均列于參考書目中，在此謹向作者表示深切謝意。
本書被國家教育部評為“2008年度普通高等教育精品教材”。其中電子工業出版社陳曉莉編輯對本書的修改、再版做了大量的工作，提出了許多寶貴意見，在此也深表感謝。
書中難免有不妥和錯誤之處，殷切希望廣大讀者予以批評指正。
作者
2011年元月
傅祖蕓，教授，自1968-1983年在中國科技大學,1983-2000年在中國科學院研究生院 自1965年起就作為本科生《信息論與編碼》課的輔導老師，1976年起一直主要講授本科生和研究生的專業基礎課《信息論與編碼》或《信息論基礎》。自1980年起就編寫《信息論與編碼》方面的教材，所編寫的《信息論基礎》于1986年和1989年兩次入選全國高等院校電子類第二輪、第三輪統編教材。1989年出版的《信息論基礎》于1992年1月榮獲第二屆機械電子工業部電子類專業優秀教材一等獎。由于教材選用合適，學生反映教學效果好，于1994－1995年度被評為科學院研究生院的學年優秀課程。之后,該教材被評為“十五“,“十一五“國家規劃教材.
第1章 緒論
1.1 信息的概念
1.2 信息論研究的對象、目的和內容
1.3 信息論發展簡史與信息科學
第2章 離散信源及其信息測度
2.1 信源的數學模型及分類
2.2 離散信源的信息熵
2.2.1 自信息
2.2.2 信息熵
2.3 信息熵的基本性質
2．4 信息熵的唯一性定理
2.5 離散無記憶的擴展信源
2.6 離散平穩信源
2.6.1 離散平穩信源的數學定義
2.6.2 二維離散平穩信源及其信息熵
第1章 緒論
1.1 信息的概念
1.2 信息論研究的對象、目的和內容
1.3 信息論發展簡史與信息科學
第2章 離散信源及其信息測度
2.1 信源的數學模型及分類
2.2 離散信源的信息熵
2.2.1 自信息
2.2.2 信息熵
2.3 信息熵的基本性質
2．4 信息熵的唯一性定理
2.5 離散無記憶的擴展信源
2.6 離散平穩信源
2.6.1 離散平穩信源的數學定義
2.6.2 二維離散平穩信源及其信息熵
2.6.3 離散平穩信源的極限熵
2.7 馬爾可夫信源
2.7.1 馬爾可夫信源和m階馬爾可夫信源的定義
2.7.2 馬爾可夫信源和m階馬爾可夫信源的信息熵
2.8 信源剩余度與自然語言的熵
2．9 意義信息和加權熵
小結
習題
第3章 離散信道及其信道容量
3．1 信道的數學模型及分類
3．1．1 信道的分類
3．1．2 離散信道的數學模型
3．1．3 單符號離散信道的數學模型
3．2 平均互信息及平均條件互信息
3．2．1 信道疑義度
3．2．2 平均互信息
3．2．3 平均條件互信息
3．3 平均互信息的特性
3．4 信道容量及其一般計算方法
3．4．1 離散無噪信道的信道容量
3．4．2 對稱離散信道的信道容量
3．4．3 準對稱信道的信道容量
3．4．4 一般離散信道的信道容量
3．5 信道容量的迭代算法
3．5．1 信道容量的迭代算法
3．5．2 信道容量迭代算法的收斂性
3．6 離散無記憶擴展信道及其信道容量
3．７ 獨立并聯信道及其信道容量
3．8 串聯信道的互信息和數據處理定理
3．9 信源與信道的匹配
小結
習題
第4章 波形信源和波形信道
4.1 波形信源的統計特性和離散化
4.2 連續信源和波形信源的信息測度
4.2.1 連續信源的差熵
4.2.2 連續平穩信源和波形信源的差熵
4.2.3 兩種特殊連續信源的差熵
4.3 連續信源熵的性質及最大差熵定理
4.3.1 差熵的性質
4.3.2 具有最大差熵的連續信源
4.4 連續信源熵的變換
4.4.1 坐標變換后概率密度函數的變化
4.4.2 坐標變換后差熵的變化
4.5 熵功率
4.6 連續信道和波形信道的分類
4.6.1 按信道輸入和輸出的統計特性分類
4.6.2 按噪聲的統計特性分類
4.6.3 按噪聲對信號的作用功能分類
4.7 連續信道和波形信道的信息傳輸率
4.7.1 基本連續信道的平均互信息
4.7.2 多維連續信道的平均互信息
4.7.3 波形信道的信息傳輸率
4.7.4 連續信道平均互信息的特性
4.8 連續信道和波形信道的信道容量
4.8.1 單符號高斯加性信道
4.8.2 單符號非高斯加性信道
4.8.3 多維無記憶高斯加性連續信道
4.8.4 多維有記憶高斯加性連續信道
4.8.5 限帶高斯白噪聲加性波形信道
4.8.6 有色高斯加性波形信道
4.8.7 香農公式的重要實際指導意義
小結
習題
第5章 無失真信源編碼定理
5.1 編碼器
5.2 等長碼
5.3 漸近等分割性和ε典型序列
&nb
新書資訊