獨立成分分析(ICA)已經成為神經網絡、 高級統計學和信號處理等研究領域中的重要方向之一。本書是國際上一本ICA的綜合性著作，其中包括理解和使用該技術的相應數學基礎知識。本書不僅介紹ICA的基本知識與概況，給出了重要的求解過程及算法，還涵蓋了圖像處理、 無線通信、 音頻信號處理及更多其他應用。全書分四個部分共24章，第一部分介紹本書所用到的主要數學知識，第二部分是本書的重點，詳細講述了基本ICA模型及其求解過程，第三部分討論基本ICA模型的多種擴展形式，第四部分討論ICA方法在不同領域的應用。
獨立成分分析(ICA）方面，國際認可的最全面的一本書，3位作者在該方向上的權威性也無人可比。所以雖是舊書，仍有參考價值。
Aapo Hyvarinen：博士，芬蘭科學院高級會員，目前在芬蘭赫爾辛基技術大學神經網絡研究中心工作。 Juha Karhunen 和 Erkki Oja 均為芬蘭赫爾辛基技術大學神經網絡研究中心教授。
第1章 引論
1.1 多元數據的線性表示
1.2 盲源分離
1.3 獨立成分分析
1.4 ICA的歷史
第一部分 數學預備知識
第2章 隨機向量和獨立性
2.1 概率分布和概率密度
2.2 期望和矩
2.3 不相關性和獨立性
2.4 條件密度和貝葉斯法則
2.5 多元高斯密度
2.6 變換的密度
2.7 高階統計量
2.8 隨機過程 第1章 引論
1.1 多元數據的線性表示
1.2 盲源分離
1.3 獨立成分分析
1.4 ICA的歷史
第一部分 數學預備知識
第2章 隨機向量和獨立性
2.1 概率分布和概率密度
2.2 期望和矩
2.3 不相關性和獨立性
2.4 條件密度和貝葉斯法則
2.5 多元高斯密度
2.6 變換的密度
2.7 高階統計量
2.8 隨機過程
2.9 小結與文獻引述
習題
計算機練習
第3章 梯度和最優化方法
3.1 向量和矩陣梯度
3.2 無約束優化和學習規則
3.3 約束優化的學習規則
3.4 小結與文獻引述
習題
計算機練習
第4章 估計理論
4.1 基本概念
4.2 估計器的性質
4.3 矩方法
4.4 最小二乘估計
4.5 極大似然法
4.6 貝葉斯估計
4.7 小結與文獻引述
習題
計算機練習
第5章 信息論
5.1 熵
5.2 互信息
5.3 極大熵
5.4 負熵
5.5 通過累積量逼近熵
5.6 用非多項式函數近似熵
5.7 小結與文獻引述
習題
計算機練習
本章附錄：有關證明
第6章 主成分分析和白化
6.1 主成分
6.2 在線學習的PCA
6.3 因子分析
6.4 白化
6.5 正交化
6.6 小結與文獻引述
習題
第二部分 獨立成分分析基本模型
第7章 什么是獨立成分分析
7.1 動機
7.2 獨立成分分析的定義
7.3 ICA的實例
7.4 ICA比白化更加強大
7.5 高斯變量為何不能適用
7.6 小結與文獻引述
習題
計算機練習
第8章 極大化非高斯性的ICA估計方法
8.1 非高斯就是獨立的
8.2 用峭度來度量非高斯性
8.3 用負熵度量非高斯性
8.4 估計多個獨立成分
8.5 ICA與投影尋蹤
8.6 小結與文獻引述
習題
計算機練習
本章附錄：有關證明
第9章 ICA的極大似然估計方法
9.1 ICA模型中的似然度
9.2 極大似然估計算法
9.3 信息極大原理
9.4 例子
9.5 小結與文獻引述
習題
計算機練習
本章附錄：有關證明
第10章 極小化互信息的ICA估計方法
10.1 用互信息定義ICA
10.2 互信息和非高斯性
10.3 互信息和似然估計
10.4 極小化互信息的算法
10.5 例子
10.6 小結與文獻引述
習題
計算機練習
第11章 基于張量的ICA估計方法
11.1 累積張量的定義
11.2 由張量特征值得到獨立成分
11.3 用冪法計算張量分解
11.4 特征矩陣的聯合近似對角化
11.5 加權相關矩陣方法
11.6 小結與文獻引述
習題
計算機練習
第12章 基于非線性去相關和非線性PCA的ICA估計方法
12.1 非線性相關和獨立性
12.2 HéraultJutten算法
12.3 CichockiUnbenauen算法
12.4 估計函數方法
12.5 通過獨立性的等變自適應分離
12.6 非線性主成分
12.7 非線性PCA指標和ICA
12.8 非線性PCA指標的學習規則
12.9 小結與文獻引述
習題
第13章 實際的考慮
13.1 時間濾波作為預處理
13.2 用PCA進行預處理
13.3 應該估計多少個成分
13.4 算法選擇
13.5 小結與文獻引述
習題
計算機練習
第14章 基本ICA方法的綜述和比較
14.1 目標函數和算法
14.2 ICA估計原理的聯系
14.3 統計最優非線性函數
14.4 ICA算法的實驗比較
14.5 參考文獻
14.6 基本ICA方法小結
本章附錄：有關證明
第三部分 ICA的擴展及其相關方法
第15章 有噪聲的ICA模型
15.1 定義
15.2 傳感器噪聲和信號源噪聲
15.3 噪聲成分數目較少的情況
15.4 混合矩陣的估計
15.5 估計無噪聲的獨立成分
15.6 通過稀疏編碼收縮而去噪
15.7 小結
第16章 具有超完備基的ICA模型
16.1 獨立成分的估計
16.2 估計混合矩陣
16.3 小結
第17章 非線性ICA
17.1 非線性ICA與BSS
17.2 后非線性混合的分離
17.3 采用自組織映射的非線性BSS
17.4 非線性BSS的一種生成拓撲映射方法
17.5 非線性BSS的一種集成學習方法
17.6 其他方法
17.7 小結
第18章 使用時間結構的方法
18.1 通過自協方差實現分離
18.2 利用方差的非平穩性實現分離
18.3 統一的分離原理
18.4 小結
第19章 卷積性混合和盲去卷積
19.1 盲去卷積
19.2 卷積性混合的盲分離
19.3 小結
本章附錄：離散時間濾波器和z變換
第20章 ICA的其他擴展
20.1 混合矩陣的先驗信息
20.2 放寬獨立性假設
20.3 復值數據的處理
20.4 小結
第四部分 ICA的應用
第21章 基于ICA的特征提取
21.1 線性表示
21.2 ICA和稀疏編碼
21.3 從圖像中估計ICA的基向量
21.4 壓縮稀疏編碼用于圖像去噪
21.5 獨立子空間和拓撲ICA
21.6 與神經生理學的聯系
21.7 小結
第22章 ICA在腦成像中的應用
22.1 腦電圖和腦磁圖
22.2 EEG和MEG中的偽跡鑒別
22.3 誘發磁場分析
22.4 ICA使用于其他的測量技術中
22.5 小結
第23章 無線通信
23.1 多用戶檢測和CDMA通信
23.2 CDMA信號模型和ICA
23.3 衰落信道的估計
23.4 卷積CDMA信號的盲分離
23.5 采用復值ICA改進多用戶檢測
23.6 小結與文獻引述
第24章 ICA的其他應用
24.1 金融方面的應用
24.2 音頻分離
24.3 更多的應用領域
參考文獻
中英文術語對照
再版序
本書不僅是國際上比較全面的關于獨立成分分析 (Independent Component Analysis, ICA) 的專著，也是國內正式翻譯出版的關于ICA和盲源信號分離等技術的一本標準教材。中譯本由電子工業出版社出版發行后反響很好，在同類教材中屬于比較暢銷的，某些時段還供不應求，以至于有讀者來信聯系譯者索書，這些讀者不僅有從事數學和信號處理研究的學者，還有更多來自無線通信、醫學圖像處理，特別是腦科學與認知研究等領域的工程師、研究生和專家教授。本書出版后，從國際和國內的引用、評價和應用案例的分析和統計來看，ICA這項20世紀90年代才發展起來的應用數學方法正在由一項創新逐步變成為一部經典，而在這個過程中本書起到了重要的推廣作用。
一般認為，ICA的基本數學框架是1986年建立的，1995年后隨著其快速算法的出現而開始快速發展。目前國際上采用最多的稱為FastICA的快速獨立成分分析算法是由Aapo Hyvrinen 和Erkki Oja兩位學者提出的，而這兩位學者就是本書的主要作者。可以說，本書不僅僅是一般的關于ICA和盲源信號分離的標準教材，同時也是一本關于ICA理論框架、ICA算法和ICA在不同領域應用方法等學術研究的專著，并具有大量探討性和啟發性的內容，這是其他同類教材所不能比擬的。因此，雖然目前關于獨立成分分析的文獻、教材和在線教程等資源已經非常豐富，但本書的地位仍然是不可替代的。
本書的中譯版于2007年由電子工業出版社推出，對獨立成分分析技術在國內的普及應用已經起到了重要的推動作用。目前國內通信、電子等工科研究生教育和許多科學研究領域 （特別是腦科學研究領域）對于獨立成分分析方法的需求仍然在不斷增長，需要比較全面系統且具有啟發性的教材。考慮到本書特點和權威性，出版社決定將本書再次出版以滿足讀者的需求。本書現有的中譯本是由國內較早從事獨立成分分析和腦科學與認知科學的幾位學者翻譯的，他們對原書中專業性較強內容的理解和把握是到位的，翻譯質量也得到了大部分讀者的認同。故再版中譯本仍沿用原先的翻譯文字，主要是根據現代讀者的閱讀習慣和教材重點突出的風格要求，對原書內容進行了重新排版和修訂。
原作者序
非常感謝胡德文教授為把我們的《獨立成分分析》一書翻譯成中文(原書由John Wiley ＆ Son于2001年出版)所做出的重要努力。
我們于1999年開始撰寫本書，當時獨立成分分析（ICA）還是一種相當新穎的方法，它的前景在一定程度上尚未可定：它是否能夠成為實際應用中的一種重要技術、其理論是否已得到充分的發展，這些都還是不清楚的。
應該說，在應用和理論兩個方面，我們都是相當幸運的。一方面，許多實際應用領域的相關工作已經證實ICA是非常有用的，而在這些領域中，神經信息學和生物信息學尤其值得特別提及；另一方面，本書中所闡述的理論也經受住了時間的考驗，現在已經被廣泛接受。
中國的科學家已經對ICA的研究做出了重要的貢獻，我們希望本書能夠吸引和激勵更多的參與者。同樣也希望對ICA應用感興趣的中國學者和專家能夠在本書中找到有用的原則性導引，并在理論上有所幫助。
Aapo Hyvrinen, Juha Karhunen, Erkki Oja
英文原文：
We are very grateful to Prof. Dewen Hu for his great efforts in translating our book “Independent component analysis”(originally published by John Wiley and Sons in 2001) into Chinese.
When we started writing the book in 1999, ICA was still a rather new method, and its future was somewhat uncertain. It was not clear whether it would become an important technique for practical applications, and whether the theory was sufficiently developed.
We have been quite fortunate in both respects. On the one hand, ICA has proven very useful in a large number of application fields, of which neuroinformatics and bioinformatics deserve special mention. On the other hand, the theory that we expounded in the book has stood the test of time, and is now well-established.
Chinese scientists have made important contributions to research on ICA, and we hope this book will inspire many more. We equally hope that Chinese researchers and professionals interested in applications of ICA will find useful guidelines and theoretical understanding in this book.
Aapo Hyvrinen, Juha Karhunen, and Erkki Oja
序言
獨立成分分析(ICA)是一種統計和計算技術，用于揭示隨機變量、測量數據或信號中的隱藏成分。對于通常以大量樣本數據庫形式給出的多元觀測數據，ICA定義了一個生成模型。此模型假設觀測數據變量是某些未知內在變量的線性或非線性混合，而且不僅內在變量是未知的，實現混合的系統也是未知的。我們還假定那些內在變量是非高斯且相互獨立的，并稱它們為觀測數據的獨立成分。這些獨立成分(也可稱為源或因子)可以通過ICA方法找到。
ICA可以看成是主成分分析和因子分析的延展。但是，ICA是一項更強有力的技術，當經典方法完全失效時，它仍然能夠找出支撐觀測數據的內在因子或源。
ICA所分析的數據可能來源于許多不同的應用領域，包括數字圖像、文檔數據庫，以及經濟指標和心理學測量。在許多實例中，測量結果是以一組并行(Parallel)信號或時間序列的形式給出的，盲源分離(Blind source separation)這一術語可以用于刻畫該類問題。盲源分離的典型例子有：多個麥克風拾取同時發出語音的混合信號、多個傳感器記錄的腦電波、手機中的射頻干擾信號或從某些工業過程中得到的并行時間序列。
ICA技術也是一項相對較新的發明。它是20世紀80年代初期首先在神經網絡建模領域中引入的。到20世紀90年代中期，幾個研究小組引入了一些極為成功的新算法，類似雞尾酒會效應問題的演示，也給人們留下了深刻的印象：ICA可以從混合信號中找出每個人的語音波形。因此，無論是在神經網絡領域(特別是無監督學習)，還是在更為一般的高級統計學和信號處理領域中，ICA都成了激動人心的新話題之一。ICA在生物信號處理、語音信號分離、無線通信、故障診斷、特征提取、金融時間序列分析和數據挖掘等現實領域中的應用報道也正在不斷涌現。
在過去的20年內，ICA的文章大量發表在信號處理、人工神經網絡、統計學、信息論及各種應用領域的期刊和會議論文集中。最近還舉辦了幾場關于ICA的專題會議和學術研討［70，348］，出版了一些關于ICA、盲源分離以及其他相關主題的論文合集［315，173，150］和專著［105，267，149］。這些現有的文獻對于其預期讀者來說是非常有用的，但它們大都只集中于論述ICA方法的某些特定主題；而簡短的專業論文和書籍章節中通常不包含數學和統計學的預備知識。因此，對更廣泛的讀者群來說，完全理解ICA這個技術性相當強的主題變得非常困難。
直到目前為止還沒有一本內容廣泛、細節豐富的教材：既能覆蓋數學背景知識、基本原理和求解算法，又能兼顧ICA實際應用的現狀。本書的出版目的就是希望填補這個空缺，并充當ICA的入門導引。
本書的預期讀者可能來自多個學科：諸如統計學、信號處理、神經網絡、應用數學、神經和認知科學、信息論、人工智能和工程領域。不論是研究人員、學生還是工程實踐領域的工作者都可以使用本書。我們還做了各種努力使本書能夠自足(selfcontrained)，以便那些僅有大學微積分、矩陣代數、概率論和統計學基本背景知識的讀者閱讀。本書也適合作為ICA方面的研究生教材，許多章節后都有習題和計算機練習作業。
本書的范圍和內容
本書提供了把ICA作為統計與計算技術的全面導引，重點是數學原理和基本算法。大部分素材基于作者自己的研究小組中開展的原創性研究工作，這從不同主題所占比重的角度可以自然地反映出來。本書覆蓋面較寬，特別涵蓋了那些能同時適用于大規模問題求解的算法：即算法在觀測變量數目和數據點個數都非常巨大時仍然有效。當ICA大量地用于真正的現實應用問題 (而不是直到最近仍占主流的玩偶型問題或小規模探討性研究)時，這些算法就能在不久的將來得到越來越多的應用。卷積型混合、時滯及其他一些不同于ICA的盲源分離技術中涉及到的更為專門的信號處理方法，本書相應地強調得略少一些。
由于ICA是一個進展迅速的研究領域，不可能在一本教材中囊括每項已報道過的研究進展。我們已盡力在適當的地方涵蓋了其他研究者的核心貢獻，并給出了一個龐大的文獻目錄，以便進一步參考。對于可能被遺漏的那些重要貢獻，我們深表歉意。
為便于閱讀，本書分成了四個部分。
● 第一部分給出了數學預備知識，引入了書中后面部分會用到的基本數學概念。該部分從第2章的概率論速成教程開始。假設讀者已熟悉本章中的大部分內容，不過本章還引入了特為ICA預備的一些概念，如高階累積量和多變量概率理論。在第3章中，接著討論最優化理論和梯度法，它們在構造ICA算法時將會用到。第4章回顧和綜述了估計理論。信息論是ICA的一個補充性理論框架，它包含在第5章中。第6章是第一部分的總結，其中討論了與ICA相關的主成分分析、因子分析和去相關方法。更為自信的讀者可以按照其意愿跳過第一部分中部分或全部導論性的章節，而直接從第二部分中ICA的原理開始學習。
● 第二部分涵蓋并解決了ICA基本模型：即ICA中經典的線性瞬態無噪聲混合模型，它構成了ICA理論的核心。第7章引入了該基本模型，并討論了混合矩陣的可辨識性問題。后面各章討論對該模型進行估計的不同方法。一個核心的原則是非高斯性，它與ICA的關系在第8章中首次進行了討論。接下來我們回顧了極大似然原理(第9章)和極小互信息原理(第10章)，并展示了這些基本原理之間的聯系。第11章討論了使用高階累積張量的代數方法，第12章回顧了基于非線性去相關的早期ICA工作以及非線性主成分方法，這兩章中的內容可能不太適合于(本書)導論教程的性質。在這些章節中，我們還討論了與每一種基本原理相對應的計算獨立成分和混合矩陣的實用算法。在第13章中，接著討論了主要與數據預處理和數據降維相關的一些實際問題與具體考慮，其中包括引導使用者如何把ICA真正確實地應用于自己的具體問題。第14章綜述和比較了各種ICA方法，并對第二部分進行了總結。
● 第三部分中給出了ICA基本模型的各種擴展。相比第二部分而言，這部分內容具有更多的探索性質(而不夠成熟)，因為大多數擴展是最近才引入的，尚存在許多未解決的問題。如果要開設一門ICA的導論課程，可能只需在該部分挑選出幾章即可。我們首先在第15章中討論了在ICA模型中引入顯式觀測噪聲的問題，然后在第16章中探討獨立成分個數多于混合觀測量個數的情況。第17章進一步將模型進行推廣：混合過程可以是非常一般的非線性形式。第18章討論了估計另外一種線性混合模型的方法，該混合模型與ICA模型類似，但是假設的前提條件差別較大：即成分不是非高斯的，但具有某種時間依賴性。第19章討論了混合系統中包含卷積的情況。ICA更進一步的擴展，特別是不要求成分嚴格獨立的模型，將在第20章中給出。
● 第四部分探討ICA方法的一些應用：特征提取(第21章)與圖像處理和視覺研究都有關系；腦成像的應用(第22章)集中討論人腦的電/磁活動測量。第23章討論ICA在無線通信中的應用。ICA在計量經濟學和音頻信號處理中的應用，以及ICA對其他應用領域的啟示在第24章中探討。書中那些非常復雜和入門課程中可以跳過的章節，我們都已用星號標出。本書中給出的一些算法，其對應軟件是公開的，可以通過互聯網在我們的網頁或其他ICA研究者提供的網頁中獲得。包含真實數據的數據庫也同時提供下載，以便測試算法。我們還為本書專門制作了網頁，其中包含了一些適當的提示，地址是：
www.cis.hut.fi/projects/ica/book
建議讀者通過訪問這些網頁以獲得更多的信息。
本書由三位作者合作完成，Aapo Hyvrinen負責第5章、第7章、第8章、第9章、第10章、第11章、第13章、第14章、第15章、第16章、第18章、第20章、第21章和第22章；Juha Karhunen負責第2章、第4章、第17章、第19章和第23章；Erkki Oja負責第3章、第6章和第12章。第1章和第24章則由三位作者聯合撰寫。
致謝
感謝許多ICA研究者，他們的原創性貢獻形成了ICA的基礎，并使得本書的問世成為可能。我們特別對叢書主編Simon Haykin致以謝意，多年以來，他在信號處理和神經網絡方面的文章和著作一直鼓舞著我們。
本書的某些部分，是建立在與赫爾辛基技術大學(Helsinki University of Technology)中我們研究小組的其他成員緊密合作基礎上的。第21章主要基于我們與Patrik Hoyer的合作研究，該章所有實驗也都是他完成的。第22章基于Ricardo Vigrio的實驗和素材。13.2.2節基于我們與Jaakko Srel及Ricardo Vigrio的聯合工作。16.2.3節由Razvan Cristescu提供。20.3節基于我們和Ella Bingham的聯合工作，14.4節基于我們和Xavier Giannakopoulos的聯合工作，20.2.3節則基于我們和Patrik Hoyer及Mika Inki的聯合工作。第19章部分基于Kari Torkkola提供的素材。第17章中的許多內容基于我們和Harri Valpola及Petteri Pajunen的聯合工作，24.1節是我們和Kimmo Kiviluoto及Simona Malaroiu聯合完成的。
在本書寫作的不同階段，有幾個人友善地同意閱讀并評述了該書的部分或全部內容。為此，我們誠摯地感謝Ella Bingham、JeanFranois Cardoso、Adrian Flanagan、Mark Girolami、Antti Honkela、Jarmo Hurri、Petteri Pajunen、Tapani Ristaniemi和Kari Torkkola。Leila Koivisto在編輯上給予了我們幫助，Antti Honkela、Mika Ilmoniemi、Merja Oja和Tapani Raiko在某些插圖上提供了幫助。
我們在ICA方面的研究工作，以及本書寫作是在芬蘭赫爾辛基技術大學的神經網絡研究中心(Neural Networks Research Centre)進行的。研究工作的部分資助來自于“BLISS”項目(歐盟)和“信息處理新原理”項目(芬蘭科學院)，在此深表謝意。另外，A.H.(即A. Hyvrinen，原書只用了姓名的縮寫) 要表達對赫爾辛基大學心理學系G.te Nyman和Jukka H. kkinen的謝意，他們提供的友好服務，使得本書的部分內容能夠完成。
新書資訊