知識遷移的目標是使機器具有和人一樣的“舉一反三”的能力，通過已掌握的知識來完成新的任務。知識遷移是機器突破程式化約束，具有自主學習能力的關鍵因素，近年來已成為人工智能的研究熱點之一。從“如何遷移”“遷移什么”與“何時遷移”等角度入手，系統闡述了關聯知識的表達形式、遷移的方式與手段以及實現遷移的時機等問題。然而知識遷移方法在提升機器智能性的同時，常常遇到“負遷移”的難題，即遷移后效果反而變差，為此，《知識遷移學習方法及應用》從兩方面著手：對遷移任務間相似度的衡量給出一定的標準，篩除相關性差的源任務；避免樣本的直接遷移，提取關聯任務間的公共特征，即在特征空間實現遷移。為將知識遷移理論推廣到實際領域，《知識遷移學習方法及應用》圍繞文本分類、人臉識別、色彩調和、目標決策與優化規劃等一系列任務展開論述，將知識遷移方法分為分類遷移、決策遷移、色彩遷移與優化遷移等4部分進行分析與研究。此外，各章節內容均涉及相關領域基礎知識的介紹，能夠為不同層次的讀者與研究人員提供入門知識與參考信息。
王雪松，女，1974年12月生，安徽省泗縣人，博士，中國礦業大學信息與電氣工程學院教授，博士生導師，教育部新世紀優秀人才，江蘇省333高層次人才，孫越崎青年科技獎獲得者。
1992年9月至1996年7月，在安徽理工大學電氣工程系學習，獲得工學學士學位。1996年9月至1999年7月，在中國礦業大學讀控制理論與控制工程專業碩士研究生，獲得工學碩士學位。1999年9月至2002年7月，在中國礦業大學讀控制理論與控制工程專業博士研究生，獲得工學博士學位。
2002年7月至2004年7月，在北京理工大學控制科學與工程博士后流動站做博士后。
研究方向為機器學習及模式識別。現為《電子學報》編委、中國機械工業教育協會自動化學科教學委員會委員等。近年來，主持國家自然科學基金項目3項；獲教育部自然科學獎二等獎1項；在科學出版社出版專著4部；發表被SCI、EI收錄論文100余篇。
潘杰，男，1986年12月生，江蘇省徐州人，博士，中國礦業大學信息與電氣工程學院講師。
2005年9月至2009年7月，在中國礦業大學信息與電氣工程學院學習，獲得工學學士學位。2009年9月至2011年7月，在中國礦業大學讀控制理論與控制工程專業碩士研究生，獲得工學碩士學位。2011年9月至2014年7月，在中國礦業大學讀控制理論與控制工程專業博士研究生，獲得工學博士學位。
研究方向為知識遷移及計算機視覺。近年來，主持江蘇省自然科學基金1項；發表被SCI、EI收錄論文近10篇。
程玉虎，男，1973年8月生，安徽省淮南市人，博士，中國礦業大學信息與電氣工程學院教授，博士生導師，教育部新世紀優秀人才。
1992年9月至1996年7月，在安徽理工大學電氣工程系學習，獲得工學學士學位。1999年9月至2002年7月，在中國礦業大學讀控制理論與控制工程專業碩士研究生，獲得工學碩士學位。2002年9月至2005年7月，在中國科學院自動化研究所讀控制理論與控制工程專業博士研究生，獲得工學博士學位。
研究方向為模式識別與智能系統。近年來，主持國家自然科學基金項目2項，省部級項目5項；研究成果獲省部級科技獎勵5項；發表被SCI、EI收錄論文近100篇。
內頁插圖
目錄
前言
第1章知識遷移概述1
1.1知識遷移的提出和發展2
1.1.1知識遷移的提出2
1.1.2知識遷移的發展3
1.2知識遷移的概念4
1.2.1知識遷移的基本概念4
1.2.2知識遷移與機器學習的關系5
1.3知識遷移的分類7
1.3.1基于實例的遷移7
1.3.2基于參數的遷移8
1.3.3基于特征的遷移9
1.3.4基于相關知識的遷移9
1.3.5基于模型的遷移10
1.4知識遷移的主要形式與應用.11
1.4.1分類遷移11
1.4.2決策遷移16
1.4.3色彩遷移20
1.4.4優化遷移27
1.5本書主要內容及安排30
1.6本章小結33
參考文獻33
第2章基于局部保持投影的特征遷移40
2.1低維特征表示41
2.2基于LPP的多源特征遷移43
2.2.1系統原理圖43
2.2.2遷移源篩選46
2.2.3LPP特征遷移47
2.2.4算法步驟49
2.3試驗結果與分析50
2.3.1人臉特征遷移50
2.3.2不同特征遷移方法效果對比51
2.3.3單樣本特征遷移精度分析53
2.4本章小結55
參考文獻55
第3章加權多源TrAdaBoost算法57
3.1TrAdaBoost算法簡介57
3.2加權多源TrAdaBoost算法58
3.2.1基本符號59
3.2.2TrAdaBoost算法流程59
3.3理論分析61
3.3.1源領域訓練集樣本損失值分析61
3.3.2目標領域訓練集測試誤差分析64
3.3.3時間復雜度分析65
3.4試驗及其結果對比66
3.4.1雙月型數據集試驗66
3.4.2文本分類試驗70
3.5本章小結72
參考文獻72
第4章多源Tri-Training知識遷移73
4.1半監督學習簡介73
4.2多源Tri-Training知識遷移74
4.2.1Tri-Training算法74
4.2.2多源Tri-Training知識遷移75
4.2.3算法結構75
4.2.4算法流程75
4.3試驗結果與對比76
4.4本章小結80
參考文獻81
第5章基于樣本分布信息的跨領域知識遷移82
5.1領域適應學習82
5.2基于樣本局部判別權重的加權遷移成分分析83
5.2.1問題描述83
5.2.2遷移成分分析84
5.2.3局部判別權重84
5.2.4加權遷移86
5.3基于樣本分布信息的最大分布加權均值差異89
5.4基于MDWMD的領域適應學習91
5.4.1聯合分布調整91
5.4.2投影矩陣92
5.4.3目標函數93
5.4.4算法步驟93
5.5試驗結果與對比94
5.5.1試驗數據集94
5.5.2試驗結果及分析95
5.6本章小結98
參考文獻99
第6章基于相似度衡量的決策樹遷移100
6.1研究動機100
6.2決策遷移數學描述101
6.2.1領域與任務101
6.2.2決策遷移102
6.3多源決策樹相似度衡量與誤差分析103
6.4算法流程與仿真研究107
6.4.1算法流程107
6.4.2精度與復雜度分析107
6.4.3ROC特性分析109
6.4.4文本分類研究111
6.5本章小結112
參考文獻113
第7章基于極限學習機的多源強化知識遷移114
7.1強化遷移機制114
7.2基于ELM的Q學習115
7.3基于ELM的多源遷移Q學習117
7.3.1系統原理圖117
7.3.2任務空間與樣本空間遷移119
7.4算法步驟與仿真分析121
7.4.1算法步驟121
7.4.2仿真分析121
7.5本章小結126
參考文獻127
第8章基于主動輪廓探索的多源色彩遷移128
8.1色彩遷移128
8.2系統結構129
8.3基于主動輪廓探索的多源色彩遷移131
8.4試驗結果與分析133
8.4.1試驗設定133
8.4.2多源遷移效果影響因素分析134
8.4.3與局部遷移算法的對比137
8.5本章小結139
參考文獻139
第9章基于紋理相似性的多源局部色彩遷移算法141
9.1局部色彩遷移141
9.2多源局部色彩遷移算法142
9.2.1爬山分割算法143
9.2.2灰度共生矩陣143
9.2.3多源局部色彩遷移算法145
9.2.4算法流程146
9.3試驗結果與對比147
9.3.1單源局部遷移147
9.3.2多源局部遷移149
9.3.3灰度圖色彩遷移151
9.4本章小結153
參考文獻153
第10章基于圖構建的多源參數遷移155
10.1參數遷移155
10.2ACO參數鄰接遷移矩陣156
10.2.1ACO參數分析156
10.2.2鄰接遷移矩陣157
10.3基于擴展模型圖的多源參數遷移158
10.4目標任務的參數優化159
10.5仿真研究與分析160
10.5.1環境設定160
10.5.2遷移性能分析160
10.6本章小結164
參考文獻164
第11章基于樣本空間篩選的優化遷移166
11.1Ant-Q優化遷移166
11.2多源遷移Ant-Q算法167
11.3基于先驗概率的樣本空間篩選169
11.4TSP仿真研究171
11.4.1單源遷移TSP問題171
11.4.2多源遷移TSP問題175
11.5本章小結176
參考文獻176
附錄部分知識遷移學習算法MATLAB源程序178
程序1第2章基于局部保持投影的特征遷移MATLAB源程序178
程序2第6章基于相似度衡量的決策樹遷移部分MATLAB源程序184
程序3第8章基于主動輪廓探索的色彩遷移部分MATLAB源程序192
索引199
查看全部↓
第1章 知識遷移概述
心理學認為，知識遷移是反映人類心理認知過程的一種概念；是人類學習的一種方法；通過一種學習影響另一種學習。古代人類就注意到遷移現象，春秋時期的思想家孔子曾提出\舉一反三"的說法，宋代朱熹提出\融會貫通"的思想，這些思想都是說明學習者需匯聚各方面知識，掌握不同門類甚至是不同領域知識的共通性，從而可以將在一個領域內對知識的理解轉移至其他領域當中。
在日常生活和學習中，我們會發現，數學學習好的學生物理學習一般也很好；會打羽毛球的學生學習網球會很快；會下象棋的人學習國際象棋會很容易；會騎自行車的人也會很快學會騎摩托車，如圖1-1所示。因此，我們發現，如果掌握了其中一個領域的知識，在學習另外一個相近領域知識的時候，已掌握的知識會對新知識的學習起到幫助作用，這就是一種知識的遷移。這種知識遷移可以大大增強人類在不同環境中學習新任務的能力。
圖1-1日常生活中的遷移現象
本章將簡要介紹知識遷移的提出和發展、基本概念與分類、主要表現形式及其應用等，最后給出本書的主要結構和章節安排。
1.1知識遷移的提出和發展
1.1.1知識遷移的提出
當今世界是信息的世界，計算機技術發展迅速，對于獲取并存儲海量信息已不再是難題，然而，如何處理這些獲取的海量信息則成為了一個新的挑戰。在此基礎上，機器學習的概念與方法被提出并得到了長足的發展。機器學習是模擬人類思維的一種計算機學習方法，是人工智能的核心，然而傳統機器學習與人類學習相比，并不具有學習新環境知識的能力，不能利用已掌握的知識幫助新任務的學習，而是需要足夠的標記樣本來訓練出可靠的分類模型，然后將模型用于未標記樣本獲取其標簽值。訓練與測試樣本必須服從同分布假設，如果分布不同或訓練樣本數量不足都難以獲得可靠的分類模型，這極大限制了機器學習的發展及應用。如果讓機器擁有人類類似的知識遷移能力，學習不同領域的知識，則能夠在很大程度上提高機器的學習效率，豐富學習內容。
實際應用中常遇到的問題是，我們很容易獲取大量未標記樣本，然而，給樣本賦予標記的手段往往是手工操作，這個過程將消耗大量時間與資源。另外，由于信息的增長和更新，許多得到的已標記樣本與新增加的未標記樣本分布存在偏差，雖然能獲得足夠的已標記樣本，但因為與未標記樣本分布不同，訓練的分類模型一般不具有很好的泛化性，無法取得令人滿意的預測結果。而對于與未標記樣本分布不同的相似樣本，常常包含部分對任務學習有幫助的信息，完全拋棄這部分樣本則會造成大量資源浪費。因此，在獲得少量“昂貴”已標記的同分布樣本的情況下，如何利用大量已標記相似分布樣本提高機器性能成為當前機器學習與模式識別研究中的熱點問題。
知識遷移就是在這樣的應用背景下產生的，目的是打破傳統機器學習訓練樣本與測試樣本同分布的假設，將遷移的思想附加給計算機，讓計算機擁有跨領域學習的能力，將已有的知識恰當的引入到新任務的學習中，使相似領域中包含信息的有效重用成為可能，提高計算機在新領域中學習的能力。知識遷移學習與傳統機器學習的關系如圖1-2所示。
圖1-2傳統機器學習與知識遷移學習的關系
知識遷移研究更關注當訓練樣本信息不足的情況下，如何通過已有的相似領域知識獲得具有良好預測效果以及推廣能力的學習模型，這里的相似包括樣本分布相似或學習任務相似。知識遷移的理論研究對于深化機器學習理論，擴大其應用領域具有重要現實意義，并且對機器學習存在的許多理論問題，如相似域間信息重用、模型參數設計、知識遷移與傳統學習以及半監督學習關系等都具有重要指導意義。
1.1.2知識遷移的發展
近些年機器學習理論發展迅速，知識遷移在理論和應用中得到快速發展。目前，知識遷移研究成果已廣泛應用于網頁檢索和文本分類、數字圖像處理、圖像識別、自然語言處理、郵件分類、計算機輔助設計以及無線網絡定位等領域中。
實際上，知識遷移最早是用來研究人類心理活動的一種方法。心理學認為，人類學習認知事物并將其\舉一反三"的過程就是一種遷移行為。20世紀90年代，知識遷移研究被引入到機器學習理論中，概念一經提出，就在學術界引起廣泛關注。最初，關于知識遷移的定義很寬泛，經歷了終身學習、遷移學習、歸納遷移、多任務學習、元學習和增量(積累)學習等不同階段。2005年，美國國防部先進研究項目局給出了一個新的知識遷移定義：知識遷移是系統將在已有環境中認知和學習到的信息應用到新任務的能力。根據該定義，知識遷移旨在將已有源任務中獲取的信息重用于目標任務。與多任務學習同時關注復數個學習任務不同，知識遷移更注重目標任務性能的提升。
知識遷移自提出以來，涉及研究內容非常廣泛。例如，對各種傳統機器學習算法進行修改和擴展，以融入源領域樣本信息的研究，或者利用源領域中獲取的知識在目標領域重構學習器等。知識遷移的實際應用內容也非常豐富，概括來說有：基于語義的文本遷移和情感分類、基于顏色空間轉換的色彩遷移以及利用概率統計理論的關聯任務樣本遷移等。第一種應用多以文本遷移為主，Yu等考慮語句中的多元關鍵字，將語義分割，構建不同分類器并遷移至新語句中實現文本數據挖掘功能[1]；Blitzer等改進結構對應學習算法并提出一種確定域與域之間的相關性的度量方法，解決了情感語義標注問題，實現自動情感分類[2]；劉成等構造衡量任務相似性的相關性矩陣，提出通過目標任務與輔助任務聯合決策的方式提高目標任務的分類精度，顯著改善圖像分類的準確率[3]。第二種應用則是將色彩分布作為一種可利用的知識進行遷移，代表是Reinhard算法，其在圖像顏色空間轉換的基礎上，對空間像素值進行線性變換，成功將顏色圖像的顏色基調轉移至形狀圖像，實現圖像之間顏色的遷移[4]。第三種應用則是基于模型與樣本權重的樣本遷移，Yang等考慮用戶動態和環境因素，利用隱馬爾可夫模型捕捉到的時間和拓撲結構問題域，根據當前接收的RSS信號預測用戶位置來解決用戶無線定位問題[5]；王雪松等通過貝葉斯理論分析源任務與目標任務的相似性，按照遷移價值對源任務排序，篩選有用樣本，指導Agent在路徑規劃問題中快速合理做出決策[6]；Dai等利用Boosting機制，對目標領域樣本和源領域樣本分別賦予不同的權重，改變不同樣本在訓練中的重要性，將源領域樣本添加至訓練集共同訓練，很好地實現了Web網頁的自動分類[7]；杜俊衛使用聚類的方法選擇與目標領域相似的源領域文本，并將這些文本應用到目標領域的學習中，增加訓練樣本的個數，大大提高了垃圾郵件過濾技術的性能[8]。
如今，知識遷移的研究內容已頻繁出現在一些國際頂級期刊、學術會議中，如IJCAI[9]、AAAI[10]、ICML[11]、ICAPS[12]、CVPR[13]、NIPS[14]、ICCV[15]、KDD[16]、Machine Learning[17]與Journal of Machine Learning Research[18]等。由于知識遷移可以降低人工標注代價并在提高學習性能方面具有極大優勢，因此越來越受到國內外學者青睞。知識遷移在理論研究方面與實際應用中均獲得巨大成果，而且在機器學習中的研究地位逐漸升高。
1.2知識遷移的概念
本節介紹知識遷移的一些基本概念以及與傳統機器學習之間的關系。
1.2.1知識遷移的基本概念
1.領域
領域D通常包含兩部分：特征空間.和邊緣概率分布P(X)，即，其中。例如，在Web網頁分類問題中，.即為網頁特征空間，X為網頁集合，xn表示第n個網頁，P(X)則是網頁的類屬。一般來說，如果兩個領域特征空間.不同或者邊緣概率分布P(X)不同，則認為它們是不同的。在知識遷移中，領域通常分為源領域與目標領域。
2.任務
對于給定的一個領域，對應的任務T包含兩部分：標記空間Y和預測函數，即，其中是通過訓練樣本學習得到的，可以對新的樣本x預測其標簽。從概率的角度講。例如，在網頁分類中，Y可以看作所有網頁的標簽集合，yi為其中一種類屬，f(x)即是判斷樣本x屬于哪一類。與領域類似，如果兩個任務不同，則它們可能是標記空間Y不同，或者是預測函數不同。
3.知識遷移
知識遷移就是利用從源領域DS和源任務TS中獲取的相關知識提高目標任務TT在目標領域DT上的預測準確率，其中DS6=DT或TS6=TT。
從知識遷移定義可以看出，其解決的是不同領域之間學習的問題，當源領域DS與目標領域DT相同，且源任務TS與目標任務TT相同時，學習問題就變成了傳統機器學習。
4.相關性
知識遷移的研究對象是分布不同但具有相關性的領域，遷移的有效性在很大程度上依賴于領域間的相似程度。領域間的相關性越大，領域分布越一致，遷移效果就越明顯。反之，領域分布差異越大，相關性越弱，遷移效果就越差。因此衡量領域間的相關性尤為重要。
5.負遷移
通過相關性的知識，我們了解到源領域與目標領域間的關聯程度直接影響遷移的效果。當領域間相關性很小，存在較大分布差異時，源領域中的知識可能沒有提高目標任務學習的準確率，反而降低了學習器的性能，此時就產生了負遷移現象。
例如，我們學會騎自行車，再學習騎三輪車，會感覺車身不受控制，掌握不了平衡。因為在騎自行車轉方向時身體需要向轉彎方向傾斜，而騎三輪車時不需要身體傾斜來維持平衡，相反身體會由于離心作用偏向外側。如果仍然依靠自行車技術學習三輪車，則很難把握車身平衡，如圖1-3所示。
圖1-3日常生活中的負遷移現象
當前大部分知識遷移工作都圍繞在如何計算源領域與目標領域的相關性并尋找對目標任務有用的信息，以及如何將這部分知識遷移至目標領域等方面，而針對避免負遷移現象這個關鍵問題卻研究較少。
1.2.2知識遷移與機器學習的關系
知識遷移與傳統機器學習之間的關系總結如表1-1所示，針對源領域與目標領域間的不同關系，將知識遷移分為三大類：歸納遷移、無監督遷移與直推遷移[19]。
表1-1傳統機器學習與遷移學習之間的關系
1.歸納遷移
對于歸納遷移而言，通常認為目標任務與源任務并不相同，而源領域與目標領域的限制條件則較為寬松。一般來說，目標領域的標簽數據應對目標域預測函數fT( )的歸納總結具有指導意義。根據標簽數據能否在源領域中獲得，歸納遷移能夠進一步分為以下兩種情形：
(1)源領域具有能大量訪問的標簽樣本。歸納遷移在該種情形下與多任務學習的設定相類似，兩種學習算法的區別在于前者僅對從源任務中高效遷移知識以解決目標任務感興趣，而后者通常會以平等的地位學習源任務與目標任務。
(2)源領域無法獲得標簽數據。這種情形歸納遷移學習的設定類似于自教學習。自教學習是由Raina等[20]首先提出的，其要求源領域與目標領域具有不同的標簽空間，這意味著目標領域無法直接從源領域一側獲取可利用的的信息，正好與歸納遷移中源領域無法獲得標簽的設定類似。
2.直推遷移
直推遷移學習的假設前提要求目標任務與源任務相同，而各自所處的領域不同。在這種假設下，目標領域的標簽數據是無法訪問的，這使目標任務的學習變得困難，但是在源領域中，通�？梢垣@得大量的標簽數據。同樣地，根據源領域與目標領域的不同關系，直推式遷移學習能夠進一步分為以下情形：
(1)源領域與目標領域具有不同的特征空間，即XS6=XT；
(2)源領域與目標領域所處的特征空間相同，即XS=XT，但其相應的邊界概率分布不同，有P(XS)6=P(XT)。
情形(2)下的直推式遷移學習本質上屬于一種具有遷移知識能力的領域自適應問題，其在樣本偏差選擇，文本分類與協方差轉移等方面均有相關應用。
3.無監督遷移
與歸納遷移學習的設定相類似，目標任務不同于源任務但具有相關性。其區別在于無監督遷移學習關注于解決目標領域無監督的學習任務，如聚類、降維、與密度估計。這種情形下，源領域與目標領域均無法獲得標簽數據。
查看全部↓
新書資訊