xxxfreesexmoves-haodiaocao这里只有精品视频-欧美性受黑人性爽-欧美性受xxxxxx黑人xyx性爽|www.jsyyzsb.com

　　《拓展支持向量機算法研究》從**化理論與方法的角度出發(fā)，結(jié)合作者長期以來在該領(lǐng)域的研究工作撰寫而成。《拓展支持向量機算法研究》主要內(nèi)容包括**化理論與支持向量機的基本理論知識、*小二乘支持向量機的一類快速算法、新的光滑支持向量機、新的光滑支持向量回歸機、支持向量機的調(diào)節(jié)熵函數(shù)法、光滑半監(jiān)督支持向量機、無參數(shù)填充函數(shù)的光滑聚類算法以及基于光滑支持向量機的人臉識別等。

《拓展支持向量機算法研究》可供國內(nèi)外智能科學與技術(shù)、計算機科學與技術(shù)、信息控制類專業(yè)的本科生、研究生及相關(guān)領(lǐng)域的科研工作者參考使用。

 

前言

第1章緒論

1.1選題的背景及意義

1.2SVM的研究與進展

1.2.1SVM的產(chǎn)生

1.2.2支持向量分類機(SVC)算法研究

1.2.3支持向量回歸機(SVR)算法研究

1.2.4SVM的應用研究

1.3研究目的、意義和主要工作

1.3.1研究目的和意義

1.3.2本書的主要工作

參考文獻

第2章支持向量機及其理論基礎(chǔ)

2.1**化理論

2.1.1KKT條件

2.1.2Lagrange對偶

2.1.3Wolfe對偶

2.2統(tǒng)計學習理論的基本思想

2.2.1經(jīng)驗風險

2.2.2VC維

2.2.3結(jié)構(gòu)風險

2.3支持向量分類機

2.3.1**分類超平面

2.3.2線性支持向量分類機

2.3.3非線性支持向量分類機

2.3.4支持向量

2.3.5核函數(shù)

2.4支持向量回歸機

2.4.1損失函數(shù)

2.4.2支持向量回歸機

2.5小結(jié)

參考文獻

第3章*小二乘支持向量機的一類快速算法

3.1引言

3.2變形支持向量機模型

3.2.1標準SVM模型

3.2.2二次損失函數(shù)SVM模型

3.2.3LSSVM模型

3.3*小二乘支持向量機的條件預優(yōu)共軛梯度法

3.3.1對稱正定線性方程組的求解

3.3.2條件預優(yōu)共軛梯度法

3.4數(shù)值實驗

3.5小結(jié)

參考文獻

第4章新的光滑支持向量機

4.1引言

4.2光滑支持向量機及其發(fā)展

4.2.1光滑支持向量機的原理

4.2.2光滑支持向量機的優(yōu)勢

4.2.3光滑支持向量機的發(fā)展現(xiàn)狀

4.3光滑CHKS支持向量機

4.3.1光滑CHKS支持向量機及其性質(zhì)

4.3.2CHKS-SSVM的Newton-Armijo算法

4.3.3非線性CHKS-SSVM

4.3.4數(shù)值實驗

4.4一類光滑分段支持向量分類機

4.4.1三階分段光滑支持向量機模型

4.4.2光滑函數(shù)逼近性能比較

4.4.3收斂性能分析

4.4.4數(shù)值實驗

4.5小結(jié)

參考文獻

第5章新的光滑支持向量回歸機

5.1引言

5.2光滑支持向量回歸機及其發(fā)展

5.3基于旋轉(zhuǎn)雙曲線的光滑支持向量回歸機

5.3.1旋轉(zhuǎn)雙曲線的光滑支持向量回歸機(？-RHSSVR)

5.3.2非線性？-RHSSVR

5.3.3數(shù)值實驗

5.4一類分段光滑支持向量回歸機

5.4.1分段光滑支持向量回歸機

5.4.2收斂性能分析

5.4.3數(shù)值實驗

5.5小結(jié)

參考文獻

第6章支持向量機的調(diào)節(jié)熵函數(shù)法

6.1引言

6.2支持向量分類機的調(diào)節(jié)熵函數(shù)法

6.2.1無約束SVC模型

6.2.2調(diào)節(jié)熵函數(shù)法

6.2.3支持向量分類機的調(diào)節(jié)熵函數(shù)法(AEF-SVC)

6.2.4數(shù)值實驗

6.3支持向量回歸機的調(diào)節(jié)熵函數(shù)法

6.3.1無約束SVR模型

6.3.2調(diào)節(jié)熵函數(shù)法

6.3.3支持向量回歸機的調(diào)節(jié)熵函數(shù)法

6.3.4數(shù)值實驗

6.4小結(jié)

參考文獻

第7章模糊支持向量機算法

7.1引言

7.2模糊支持向量機

7.2.1模糊支持向量分類機

7.2.2模糊支持向量回歸機

7.3基于邊界向量提取的模糊支持向量分類機

7.3.1支持向量數(shù)據(jù)域描述

7.3.2提取邊界向量

7.3.3構(gòu)造模糊隸屬度函數(shù)

7.3.4數(shù)值實驗

7.4模糊*小二乘支持向量回歸機

7.4.1*小二乘支持向量回歸機

7.4.2模糊*小二乘支持向量回歸機

7.4.3模糊*小二乘支持向量回歸機的訓練

7.4.4基于支持向量數(shù)據(jù)域描述的模糊隸屬度的構(gòu)造

7.4.5數(shù)值實驗

7.5小結(jié)

參考文獻

第8章光滑半監(jiān)督支持向量機

8.1引言

8.2?TSVM算法

8.3光滑分段半監(jiān)督支持向量機

8.3.1SPS3VM模型

8.3.2標準PSO算法

8.3.3線性等式約束問題的CLPSO算法

8.3.4訓練SPS3VM的CLPSO算法

8.3.5數(shù)值實驗

8.4基于貝塞爾函數(shù)的光滑半監(jiān)督支持向量機

8.4.1光滑貝塞爾半監(jiān)督支持向量機

8.4.2共軛梯度法

8.4.3數(shù)值實驗

8.5小結(jié)

參考文獻

第9章基于無參數(shù)填充函數(shù)的光滑聚類算法

9.1相似性測度

9.1.1模式的相似性測度

9.1.2類的定義

9.1.3聚類準則函數(shù)

9.1.4聚類分析的數(shù)據(jù)類型

9.2聚類中心問題光滑化模型

9.2.1聚類中心問題

9.2.2聚類中心問題的光滑模型

9.3無參數(shù)填充函數(shù)法

9.3.1基本思想

9.3.2無參數(shù)填充函數(shù)

9.3.3填充函數(shù)算法

9.4逐步求中心法

9.4.1聚類中心算法

9.4.2數(shù)值實驗

9.5小結(jié)

參考文獻

第10章基于光滑支持向量機的人臉識別

10.1人臉識別簡述

10.2主成分分析法

10.3基于光滑支持向量機的人臉識別

10.3.1ORL人臉數(shù)據(jù)庫實驗

10.3.2FERET人臉數(shù)據(jù)庫實驗

10.4小結(jié)

參考文獻

總結(jié)與展望

　　第1章緒論
　　本章首先闡明本書所選課題的研究背景，從知識發(fā)現(xiàn)的角度出發(fā)簡要回顧機器學習的發(fā)展，重點介紹支持向量機(support vector machine，SVM)的研究進展與現(xiàn)狀，所選課題的研究價值，*后綜述本書研究的目的、意義和所做的主要工作。
　　1.1選題的背景及意義
　　人類在認識自然、改造自然的過程中，總是通過對已知事物的分析總結(jié)規(guī)律，利用這些規(guī)律進一步認識自然、改造自然。這個過程體現(xiàn)了人類文明和人類智慧學習的發(fā)展歷程。數(shù)據(jù)已是數(shù)字化時代必不可少的研究對象，大量甚至海量的各式數(shù)據(jù)到底提供了什么樣的規(guī)律？對我們以后認識更多數(shù)據(jù)或?qū)嶋H對象有哪些指導？這就需要基于數(shù)據(jù)的學習，特別是基于數(shù)據(jù)的機器學習。
　　基于數(shù)據(jù)的機器學習是一種重要的知識發(fā)現(xiàn)方法，是人工智能**智能特征、*前沿的研究領(lǐng)域之一。機器學習主要研究計算機如何模擬或?qū)崿F(xiàn)人類的學習能力，以獲取新的知識和技能，重新組織已有的知識結(jié)構(gòu)，使之不斷改善自身的性能。機器學習是人工智能的核心問題，是使計算機具有人工智能的根本途徑。基于數(shù)據(jù)的機器學習問題作為人工智能研究領(lǐng)域的一個重要方面，其研究的主要問題是從一組觀測數(shù)據(jù)集出發(fā)，獲得一些不能通過原理分析而得到的規(guī)律，進而利用這些規(guī)律對未來數(shù)據(jù)或無法觀測到的數(shù)據(jù)進行預測和分析。迄今為止，關(guān)于機器學習還沒有一種被共同接受的理論框架，關(guān)于其實現(xiàn)方法大致可以分為以下三種[1]。
　　(1)經(jīng)典的統(tǒng)計預測方法[2]。現(xiàn)有機器學習方法的共同重要理論基礎(chǔ)之一是統(tǒng)計學。在這類方法中，模型中參數(shù)的相關(guān)形式是已知的，用訓練樣本來估計參數(shù)需要已知樣本的分布形式，因此具有很大的局限性。另外，傳統(tǒng)統(tǒng)計學研究的是樣本數(shù)目趨于無窮大時的漸近理論，但在實際問題中，樣本數(shù)量卻是有限的，因此一些理論上很優(yōu)秀的學習方法在實際應用中可能表現(xiàn)得不盡如人意。
　　(2)經(jīng)驗非線性方法，如人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)方法[3，4]。神經(jīng)網(wǎng)絡(luò)學習方法對于逼近實數(shù)值、離散值或向量值的目標函數(shù)提供了一種健壯性很強的方法。對于某些類型的問題，如學習解釋復雜的現(xiàn)實世界中的傳感器數(shù)據(jù)，人工神經(jīng)網(wǎng)絡(luò)是目前知道的*有效的學習方法。這種方法利用已知樣本建立非線性模型，克服了傳統(tǒng)參數(shù)估計方法的困難。人工神經(jīng)網(wǎng)絡(luò)方法已在很多實際的問題中獲得了驚人的成功，如手寫體識別[5，6]、語音識別[7，8]和圖像識別[9-11]。但是這種方法缺乏統(tǒng)一的數(shù)學理論，過度擬合訓練數(shù)據(jù)也是人工神經(jīng)網(wǎng)絡(luò)學習中的一個重要問題。盡管人工神經(jīng)網(wǎng)絡(luò)對訓練數(shù)據(jù)表現(xiàn)非常好，過度擬合也會導致網(wǎng)絡(luò)泛化到新的數(shù)據(jù)時性能很差。
　　(3)統(tǒng)計學習理論(statistical learning theory，SLT)[12-14]。與傳統(tǒng)的統(tǒng)計學相比，SLT是一種專門研究小樣本情況下機器學習規(guī)律的理論。該理論針對小樣本統(tǒng)計問題建立了一套新的理論體系，在這種體系下的統(tǒng)計推理規(guī)則不僅考慮了對漸近性能的要求，而且追求在現(xiàn)有有限信息的條件下得到**結(jié)果。Vapnik從20世紀60年代開始致力于此方面的研究[15]，到90年代中期，隨著其理論的不斷發(fā)展和成熟，也由于神經(jīng)網(wǎng)絡(luò)等學習方法在理論上缺乏實質(zhì)性進展，SLT開始受到越來越廣泛的重視。
　　VC維(vapnik-Chervonenkis dimension)概念[16，17]是SLT的一個核心概念。它描述函數(shù)集或?qū)W習機器的復雜性，或者說是函數(shù)集學習能力的一個重要指標。在此概念基礎(chǔ)上發(fā)展出了一系列關(guān)于統(tǒng)計學習的一致性[18]、收斂速度[19]、推廣性能等重要結(jié)論。
　　SLT建立在一套較堅實的理論基礎(chǔ)之上，為解決有限樣本學習問題提供了一個框架。它能將很多現(xiàn)有方法納入其中，有望幫助解決許多原來難以解決的問題，如神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇問題、局部極小點問題等。SLT在20世紀70年代末誕生，到90年代之前都處在初級研究和理論準備階段，近幾年才逐漸得到重視，并產(chǎn)生了SVM這種將理論付諸實踐的有效的機器學習方法。雖然SLT和SVM方法尚有許多問題需要進一步研究，但它們正在成為繼模式識別和神經(jīng)網(wǎng)絡(luò)研究之后，機器學習領(lǐng)域新的研究 熱點[20]。
　　由于SLT理論和SVM方法處在發(fā)展階段，很多方面尚不完善。例如，許多理論目前還只有理論上的意義，尚不能在實際算法中實現(xiàn)。而有關(guān)SVM方法的某些理論解釋也并非完美。Vapnik和Burges就曾提到結(jié)構(gòu)風險*小原理并不能嚴格證明SVM為什么有好的推廣能力[21，22]。此外，對于一個實際的學習機器VC維的分析尚沒有通用的方法。SVM方法中如何根據(jù)具體問題選擇適當?shù)暮撕瘮?shù)也沒有理論依據(jù)，因此在這方面有很多問題還有待解決。
　　1.2SVM的研究與進展
　　1.2.1SVM的產(chǎn)生
　　SVM是Vapnik等根據(jù)SLT中結(jié)構(gòu)風險*小化原則提出的。SVM能夠盡量提高學習機的推廣能力，即使由有限數(shù)據(jù)集得到的判別函數(shù)對獨立的測試集仍能夠得到較小的誤差。此外，SVM是一個凸二次規(guī)劃問題，能夠保證找到的極值解就是全局**解。這些特點使SVM成為一種優(yōu)秀的基于數(shù)據(jù)的機器學習方法。SVM是機器學習理論中**的內(nèi)容，也是*實用的部分，其主要內(nèi)容在1992～1995年基本完成，目前仍處于不斷發(fā)展階段。可以說，SLT之所以從20世紀90以來受到越來越多的重視，很大程度上是因為它發(fā)展出來了SVM這一通用的基于數(shù)據(jù)的機器學習方法。
　　SVM在解決小樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應用到函數(shù)擬合等其他機器學習問題中。與傳統(tǒng)機器學習方法不同，SVM首先通過非線性變換將原始的樣本空間映射到高維的特征空間，然后在這個新空間中求取**線性分類面。而這種非線性變換是通過定義適當?shù)膬?nèi)積函數(shù)實現(xiàn)的。SVM成功地解決了高維問題和局部極小值問題。在SVM中只要定義不同的內(nèi)積函數(shù)，就可以實現(xiàn)多項式逼近、貝葉斯分類器、徑向基函數(shù)(radial basis function，RBF)方法、多層感知器網(wǎng)絡(luò)等許多現(xiàn)有學習算法。在解決高維問題中，神經(jīng)網(wǎng)絡(luò)等方法容易陷入一個又一個的局部極小值。SVM使用了大間隔因子來控制學習機器的訓練過程，使其只選擇具有**分類間隔的分類超平面。**超平面對線性不可分的情況引入松弛項來控制經(jīng)驗風險從而使其在滿足分類要求的情況下具有好的推廣能力，尋找**超平面的過程*終轉(zhuǎn)化為凸二次型優(yōu)化問題而得到全局**解。
　　SVM方法具有較好的理論基礎(chǔ)，在一些領(lǐng)域的應用中表現(xiàn)出與眾不同的優(yōu)秀的泛化性能，因此，SVM在解決分類、回歸和密度函數(shù)估計等機器學習問題方面獲得了非常好的效果，并成功應用在模式識別[22-24]、回歸估計[25，26]、概率密度函數(shù)估計[27]等方面。例如，在模式識別方面，SVM在手寫數(shù)字識別、語音識別、文本分類[28-33]、信號處理[34-36]、圖像分類與識別[37-42]等多個領(lǐng)域都有不俗的表現(xiàn)。SVM算法在精度上已經(jīng)超過傳統(tǒng)的學習算法或與之不相上下。
　　1.2.2支持向量分類機(SVC)算法研究
　　盡管SVM的性能在許多實際問題的應用中得到驗證，但是傳統(tǒng)的SVM算法在計算上存在一些問題，包括訓練算法速度慢、算法復雜而難以實現(xiàn)、檢測階段運算量大、SVM抗擊噪聲及孤立點能力差等。所以在SVM的研究中，如何提高訓練速度、減少訓練時間、建立實用的學習算法仍是一些亟待解決的問題。在SVM中，無論線性、非線性、高維問題都對應求解一個二次凸規(guī)劃，從而研究的主要方面之一就是該二次規(guī)劃(quadric programming，QP)的求解，這稱為SVM算法研究或SVM的訓練(學習)研究。對于小數(shù)據(jù)量的問題，通用的優(yōu)化問題的求解算法可以直接使用，但當數(shù)據(jù)量比較大時，這些算法由于內(nèi)存限制而失效，需要討論針對此問題的專門算法。
　　目前國內(nèi)外已有很多學者提出了多種算法來優(yōu)化此大規(guī)模凸二次規(guī)劃問題。典型的算法有選塊算法(chunking algorithm)、分解算法(decomposition algorithm)、序列*小優(yōu)化算法(sequential minimal optimization，SMO)、基于標準SVM的某些擾動變形算法、采用光滑化技巧的學習算法、模糊的SVM學習算法等。
　　(1)選塊算法。*早由Boser等提出的塊算法[43]，目的就是通過某種迭代方式求解一個子QP問題逐步排除非支持向量，將QP矩陣的規(guī)模從訓練樣本數(shù)的平方減少到支持向量的個數(shù)的平方，大大降低對內(nèi)存的需求，在支持向量很少或稀疏矩陣時能獲得很好的結(jié)果。對于訓練樣本數(shù)很大或支持向量個數(shù)本身就很多的問題，選塊算法就變得十分緩慢了。
　　(2)分解算法。分解算法[10，44]*早是由Osuna等提出的。在每次迭代中，將求解SVM的QP問題分解為一系列較小的QP子問題，但其工作集大小保持不變，對內(nèi)存的需求從與支持向量的個數(shù)呈平方關(guān)系變?yōu)榫�性關(guān)系，因而能克服塊算法存在的問題。分解算法的關(guān)鍵是如何確定工作集的替換策略，該策略的好壞直接影響算法的收斂速度。后來，Joachims[45，46]對替換策略進行了重要改進，實現(xiàn)了SVMlight軟件[46]，同時采用收縮(shrinking)思想和核緩存(kernel cache)技巧來降低計算復雜度。Lin[47]給出了SVMlight收斂性的證明。Hsu等[48]說明工作集的選擇不是一個簡單的工作，任何好的策略都可能會遇到例外，并通過實驗觀測，簡化了Joachims采用的方法[45]，在復雜情況下提高收斂速度。
　　上述兩種算法都包含對分解后的子系統(tǒng)求解QP的問題，雖然是較小規(guī)模的QP問題，但一般仍必須用數(shù)值法求解。這往往會在計算精度和計算復雜性方面帶來一些問題。
　　(3)序列*小優(yōu)化算法。Platt*早提出了SMO算法[49，50]，它也是一種分解算法，其主要特點是把工作集的規(guī)模減到*小，僅含兩個變量，對應的QP子問題可以得到解析解，而采用兩重循環(huán)選擇工作集。盡管在SMO方法中，QP子問題增多了，但總的計算速度大大提高，而且這種算法完全不需要處理大矩陣，因而對存儲空間沒有額外要求，很大的SVM訓練問題也能用個人計算機進行運算。該方法思路簡單，易于實現(xiàn)，效率較高。特別是Platt[50]借鑒SVMlight修改了SMO方法：引入shrinking思想和kernel cache技巧提高算法效率。Keerthi等通過對SVM算法的分析在文獻[51]中提出了重大改進，即在判別**條件時用兩個閾值代替一個閾值，從而使算法更合理、更快。Lin[47，52]、Keerthi等[53]進行了收斂性證明，進而SMO方法發(fā)展比較完善，其線性收斂速度(在一定條件下)得到證明。特別是Keerthi等[53]給出廣義SMO方法，提出“違反對(violating pair)”的概念，而基于“**違反對(maximal violating pair)”選擇工作集實際相當于某種意義的*速下降方向方法，簡化了問題的求解思路。*近，Takahashi等[54]指出關(guān)于SMO停止條件的證明不嚴格，并給出了嚴格的證明。
　　子問題的規(guī)模和迭代的次數(shù)是一對矛盾，SMO將工作樣本集的規(guī)模減少到2，一個直接的后果就是迭代次數(shù)的增加。所以SMO實際上是將求解子問題的耗費轉(zhuǎn)嫁到迭代上，然后在迭代上尋求快速算法。但是，SMO迭代策略的思想是可以用在其他迭代算法中的，可見，SMO還有改進的余地。
　　(4)基于標準SVM的某些擾動變形算法。優(yōu)化專家Mangasarian等提出了迭代型算法：連續(xù)超松弛(successive overrelaxation，SOR)[55]、廣義支持向量機(generalized support vector machine，GSVM)[56，57]、光滑支持向量機(smooth support vector machine，SSVM)[58，59]、積極支持向量機(acti