本書涵蓋數值分析、統計計算的核心內容,既包含一些經典的數值方法,又系統地介紹了統計計算中的新方法。本書共8章,內容包括計算統計引論、矩陣計算、函數逼近與最小二乘法、方程與方程組的數值解法、數值積分與數值微分、馬爾可夫鏈蒙特卡洛模擬、EM優化算法、組合優化與啟發式算法等。
本書結合理論算法、計算機程序與計算機專業領域應用案例,較為全面地介紹數值計算方法和統計計算方法,讓學生真正了解計算統計中重要算法的基本思想,掌握相關程序的編寫和培養學生的編程思維,使其具備解決復雜工程問題的能力。本書除附了Python程序外,還可提供MATLAB部分程序,適合計算機類新工科專業本科生及研究生使用,而且對數學、統計、科學計算等專業學生也有參考價值。
新書具有鮮明的理論與應用相結合特色,融合經典計算方法和較新的統計計算方法,創設了計算統計在計算機中綜合應用案例,具有很好的專業針對性,系統介紹核心理論、算法與應用,適合于計算機、數學、統計專業本科生及研究生。
習近平總書記指出,我們對高等教育的需要比以往任何時候都更加迫切,對科學知識和卓越人才的渴求比以往任何時候都更加強烈。鐘登華院士認為,新工科是基于國家戰略發展新需求、國際競爭新形勢、立德樹人新要求而提出的我國工程教育改革方向。面對第四次工業革命,新工科應該積極應對變化,引領創新,探索不斷變化背景下的工程教育新理念、新結構、新模式、新質量和新體系。新工科教育的最終目的是培養能適應和引領未來發展的創新型工程人才。
多學科交叉融合將成為未來工程發展的顯著趨勢,復雜性是現代工程問題的本質特征,綠色化、信息化和智能化將對未來工程產生十分重要的影響,倫理問題將成為未來工程發展必須高度重視的內容。在大數據時代催生的巨量人才缺口背景下,數據科學與大數據技術、人工智能、智能科學與技術專業應運而生,它們屬于典型的數學、統計、計算機科學等多學科交叉融合的新興工科專業。
圖靈獎得主吉姆·格雷(Jim Gray)將科學研究分為實驗、理論、計算和數據密集型科學發現四類范式。作為新工科專業的數據科學與大數據技術集多范式于一身。信息技術新工科產學研聯盟發布的《數據科學與大數據技術專業建設方案(建議稿)》的培養目標中要求學生掌握面向數據應用的統計學、數學、計算機科學以及應用領域學科的基礎理論和方法,并能利用統計建模和機器學習的基本理論、方法對數據進行深度分析和產品化開發。
在大數據時代,計算統計(Computational Statistics)正是由以計算密集為特征的統計方法及其支持理論所構成的一門學科,它融合了多學科交叉融合的領域,通常包含科學計算中的數值計算和統計計算的理論與算法等,將數學、信息科學、計算科學等完美融合,已經成為現代數據科學的重要支柱。
在數據科學與大數據技術、人工智能、智能科學與技術等新工科專業開設計算統計課程,對于支撐復合型專業人才培養目標十分重要。但是,面臨的最大問題是無法找到適合培養目標的計算統計課程教材。國外的《計算統計》和《統計計算:使用R》教材主要面向統計學專業的學生,大多使用MATLAB程序或R程序,翻譯教材也比較難懂。
國內的《數值分析》和《計算方法》等教材,對于數學思維的培養非常重要。從國內研究現狀和以往的教學經驗看,學生普遍認為這些教材理論性太強,對數學基礎要求較高,學起來比較吃力。較多例題和習題偏推導,還有些數字特別復雜的計算題,不利于學生鞏固知識!稊抵捣治觥方滩膫戎卮鷶禂抵邓惴ǎ鄙俳y計計算內容,這對后續學習機器學習及其數據統計分析課程的作用有限。《數值分析》類教材中的案例以及單一的教學模式也無法適應新工科人才培養的需求。
本書借鑒了國內外經典教材中的相關內容,吸收了較新的高級統計和優化方法,采用通俗易懂的語言由淺入深地介紹統計計算和計算統計中的理論方法,有利于學生統計思維、計算思維與科學計算能力的養成。本書具有鮮明的理論與應用相結合的特色,融合經典計算方法和較新的統計計算方法,創設了計算統計在計算機中綜合應用案例,具有很好的專業針對性。在矩陣計算中,介紹了用于網頁排序的PageRank計算方法。在馬爾可夫鏈蒙特卡洛方法中,介紹了自然語言處理領域中的文本主題模型等。
本書由汪文義統稿、定稿,宋麗紅編寫了第1~4章,汪文義編寫了第5~8章,李佳負責校對。本書入選江西師范大學2020年度本科規劃教材立項,得到國家自然科學基金(62267004,62067005)和江西省普通本科高校教育教學改革研究課題理工融合、科魂匠心視域下計算統計課程混合式教學模式改革與實踐(JXJG2326)、混合式課程精準教學模式構建與實踐(JXJG22244)的資助。
本書系統介紹核心理論、算法與應用,適用于計算機、數學、統計等專業本科生及研究生。
作者2025年1月
第1章計算統計引論1
1.1科學研究范式與科學計算1
1.1.1科學研究范式1
1.1.2科學計算的興起和發展3
1.1.3計算統計的主要研究對象4
1.1.4科學計算的誤差7
1.2統計基礎14
1.2.1隨機變量和概率分布14
1.2.2似然推斷18
1.2.3貝葉斯推斷18
1.2.4統計極限理論19
1.3計算統計軟件20
1.3.1Python軟件20
1.3.2R軟件26
1.3.3MATLAB軟件26
1.4擴展閱讀27
1.5習題27第2章矩陣計算29
2.1內積與范數29
2.1.1向量的內積與范數29
2.1.2矩陣的內積與范數32
2.2逆矩陣37
2.2.1逆矩陣的定義與性質37
2.2.2矩陣求逆引理37
2.2.3可逆矩陣的求逆方法38
2.3矩陣微商41
2.3.1向量的微商41
2.3.2矩陣的微商及其性質43
2.4矩陣特征值計算45
2.4.1特征值及其性質45
2.4.2冪法47
2.5矩陣特征值計算的應用50
2.5.1網頁排序問題50
2.5.2網頁排序算法51
2.6擴展閱讀53
2.7習題53第3章函數逼近與最小二乘法56
3.1插值法56
3.1.1插值問題的提出56
3.1.2多項式插值56
3.1.3拉格朗日插值57
3.1.4牛頓插值62
3.1.5埃爾米特插值66
3.2插值法在圖像處理中的應用69
3.2.1雙線性插值69
3.2.2插值法應用70
3.3函數逼近71
3.3.1函數逼近與函數空間71
3.3.2函數內積與范數72
3.3.3正交函數與正交多項式74
3.3.4最佳逼近與最小二乘法82
3.4函數逼近的應用87
3.4.1回歸分析和回歸模型87
3.4.2回歸參數的估計89
3.4.3參數估計量的性質92
3.4.4多元線性回歸模型的統計檢驗94
3.4.5多元線性回歸模型應用96
3.5擴展閱讀97
3.6習題98第4章方程與方程組的數值解法100
4.1非線性方程的數值解法100
4.1.1方程求根問題100
4.1.2二分法101
4.1.3不動點迭代法及其收斂性103
4.1.4迭代收斂的加速方法109
4.1.5自適應運動估計算法(Adam)111
4.1.6牛頓法112
4.1.7弦截法與拋物線法116
4.2非線性方程組的數值解法118
4.2.1非線性方程組118
4.2.2多元不動點迭代法119
4.2.3牛頓迭代法120
4.2.4牛頓迭代法變形121
4.3方程和方程組的數值解法的應用124
4.3.1極大似然估計問題124
4.3.2極大似然估計的迭代求解125
4.4擴展閱讀127
4.5習題127第5章數值積分與數值微分129
5.1數值積分概論129
5.1.1數值積分的基本思想129
5.1.2代數精度的概念130
5.1.3插值型求積公式132
5.1.4求積公式的余項132
5.1.5插值型求積公式的收斂性與穩定性134
5.2牛頓柯特斯公式135
5.2.1柯特斯系數與辛普森公式135
5.2.2偶數階求積公式的代數精度136
5.2.3牛頓柯特斯公式的余項137
5.3復合求積公式138
5.3.1復合梯形公式138
5.3.2復合辛普森公式139
5.4龍貝格求積公式140
5.4.1梯形法的遞推法140
5.4.2外推技巧140
5.4.3龍貝格算法142
5.5高斯求積公式143
5.5.1一般理論143
5.5.2高斯勒讓德求積公式147
5.5.3高斯切比雪夫求積公式148
5.5.4高斯拉蓋爾求積公式149
5.5.5高斯埃爾米特求積公式150
5.6數值微分151
5.6.1中點方法與誤差分析151
5.6.2插值型的求導公式152
5.6.3數值微分的外推方法152
5.7數值積分在貝葉斯推斷中的應用153
5.7.1(共軛)先驗分布與后驗分布153
5.7.2后驗分布的數值計算155
5.8擴展閱讀156
5.9習題156第6章馬爾可夫鏈蒙特卡洛模擬159
6.1馬爾可夫鏈159
6.1.1馬爾可夫過程及其概率分布159
6.1.2多步轉移概率矩陣160
6.1.3遍歷理論164
6.2馬爾可夫鏈蒙特卡洛模擬167
6.2.1馬爾可夫鏈蒙特卡洛模擬算法167
6.2.2收斂性評價與分析172
6.2.3參數設置、結果與示例174
6.3馬爾可夫鏈蒙特卡洛模擬在文本分類中的應用179
6.3.1文本主題模型179
6.3.2文本主題模型參數估計算法180
6.4擴展閱讀185
6.5習題185第7章EM優化算法187
7.1EM算法187
7.1.1缺失數據與邊際化187
7.1.2EM算法188
7.1.3EM算法的收斂性189
7.1.4方差估計192
7.2EM算法的變形193
7.2.1MCEM算法193
7.2.2ECM算法194
7.3EM算法在高斯混合分布參數學習中的應用195
7.3.1高斯混合分布195
7.3.2高斯混合分布參數估計算法195
7.4擴展閱讀199
7.5習題199第8章組合優化與啟發式算法200
8.1組合優化200
8.1.1P問題200
8.1.2NP問題與NPC問題200
8.2啟發式算法202
8.2.1局部搜索算法202
8.2.2模擬退火算法203
8.2.3遺傳算法204
8.3啟發式算法在回歸模型變量(模型)選擇中的應用207
8.3.1多元線性回歸模型的變量(模型)選擇問題207
8.3.2部分子集回歸208
8.4擴展閱讀210
8.5習題210附錄212
附錄A部分習題答案212
附錄BPython程序示例215參考文獻240