本書融合作者構建、運維和擴展大型機器學習系統的經驗，通過豐富的示例，詳細講解如何運行高效、可靠的機器學習系統。本書首先概述機器學習相關概念和數據管理原則，涵蓋數據管理、機器學習模型、評估質量、特征、公平性、隱私等主題；然后介紹機器學習模型及其生命周期；最后講述如何將機器學習引入組織，以及引入后組織會發生什么等復雜問題。
無論你是小型初創公司還是跨國公司的一員，這本實用的書向數據科學家、軟件和網站可靠性工程師、產品經理和企業主展示了如何在你的組織中可靠、有效且負責地運行并建立 ML。你將深入了解從如何在生產環境中監控模型到如何在產品組織中運行一個好的模型開發團隊的所有事情。
本書贊譽
不管你是否做過數據科學工作、具備專業的機器學習（ML）和統計學基礎知識、逐行閱讀了Tensorflow的源代碼，也不管你是否從頭實現過自己的分布式機器學習訓練，在你部署一個基于機器學習的真實系統之前，你都將從閱讀本書中受益。這正是即將部署的成千上萬個機器學習項目所需要的，因為這些部署項目的實用性是一把雙刃劍。部署的項目越有用，有關安全、保障、依賴于你的付費客戶、公平性或基于你的系統所做出的決策的風險就越高。本書詳盡地介紹了當你有這種級別的責任時需要運行的操作，你可以放心，這是幾十年的經驗積累。
—Andrew Moore，Google Cloud AI副總裁兼總經理
如果我們這些從事機器學習的人能夠應用軟件工程的最佳實踐，那么MLOps就不會如此痛苦了。這是一本軟件工程最佳實踐指南，由世界頂級專家精心編寫且內容全面。
—Chip Huyen，Designing Machine Learning Systems的作者
這本書是構建真實世界機器學習系統的人的書。它為思考開發機器學習產品的復雜而微妙的問題提供了藍圖。
—Brian Spiering，數據科學講師
譯者序
目前，大語言模型異常火爆，而在大模型時代，MLOps的形態也發生了一定的變化，訓練模型的范式完全變了，不再需要大量訓練過程，每一次調整prompt都是在訓練一個新模型，由于訓練變得很容易，因此訓練變得更頻繁了。所帶來的結果就是，模型的評估也變得更頻繁了，MLOps的作用體現得更明顯了。一旦確定了某個可用模型，訓練步驟就結束了，接下來，模型的上線發布策略、在線性能監控、檢查漂移、檢查SLO就和傳統的MLOps無異了。可以說除了訓練以外，所有傳統機器學習的步驟在大模型時代都需要進行一遍，這更加體現了MLOps的重要性。本書詳細介紹了MLOps的各個階段，如果你想趕上這一波AI的浪潮，那么本書可以說是的。
拋開抓住大語言模型的機遇不談，本書對于想學習如何落地一個可靠的企業級AI應用的人來說，也是一本不可多得的好書。要落地一個AI應用，開發模型真的只是其中的一小步，其余工程方面的大量工作，就請大家跟著本書作者一點點學習吧。
由于譯者水平有限，因此難免會有疏漏之處，如果有任何問題，歡迎大家指正。
林然
2024年于深圳
Cathy Chen曾擔任谷歌的技術項目經理、產品經理和工程經理。
Niall Richard Murphy是ML和SRE領域一家初創公司的首席執行官，曾在Amazon、Google、Microsoft工作過。
Kranti Parisa是Dialpad的副總裁兼產品工程主管。
D. Sculley是Kaggle的首席執行官和Google第三方機器學習生態系統的總經理。
Todd Underwood是Google機器學習SRE的高級總監和創始人。
目錄
序1
前言5
第1章 引言15
1.1 機器學習的生命周期15
1.1.1 數據收集與分析16
1.1.2 機器學習訓練管道17
1.1.3 構建與驗證應用程序19
1.1.4 質量和性能評估19
1.1.5 定義與度量服務等級目標20
1.1.6 發布21
1.1.7 監控和反饋循環23
1.2 循環中的教訓25
第2章 數據管理原則26
2.1 數據即責任27
2.2 機器學習管道的數據敏感性31
2.3 數據的階段32
2.3.1 創建33
2.3.2 提取35
2.3.3 處理36
2.3.4 存儲39
2.3.5 管理40
2.3.6 分析與可視化41
2.4 數據可靠性41
2.4.1 持久性42
2.4.2 一致性42
2.4.3 版本控制44
2.4.4 性能44
2.4.5 可用性44
2.5 數據完整性44
2.5.1 安全性45
2.5.2 隱私45
2.5.3 政策與合規47
2.6 總結48
第3章 模型的基本介紹50
3.1 什么是模型50
3.2 基本的模型創建工作流51
3.3 模型架構、模型定義與訓練過的模型53
3.4 漏洞在哪里54
3.4.1 訓練數據54
3.4.2 標簽56
3.4.3 訓練方法57
3.5 基礎設施及管道60
3.5.1 平臺60
3.5.2 特征生成60
3.5.3 升級和修復61
3.6 對任何模型提出的一系列實用問題62
3.7 一個機器學習系統示例63
3.7.1 紗線產品點擊預測模型64
3.7.2 特征64
3.7.3 特征標簽65
3.7.4 模型更新66
3.7.5 模型服務66
3.7.6 常見故障67
3.8 總結68
第4章 特征與訓練數據69
4.1 特征69
4.1.1 特征選擇和工程71
4.1.2 特征的生命周期72
4.1.3 特征系統74
4.2 標簽78
4.3 人工生成的標簽79
4.3.1 標注勞動力80
4.3.2 衡量人工標注質量80
4.3.3 標注平臺81
4.3.4 主動學習和AI輔助標注81
4.3.5 文檔和標注員培訓82
4.4 元數據82
4.4.1 元數據系統概述82
4.4.2 數據集元數據83
4.4.3 特征元數據84
4.4.4 標簽元數據85
4.4.5 管道元數據85
4.5 數據隱私和公平性86
4.5.1 隱私86
4.5.2 公平性87
4.6 總結87
第5章 評估模型的有效性和質量88
5.1 評估模型的有效性88
5.2 評估模型質量91
5.2.1 離線評估91
5.2.2 評估分布92
5.2.3 一些有用的指標95
5.3 實施驗證和評估101
5.4 總結101
第6章 機器學習系統中的公平性、隱私和道德103
6.1 公平性104
6.1.1 公平性的定義107
6.1.2 達到公平111
6.1.3 公平是一個過程而不是終點113
6.1.4 簡短的法律說明114
6.2 隱私114
6.2.1 保護隱私的方法116
6.2.2 簡短的法律說明118
6.3 負責任的AI119
6.3.1 模型解釋119
6.3.2 有效性121
6.3.3 社會和文化適當性123
6.4 機器學習管道中負責任的AI123
6.4.1 用例頭腦風暴123
6.4.2 數據收集和清洗124
6.4.3 模型創建和訓練124
6.4.4 模型驗證和質量評估124
6.4.5 模型部署125
6.4.6 市場產品125
6.5 總結125
第7章 訓練系統127
7.1 需求128
7.2 基本訓練系統的實施129
7.2.1 特征130
7.2.2 特征存儲131
7.2.3 模型管理系統131
7.2.4 編排132
7.2.5 質量評估133
7.2.6 監控133
7.3 一般可靠性原則134
7.3.1 大多數失敗不會是機器學習失敗134
7.3.2 模型將被重新訓練134
7.3.3 模型將同時有多個版本135
7.3.4 好的模型會變壞135
7.3.5 數據將不可用136
7.3.6 模型應該是可改進的137
7.3.7 特征會添加和更改137
7.3.8 模型可能訓練得過快138
7.3.9 資源利用很重要139
7.3.10 利用率!=效率140
7.3.11 中斷包括恢復時間142
7.4 常見的訓練可靠性問題142
7.4.1 數據敏感性142
7.4.2 YarnIt的數據問題示例142
7.4.3 可重現性143
7.4.4 YarnIt的可重現性問題示例144
7.4.5 計算資源量146
7.4.6 YarnIt的資源量問題示例146
7.5 結構可靠性147
7.5.1 組織挑戰147
7.5.2 道德和公平性考慮148
7.6 總結148
第8章 服務149
8.1 模型服務的關鍵問題150
8.1.1 我們模型的負載是什么150
8.1.2 我們模型的預測延遲需求是多少150
8.1.3 模型在哪里運行151
8.1.4 我們的模型需要怎樣的硬件153
8.1.5 服務模型要如何存儲、加載、版本控制和更新154
8.1.6 用于服務的特征管道是什么樣子的154
8.2 模型服務架構155
8.2.1 離線服務（批量推理）155
8.2.2 在線服務（在線推理）158
8.2.3 模型即服務160
8.2.4 邊緣服務162
8.2.5 選擇架構164
8.3 模型API設計165
8.4 服務于準確性還是彈性166
8.5 擴展167
8.5.1 彈性伸縮168
8.5.2 緩存168
8.6 災難恢復168
8.7 道德和公平性考慮169
8.8 總結170
第9章 模型的監控和可觀測性171
9.1 什么是生產環境監控以及為什么要這么做171
9.1.1 它是什么樣的172
9.1.2 機器學習為監控帶來的問題173
9.1.3 為何在生產中需要持續的機器學習可觀測性174
9.2 機器學習生產監控中的問題175
9.2.1 開發的難點與服務的難點175
9.2.2 需要在觀念上有所轉變177
9.3 機器學習模型監控的最佳實踐177
9.3.1 通用的預服務模型建議178
9.3.2 訓練與重新訓練179
9.3.3 模型驗證（試運行前）182
9.3.4 服務185
9.3.5 其他需要考慮的事情193
9.3.6 監控策略的高層級建議198
9.4 總結200
第10章 持續機器學習201
10.1 剖析持續機器學習系統202
10.1.1 訓練樣本202
10.1.2 訓練標簽202
10.1.3 過濾掉壞數據203
10.1.4 特征存儲和數據管理203
10.1.5模型更新204
10.1.6將更新后的模型推送到服務中204
10.2 對持續機器學習系統的觀察205
10.2.1 外部世界的事件可能影響我們的系統205
10.2.2 模型可以影響其自身的訓練數據207
10.2.3時間效應會出現在多種時間維度上208
10.2.4 應急響應必須實時進行209
10.2.5 新發布需要分階段的提升和穩定的基線213
10.2.6 模型必須被管理，而不是交付即完成215
10.3 持續性組織216
10.4 重新思考非持續機器學習系統218
10.5總結218
第11章 事故響應220
11.1 事故管理基礎221
11.1.1 事故的生命周期221
11.1.2 事故響應角色222
11.2 剖析以機器學習為中心的故障224
11.3術語提醒：模型224
11.4 故事時間225
11.4.1 故事1：搜索但沒有找到225
11.4.2 故事2：突然間無用的伙伴229
11.4.3 故事3：推薦你尋找新的供應商235
11.5 機器學習事故管理原則242
11.5.1 指導原則243
11.5.2模型開發人員或數據科學家244
11.5.3 軟件工程師245
11.5.4 機器學習站點可靠性工程師或機器學習生產工程師246
11.5.5 產品經理或業務負責人249
11.6 特殊話題250
11.6.1 生產工程師以及機器學習工程與建模250
11.6.2 符合道德的待命工程師宣言251
11.7 總結253
第12章 產品和機器學習如何交互255
12.1 不同類型的產品255
12.2 敏捷機器學習256
12.3 機器學習產品開發階段256
12.3.1 發現和定義256
12.3.2 業務目標設定258
12.3.3 MVP構建和驗證260
12.3.4 模型和產品開發261
12.3.5 部署261
12.3.6 支持和維護262
12.4 構建還是購買262
12.4.1 模型263
12.4.2 數據處理基礎設施264
12.4.3 端到端平臺264
12.4.4 用以做出決策的評分方法265
12.4.5 做出決策266
12.5 由機器學習提供支持的樣例YarnIt商店功能266
12.5.1 按總銷售額展示受歡迎的紗線266
12.5.2 基于瀏覽歷史的推薦267
12.5.3 交叉銷售和向上銷售267
12.5.4 基于內容的過濾267
12.5.5 協同過濾267
12.6 總結269
第13章 將機器學習集成到你的組織中270
13.1 本章假設271
13.1.1 基于領導者的視角271
13.1.2 細節很重要271
13.1.3 機器學習需要了解業務271
13.1.4 你做出的最重要的假設273
13.1.5 機器學習的價值273
13.2 重大組織風險274
13.2.1 機器學習不是魔法274
13.2.2 思維模型慣性275
13.2.3 在不同文化中正確表述風險275
13.2.4 孤立的團隊并不能解決所有問題276
13.3 實施模型276
13.3.1 記住目標277
13.3.2 綠地還是棕地277
13.3.3 機器學習的角色和職責278
13.3.4 如何雇用機器學習人員279
13.4 組織設計和激勵279
13.4.1 戰略280
13.4.2 結構281
13.4.3 流程282
13.4.4 獎勵282
13.4.5 人員283
13.4.6 關于排序的說明283
13.5 總結284
第14章 實用的機器學習組織實施示例285
14.1 場景1：一個新的集中式機器學習團隊285
14.1.1 背景和組織描述285
14.1.2 流程286
14.1.3 獎勵287
14.1.4 人員287
14.1.5 默認實施288
14.2 場景2：分散式機器學習基礎設施和專業知識289
14.2.1 背景和組織描述289
14.2.2 流程289
14.2.3 獎勵290
14.2.4 人員290
14.2.5 默認實施291
14.3 場景3：混合使用集中式基礎設施/分散式建模291
14.3.1 背景和組織描述292
14.3.2 流程292
14.3.3 獎勵292
14.3.4 人員293
14.3.5 默認實施293
14.4 總結293
第15章 案例研究：實踐中的MLOps296
15.1 在機器學習管道中適應隱私和數據保留政策296
15.1.1 背景296
15.1.2問題和解決方案297
15.1.3 要點299
15.2 影響流量的持續機器學習模型299
15.2.1 背景299
15.2.2 問題和解決方案300
15.2.3 要點301
新書資訊![構建可靠的機器學習系統 [美]凱茜·陳 [愛爾蘭]尼爾·理查德·墨菲 等 [美]克蘭蒂·帕里薩](http://pic.book1993.com/Pic)