數字化發展在各個行業落地生根。本書首先介紹了工業、智慧農業、智慧服務業、智慧城市的數字化建設現狀和發展趨勢,讓讀者初步了解數字化發展。數據中臺是企業數字化建設的基礎。本書重點介紹了數據中臺的定義、整體框架和建設的方法論。該方法論主要涉及企業數字化發展戰略、組織架構變革、數據的存儲和建模、數據平臺的建設、數據服務框架、數據產品化和數據智能化建設等多個方面的內容。本書通過企業中兩個熱門場景的應用詳細介紹了數據中臺的落地實戰。第一個是營銷場景。企業通過營銷中臺的建設,構建了智能化營銷體系,有效地提升了數據驅動營銷的效能。第二個是風險管理場景。企業通過風險管理中臺的建設,支持事前—事中—事后的智能風險管理,大幅提升了企業風險管理的效率和能力。
彭勇,國家公派留法計算機博士,中關村管委會技術專家,中國保險學會特聘保險科技專家。彭勇從事大數據研究和應用相關工作約16年,負責大數據創新項目超過100個,在數據倉庫建設、數據中臺建設、保險產品定制和創新、精算定價、精準營銷、產品推薦、風險管理、智能理賠、人工智能、數字化轉型等方面經驗豐富。彭勇現就職于全球知名保險定制平臺——保準牛,擔任首席科學家。
第1章 數字化轉型是大勢所趨 / 1
1.1 科技加速理論 / 2
1.2 各個行業積極擁抱數字化變革 / 4
1.2.1 工業4.0的數字化發展趨勢 / 4
1.2.2 智慧農業的數字化發展趨勢 / 6
1.2.3 智慧服務業的數字化發展趨勢 / 7
1.2.4 智慧城市的數字化發展趨勢 / 11
1.2.5 小結 / 12
1.3 DT時代已來 / 13
1.3.1 DT時代和IT時代的差異 / 13
1.3.2 DT時代面臨諸多挑戰 / 16
1.4 數據中臺呼之欲出 / 17
第2章 認知數據中臺 / 18
2.1 什么是數據中臺 / 19
2.1.1 行業對數據中臺的不同理解 / 19
2.1.2 數據中臺的定義 / 20
2.1.3 對數據中臺的詮釋 / 20
2.2 建設數據中臺的價值 / 23
2.3 數據中臺的建設目標 / 25
2.3.1 總體目標 / 25
2.3.2 數據中臺的標準化 / 27
2.3.3 數據中臺業務化 / 28
2.3.4 數據中臺平臺化 / 29
2.3.5 數據中臺服務化 / 30
2.4 數據中臺與上下游平臺的關系 / 31
2.4.1 “前臺-中臺-后臺”關系 / 31
2.4.2 數據中臺和業務中臺的關系 / 32
2.5 數據中臺建設的9大誤區 / 34
2.5.1 數據中臺等同于數據工具的集合 / 34
2.5.2 數據中臺等同于數據平臺 / 35
2.5.3 企業小,不需要數據中臺 / 35
2.5.4 建設數據中臺是互聯網企業的事,傳統行業用不著 / 35
2.5.5 建設數據中臺是數據部門的工作,與其他部門
關系不大 / 36
2.5.6 數據中臺直連前臺更敏捷,沒必要建設業務中臺 / 36
2.5.7 在數據中臺成型后,不需要煙囪式的臨時技術
團隊 / 38
2.5.8 不著急建設數據中臺,等業務成熟之后再說 / 38
2.5.9 建設數據中臺可以一蹴而就 / 39
2.6 行業對數據中臺的4個認知階段 / 40
2.6.1 數據模型實現數據資產化 / 40
2.6.2 數據平臺實現數據高可用性 / 41
2.6.3 實現數據業務化和服務化 / 41
2.6.4 實現數據和業務智能化 / 42
2.7 數據中臺服務化發展階段 / 42
2.7.1 實現服務手工可配置 / 43
2.7.2 實現服務智能組合和自適應 / 43
2.7.3 實現服務的智慧生態 / 44
第3章 數據中臺建設方法論 / 45
3.1 數字化戰略 / 46
3.1.1 數字化戰略的價值 / 46
3.1.2 戰略和執行雙輪驅動 / 47
3.1.3 數據中臺戰略制定 / 51
3.2 數據中臺的整體框架 / 54
3.2.1 統一數據基礎設施平臺 / 56
3.2.2 數據接入和匯聚平臺 / 57
3.2.3 統一數據模型平臺 / 58
3.2.4 統一ID和標簽平臺 / 58
3.2.5 數據開發和運維平臺 / 59
3.2.6 數據智能平臺 / 59
3.2.7 數據管理平臺 / 60
3.2.8 數據服務平臺 / 62
3.3 數據中臺的8大設計準則 / 63
3.3.1 有數能用 / 64
3.3.2 讓數據可用 / 64
3.3.3 讓數據好用 / 65
3.3.4 讓數據易用 / 66
3.3.5 讓數據放心用 / 66
3.3.6 讓數據更智能 / 67
3.3.7 讓數據服務化 / 67
3.3.8 讓數據可控 / 68
3.4 數據中臺行動攻略 / 68
3.4.1 “九看”方法論 / 68
3.4.2 數據中臺MVP建設路徑 / 73
3.5 數據中臺技術選型 / 77
3.5.1 4種選型方案 / 77
3.5.2 開源解決方案 / 78
3.6 總結 / 88
第4章 統一數據模型:讓數據資產化 / 89
4.1 數據標準化體系的價值 / 90
4.1.1 數據標準化體系是數字化戰略的基礎 / 90
4.1.2 數據管理是事前遠見,數據治理是事后亡羊補牢 / 94
4.2 數據資產管理體系介紹 / 95
4.2.1 6個常用的數據資產管理體系 / 95
4.2.2 制定數據管理戰略 / 97
4.3 高效數據建模,讓數據好用起來 / 98
4.3.1 統一數據模型的意義 / 98
4.3.2 統一數據模型具體做什么 / 100
4.3.3 如何建設統一數據模型 / 101
4.4 對維度建模進一步探索 / 113
4.4.1 維度建模設計過程 / 114
4.4.2 維度建模示例 / 116
4.5 統一建模的注意事項 / 118
4.5.1 數據標準化只停留在數據部門 / 118
4.5.2 缺少元數據管理支持 / 119
4.5.3 監控體系缺失 / 120
4.5.4 事實表的設計注意事項 / 120
4.5.5 維度爆炸 / 121
4.5.6 對維度過度退化 / 121
4.5.7 緩慢變化維 / 122
4.5.8 大表的抽取 / 123
4.6 總結 / 124
第5章 數據計算平臺:讓數據“飛”起來 / 125
5.1 計算平臺的應用場景 / 126
5.2 應用場景一:批處理 / 128
5.2.1 批處理計算引擎介紹 / 128
5.2.2 批處理計算引擎應用舉例 / 131
5.2.3 批處理計算總結 / 132
5.3 應用場景二:實時計算 / 133
5.3.1 實時計算流程介紹 / 133
5.3.2 實時計算和離線計算如何高效共存 / 134
5.3.3 實時數據倉庫 / 136
5.3.4 流式計算實時統計GMV示例 / 138
5.4 應用場景三:實時查詢 / 140
5.5 應用場景四:海量日志和信息檢索 / 140
5.5.1 檢索方案介紹 / 140
5.5.2 日志檢索方案示例 / 142
5.6 應用場景五:多維分析 / 145
5.6.1 多維分析方案介紹 / 145
5.6.2 基于ClickHouse實現多維分析示例 / 146
5.7 應用場景六:圖計算 / 148
5.7.1 圖計算框架介紹 / 148
5.7.2 圖計算應用案例——團體反欺詐 / 149
5.8 應用場景七:人工智能計算框架 / 151
5.8.1 主流的人工智能計算框架介紹 / 151
5.8.2 量子計算 / 152
5.8.3 人工智能平臺應用案例——智能客服 / 153
第6章 算法即服務:最大化實現數據價值 / 155
6.1 算法的價值 / 156
6.2 建模標準化流程 / 158
6.2.1 業務理解貫穿始終 / 159
6.2.2 數據準備 / 160
6.2.3 數據預處理 / 165
6.2.4 特征工程 / 168
6.2.5 模型構建 / 173
6.2.6 模型評估 / 186
6.2.7 模型部署,讓模型服務化 / 192
6.2.8 模型監控和迭代 / 196
6.3 算法即服務應用實踐 / 196
6.3.1 保險關系網絡分析 / 197
6.3.2 交叉銷售 / 201
6.3.3 反欺詐示例 / 206
6.4 算法即服務須遵循的原則 / 212
6.4.1 算法即服務需要業務知識的輸入,業務理解貫穿
建模始終 / 213
6.4.2 算法不是萬能的,有適用的場景 / 213
6.4.3 要合理地平衡算法的計算性能和效果 / 213
6.4.4 要優先選擇混合模型 / 214
6.4.5 要盡量實現建模全流程自動化 / 214
第7章 數據產品:讓數據應用更便捷 / 215
7.1 自助取數和自助分析 / 216
7.1.1 自助取數工具 / 217
7.1.2 自助分析工具 / 219
7.2 數據爬蟲 / 221
7.3 客戶畫像 / 221
7.4 標簽圈選 / 222
7.5 客戶分群 / 224
7.6 數據可視化工具 / 226
7.6.1 Matplotlib / 227
7.6.2 Pandas+Seaborn舉例 / 231
7.7 規則引擎 / 232
第8章 營銷中臺:讓營銷更精準、更及時 / 235
8.1 數字化營銷是大勢所趨 / 236
8.2 營銷體系升級 / 239
8.2.1 營銷理論的多次升級 / 239
8.2.2 營銷的幾個重要的方法論 / 243
8.2.3 營銷體系的三個發展階段 / 246
8.3 營銷中臺建設 / 254
8.3.1 營銷中臺框架圖 / 254
8.3.2 營銷中臺功能介紹 / 255
8.4 營銷中臺應用案例 / 263
8.4.1 電話營銷續保精準營銷 / 263
8.4.2 廣告精準投放獲客+線索轉化 / 266
8.4.3 保險智能銷售助手 / 268
第9章 風險管理中臺:360°的風險管家 / 271
9.1 風險管理中臺 / 272
9.1.1 汽車保險的主要風險管理節點示例 / 272
9.1.2 風險管理中臺框架圖 / 273
9.1.3 風險管理中臺功能介紹 / 273
9.1.4 風險管理的標準化流程 / 289
9.2 風險管理中臺的應用案例 / 292
9.2.1 反“薅羊毛” / 292
9.2.2 語音質檢風險篩查 / 292
9.2.3 車險理賠反欺詐 / 293
9.2.4 團體保險風險管理體系 / 295
9.2.5 人身險風險管理建設 / 296