推薦序一
“數據就是生產力”已經成為業界的共識。作為企業的重要資產,數據是企業數字化轉型過程中的關鍵要素。無論是技術創新或業務模式優化,還是企業決策和新產品開發,所有的一切都將圍繞數據展開。
但這里需要的數據并不是雜亂無章的原始數據,也不是放在存儲設備里多年卻難以利用的數據。要讓數據發揮更大的價值,首先必須讓數據“活”起來,變得更加有序、可用,從而更具生命力;其次要讓數據“聰明”起來,即更加智能化,并且可以借助外腦和工具,構建強大的開放數據生態。
在傳統的概念里,數據孤島很常見,IT決策和數據管理相對獨立,數據備份一放好多年,主要是為了滿足監管與合規要求,但想要使用的時候卻困難重重。讓數據更加可用,了解數據從哪兒來、到哪兒去,無論是云上還是云下,每一步流動都全局可視,更加貼近業務本身,才能讓數據真正“活”起來,數據才有可能發揮更大的價值。
想讓數據“聰明”起來,則需借助更多的外腦以及數據智能分析和挖掘工具,基于前期梳理好的數據源去進行深入挖掘。無論使用的是何種工具,它們都可以不用在意數據格式、存儲介質、存儲位置等外在因素,基于開放的API,重用各類企業數據,最終形成自己的洞察。
而在云時代讓數據更“活”、更“聰明”的核心基礎就是本書的重要內容—云數據管理。
Veeam云數據管理平臺可以幫助企業消除數據孤島,重塑數據的價值,敏捷快速地抓住新機遇和防范可能的威脅,以數據為動力,始終如一地推動業務增長,獲得競爭優勢。本書凝聚了Veeam中國工程師團隊的心血,從1000多個實踐案例中提煉出關于云數據管理的具體方法和實踐,也試圖從新的角度,采用新的方法,結合實際的業務目標,務實、高效地幫助大家將數據治理的每一步、每一項核心技術真正落實到具體的應用場景中。
可以說,我們這代人是幸運的,見證了互聯網的興起,又將見證5G、人工智能、混合云、物聯網等技術風起云涌的大時代。作為新型生產要素,數據將催生更強勁的生產力,即將開啟一個新的時代。這次,數字文明的未來征途將會是星辰大海,我們愿和大家一道,有“備”而來,向云而生,為數字經濟貢獻一份小小的力量。
未來已來,有“備”無患。
張弘
Veeam Software中國區總經理
推薦序二
非常高興能為本書作序。本書的作者們不僅是我的好朋友,同時也是與我朝夕相處的同事。我一直深信“取之社會,用之社會,還之社會”是科技發展的動力,知識共享和科技分享是科技發展的有效方式。我也深信,來自一線的實戰經驗對于用戶來說是有效的借鑒,能夠幫助更多志趣相投的技術人員完成更高水平的自我實現。本書的很多內容都來自一線的實際應用和最佳實踐,讀者讀之會受益匪淺。
作者團隊是云數據保護和管理領域的精英,他們在這個領域有多年的經驗和知識積累。通過與他們的長期合作,我也獲得了許多很有價值的想法和啟示,涉及中國的數字化轉型、人工智能(AI)、大數據分析和IoT等。當我看到這本書的最初版本時,感到非常興奮。本書開場直接講解云計算的起源,讓讀者很快了解云計算的發展。從云計算時代早期開始,就以非常有邏輯性的思維考量了數據管理的重要性,將讀者帶入所期待的云計算未來。成功的數字化轉型是云計算未來的重點目標。如何在云計算時代邁向我們展望的數字化轉型,當前要考慮的策略是如何結合云計算和數據管理,即本書著重探討的策略—云數據管理。本書通過實際案例、詳細步驟和真實圖表,幫助讀者輕松地了解云數據管理的原理和技術實現方法。各個章節通過條理化的闡述、連貫性的描述展現了云數據管理覆蓋的內容及其相關性。另外,本書還整合了許多參考材料,以供讀者更深入地學習云數據管理。
無論你正在規劃數字化轉型項目,還是在實施云數據管理解決方案,本書都能給你提供全方位的參考,還能幫助你制定混合云或多元化的策略,成功實施云數據管理,實現所需要的數字化轉型目標。
感謝閱讀!
吳孔煜
Veeam Software亞洲區科技總監
推薦序三
放眼全球,由人工智能、云計算、大數據、物聯網等新興技術引領的數字化轉型,正在助推第四次工業革命。它也是我國“新基建”戰略堅實的技術基礎。很多國家都把數字經濟作為創新發展的重要動能,并上升為國家戰略;我國則憑借互聯網普及程度高、數據資源豐富、市場規模巨大等優勢,處于全球數字經濟高速發展的第一梯隊。
隨著“新基建”進程的加快,數據作為一種新型可共享的資源,將在行業間不斷交互循環,碰撞出新的應用價值。所有的企業和機構都將數據作為重要的核心資產,對其重視程度與日俱增。不過需要強調的是,這些海量、多元、多形態的數據需要更科學的數據管理策略和支撐體系,才能實現其最大的價值。如何更加高效地管理和使用這些數據,是各行各業的數據管理者面臨的巨大挑戰。
尤其是企業所面臨的混合云環境越來越復雜,對于云數據管理的要求也更高。根據IDC的預測,2018~2023年私有云建設市場規模的年復合增長率將達到18.9%,會超過公有云(11.4%)和傳統數據中心(7.5%)的增速,多態融合云成為主流。現代化企業需要根據日漸復雜的云生態,改革現有的數據管理和治理體系。
企業為挖掘數據的深度應用,在對海量、多元、多形態的數據進行管理和治理的過程中,將會面對數據多態化、數據多樣性和數據適配性的發展趨勢。
數據多態化。越來越多的企業在公有云和私有云之間轉換,以提高企業利用云服務的能力和多樣化,探索合理的云化,以及保證核心應用的安全與穩定。云的多態化必然會帶來數據分布的多態化,而數據分布的多態化又會對數據在不同云之間的流動和轉換提出更高的要求。
數據多樣性。在云計算時代,人工智能、物聯網、邊緣計算的出現,帶來了大量的非結構化數據,其增長速度遠遠大于結構化數據的增長速度。在不遠的將來,多種多樣的非結構化數據將成為主流,對多種多樣的非結構化數據進行管理和治理將成為數據管理的重點。
數據適配性。在云計算時代,大多數應用平臺需要實現海量數據與應用所需數據的分離。充分利用機器學習等人工智能技術對海量數據進行關聯分析、深度挖掘和可視化展現,以洞察可共享數據的經濟價值和管理價值,并解決好共享數據與企業其他數據的適配性后,才能將其嵌入企業應用中。
對于如何順應以上趨勢,本書給予了詳細分析,并且以企業云數據管理為主要對象,描述了其中的若干關鍵性技術。對于如何提高管理效率,如何實現可管可控,如何提高風險防范能力,如何發揮數據的價值等,本書也做了全面解答。
數字經濟時代,企業的數字化能力就等于企業的生存能力。企業正面臨著比以往任何時候都更快的業務變革和技術變革,從數據到信息、從知識到決策,靈活可靠的云數據管理需要釋放出更大的價值。裝備專業的數據管理能力,能夠從根本上為企業賦能,也將成為“新基建”的底層能力。
本書可以作為云數據管理的“深科普”讀物,為面臨轉型的企業提供新的思考。
王新川
河北省科學院應用數學研究所所長、河北省機電一體化中試基地主任
中國計算機學會理事、河北省科協委員、河北省計算機學會理事長
河北省自動化學會常務副理事長、河北省電子學會副理事長
河北省信息技術領域學會聯合體主席團主席
河北省軟件與信息服務業協會專家組長
推薦序四
我并不喜歡“數據管理”這個詞,因為概念太大,反而不知道要做的事情是什么,要解決的問題是什么。從5G、AI、大數據,到數據存儲、數據中臺、數據保護,都可以說成數據管理,跨度之大,讓人不明就里。
應Veeam之邀為本書作序,首先要搞清楚這里說的數據管理是什么。本書將數據管理分成五個階段:數據可用性、數據聚合、數據可視化、數據使用流程編排、數據交付自動化。不同的企業可能處于不同的發展階段。這五個階段聽起來復雜,但在我看來其實可以用數據保護來概括。
數據保護看上去簡單,就是用一個硬盤,將需要保護的對象,整個拖進去就搞定了。然而事情沒有那么簡單,一來需要保護的對象很多,涉及本地系統,也涉及多云環境,二來牽扯數據一致性。我們應該有這樣的體會,將數據拖進盤里簡單,但是查找數據并不簡單,即使有數據文件,系統加載也未必能夠成功,其中涉及復雜的數據恢復問題。
針對數據保護,需要考慮備份、恢復、容災、RPO/RIO,涉及兩地三中心、多云環境,以及自動編排和交付、AI應用,事情并不簡單。專業的事情需要由專業的技術公司來完成,我想這也是Veeam Software技術團隊編寫本書的初衷。如果你關注數據保護,那么不可錯過本書。
如今,數據保護也并非單純意義上的數據備份、恢復、容災、復制、歸檔等,畢竟數據保護不是目的,數據創新才是更多用戶關注的內容。二級數據存儲、數據再利用、對于數據應用提供全方位支持、開拓數據應用和管理的視野等,這些才是當今時代的追求!
推薦大家認真閱讀本書!
宋家雨
DOSTOR總編
前 言
本書所講的云數據管理中使用的工具和軟件均來自衛盟軟件(Veeam Software),其中包括VAS(Veeam Availability Suite)和VAO(Veeam Availability Orchestrator)。VAS軟件主要包括兩個部分:云數據保護軟件VBR(Veeam Backup & Replication)和可視化集成管理軟件Veeam ONE。VAO是基于VAS的災備流程自動化引擎。書中所介紹的示例、圖片以及功能實現均以VAS v10為藍本。
另外,本書并非Veeam軟件的使用手冊,有關Veeam軟件的詳細參數和選項說明,請參考官網的在線使用手冊。
本書亮點
本書的作者均為一線資深架構師和技術顧問,具有豐富的云數據管理實踐經驗。因此,本書具有很好的實踐指導意義。
本書從數據保護解決方案出發,結合云時代數據管理的特點,基于來自Veeam Software的工具和軟件詳細闡述了在云數據管理中各種新技術的實現方法和應用方式。針對云數據管理所面臨的挑戰和問題,通過一些工具的組合使用給出了相應的實踐步驟和參考建議。
結合工具的功能和實際應用環境,本書總共給出了20個實踐示例,通過一步一步的配置操作,幫助讀者切實體會Veeam工具和軟件在云數據管理中的應用方法。
本書內容
第1章主要介紹了云時代對數據管理帶來的影響和提出的要求,點明了下一代數據管理平臺需要具備的能力。
第2~5章詳細介紹了如何使用Veeam工具和軟件實現云數據管理中的第一個關鍵步驟,即數據可用性。
第6~9章詳細介紹了數據的使用方法。在云數據管理中,要求數據可以被使用,可以被自助使用,還可以被自動化地使用。另外,這部分還包括數據的管理方法和安全加固方法。
本書讀者對象
本書適用于需要了解在云和虛擬化架構下如何保護和管理數據的讀者,如CIO、CTO、企業架構師、應用開發架構師、基礎架構管理員和IT工程師。
本書編寫團隊
本書的編寫分工如下:第2章、第3章由魏磊編寫,第4章、第8章由張聰編寫,第6章、第7章由鄔小亮和魏磊共同編寫,第1章、第9章由劉春義和張聰共同編寫,第5章由張遠編寫。全書由魏磊統稿。
由于時間倉促,書中難免存在錯誤和疏漏,希望各位讀者多多包涵,也歡迎指正。
目 錄
推薦序一
推薦序二
推薦序三
推薦序四
前言
示例列表
第1章 云計算和云數據管理 1
1.1 云計算概述 2
1.1.1 云計算的形態 2
1.1.2 云計算的關鍵技術 4
1.2 云計算對數據產生的影響 5
1.3 數據管理的發展過程 6
1.4 Veeam和云數據管理 8
1.5 下一代數據管理平臺的核心能力 10
1.6 本章小結 11
第2章 云數據保護基礎 13
2.1 系統鏡像級數據備份 14
2.1.1 VMware vSphere 15
2.1.2 Microsoft Hyper-V 20
2.1.3 Nutanix AHV 25
2.1.4 鏡像級備份中的快照問題 26
2.1.5 AWS EC2和Azure VM 28
2.1.6 Windows和Linux操作系統 31
2.2 系統鏡像數據的復制 31
2.3 應用程序數據處理 35
2.3.1 應用程序的代理和無代理備份 35
2.3.2 應用程序感知技術詳解 36
2.3.3 SQL Server的備份 40
2.3.4 Oracle的備份 43
2.4 文件級數據的保護 49
2.5 備份數據的拷貝 52
2.5.1 備份拷貝的工作原理 54
2.5.2 備份拷貝的傳輸方式 54
2.6 備份和容災應用示例 55
2.6.1 示例一:主備數據中心一體化災備 55
2.6.2 示例二:三個數據中心的數據接力 66
2.7 本章小結 68
參考文獻 69
第3章 云數據恢復基礎 71
3.1 從備份中恢復 72
3.1.1 即時恢復 72
3.1.2 完整恢復 74
3.1.3 文件級恢復 75
3.1.4 應用程序對象恢復 76
3.1.5 直接恢復至Azure和Amazon EC2 77
3.2 從復制存檔文件中恢復 77
3.3 數據恢復示例 79
3.3.1 示例三:即時虛擬機恢復 79
3.3.2 示例四:災備接管和切換 86
3.4 本章小結 91
參考文獻 92
第4章 二級存儲庫管理 93
4.1 二級存儲庫簡介 94
4.1.1 二級存儲庫的定義 94
4.1.2 二級存儲庫的應用 94
4.1.3 二級存儲庫的架構設計要點 95
4.2 備份存儲庫的關鍵組件及常見類型 95
4.2.1 備份存儲庫的關鍵服務及組件 96
4.2.2 備份存儲庫的選擇與使用 101
4.3 橫向擴展備份存儲庫 109
4.3.1 存儲庫擴展單元 111
4.3.2 備份存檔放置策略 111
4.3.3 橫向擴展備份存儲庫中的數據移動 113
4.4 對象存儲庫 115
4.4.1 對象存儲庫的結構 116
4.4.2 對象存儲庫的不可變性 117
4.4.3 注意事項和局限性 117
4.5 存儲庫應用示例 118
4.5.1 示例五:將數據備份到橫向擴展備份存儲庫 119
4.5.2 示例六:從對象存儲導入數據并將其恢復到AWS 127
4.6 本章小結 135
參考文獻 136
第5章 數據存檔和數據保留 137
5.1 備份模式和備份鏈 138
5.1.1 主備份作業中的備份模式 138
5.1.2 備份拷貝作業中的備份模式 145
5.1.3 各種備份模式下的備份鏈 146
5.1.4 從備份鏈中提取單個還原點 147
5.2 數據保留策略 147
5.2.1 正向增量備份的數據保留策略 148
5.2.2 永久正向增量備份的數據保留策略 150
5.2.3 反向增量備份的數據保留策略 151
5.2.4 刪除無效數據策略 152
5.3 長期數據保留策略 155
5.4 本章小結 156
參考文獻 156
第6章 云數據再利用 157
6.1 數據實驗室 158
6.1.1 虛擬實驗室 159
6.1.2 應用組 162
6.1.3 存檔驗證作業 162
6.1.4 示例七:數據實驗室應用 163
6.1.5 示例八:跨主機多網段的數據實驗室應用 174
6.2 數據集成API的發布服務 178
6.2.1 數據集成API的工作原理 179
6.2.2 數據集成API的使用方式 179
6.2.3 示例九:數據集成API應用 180
6.3 數據庫即時呈現 184
6.3.1 數據庫即時呈現的工作原理 184
6.3.2 示例十:數據庫即時呈現 185
6.4 本章小結 192
參考文獻 192
第7章 云數據自助服務 193
7.1 自助數據備份服務 194
7.1.1 示例十一:自助備份服務的構建 194
7.1.2 示例十二:自助備份服務的使用 198
7.2 自助數據使用服務 202
7.2.1 示例十三:vSphere自助恢復服務 203
7.2.2 示例十四:通用自助恢復服務的構建 210
7.2.3 示例十五:通用自助恢復服務的使用 210
7.3 利用API拓展自助服務 212
7.4 本章小結 214
參考文獻 214
第8章 云數據管理自動化 215
8.1 災備自動化的要點 217
8.1.1 災備數據驗證的有效性 217
8.1.2 災備數據恢復的安全性 217
8.1.3 災備恢復計劃的可維護性 218
8.1.4 災備流程的可執行性 218
8.2 VAO介紹 219
8.2.1 VAO的關鍵功能 219
8.2.2 VAO的使用場景 220
8.2.3 VAO的兩種災備執行計劃 221
8.2.4 VAO數據實驗室的功能強化 221
8.3 VAO災備執行范圍與關鍵組件 222
8.3.1 VAO災備執行范圍的定義 222
8.3.2 VAO中的數據實驗室與實驗室組 223
8.3.3 VAO的基礎組件 224
8.4 VAO災備自動化文檔系統 226
8.4.1 報表模板 227
8.4.2 報表類型 227
8.5 VAO的可編排計劃與自定義腳本 228
8.5.1 示例十六:創建恢復計劃 229
8.5.2 示例十七:周期性驗證恢復計劃 238
8.5.3 示例十八:執行恢復計劃 249
8.6 數據管理過程中的自動化應用 250
8.6.1 計劃內遷移 250
8.6.2 系統運維過程中的補丁升級與測試 251
8.6.3 可預測結果的災備演練 251
8.6.4 數據重用與數據安全分析 252
8.7 本章小結 252
參考文獻 253
第9章 云數據運行環境的管理和安全 255
9.1 云環境的構成和管理要求 256
9.1.1 四要素的新挑戰 257
9.1.2 云環境的IT事件 258
9.2 Veeam ONE組件和工作方式 258
9.2.1 Veeam ONE的組件 258
9.2.2 Veeam ONE Monitor 259
9.2.3 Veeam ONE Reporter 260
9.2.4 業務分組視圖 261
9.2.5 告警管理 261
9.3 Veeam ONE應用的配置示例 262
9.3.1 示例十九:配置異常活動監控,防范勒索病毒 262
9.3.2 示例二十:配置僵尸虛擬機檢測的月度監控報告 270
9.4 云數據管理安全加固 275
9.4.1 備份基礎架構安全加固 275
9.4.2 Windows備份存儲庫加固 280
9.4.3 Linux備份存儲庫加固 283
9.5 本章小結 286
參考文獻 286
結束語 287