本書以各個(gè)企業(yè)在大數(shù)據(jù)浪潮中跌宕起伏的經(jīng)歷為核心來講述大數(shù)據(jù)發(fā)展史，并分析各個(gè)大數(shù)據(jù)企業(yè)迥異的發(fā)展歷程，探討在新技術(shù)浪潮來臨時(shí)應(yīng)該如何應(yīng)對(duì)。本書主要分為兩部分，前半部分講述谷歌、微軟、IBM、雅虎、亞馬遜、阿里巴巴等大公司在大數(shù)據(jù)浪潮中的發(fā)展史，后半部分講述各個(gè)大數(shù)據(jù)創(chuàng)業(yè)公司的發(fā)展歷程和現(xiàn)狀。在每部分的最后，還通過專門的文章分析并總結(jié)了各企業(yè)在大數(shù)據(jù)浪潮中的作為和選擇所產(chǎn)生的影響。全書從公司的視角出發(fā)為大家呈現(xiàn)了一幅波瀾壯闊的大數(shù)據(jù)領(lǐng)域發(fā)展史，讀者不僅可以了解大數(shù)據(jù)技術(shù)，更能領(lǐng)略大數(shù)據(jù)領(lǐng)域的全貌，從各公司的故事中吸取教訓(xùn)，學(xué)習(xí)思路。本書適合對(duì)大數(shù)據(jù)技術(shù)和商業(yè)思維有興趣的讀者閱讀。
徐飛，著名大數(shù)據(jù)專家。擁有浙江大學(xué)本科學(xué)位，美國佛羅里達(dá)大學(xué)計(jì)算機(jī)博士學(xué)位，研究方向?yàn)閿?shù)據(jù)庫系統(tǒng)。從事大數(shù)據(jù)的基礎(chǔ)構(gòu)架研發(fā)10余年，先后在微軟和TabIeau等知名公司的大數(shù)據(jù)核心團(tuán)隊(duì)工作，擔(dān)任過首席架構(gòu)師。在國際頂級(jí)會(huì)議和雜志上發(fā)表論文10余篇。2016年開通微信公眾號(hào)“飛總聊IT”，并原創(chuàng)“大數(shù)據(jù)那些事”系列文章，系統(tǒng)闡述了大數(shù)據(jù)發(fā)展史，以及發(fā)展過程中的種種技術(shù)和商業(yè)決策案例，受到廣泛好評(píng)。
目錄
1 谷歌的大數(shù)據(jù)路：從擁有“三駕馬車”到喪失先發(fā)優(yōu)勢 \ 1
谷歌的“三駕馬車”開啟了大數(shù)據(jù)時(shí)代，然而在這個(gè)新時(shí)代里，谷歌卻喪失了先發(fā)優(yōu)勢。這是為什么呢？我認(rèn)為是谷歌對(duì)待開放架構(gòu)的態(tài)度相對(duì)保守導(dǎo)致的。
2 谷歌的大數(shù)據(jù)路：一場影響深遠(yuǎn)的論戰(zhàn) \ 7
在大數(shù)據(jù)發(fā)展史上，以邁克爾·斯通布雷克為代表的數(shù)據(jù)庫元老級(jí)人物，針對(duì)MapReduce向谷歌提出了質(zhì)疑。這場著名的論戰(zhàn)給整個(gè)業(yè)界帶來了動(dòng)蕩，最后誕生了Spark。
3 谷歌的大數(shù)據(jù)路：谷歌的“黑科技” \ 14
在大數(shù)據(jù)的上半場，谷歌以“三駕馬車”引領(lǐng)時(shí)代，但后來因?yàn)闆Q策失誤喪失了先發(fā)優(yōu)勢；而在大數(shù)據(jù)的下半場，谷歌帶著“黑科技”Spanner數(shù)據(jù)庫系統(tǒng)閃亮登場，效果如何呢？
4 如何讀懂類似谷歌“三駕馬車”這樣的技術(shù)論文 \ 20
讀懂一篇技術(shù)論文，首先需要明白“論文是寫給誰看的”和“論文是怎么寫出來的”這兩個(gè)基本問題，然后就可以有針對(duì)性地提升自己閱讀論文的功力。
5 雅虎：大數(shù)據(jù)領(lǐng)域的“活雷鋒” \ 26
雅虎，這個(gè)早已淡出我們視線的公司，卻是大數(shù)據(jù)領(lǐng)域的“活雷鋒”，可以說正是它促成了今天的Hadoop生態(tài)圈。這篇文章就來說說它的故事。
6 IBM的大數(shù)據(jù)路——起早貪黑趕了個(gè)“晚集” \ 31
作為歷史悠久的計(jì)算機(jī)公司，IBM早早涉足了大數(shù)據(jù)領(lǐng)域，最終卻只能寄希望于比自己的產(chǎn)品起步還要晚的Spark，我們來看看其中發(fā)生了什么。
7 三大社交媒體公司對(duì)Hadoop生態(tài)圈的貢獻(xiàn) \ 35
雅虎把Hadoop開源以后，當(dāng)時(shí)著名的三大社交媒體公司Facebook、LinkedIn和Twitter都加入了這個(gè)生態(tài)圈，并做出了巨大貢獻(xiàn)。Hadoop生態(tài)圈給我們的啟示是，抱團(tuán)取暖才是生存之道。
8 微軟的大數(shù)據(jù)發(fā)展史：微軟硅谷研究院 \ 41
微軟硅谷研究院曾經(jīng)在微軟的大數(shù)據(jù)發(fā)展歷程中扮演了非常特殊的角色，它推出的Dryad和DryadLINQ可以說是兩個(gè)另類的產(chǎn)品，雖然未曾大受歡迎，卻對(duì)大數(shù)據(jù)的發(fā)展有著不可磨滅的貢獻(xiàn)。
9 微軟的大數(shù)據(jù)發(fā)展史：必應(yīng)的Cosmos \ 47
Cosmos是微軟必應(yīng)搜索引擎下面的團(tuán)隊(duì)開發(fā)的大數(shù)據(jù)基礎(chǔ)架構(gòu)，代表了微軟在大數(shù)據(jù)方面的最高成就。
10 微軟的大數(shù)據(jù)發(fā)展史：Azure的發(fā)展 \ 53
微軟大數(shù)據(jù)發(fā)展史上的另一個(gè)分支是微軟云計(jì)算平臺(tái)下的大數(shù)據(jù)項(xiàng)目Azure。這個(gè)項(xiàng)目產(chǎn)生了HDInsight、Azure Data Lake、CosmosDB三大平臺(tái)，但最后只有CosmosDB取得成功。
11 亞馬遜的大數(shù)據(jù)故事：從先驅(qū)者到一味索取者 \ 59
在大數(shù)據(jù)技術(shù)發(fā)展的早期，亞馬遜發(fā)表了Dynamo系統(tǒng)的論文，成為和谷歌“三駕馬車”的論文一樣具有深遠(yuǎn)影響的論文。然而隨著大數(shù)據(jù)的發(fā)展和Hadoop生態(tài)圈的建立，亞馬遜對(duì)大數(shù)據(jù)圈的貢獻(xiàn)極少，但亞馬遜自己卻從中獲得了巨大的利益。
12 亞馬遜的大數(shù)據(jù)故事：創(chuàng)新和“拿來”并存的云服務(wù) \ 64
亞馬遜不僅在Hadoop生態(tài)系統(tǒng)里蓬勃發(fā)展，還推出了自己的數(shù)據(jù)分析產(chǎn)品。這些產(chǎn)品有些是亞馬遜自己研發(fā)的，有些則只是對(duì)開源的產(chǎn)品進(jìn)行了包裝。但是，亞馬遜一如既往地沒有反哺開源項(xiàng)目。
13 阿里巴巴的大數(shù)據(jù)故事：數(shù)據(jù)分析平臺(tái)發(fā)展史 \ 70
國內(nèi)大數(shù)據(jù)平臺(tái)做得最好的公司當(dāng)屬阿里巴巴。本文就來介紹一下阿里巴巴數(shù)據(jù)分析平臺(tái)的發(fā)展情況：數(shù)據(jù)分析平臺(tái)的疊加開發(fā)。
14 阿里巴巴的大數(shù)據(jù)故事：流計(jì)算引擎發(fā)展史 \ 75
在阿里巴巴的發(fā)展過程中，流數(shù)據(jù)處理一直是一項(xiàng)十分重要的技術(shù)，阿里巴巴也在這方面做了很多有意義的項(xiàng)目。本文就來介紹一下阿里巴巴的流計(jì)算引擎JStorm與Blink的發(fā)展史。
15 大公司的大數(shù)據(jù)戰(zhàn)略得失：自建“輪子”成本高 \ 80
大公司的大數(shù)據(jù)平臺(tái)可分為兩類，一類是自己搭的基礎(chǔ)架構(gòu)（自建“輪子”），另一類是抱團(tuán)取暖所形成的Hadoop生態(tài)圈，兩者各有利弊。本文將分析第一種情況，主要以谷歌、微軟、阿里巴巴自己搭建的大數(shù)據(jù)平臺(tái)架構(gòu)為代表。
16 大公司的大數(shù)據(jù)戰(zhàn)略得失：抱團(tuán)取暖的Hadoop生態(tài)圈 \ 86
除了自建“輪子”的公司，其他各大公司走向了一條抱團(tuán)取暖的道路，就是你搭一個(gè)模塊，我搭一個(gè)模塊，大家一起開源出來，最后組成了一個(gè)叫作Hadoop的生態(tài)圈。其中有為社區(qū)積極做貢獻(xiàn)的公司，也有以賺錢為目的的公司，還有一味索取的公司。
17 Hadoop三國之“魏國”——Cloudera \ 91
Hadoop領(lǐng)域曾經(jīng)有三家發(fā)行商互相角逐，其中不乏各種戰(zhàn)術(shù)與謀略，仔細(xì)琢磨，你會(huì)發(fā)現(xiàn)這三家公司的關(guān)系與三國時(shí)期的魏蜀吳之間的關(guān)系非常相似。本文講述Hadoop三國之“魏國”——Cloudera的故事。
18 Hadoop三國之“吳國”——MapR \ 97
Hadoop三國之“吳國”MapR，實(shí)力強(qiáng)大卻很少參與競爭，這篇文章就來說說它特立獨(dú)行的故事。
19 Hadoop三國之“蜀國”——Hortonworks \ 103
Hadoop三國之“蜀國”Hortonworks始終堅(jiān)持100%開源，本文講述它的故事。
20 Hadoop及其發(fā)行商的未來 \ 111
Hadoop已誕生十多年，圍繞其生態(tài)圈誕生了諸多企業(yè)，例如前面講的社交媒體公司、三大發(fā)行商，而亞馬遜卻最終成為最大的受益者。
21 文檔數(shù)據(jù)庫的締造者M(jìn)ongoDB（上） \ 116
MongoDB的誕生像一場意外。它是一個(gè)文檔型數(shù)據(jù)庫，由10gen公司開發(fā)，以易用性聞名。本文就來講述MongoDB團(tuán)隊(duì)的開發(fā)重心、商業(yè)運(yùn)作模式和產(chǎn)品盈利方式。
22 文檔數(shù)據(jù)庫的締造者M(jìn)ongoDB（下） \ 127
MongoDB的開發(fā)團(tuán)隊(duì)一向重視用戶體驗(yàn)而不重視核心功能，其負(fù)面影響終于以一次安全危機(jī)的方式暴露。加上公司曾經(jīng)獲得具有CIA背景的風(fēng)投公司的投資，這一并引起了很多人的顧慮。當(dāng)然，這一切都擋不住MongoDB公司最終的成功上市。
23 以MongoDB為例，看基礎(chǔ)架構(gòu)類產(chǎn)品創(chuàng)業(yè) \ 132
作為一款基礎(chǔ)架構(gòu)類產(chǎn)品，MongoDB以其易用性聞名，然而MongoDB的開發(fā)者不注重系統(tǒng)的可靠性，只注重可用性，導(dǎo)致很多MongoDB的用戶轉(zhuǎn)向了其他產(chǎn)品。基礎(chǔ)架構(gòu)類產(chǎn)品的創(chuàng)業(yè)者應(yīng)該如何平衡可用性和可靠性？這是一個(gè)值得深思的問題。
24 直面MongoDB，談微軟的NoSQL戰(zhàn)略 \ 137
2013年，MongoDB在數(shù)據(jù)庫市場中的占有率很高，成為很多創(chuàng)業(yè)者和初創(chuàng)企業(yè)的首選。微軟究竟做了哪些事情，將Cosmos DB變成能與MongoDB競爭的產(chǎn)品的呢？
25 Palantir：神秘的大數(shù)據(jù)獨(dú)角獸公司 \ 144
Palantir是一家神秘的大數(shù)據(jù)創(chuàng)業(yè)公司，由硅谷著名投資人彼得·蒂爾創(chuàng)辦，其主要服務(wù)對(duì)象是美國政府部門、特情組織和軍隊(duì)，所以外界對(duì)其了解甚少。
26 Splunk：機(jī)器日志數(shù)據(jù)分析帝國 \ 149
Splunk是大數(shù)據(jù)圈里少有的盈利并且蓬勃發(fā)展的企業(yè)。它主要服務(wù)于機(jī)器日志數(shù)據(jù)分析領(lǐng)域，隨后又不斷拓展業(yè)務(wù)，演變開發(fā)了若干不同類型的軟件。在本文中我們就來好好聊聊Splunk的進(jìn)階史。
27 Confluent：Kafka項(xiàng)目背后的公司 \ 155
Kafka是LinkedIn開發(fā)的開源項(xiàng)目，它主要通過日志文件傳輸?shù)姆绞皆诓煌臄?shù)據(jù)源之間同步數(shù)據(jù)。而Confluent公司是Kafka開源項(xiàng)目的創(chuàng)始人離開LinkedIn以后所創(chuàng)立的公司，主要致力于Kafka項(xiàng)目的商業(yè)化。在本文中，我們來講講這家公司的故事。
28 Powerset：HBase的“老東家” \ 160
Powerset是一家在多年前被微軟收購的創(chuàng)業(yè)公司，目前在語義搜索方面開疆拓土。它為開源社區(qū)貢獻(xiàn)了BigTable的Hadoop版實(shí)現(xiàn)。本文就來講講這家公司的發(fā)展史。
29 Cassandra和DataStax公司的故事 \ 166
Cassandra是開源社區(qū)仿照Amazon Dynamo開發(fā)的產(chǎn)品，它最初由Facebook開發(fā)并開源，卻又被公司內(nèi)部棄用。創(chuàng)業(yè)公司DataStax對(duì)Cassandra大力支持，造就了今天繁榮的Cassandra社區(qū)。
30 Databricks：Spark的數(shù)據(jù)“金磚”王國 \ 172
Spark是Hadoop生態(tài)圈里大紅大紫的項(xiàng)目，它甚至取代了Hadoop MapReduce的地位。Databricks是對(duì)這個(gè)項(xiàng)目進(jìn)行商業(yè)化的企業(yè)。本文就來聊聊這家企業(yè)的故事。
31 Data Artisans和浴火重生的新一代大數(shù)據(jù)計(jì)算引擎Flink \ 178
Data Artisans是對(duì)Flink進(jìn)行商業(yè)化的公司。Apache Flink是一個(gè)年輕的新型處理引擎，是Hadoop社區(qū)里Spark的主要競爭對(duì)手。Flink設(shè)計(jì)理念先進(jìn)，但是工程實(shí)現(xiàn)方面相對(duì)落后。
32 Dremio：基于Drill和Arrow的大數(shù)據(jù)公司 \ 183
Dremio是另外一家大數(shù)據(jù)創(chuàng)業(yè)公司，其創(chuàng)始人是從MapR公司跳槽出來的。Dremio的主要產(chǎn)品就是Dremio項(xiàng)目，它吸收了MapR主導(dǎo)的開源項(xiàng)目Drill的精華，以開源項(xiàng)目Arrow為核心開發(fā)。本文就來講講Dremio公司和Dremio平臺(tái)的來龍去脈。
33 Imply：基于Druid的大數(shù)據(jù)分析公司 \ 189
開源大數(shù)據(jù)項(xiàng)目Druid由Metamarkets開發(fā)。開始時(shí)籍籍無名，后來被一些大公司，尤其是Airbnb使用和推廣以后，受到了很多關(guān)注。
34 Kyligence：麒麟背后的大數(shù)據(jù)公司 \ 194
麒麟（英文名字是Kylin）是第一個(gè)全部由中國人主導(dǎo)的Apache頂級(jí)開源項(xiàng)目，Kyligence則是對(duì)這個(gè)項(xiàng)目進(jìn)行商業(yè)化的公司。本文就來看看麒麟和Kyligence的故事。
35 Snowflake：云端的彈性數(shù)據(jù)倉庫 \ 200
Snowflake是一個(gè)構(gòu)建在云端的彈性數(shù)據(jù)倉庫，它背后的公司與之同名。Snowflake公司的創(chuàng)始人和管理層都有強(qiáng)大的背景，本文就來講一下Snowflake及其公司的故事。
36 TiDB：一個(gè)國產(chǎn)新數(shù)據(jù)庫的創(chuàng)業(yè)故事 \ 205
TiDB是位于北京的一家創(chuàng)業(yè)公司PingCAP的產(chǎn)品，它的目標(biāo)是實(shí)現(xiàn)一個(gè)開源的類似谷歌Spanner的系統(tǒng)，這個(gè)產(chǎn)品非常有特色，本文就來聊聊TiDB和它背后的公司。
37 大數(shù)據(jù)創(chuàng)業(yè)公司的前景：紅海vs.藍(lán)海 \ 211
關(guān)于創(chuàng)業(yè)的市場，通常有紅海和藍(lán)海的說法，藍(lán)海容易成功，紅海相對(duì)艱難。對(duì)大數(shù)據(jù)創(chuàng)業(yè)公司來說，藍(lán)海多半指的是應(yīng)用軟件類的市場，而紅海指的則是基礎(chǔ)架構(gòu)軟件類的市場。本文將對(duì)比分析一下這兩類市場。
38 如何通過分析企業(yè)的技術(shù)積累來判斷其發(fā)展前景 \ 216
通過分析企業(yè)的技術(shù)積累，能夠有效地判斷企業(yè)的發(fā)展前景如何。我們需要關(guān)注三個(gè)方面：技術(shù)適用的場景是否有巨大的盈利空間，技術(shù)本身是否有領(lǐng)先和獨(dú)到之處，以及技術(shù)的積累是否足夠深和廣。
新書資訊