本書基于金融領域的另類數據, 提供了機器學習方法和數據源的實用概述。首次對另類數據進行了全面闡述, 為另類數據價值研究能夠系統地呈現在讀者面前提供了完美體驗。全書分為另類數據基礎與理論、另類數據的實際應用兩個部分。作者多方闡述了另類數據的發展與挑戰, 提供了大量有價值的案例研究和實際例子。為讀者提供利用另類數據獲益的理論與方法, 同時也是讀者避開另類數據中復雜的理論與技術陷阱的指南。
目錄
第一部分 簡介與理論
第1章 另類數據：現狀 3
1.1 引言 3
1.2 什么是“另類數據”？ 5
1.3 另類數據的分類 6
1.4 另類數據的特征 8
1.5 為什么選擇另類數據？ 10
1.6 誰在用另類數據？ 13
1.7 策略容量與另類數據 15
1.8 另類數據的維度 17
1.9 誰是另類數據的供應商？ 21
1.10 買方對另類數據集的使用 23
1.11 小結 24
第2章 另類數據的價值 25
2.1 引言 25
2.2 投資價值的衰減 25
2.3 數據市場 27
2.4 數據的貨幣價值（第一部分） 29
2.5 評估（另類）數據策略，包括或不包括回溯測試 33
2.6 數據的貨幣價值（第二部分） 36
2.7 成熟另類數據集的優勢 42
2.8 小結 43
第3章 另類數據的風險與挑戰 44
3.1 數據中的法律問題 44
3.2 使用另類數據的風險 46
3.3 使用另類數據的挑戰 47
3.4 匯總數據 53
3.5 小結 54
第4章 機器學習技術 55
4.1 引言 55
4.2 機器學習：定義和技術 55
4.3 選擇哪種技術？ 77
4.4 機器學習技術的假設和局限性 79
4.5 結構化圖像 83
4.6 自然語言處理 87
4.7 小結 97
第5章 另類數據的使用過程 99
5.1 引言 99
5.2 進行另類數據之旅的步驟 100
5.3 組建使用另類數據的團隊 108
5.4 數據供應商 110
5.5 小結 112
第6章 因子投資 113
6.1 引言 113
6.2 因子模型 114
6.3 橫截面和時間序列交易方法之間的區別 120
6.4 為什么要進行因子投資？ 120
6.5 使用另類數據輸入的智能Beta指標 121
6.6 ESG因子 122
6.7 直接和間接預測 123
6.8 小結 125
第二部分 實 際 應 用
第7章 缺失數據：背景 129
7.1 介紹 129
7.2 缺失數據的分類 130
7.3 缺失數據處理的文獻綜述 132
7.4 小結 143
第8章 缺失數據：案例研究 144
8.1 引言 144
8.2 案例研究：在多個CDS時間序列中插補缺失值 145
8.3 案例研究：衛星圖像 166
8.4 小結 170
8.5 附錄：MICE程序概述 171
8.6 附錄：本章使用的軟件庫 172
第9章 離群值（異常值） 174
9.1 簡介 174
9.2 異常值定義、分類和檢測方法 174
9.3 時間結構 176
9.4 全局與局部離群值、點異常和微簇 176
9.5 異常值檢測問題的設置 177
9.6 異常值檢測算法的比較評估 177
9.7 異常值解釋方法 180
9.8 案例研究：聯邦通信指數的離群值檢測 185
9.9 小結 192
9.10 附錄 193
第10章 汽車行業基本數據 196
10.1 引言 196
10.2 數據 197
10.3 方法一：間接法 201
10.4 方法二：直接法 213
10.5 高斯過程舉例 228
10.6 小結 230
10.7 附錄 230
第11章 調查和眾包數據 236
11.1 引言 236
11.2 另類數據：調查數據 236
11.3 數據 238
11.4 產品 239
11.5 案例研究 240
11.6 關于調查的一些技術性考慮 245
11.7 眾包分析師估計調查 245
11.8 Alpha獲取數據 246
11.9 小結 247
11.10 附錄 247
第12章 采購經理人指數 248
12.1 引言 248
12.2 PMI表現 249
12.3 GDP增長的即時預測 251
12.4 對金融市場的影響 252
12.5 小結 254
第13章 衛星圖像和航空攝影 255
13.1 引言 255
13.2 美國出口增長的預測 257
13.3 汽車數量和零售商每股收益 258
13.4 利用衛星數據測算中國制造業PMI 264
13.5 小結 266
第14章 位置數據 268
14.1 引言 268
14.2 利用航運數據實現原油追蹤 268
14.3 利用手機定位數據了解零售活動 271
14.4 出租車出行數據和紐約聯儲會議 278
14.5 公司商務機位置數據和并購 279
14.6 小結 281
第15章 文本、網頁、社交媒體和新聞 282
15.1 引言 282
15.2 收集網絡數據 282
15.3 社交媒體 283
15.4 新聞 292
15.5 其他網絡來源 302
15.6 小結 303
第16章 投資者關注度 304
16.1 引言 304
16.2 度量投資者關注度的指標—工資單的讀者群體 304
16.3 度量市場主體的指標—谷歌趨勢 306
16.4 度量投資者焦慮情緒的指標—投資百科的搜索數據 308
16.5 運用維基百科了解加密貨幣的價格走勢 311
16.6 通過各國網上關注度來了解外匯交易 311
16.7 小結 314
第17章 消費者交易 316
17.1 引言 316
17.2 信用卡和借記卡的交易數據 317
17.3 消費者收據 318
17.4 小結 320
第18章 政府、行業和公司數據 321
18.1 引言 321
18.2 使用創新性度量指標進行股權交易 321
18.3 量化貨幣危機風險 324
18.4 模擬中央銀行干預貨幣市場 326
18.5 小結 328
第19章 市場數據 329
19.1 引言 329
19.2 機構外匯流量數據與外匯現貨之間的關系 329
19.3 使用高頻外匯數據理解流動性 333
19.4 小結 335
第20章 私募市場中的另類數據 337
20.1 引言 337
20.2 什么是私募股權公司和風險投資公司 337
20.3 私募股權數據集 339
20.4 理解私營企業的表現 340
20.5 小結 341
參考文獻 342
原書作者介紹和中文版譯者介紹 353
（1）原書作者介紹 353
（2）中文版譯者介紹 354
第一部分 簡介與理論
第1章 另類數據：現狀
1.1 引言
另類數據這一話題在金融領域引發了熱議。在本書中，我們力圖詳細討論這一話題，展示如何利用另類數據來加強對金融市場的理解、提高收益和更好地進行風險管理。
本書的目標讀者是通過非傳統方法來尋求超額收益的投資者。這些方法與基本面分析以及單純依靠金融市場中廣泛存在的數據進行的定量（研究）方法不同。同時，本書也面向那些想要通過現有標準化和廣泛應用的數據集中未出現的信息來識別會造成負面影響事件的早期信號的風險管理師 。
在編寫本書時，對于另類數據是否能在投資過程中在更標準化的數據源之上增加價值，業內意見不一。報刊上有一些關于對沖基金和銀行的新聞，它們已經嘗試使用另類數據，但未能從中獲取價值。然而，我們必須強調，另類數據中缺乏預測信號只是潛在失敗的原因之一。實際上，我們將試圖通過實際案例說服讀者，在許多情況下，可以從另類數據中收集有用的信號。與此同時，我們還會解釋為什么任何旨在提取和成功應用這些信號的策略都是算法、流程、技術和嚴謹的成本效益分析的結合。如果不能正確處理其中任一個，都會導致無法從另類數據中提取出有用的見解。因此，證明數據集中存在信號并不足以從卓越的投資策略中獲益，這是因為還有許多其他微妙的問題在起作用，而這些問題大多是動態的，我們將在后面解釋。
在本書中，我們將詳細討論可以使另類數據有效達到我們之前提到的目的的技術方法。這些技術屬于機器學習（machine learning，ML）和人工智能（artificial intelligence，AI）領域。然而，我們不想用這些“深奧”的術語給人不必要的復雜印象。因此，我們采用一些更簡單、更傳統的方法，比如線性回歸和邏輯回歸 這些在金融界早已熟悉的方法。實際上，在許多情況下，使用更簡單的方法從金融領域的另類數據集中獲取信號往往非常有用。然而這并不是一本關于機器學習的教材，因此我們不會鉆研每種方法的細節，我們只提供簡練的介紹。必要時，我們會向讀者推薦合適的參考文獻。
這也不是一本關于技術和基礎設施的書，盡管技術和基礎設施是另類數據在現實世界中使用的基礎。當然，這些包含數據工程的主題仍然非常重要。實際上，對于任何在數據中發現的信號，要在現實生活中發揮作用，這些主題都是必要的。然而，考慮到詳細處理這些問題需要廣泛和深入的專業知識，因此這些主題本身就值得被寫成一本書。不過，必須強調的是，現實生活中我們所應用的提取信號的方法往往會受到技術的限制。我們是否需要一種算法來快速工作并實現實時交付，還是可以忍受一些延遲？因此，我們選擇的算法類型在很大程度上取決于這樣的技術限制。盡管本書不是嚴格意義上的技術性書籍，但我們還是會自始至終在這些重要的方面進行提示。
在本書中，我們會通過實際案例研究，展示如何利用不同的另類數據源來實現在金融領域中的不同目的。這些案例研究將包含各種數據源，并針對每個數據源詳細討論如何解決特定的問題，如通過基本行業數據來預測股票收益，或從調查指數來預測經濟變量。這些案例研究是獨立的，且能代表現實世界應用中可能出現的各種情況，涉及多個不同的資產類別。
最后，這本書不會成為所有現存另類數據源的目錄簿。我們認為為現存另類數據源形成目錄簿是徒勞的，因為在動態世界中，這種數據集的數量和種類每天都在增長。在我們看來，更重要的是如何使現有數據變得有用的過程和方法。在探索如何有效使用另類數據的過程中，我們也會非常務實地檢查在篩選數據集時出現的常見問題，以及任何實際應用程序都可能出現的失誤和錯誤。
本書的結構如下。第一部分是另類數據的概況，以及使其應用在投資決策中的過程和方法。第1章將定義另類數據并創建一個分類法。第2章將討論如何為數據集定價這一微妙的問題。這一主題目前在業內正受到熱烈討論。第3 章將討論另類數據相關的風險，尤其是法律風險，我們還將研究實施另類數據策略面對的技術性問題的細節。第4章介紹與理解另類數據相關的機器學習和結構化技術。同樣，為了更深入地理解這些技術，我們將向讀者推薦一些合適的參考文獻。
第5章將研究測試背后的過程和以另類數據信號為基礎的策略的實施。我們將推薦一種快速故障方法來解決問題。在一個數據集眾多且進一步激增的世界里，我們相信這是一種較好的方法。
第二部分重點關注一些真實世界中的用例。第6章介紹了因子投資，并對如何將另類數據整合到分析框架中進行討論。其中一個用例與投資策略沒有直接關系，但在任何項目一開始的時候都是一個問題，必須在嘗試其他事情之前予以處理。這個問題就是數據缺失（見第7章和第8章）。第9章解決了另一個在數據中普遍存在的異常值問題。之后，本書將研究投資策略和經濟預測的用例，這些用例基于廣泛的不同類型的另類數據集，它們存在于許多不同的資產類別中，包括公開市場，如股票和外匯。本書還研究了另類數據在理解私募市場方面的適用性（第20章），由于缺乏公開信息，私募市場通常是更加不透明的。本書還將討論包括汽車供應鏈數據（第10章）、衛星圖像（第13章）和機器可讀新聞（第15章）的另類數據集。在許多情況下，本書還將通過針對不同資產類別的交易策略來對用例進行說明。
那么，在開啟這段旅程之前，讓我們再解釋一下金融界所謂“另類數據”的含義，以及它為什么會成為如此熱門的一個話題。
1.2 什么是“另類數據”？
眾所周知，信息可以提供優勢。因此，金融從業者歷來試圖收集盡可能多的數據。然而，隨著時間的推移，這些信息的性質會發生變化，尤其是大數據革命 開始以來。從市場價格和資產負債表等“標準”來源發展到其他來源，特別是那些嚴格意義上不屬于金融范疇的來源。例如，衛星圖像、社交媒體、船舶移動和物聯網。這些來自“非標準”源的數據被稱為另類數據。
在實踐中，另類數據有多個特征，我們在下面嘗試列舉出來。通常，它至少具有以下一個特征。
？相對來說，不常被市場參與者使用
？收集成本更高，因此購買（成本）價格也更高
？通常在金融市場外
？歷史較短
？使用起來更具挑戰性
我們必須注意到，構成另類數據的內容可能隨著時間推移發生顯著變化，這取決于它的可獲得性，以及它在流程中的嵌入程度。顯然，今天大多數金融市場的數據比幾十年前更商品化也更容易獲取。因此，它通常不被稱為另類的。例如，股票收盤價的每日時間序列可以從許多途徑輕易獲取，因此它被認為是非另類的。相比之下，非常高頻的外匯數據，盡管是金融數據，但更加昂貴、專業而小眾。綜合性的外匯交易量和流量數據也是如此，這些數據相對不易獲取。因此，這些市場衍生的數據集可以被認為是另類的。數據集的成本和可用性很大程度上取決于幾個因素，如資產類別和頻率。因此，這些因素決定了是否給數據集貼上“另類”的標簽。當然，我們不可能給出明確的定義，“另類”和“非另類”的界限也有些模糊。同樣有可能的是，在不久的將來，我們認為“另類”的數據將會更加標準化和主流化。因此，它可能會失去“另類”的標簽，而僅僅被稱為數據。
近年來，另類數據的領域有了顯著擴張。其中一個主要原因是產生數據的設備和流程激增。此外，與手動操作相比，許多數據可以自動記錄。數據存儲的成本也在降低，從而使將數據更長久地保存在磁盤上變得可行。世界上還充斥著“廢氣數據”，這些數據是由那些主要目的不是收集、生成和出售數據的流程產生的。從這個意義上講，數據具有“副作用”。金融市場中廢氣數據最明顯的例子就是市場數據。交易者在交易所和場外交易的基礎上進行交易。每當他們發布報價或同意與交易對手按某個價格交易時，他們就創建了一個數據點。這個數據是作為交易活動的廢氣而存在的。發布市場數據的概念并不新鮮，多年來一直是市場的重要組成部分，也是交易所收入的重要組成部分。
然而，還有其他類型的廢氣數據被相對較少地使用。以一家大型新聞專線機構為例。作為日常工作的一部分，記者們不斷地撰寫新聞來將信息告知讀者。這樣每天會生成大量的文本，這些文本可以存儲在磁盤上并進行結構化處理。像谷歌、Facebook和Twitter這樣的公司，它們的用戶產生了大量的數據，包括搜索、帖子和點贊。這些廢氣數據是用戶活動的副產品，通過向用戶投放廣告來實現盈利。此外，我們每個人每次使用手機都會創建廢氣數據，創建我們的位置記錄，并在網上留下數字足跡。
產生并記錄這些廢氣數據的公司開始越來越多地考慮在本身組織之外通過數據獲利的方法。然而，大多數廢氣數據仍未得到充分利用。此類數據被稱為“暗數據”。它是內部的、通常被存檔、一般無法訪問，且其結構化不夠完善，較難進行分析。它可以是已歸檔的電子郵件、項目通信等。一旦這些數據被結構化，這些數據對于生成內部見解以及外部獲利方面更加有用。
1.3 另類數據的分類
正如已提到過的，我們不會描述所有另類數據的來源，但嘗試提供一個足以涵蓋實踐中遇到的大多數情況的簡潔分類。首先，我們可以將另類數據源劃分為以下高級類別的生成體 ：個人、機構 和傳感器，以及這些生成體的派生或組合。后者很重要，因為它會導致數據集實際上的無限增長。例如，從數據中提取的一
新書資訊