Nginx是著名的Web服務器,性能優異,運行效率遠超傳統的Apache、Tomcat,廣泛應用于國內外諸多尖端互聯網公司。
Nginx的一個突出特點是其靈活優秀的模塊化架構,可以在不修改核心的前提下增加任意功能,自2004年發布至今,已經擁有百余個官方及非官方的功能模塊(如proxy、mysql、redis、rtmp、lua等),使得Nginx成長為了一個近乎“全能”的服務器軟件。
Nginx功能強大,架構復雜,學習、維護和開發的門檻較高。為了幫助讀者跨越這一障礙,《Nginx完全開發指南:使用C、C++和OpenResty》深入新版Nginx源碼(Stable1.12.0),詳細剖析了模塊體系、動態插件、功能框架、進程模型、事件驅動、線程池、TCP/UDP/HTTP處理等Nginx核心運行機制,在此基礎上講解如何使用C、C++、Lua、nginScript等語言來增強擴展Nginx,讓任何人都能夠便捷、輕松地開發和定制Nginx,進而應用到自己的實際工作中,創造出更多的價值。
《Nginx完全開發指南:使用C、C++和OpenResty》結構嚴謹、脈絡清晰、論述精確、詳略得當、圖文并茂,值得廣大軟件開發工程師、系統運維工程師和編程愛好者擁有。
資深技術專家Nginx源碼研習書強勢升級!
深入新版Nginx源碼(Stable1.12.0)!
詳細剖析Nginx核心運行機制!
便捷、輕松地開發和定制Nginx!
緣起
最早接觸Nginx大概是在2011年,面對著一個全新的Web服務器,和大多數人一樣最初我也是一片茫然,能找到的參考資料十分有限,安裝、配置、運行幾乎都是“摸著石頭過河”,犯過許多低級錯誤。
隨著對Nginx逐漸熟悉,它的高并發處理能力給我留下了深刻的印象,作為一個開源軟件的愛好者,很自然地想要探究一下它的內部工作原理。我由此開始了對Nginx源碼的鉆研之路,中間經過了很多的艱辛曲折,走過不少的彎路。
我最常用的工作語言是C++,所以在閱讀Nginx源碼時也總以C++的面向對象方式來思考和理解,以對象作為切入點記筆記、畫UML:從最簡單的ngx_str_t、ngx_array_t入手,然后到ngx_request_t、ngx_upstream_t等復雜的結構,再圍繞著這些對象研究相關的功能函數和處理流程,梳理代碼邏輯的同時也摸索著使用C++編寫Nginx模塊的方法,逐漸積累了一些用起來頗為順手的小工具——當然還是比較初級的形式。
三年多前,我被調到了新的工作崗位,需要重度使用Nginx開發,這讓我以前的零散積累終于有了用武之地。那段時間里使用C/C++陸續做了很多東西,也借著機會重新優化了原有的工具代碼。
繁忙的工作之余,我有了種進一步整理經驗的迫切感,因為只有系統完整地分享這些知識,才能讓更多的人基于Nginx二次開發,讓Nginx更好地為網絡世界服務。
同一時間,市面上也出現了一些Nginx開發相關的資料、書籍,但在我看來卻有“粗制濫造”之嫌:行文混亂,“車轱轆話”“口頭禪”滿天飛,甚至大段照抄指令說明,還有對源碼的曲解,未免有點兒“誤人子弟”,讀起來實在是難受。終于,在“忍無可忍”的心態之下,我動起了寫作本書的念頭。
經過近一年的努力,現在這本書終于呈現在了讀者面前,結構上基本反映了我學習研究Nginx時的心路歷程,從最初的“一無所知”起步,逐漸深入到定制開發的層次,希望能與讀者“心有戚戚焉”。
Nginx隨感
毫無疑問,Nginx是目前這個星球上所能獲得的最強勁的Web服務器(沒有之一),同時也是目前最成熟、最優秀的TCP/HTTP服務器開發框架。
Nginx資源消耗低,并發處理性能高,配置靈活,能夠連接CGI、PHP、MySQL、Memcached等多種后端,還有著出色的負載均衡能力,可以整合封裝各種service,構建穩定高效的服務。如今Nginx已經成為了網站架構里不可或缺的關鍵組件,廣泛應用于國內外許多大型IT企業。每一個繁忙的網站背后,可能都有Nginx默默工作的身影。
在Nginx出現之前,使用C/C++開發Web服務器是項比較“痛苦”的工作,雖然有很多網絡程序庫可以使用(例如asio、libevent、thrift等),但它們通常只關注較底層的基礎功能實現,離成熟的“框架”相距甚遠,不僅開發過程煩瑣低效,而且程序員還必須要處理配置管理、進程間通信、協議解析等許多Web服務之外的其他事情,才能開發出一個較為完善的服務器程序。但即使開發出了這樣的服務器,通常性能上也很難得到保證,會受到程序庫和開發者水平等因素的限制——很長一段時間里,C/C++在Web服務器領域都沒有大展拳腳的機會。
Nginx的橫空出世為Web服務器開辟了一個嶄新的天地,它搭建了一個高性能的服務器開發框架,而且是一個完整的、全功能的服務器。模塊化的架構設計很好地分離了底層支撐模塊和上層邏輯模塊,底層模塊處理了配置、并發等服務器的外圍功能,核心支撐模塊定義了主體的TCP/HTTP處理框架。開發者可以把大部分精力集中在上層的業務功能實現上,再也不必去為其他雜事而分心,提高了軟件的開發效率。
在Nginx框架里,C/C++程序員可以盡情發揮自己的專長,充分利用Nginx無阻塞處理的優勢,打造出高質量的Web應用服務器,與其他系統一較高下。
Nginx和C/C++
IgorSysoev選擇用C語言(準確地說是ANSIC)來實現Nginx肯定是經過了認真的考慮。
作為與UNIX一同誕生的編程語言,C語言一直是系統級編程的首選。和其他高級語言相比,它簡單可靠,更接近計算機底層硬件,運行效率更高。指針更是C語言的一大特色,善用指針能夠完成許多其他語言無法完成的工作。
以C語言實現的Nginx沒有“虛擬機”的成本,省略了不必要的中間環節,直接操縱計算機硬件,從根本上提高了Web服務器的處理能力。雖然C語言不直接支持面向對象,但Nginx靈活運用了指針,采用結構體+函數指針的形式,達到了同樣的效果,從而使軟件擁有了良好的結構。
C++是僅次于C的系統級編程語言,在兼容C的同時又增加了類、異常、模板等新特性,還支持面向對象、泛型、函數式、模板元等多種編程范式,可以說是計算機語言里的一個“龐然大物”。C++的特性很多,有的也很好用,但總體上的確比較復雜,易學難精,容易被誤用和濫用,導致低效、難維護的代碼,我想這可能是IgorSysoev放棄使用C++的一個重要原因。
另一個可能的原因是C語言本身已經非常穩定,幾十年來沒有太大的變動,在各個系統里都支持得非常好。而C++在1998年才有了第一個標準,并且現在還在發展之中,語言特性還不夠穩定(例如export、register等曾經的關鍵字在C++11里就已經被廢棄),許多編譯器對C++的支持程度也有差異,這與Nginx的高可移植性目標明顯不符。
但C++畢竟還是有很多的優點,類可以更好地封裝信息、異常簡化了錯誤處理、模板能夠在編譯期執行類型計算。在C++11標準頒布之后,C++更是幾乎變成了一門“全新”的語言,auto/decltype/nullptr/noexcept等新關鍵字增強了語言的描述能力,標準庫也擴充了相當多的組件,易用性和穩定性都大大提升。
在Nginx里使用C++時要對C++的長處和不足有清醒的認識,避免多層次繼承、虛函數等影響效率的編程范式,只使用經過充分驗證的、能夠切實提高開發效率和性能的語言特性和庫,避免華而不實的技術炫耀,盡量做到像Nginx源碼那樣質樸踏實。只有這樣,才能夠發揮出1+1>2的作用,讓Nginx從C++中得到更進一步的發展動力。
Nginx和OpenResty
多年以前Nginx開發使用的語言只能是C和C++,而現在,越來越多的開發者逐漸轉向了OpenResty,使Lua搭建高并發、高性能、高擴展性的WebServer。
我接觸OpenResty的時間并不算很長,大約在四年左右。由于C/C++程序員“天生的傲慢”,一開始對OpenResty確實有點兒“抵觸情緒”,總覺得腳本程序比不上C/C++實現。然而隨著使用的增多,特別是在研究了它的源碼之后,我不得不感慨OpenResty的精致、完美和強大,簡直是所有Nginx開發者“夢寐以求的至寶”。
由于agentzh對Nginx的運行機制了如指掌,OpenResty的核心部分——ngx_lua一個模塊就涵蓋了access/rewrite/content/log等多個處理階段,再搭配上小巧靈活的Lua和高效的LuaJIT,我們就能夠在更高級的業務層次上使用“膠水”代碼來調用組合Nginx底層功能,輕松開發出豐富Web服務,極大地節約了寶貴的時間和精力。
當然,OpenResty并不只有ngx_lua,圍繞著ngx_lua還有眾多的庫和輔助工具,構成了一個相當完善的生態環境,這些組件相互支撐,利用得當可以更好地提高生產效率。
OpenResty現在正處于蓬勃發展的階段,今后的OpenResty也許不僅限于Nginx和WebServer,而將成為一個更通用的開發平臺,工作語言也不僅限于Lua,可能還會有其他新的語言(例如agentzh正在做的edgelang和fanlang),讓我們拭目以待。
致謝
首先當然要感謝Nginx的作者IgorSysoev,沒有他就不會有如此優秀的Web服務器,也就不會有本書的誕生。
OpenResty創始人章亦春(agentzh)是一位非常親切隨和的人,在Nginx、DSL、DynamicTracing等領域造詣極高,本書部分章節有幸經他審閱,在此表示最誠摯的謝意。
親情永遠是人生命中最值得珍惜的部分,我要感謝父母多年來的養育之恩和“后勤”工作,感謝妻子在生活中的陪伴,感謝兩個可愛的女兒,愿你們能夠永遠幸福快樂。
最后,我也要感謝讀者選擇本書,希望讀者能夠在閱讀過程中有所收獲,在Nginx開發過程中獲得樂趣。
您的朋友羅劍鋒
2017年4月28日于北京亞運村
羅劍鋒(網名Chrono)在1996年就讀于東北財經大學;1997年開始接觸C/C++;1998年參加計算機軟件專業技術資格和水平考試,獲高級程序員資質;2003年畢業于北京理工大學,獲計算機專業碩士學位。主要研究方向為C/C++、設計模式、高性能網絡服務器開發,業余愛好是閱讀、旅游、欣賞音樂和電影。
第0章 導讀 1
0.1 關于本書 1
0.2 讀者對象 2
0.3 讀者要求 3
0.4 運行環境 4
0.5 本書的結構 4
0.6 如何閱讀本書 7
0.7 本書的源碼 8
第1章 Nginx入門 9
1.1 關于Nginx 9
1.2 安裝Nginx 13
1.3 配置Nginx 19
1.4 總結 30
第2章 Nginx開發準備 31
2.1 開發環境 31
2.2 目錄結構 32
2.3 源碼特點 34
2.4 使用C++ 35
2.5 C++包裝類 38
2.6 總結 40
第3章 Nginx基礎設施 41
3.1 頭文件 41
3.2 整數類型 42
3.3 錯誤處理 47
3.4 內存池 50
3.5 字符串 58
3.6 時間與日期 64
3.7 運行日志 70
3.8 總結 74
第4章 Nginx高級數據結構 77
4.1 動態數組 77
4.2 單向鏈表 83
4.3 雙端隊列 90
4.4 紅黑樹 101
4.5 緩沖區 108
4.6 數據塊鏈 113
4.7 鍵值對 120
4.8 總結 121
第5章 Nginx開發綜述 123
5.1 最簡單的模塊 123
5.2 開發基本流程 131
5.3 編譯腳本 134
5.4 總結 137
第6章 Nginx模塊體系 139
6.1 模塊架構 139
6.2 配置解析 152
6.3 源碼分析 168
6.4 C++封裝 172
6.5 C++開發模塊 180
6.6 總結 187
第7章 Nginx HTTP框架綜述 191
7.1 框架簡介 191
7.2 處理引擎 198
7.3 過濾引擎 205
7.4 源碼分析 211
7.5 C++封裝 213
7.6 總結 219
第8章 Nginx HTTP請求處理 221
8.1 狀態碼 221
8.2 請求結構體 222
8.3 請求行 223
8.4 請求頭 225
8.5 請求體 226
8.6 響應頭 227
8.7 響應體 229
8.8 源碼分析 229
8.9 C++封裝 232
8.10 開發handler模塊 241
8.11 開發filter模塊 246
8.12 總結 253
第9章 Nginx HTTP請求轉發 255
9.1 框架簡介 255
9.2 請求轉發機制 261
9.3 負載均衡機制 266
9.4 源碼分析 275
9.5 C++封裝 281
9.6 開發upstream模塊 288
9.7 開發load-balance模塊 294
9.8 總結 299
第10章 Nginx HTTP子請求 301
10.1 子請求簡介 301
10.2 子請求運行機制 307
10.3 C++封裝 314
10.4 數據回傳模塊 317
10.5 在模塊里使用子請求 323
10.6 總結 328
第11章 Nginx變量 329
11.1 結構定義 329
11.2 運行機制 332
11.3 復雜變量 334
11.4 C++封裝 335
11.5 在模塊里使用變量 341
11.6 在模塊里使用復雜變量 343
11.7 總結 345
第12章 Nginx輔助設施 347
12.1 摘要算法 347
12.2 編碼和解碼 352
12.3 正則表達式 356
12.4 共享內存 356
12.5 總結 359
第13章 Nginx進程機制 361
13.1 基本系統調用 361
13.2 進程系統調用 362
13.3 信號系統調用 364
13.4 結構定義 365
13.5 全局變量 368
13.6 啟動過程 370
13.7 信號處理 377
13.8 單進程模式 379
13.9 多進程模式 382
13.10 總結 390
第14章 Nginx事件機制 393
14.1 基本系統調用 393
14.2 socket系統調用 395
14.3 epoll系統調用 399
14.4 結構定義 403
14.5 定時器 415
14.6 模塊體系 419
14.7 全局變量 425
14.8 運行機制 427
14.9 總結 452
第15章 Nginx多線程機制 455
15.1 eventfd系統調用 455
15.2 pthread系統調用 456
15.3 結構定義 457
15.4 事件通知 460
15.5 運行機制 463
15.6 在模塊里使用多線程 469
15.7 總結 474
第16章 Nginx Stream機制 477
16.1 模塊體系 477
16.2 監聽端口 483
16.3 處理引擎 491
16.4 過濾引擎 495
16.5 運行機制 496
16.6 開發stream模塊 507
16.7 總結 514
第17章 Nginx HTTP機制 517
17.1 結構定義 517
17.2 初始化連接 519
17.3 執行引擎 528
17.4 處理請求體 534
17.5 發送數據 540
17.6 結束請求 543
17.7 總結 548
第18章 Nginx與設計模式 551
18.1 設計模式簡介 551
18.2 框架級別的模式 551
18.3 業務級別的模式 553
18.4 代碼級別的模式 554
18.5 總結 556
第19章 OpenResty開發 557
19.1 簡介 557
19.2 Lua語言 566
19.3 LuaJIT 577
19.4 Lua模塊 581
19.5 功能接口 585
19.6 應用實例 594
19.7 Stream Lua模塊 598
19.8 lua-resty庫 601
19.9 總結 603
第20章 結束語 605
20.1 本書的遺憾 605
20.2 下一步 605
20.3 臨別贈言 606
附錄A 推薦書目 607
附錄B GDB調試簡介 609
附錄C Nginx C++模塊簡介 611
附錄D Nginx的字符串格式化 613
附錄E nginScript簡介 615