NGINX發(fā)布的1.9.1版本引入了一個新的特性:允許使用SO_REUSEPORT套接字選項,該選項在許多操作系統(tǒng)的新版本中是可用的,包括DragonFly BSD和Linux(內(nèi)核版本3.9及以后)。該套接字選項允許多個套接字監(jiān)聽同一IP和端口的組合。內(nèi)核能夠在這些套接字中對傳入的連接進(jìn)行負(fù)載均衡。
(對于NGINX Plus客戶,此功能將在年底發(fā)布的版本7中出現(xiàn))
SO_REUSEPORT選項有許多潛在的實(shí)際應(yīng)用。其他服務(wù)也可以使用它來簡單實(shí)現(xiàn)執(zhí)行中的滾動升級(Nginx已經(jīng)通過不同的辦法支持了滾動升級)。對于NGINX而言,啟用該選項可以減少在某些場景下的鎖競爭而改善性能。
如下圖描述,當(dāng)SO_REUSEPORT選項有效時,一個單獨(dú)的監(jiān)聽socket通知工作進(jìn)程接入的連接,并且每個工作線程都試圖獲得連接。
當(dāng)SO_REUSEPORT選項啟用是,存在對每一個IP地址和端口綁定連接的多個socket監(jiān)聽器,每一個工作進(jìn)程都可以分配一個。系統(tǒng)內(nèi)核決定哪一個有效的socket監(jiān)聽器(通過隱式的方式,給哪一個工作進(jìn)程)獲得連接。這可以減少工作進(jìn)程之間獲得新連接時的封鎖競爭(譯者注:工作進(jìn)程請求獲得互斥資源加鎖之間的競爭),同時在多核系統(tǒng)可以提高性能。然而,這也意味著當(dāng)一個工作進(jìn)程陷入阻塞操作時,阻塞影響的不僅是已經(jīng)接受連接的工作進(jìn)程,也同時讓內(nèi)核發(fā)送連接請求計劃分配的工作進(jìn)程因此變?yōu)樽枞?br />
設(shè)置共享Socket
為了讓SO_REUSEPORT socket選項起作用,應(yīng)為HTTP或TCP(流模式)通信選項內(nèi)的listen項直接引入新近的reuseport參數(shù),就像下例這樣:
復(fù)制代碼 代碼如下:
http {
server { listen 80 reuseport;
server_name localhost;
...
}
}
stream {
server { listen 12345 reuseport;
...
}
}
引用reuseport參數(shù)后,對引用的socket,accept_mutex參數(shù)將會無效,因?yàn)榛コ饬浚╩utex)對reuseport來說是多余的。對沒有使用reuseport的端口,設(shè)置accept_mutex仍然是有價值的。
reuseport的基準(zhǔn)性能測試
我在一個36核的AWS實(shí)例運(yùn)行wrk基準(zhǔn)測試工具測試4個NGINX 工作進(jìn)程.為了減少網(wǎng)絡(luò)的影響,客戶端和NGINX都運(yùn)行在本地,并且讓NGINX返回OK字符串而不是一個文件。我比較三種NGINX配置:默認(rèn)(等同于accept_mutex on ),accept_mutex off,和reuseport。如圖所示,reuseport的每秒請求是其余的兩到三倍,同時延遲和延遲標(biāo)準(zhǔn)差也是減少的。
我又運(yùn)行了另一個相關(guān)的性能測試――客戶端和NGINX分別在不同的機(jī)器上且NGINX返回一個HTML文件。如下表所示,用 reuseport 減少的延遲和之前的性能測試相似,延遲的標(biāo)準(zhǔn)差減少的更為顯著(接近十分之一)。其他結(jié)果(沒有顯示在表格中)同樣令人振奮。使用 reuseport ,負(fù)載被均勻分離到了worker進(jìn)程。在默認(rèn)條件下(等同于 accept_mutex on),一些worker分到了較高百分比的負(fù)載,而用 accept_mutex off 所有worker都受到了較高的負(fù)載。
新聞熱點(diǎn)
疑難解答
圖片精選