DDoS攻防戰(zhàn)（三）：ip黑白名單防火墻frdev的原理與實現(xiàn)

2024-06-28 13:25:28

字體：大中小

來源：轉(zhuǎn)載

供稿：網(wǎng)友

湯之盤銘曰茍日新日日新又日新

康誥曰作新民

詩曰周雖舊邦其命維新

是故君子無所不用其極

——禮記·大學

在上一篇文章《DDoS攻防戰(zhàn)（二）：CC攻擊工具實現(xiàn)與防御理論》中,筆者闡述了一個防御狀態(tài)機，它可用來抵御來自應(yīng)用層的DDoS攻擊，但是該狀態(tài)機依賴一個能應(yīng)對大量條目快速增刪的ip黑白名單防火墻，我們目前并沒有發(fā)現(xiàn)很好的開源實現(xiàn)以供我們使用。

·實現(xiàn)方案選擇：

硬件實現(xiàn)或者軟件實現(xiàn)？

在面對諸如大量畸形包這樣的攻擊時，硬件實現(xiàn)將會是非常好的選擇，這是因為在進行此類型的封包過濾時，系統(tǒng)需要記憶的狀態(tài)很少（對于FPGA、ASIC諸多硬件實現(xiàn)方案來講，記憶元件的成本決不可忽視，寄存器與靜態(tài)RAM都非常昂貴，所以當需要記憶的信息很少時，純硬件方案的速度優(yōu)勢使得其完勝軟件方案）。

但是，當狀態(tài)機需要處理龐大的記憶信息時，我們就需要選擇廉價的存儲器——動態(tài)隨機存儲器（如SDRAM中的DDR3）來作為系統(tǒng)狀態(tài)機的存儲介質(zhì)，以降低系統(tǒng)的成本和復(fù)雜度。這時，軟件實現(xiàn)更勝一籌。盡管純硬件實現(xiàn)的速度會比軟件的方式高出很多，但我們也從第一篇文章《DDoS攻防戰(zhàn)（一）：概述》中l(wèi)vs性能的測試結(jié)果中看到，軟件實現(xiàn)的、作為服務(wù)器前端均衡調(diào)度器的lvs，性能理想并且能勝任實際生產(chǎn)環(huán)境中的、龐大的用戶請求處理，可見，如果設(shè)計合理，軟件實現(xiàn)的性能無需過多擔憂。

最終，我們決定采用軟件的方法來實現(xiàn)所需的ip黑白名單模塊。

·最終系統(tǒng)鳥瞰：

筆者花費大約二十天的時間，使用C語言實現(xiàn)了這一模塊，其中，內(nèi)核空間的核心代碼約2300行，用戶空間管理工具的代碼總行數(shù)約為700行。下為系統(tǒng)的鳥瞰：

·用戶空間管理工具fripadm，通過ioctl與工作于內(nèi)核態(tài)的frdev模塊進行通信

·frdev維護兩個double_hash_table的實例，并提供了一個掛在NF_INET_PRE_ROUTING的鉤子函數(shù)，其通過操作這兩個double_hash_table的實例以分別實現(xiàn)ip黑名單、白名單的功能

·frdev通過內(nèi)核中設(shè)備驅(qū)動的ioctl機制，向用戶空間提供這兩個double_hash_table實例的操作函數(shù)，而我們的用戶空間管理工具fripadm正是基于此而實現(xiàn)的

下面是內(nèi)核態(tài)的主要數(shù)據(jù)結(jié)構(gòu)與其對應(yīng)的操作函數(shù)：

struct fr_ip_hash_array的功能：  精確ip查詢；  模糊ip查詢；  自定義hash表的長度；  自定義hash function，其輸入散列隨機數(shù)為rnd；  維護精確ip的哈希表；  維護模糊ip的鏈表；  維護精確ip與模糊ip的諸統(tǒng)計信息；ip字符描述語法：  /* ips_syntax : RE   digit  =: [0-9]  num    =: (digit){1,3}  atom   =: num | (num'-'num) | '*'  ip     =: atom '.' atom '.' atom '.' atom   ips    =: (ip ' ')+  */  // ret 0 success,otherwise syntax error  // "1-220.*.100.33 1-220.*.100.33 1-220.*.100.33"struct fr_ip_hash_array的方法：  fr_ip_hash_array_malloc / fr_ip_hash_array_destroy  fr_ip_hash_array_insert_ip  ：增加一條精確ip記錄  fr_ip_hash_array_insert_blurip_ptr  ：增加一條模糊ip記錄（以指針引用的方式）  fr_ip_hash_array_delete_ip  fr_ip_hash_array_delete_blurip_ptr  fr_ip_hash_array_delete_ip_randomly  ：隨機地刪除指定數(shù)量的精確ip  fr_ip_hash_array_insert_ip_bystrings  ：通過字符串的表述方式，向fr_ip_hash_array增加精確ip或者模糊ip  fr_ip_hash_array_delete_ip_bystrings  fr_ip_hash_array_find_bool  ：查找給定的ip是否在已存儲的模糊ip范圍之內(nèi)或者精確ip的哈希表之中  fr_ip_hash_array_find_ip_bool  ：查找給定的ip是否在精確ip的哈希表之中  fr_ip_hash_array_find_ip_bystrings_bool

·為什么使用雙哈希表緩沖？

請考慮如下場景：

情況1：來自應(yīng)用層的DDoS攻擊常常是瞬間涌入大量非法ip請求，例如數(shù)萬個非法ip，所以，對于防火墻黑白名單功能的要求至少有如下：能在很短的時間內(nèi)更新大量數(shù)據(jù)項，且不能造成系統(tǒng)服務(wù)停頓。

分析：如果只使用一個全局的哈希表，當在短時間內(nèi)進行大量的數(shù)據(jù)項增刪時，例如，成千上萬個，此時，即使采用多把讀寫鎖分割哈希表的策略，對共享資源的競爭也依然將嚴重影響系統(tǒng)響應(yīng)速度，嚴重時系統(tǒng)可能會停頓或者更糟，對于生產(chǎn)環(huán)境中的高負載服務(wù)器，這是無法容忍的。

解決：以空間換時間

采用雙哈希表緩沖的策略，將系統(tǒng)共享資源的競爭熱點壓縮至兩個hash表指針主備切換的極短時間內(nèi)，此方法能顯著降低系統(tǒng)在大量數(shù)據(jù)項更新時共享資源的競爭。

系統(tǒng)查詢將會直接訪問master指向的fr_ip_hash_array，而用戶的更新操作將直接針對mirror所指向的另一個fr_ip_hash_array實例，直到switch_mirror_update操作的執(zhí)行，master將被瞬間“更新”。這是其主要的工作特點。

對于SMP與多隊列網(wǎng)卡的系統(tǒng)，可采用如下策略：多數(shù)cpu核心專門負責處理內(nèi)核的softirq任務(wù)，剩下的少數(shù)cpu負責進行雙哈希表的更新、切換與重建等操作。這樣可提高系統(tǒng)對攻擊的快速防御響應(yīng)。

但此方案將使得系統(tǒng)需要維護兩個互為鏡像的哈希表，這將加重系統(tǒng)內(nèi)存的讀寫負擔。

具體實現(xiàn)細節(jié)如下：

struct fr_ip_double_hash的成員：  struct fr_ip_hash_array * master_ptr;  rwlock_t master_lock;    struct fr_ip_hash_array * mirror_ptr;  rwlock_t mirror_lock;struct fr_ip_double_hash的方法：  fr_ip_double_hash_malloc / fr_ip_double_hash_destroy  fr_ip_double_hash_mirror_insert_ip ：只針對mirror的insert ip操作  fr_ip_double_hash_mirror_insert_blurip_ptr  fr_ip_double_hash_mirror_insert_bystrings  fr_ip_double_hash_mirror_delete_ip  fr_ip_double_hash_mirror_delete_blurip_ptr  fr_ip_double_hash_mirror_delete_bystrings  fr_ip_double_hash_mirror_delete_ip_randomly  fr_ip_double_hash_mirror_delete_all ：刪除mirror中所有的ip記錄，即所有的精確ip和模糊ip記錄  fr_ip_double_hash_switch_mirror_update ：將mirror與master互換，并更新master至mirror（此時的mirror即為之前的master）  fr_ip_double_hash_rebuild ：將雙哈希表重建，可指定新的hash function、rnd以及hash表的長度，這將解決hash表查詢效率低下的問題，以防御外界針對hash表的攻擊。當然，在重建之后，原有的諸多ip條目不會丟失。  fr_ip_double_hash_find_bool  fr_ip_double_hash_find_bystrings_bool

掛到協(xié)議棧上的鉤子函數(shù)：

在模塊初始化函數(shù)fr_ip_dev_init的最后，即當兩個雙哈希表實例（分別用作黑名單與白名單）初始化成功、fedev設(shè)備注冊成功之后，其將會執(zhí)行nf_register_hook，將指定的鉤子函數(shù)fr_nf_hook_sample掛到NF_INET_PRE_ROUTING之上。

fr_nf_hook_sample的主要處理代碼如下：

   if(fr_ip_double_hash_find_bool(double_hash_white_ptr,sip)) 　　  return NF_ACCEPT;   else if(fr_ip_double_hash_find_bool(double_hash_ptr,sip)) 　　  return NF_DROP;   else  　　  return NF_ACCEPT;

其中，double_hash_white_ptr指向白名單fr_ip_double_hash實例，double_hash_ptr則指向黑名單fr_ip_double_hash實例，由于支持模糊ip匹配，故，上述代碼使得對源ip過濾的“通”、“堵”策略皆可使用。

內(nèi)核空間frdev的ioctl處理函數(shù)：

目前，ioctl支持來自用戶空間的如下操作：

//黑名單操作/* in-black ip */#define FR_IP_IOCTL_TYPE_FIND    1#define FR_IP_IOCTL_TYPE_FIND_BYSTRINGS        2    // *   輸入ip字符查找#define FR_IP_IOCTL_TYPE_MIRROR_INSERT_IP    3    #define FR_IP_IOCTL_TYPE_MIRROR_INSERT_BYSTRINGS    4    // * #define FR_IP_IOCTL_TYPE_MIRROR_DELETE_IP    5        // *  #define FR_IP_IOCTL_TYPE_MIRROR_DELETE_IP_RANDOMLY        6 //*  #define FR_IP_IOCTL_TYPE_MIRROR_DELETE_BYSTRINGS    7    // * #define FR_IP_IOCTL_TYPE_MIRROR_DELETE_ALL        8    //*  #define FR_IP_IOCTL_TYPE_SWITCH_MIRROR_UPDATE    9    // *  #define FR_IP_IOCTL_TYPE_REBUILD    10    // *    #define FR_IP_IOCTL_TYPE_COPY_HASH_STRUCT     11    // *#define FR_IP_IOCTL_TYPE_DUMP    12    //*    輸出雙哈希表的分布情況與統(tǒng)計信息#define FR_IP_IOCTL_TYPE_MIRROR_INSERT_IP_BINS    13    //*   一次增加大量精確ip，以二進制的方式輸入#define FR_IP_IOCTL_TYPE_MIRROR_DELETE_IP_BINS    14    //*  //白名單操作/* in-white ip */#define FR_IP_IOCTL_TYPE_WHITE_FIND    101#define FR_IP_IOCTL_TYPE_WHITE_FIND_BYSTRINGS        102  // * #define FR_IP_IOCTL_TYPE_WHITE_MIRROR_INSERT_IP        103#define FR_IP_IOCTL_TYPE_WHITE_MIRROR_INSERT_BYSTRINGS    104  // * #define FR_IP_IOCTL_TYPE_WHITE_MIRROR_DELETE_IP        105#define FR_IP_IOCTL_TYPE_WHITE_MIRROR_DELETE_IP_RANDOMLY        106  // * #define FR_IP_IOCTL_TYPE_WHITE_MIRROR_DELETE_BYSTRINGS    107    // * #define FR_IP_IOCTL_TYPE_WHITE_MIRROR_DELETE_ALL        108    //*  #define FR_IP_IOCTL_TYPE_WHITE_SWITCH_MIRROR_UPDATE    109    // *  #define FR_IP_IOCTL_TYPE_WHITE_REBUILD    110    // *    #define FR_IP_IOCTL_TYPE_WHITE_COPY_HASH_STRUCT     111    // *#define FR_IP_IOCTL_TYPE_WHITE_DUMP    112    //*  #define FR_IP_IOCTL_TYPE_WHITE_MIRROR_INSERT_IP_BINS    113    //*  #define FR_IP_IOCTL_TYPE_WHITE_MIRROR_DELETE_IP_BINS    114    //*

上述各功能的具體實現(xiàn)請閱讀frdev源碼中的fr_ip_dev_ioctl_routine函數(shù)。

用戶空間管理工具：fripadm

第一步，實現(xiàn)fripadm_black_in_exe與fripadm_white_in_exe，是分別管理黑白名單的工具，不過，較為簡陋，第二步，使用shell腳本對其進行二次封裝得到fripadm_black_in.sh與fripadm_white_in.sh這兩個較用戶友好的工具。

fripadm為用戶空間的C語言開發(fā)者們提供了如下API：

//針對ip黑名單的操作double_hash_find_bystrings(int fd,char * str, unsigned int size) //其中fd為frdev的fd——文件描述符double_hash_mirror_insert_bystrings(int fd,char * str, unsigned int size)double_hash_mirror_insert_bins(int fd,char * str, unsigned int size)double_hash_mirror_delete_bystrings(int fd,char * str, unsigned int size)double_hash_mirror_delete_bins(int fd,char * str, unsigned int size)double_hash_mirror_delete_ip_randomly(int fd,unsigned int size)double_hash_mirror_delete_all(int fd)double_hash_switch_mirror_update(int fd)double_hash_rebuild(int fd,unsigned int modular, unsigned int rnd)double_hash_dump(int fd)//針對ip白名單的操作double_hash_white_find_bystrings(int fd,char * str, unsigned int size) //其中fd為frdev的fd——文件描述符double_hash_white_mirror_insert_bystrings(int fd,char * str, unsigned int size)double_hash_white_mirror_insert_bins(int fd,char * str, unsigned int size)double_hash_white_mirror_delete_bystrings(int fd,char * str, unsigned int size)double_hash_white_mirror_delete_bins(int fd,char * str, unsigned int size)double_hash_white_mirror_delete_ip_randomly(int fd,unsigned int size)double_hash_white_mirror_delete_all(int fd)double_hash_white_switch_mirror_update(int fd)double_hash_white_rebuild(int fd,unsigned int modular, unsigned int rnd)double_hash_white_dump(int fd)

fripadm_black_in_exe、fripadm_white_in_exe、fripadm_black_in.sh與fripadm_white_in.sh的具體實現(xiàn)請參看frdev源碼。

最終系統(tǒng)測試：

按照README所述的過程，編譯、安裝完畢f(xié)rdev設(shè)備后，便可進行如下測試：

原本被black所DROP的數(shù)據(jù)包，在更新了white的ip條目后，被white所ACCEPT，上圖紅線標出了數(shù)據(jù)包被截斷的icmp_seq的區(qū)間。

關(guān)于frdev的陳述到此為止。

最近筆者在閱讀《白帽子講Web安全》這本書時，發(fā)現(xiàn)了雅虎公司用于防護應(yīng)用層DDoS攻擊的系統(tǒng)YahooDetectingSystemAbuse，yahoo為此系統(tǒng)申請了專利保護。下面是關(guān)于這個系統(tǒng)的描述：

（PatentN0.:US7,533,414B1資料來源http://patentimages.storage.googleapis.com/pdfs/US7533414.pdf)

Asystemcontinuallymonitorsservicerequestsanddetectsserviceabuses.

First,ascreeninglistiscreatedtoidentifypotentialabuseevents.AscreeninglistincludeseventIDsandassociatedcountvalues.Apointercyclicallyselectsentriesinthetable,advancingaseventsarereceived.

AnincomingeventIDiscomparedwiththeeventIDsinthetable.IftheincomingeventIDmatchesaneventIDintheScreeninglist,theassociatedcountisincremented.Otherwise,thecountofaselectedtableentryisdecremented.IfthecountvalueoftheselectedentryfallstoZero,itisreplacedWiththeincomingevent.

EventIDscanbebasedonpropertiesofserviceusers,suchasuseridentifications,orofservicerequestcontents,suchasasearchtermormessagecontent.Thescreeninglistisanalyzedtodeterminewhetheractualabuseisoccurring.

大概思路如下：