暗通道與導引濾波
標簽（空格分隔）： 論文學習筆記
暗通道與導引濾波暗通道與圖像去霧1 暗通道理論2霧的成像模型3暗通道理論去霧推導4 實驗結果5 該理論的缺陷導引濾波1導引濾波概述2數學推導3實驗效果31去霧效果32邊緣保持效果4算法復雜度說明5加權導引濾波實際用途
1. 暗通道與圖像去霧
霧霾是特定氣候與人類活動相互作用的結果。高密度人口的經濟生產及社會活動會排放大量細顆粒物，一旦排放量超過大氣循環和承載能力，懸浮顆粒受靜穩天氣的影響持續積聚，極易出現大范圍的霧霾。 現有的圖像去霧（Image Dehazing）技術離不開一個簡單的自然模型——大氣散射模型（Atmospheric Scattering Model）。大氣散射模型描述了，在霧霾和光照的共同作用下的成像機制： 
陽光在物體表面形成反射光 J(x)，反射光在穿過霧霾的過程發生散射，只有部分能量 J(x)t(x) 能到達攝像頭。與此同時，陽光也在懸浮顆粒表面散射形成大氣光 α 被攝像頭接收。因此，攝像頭中的成像 I(x) 可由兩部分組成，透射的物體亮度 J(x)t(x) 和散射的大氣光照 α(1－t(x))： I(x)=J(x)t(x)+A(1?t(x)) 其中，t(x) 是媒介透射率（medium transmission），顧名思義表示能順利透過霧霾到達攝像頭的比率。因此，透射率跟物體與攝像頭距離 d(x) 成反比，離攝像頭越遠的物體受霧霾影響更大。當距離 d(x) 趨于無窮大時，透射率 t(x) 趨于零，I(x) 趨近于 α，α=maxy∈{x|t(x)≤t0}I(y)。綜上所述，去霧的核心是如何更精確地估計媒介透射率 t(x)。
1.1 暗通道理論
暗通道的定義： 在絕大多數非天空的局部區域里，某一些像素總會有至少一個顏色通道具有很低的值。換言之，該區域光強度的最小值是個很小的數。 我們給暗通道一個數學定義，對于任意的輸入圖像J，其暗通道可以用下式表達： Jdark=miny∈Ω(x)(minc∈{r,g,b}Jc(y)).....(1) 其中Ω(x)表示以x為中心的圖像窗口，Jc(y)表示rgb圖像某一點y的某一通道。上述公式所表示的意義用代碼表達也很簡單，首先求出每個像素RGB分量中的最小值，存入一副和原始圖像大小相同的灰度圖中，然后再對這幅灰度圖進行最小值濾波，濾波的半徑由窗口大小決定，一般有WindowSize = 2 * Radius + 1; 暗通道先驗的理論指出：Jdark→0 實際生活中造成暗原色中地通道值主要有三個因素： 1)汽車、建筑物和城市中玻璃窗戶的陰影，或者是樹葉、樹與巖石等自然景觀的投影； 2)色彩鮮艷的物體或表面，在RGB的三個通道中有些通道的值很低（比如綠色的草地／樹／植物，紅色或黃色的花朵／葉子，或者藍色的水面）； 3)顏色較暗的物體或者表面，例如灰暗色的樹干和石頭。總之，自然景物中到處都是陰影或者彩色，這些景物的圖像的暗原色總是很灰暗的。 首先找一張沒有霧的圖做暗通道處理，（窗口大小為15*15，即最小值濾波的半徑為7像素） 
其暗通道如下： 
再找一張有霧的圖像進行暗通道處理: 
暗通道處理結果如下： 
通過對大量自然圖像的暗通道處理統計,發現基本符合上述先驗知識。
1.2霧的成像模型
在計算機視覺和計算機圖形當中，霧圖像的成像模型被廣泛認為符合下式： I(x)=J(x)t(x)+A(1?t(x)).......(2)
其中，I(x)是我們現有的帶霧圖像，J(x)是我們要恢復的無霧圖像，A是全球大氣光成分，t(x)為透射率。顯然方程有無數解，那么要求得滿足條件的解就需要先驗條件進行約束。 下面來分析一下推導過程： 對(2)式進行變形
1.3暗通道理論去霧推導
Ic(x)Ac=t(x)Jc(x)Ac+1?t(x)......(3) 其中，c表示圖像的rgb某通道。然后，假設在圖像窗口內透射率t(x)為常數，表示為tconst(x),然后對式(3)進行暗通道處理，得到下式： miny∈Ω(x)(minc(Ic(y)Ac))=tconstminy∈Ω(x)(minc)Jc(y)Ac+1?tconst(x).....(4) 上式中，J是待求的無霧圖像，根據暗通道先驗理論有： Jdark(x)=miny∈Ω(x)(mincJc(y))=0......(5) 則可得出公式(4)中等式的右邊第一項為0，則公式(4)可簡化為 miny∈Ω(x)(minc(Ic(y)Ac))=1?tconst(x).....(6) 通過上式我們可以求出透射率預估值。 在現實生活中，即使是晴天白云，空氣中也存在著一些顆粒，因此，看遠處的物體還是能感覺到霧的影響，另外，霧的存在讓人類感到景深的存在，因此，有必要在去霧的時候保留一定程度的霧，這可以通過在式（6）中引入一個在[0,1] 之間的因子，則式（6）修正為： tconst(x)=1?ωminy∈Ω(x)(minc(Ic(y)Ac)).....(7) 通常取ω=0.8?0.95中的某個值。 上述推論中都是假設全球達氣光A值時已知的，在實際中，我們可以借助于暗通道圖來從有霧圖像中獲取該值。具體步驟如下： 1） 從暗通道圖中按照亮度的大小取前0.1%的像素。 2） 在這些位置中，在原始有霧圖像I中尋找對應的具有最高亮度的點的值，作為A值。 到這一步，我們就可以進行無霧圖像的恢復了。由式（1）可知： J = ( I - A)/t + A 現在I,A,t都已經求得了，因此，完全可以進行J的計算。 當投射圖t 的值很小時，會導致J的值偏大，從而使淂圖像整體向白場過度，因此一般可設置一閾值T0，當t值小于T0時，令t=T0，本文中所有效果圖均以T0=0.1為標準計算。 因此，最終的恢復公式如下： J(x)=I(x)?Amax(t0,t)+A.....(8) 單純的利用上述公式進行圖像去霧恢復，會出現比較嚴重的halo現象，在何凱明的論文中對恢復圖像進行進一步的soft matting 處理，可達到較為理想的效果。
1.4 實驗結果
1.5 該理論的缺陷
暗通道先驗是一種統計的結果，是對大量戶外無霧照片(outdoor haze-free images)的統計結果，如果目標場景內在的就和大氣光類似，比如雪地、白色背景墻、大海等，則由于前提條件就不正確，因此一般無法獲得滿意的效果，而對于一般的風景照片這個算法能處理的不錯。
2.導引濾波
導引濾波由何凱明博士在2013年PAMI期刊中發表文章Guided image filter首次提出，引起了不小的反向，導引濾波不僅能夠在視覺效果上超越雙邊帶濾波，更是在算法實現的復雜度達到了O(N)。接下來就來分析這篇文章。
2.1導引濾波概述
導引濾波相對于雙邊濾波有更好的邊緣保持性，且不會出現梯度反轉現象。在不同引導圖像的引導下，可廣泛應用于降噪、去霧、高動態范圍壓縮等。在導引濾波的定義中，用到了局部線性模型，至于該模型，可以用下圖簡單的理解： 
該模型認為，某函數上一點與其鄰近部分的點成線性關系，一個復雜的函數就可以用很多局部的線性函數來表示，當需要求該函數上某一點的值時，只需計算所有包含該點的線性函數的值并做平均即可。這種模型，在表示非解析函數上，非常有用。
2.2數學推導
同理，我們可以認為圖像是一個二維函數，而且沒法寫出解析表達式，因此我們假設該函數的輸出與輸入在一個二維窗口內滿足線性關系，如下 qi=akIi+bk,?i∈ωk.....(9) 其中，q是輸出像素的值，I是輸入圖像的值，i和k是像素索引，a和b是當窗口中心位于k時該線性函數的系數。其實，輸入圖像不一定是待濾波的圖像本身，也可以是其他圖像即引導圖像，這也是為何稱為引導濾波的原因。對上式兩邊取梯度，可以得到 ▽q=a▽I......(10) 即當輸入圖像I有梯度時，輸出q也有類似的梯度，現在可以解釋為什么引導濾波有邊緣保持特性了。 下一步是求出線性函數的系數，也就是線性回歸，即希望擬合函數的輸出值與真實值p之間的差距最小，也就是讓下式最小 E(ak,bk)=∑i∈ωk((akIi+bk?pi)2+?a2k)......(11) 這里p只能是待濾波圖像，并不像I那樣可以是其他圖像。同時，a之前的系數用于防止求得的a過大，也是調節濾波器濾波效果的重要參數。通過最小二乘法，我們可以得到: ak=1|ω|∑i∈ωkIipi?μkpkˉˉˉδ2k+?........(12) bk=pˉk?akμk.....(13) 其中，μk是I在窗口ωk中的方差，|w|是窗口ωk中像素值的數量，pˉk表示待濾波圖像p在窗口ωk中的均值。 在計算每個窗口的線性系數時，我們可以發現一個像素會被多個窗口包含，也就是說，每個像素都由多個線性函數所描述。因此，如之前所說，要具體求某一點的輸出值時，只需將所有包含該點的線性函數值平均即可，如下 qi=1|ω|∑k:i∈ωk(akIi+bk)=aˉiIi+bˉi.....(14) 當把引導濾波用作邊緣保持濾波器時，往往有 I = p ，如果?=0，顯然a=1, b=0是E(a,b)為最小值的解，從上式可以看出，這時的濾波器沒有任何作用，將輸入原封不動的輸出。如果?>0，在像素強度變化小的區域（或單色區域），有a近似于（或等于）0，而b近似于（或等于）pˉk，即做了一個加權均值濾波；而在變化大的區域，a近似于1，b近似于0，對圖像的濾波效果很弱，有助于保持邊緣。而?的作用就是界定什么是變化大，什么是變化小。在窗口大小不變的情況下，隨著?的增大，濾波效果越明顯。
在濾波效果上，引導濾波和雙邊濾波差不多，在一些細節上，引導濾波較好。引導濾波最大的優勢在于，可以寫出時間復雜度與窗口大小無關的算法（打算在之后的文章中討論），因此在使用大窗口處理圖片時，其效率更高。
2.3實驗效果
2.3.1去霧效果
下圖為暗通道去霧和導引濾波去霧結果對比圖，左圖為暗通道去霧 
2.3.2邊緣保持效果
下圖將輸入圖像同時作為導引圖像，取得的實驗結果為邊緣保持的圖像模糊效果，下圖中左圖為輸入原圖像，右圖為濾波半徑r = 8,矯正系數?=0.42時的濾波結果。 
下圖為雙邊帶濾波結果 
2.4算法復雜度說明
何凱明博士在他的論文中給出了具體的算法步驟，如下圖所示： 
下面我們從數學推導公式的步驟一步一步分析代碼實現: ak=1|ω|∑i∈ωkIipi?μkpkˉˉˉδ2k+?........(12) bk=pˉk?akμk.....(13) 公式(12)(13)告訴我們怎么計算a和b的值，先計算ak的分子，Ip 在窗口wk中的和，再除以窗口中像素的個數，剛好就是盒式濾波(見盒式濾波)，因此我們可以將輸入的引導圖像 I 和濾波圖像 p 相乘，并對相乘后的圖像做box filtering，即得第一項的結果。后面的μk和分別為 I 和 p 在窗口wk中均值，因此分別對 I 和 p 進行box filtering，再將box filtering之后的結果相乘即可。實際上，ak的分子就是 Ip 在窗口wk中的協方差。 接下來計算a_k的分母部分。是引導圖 I 在窗口wk中的方差，學過概率論與數理統計的朋友應該知道，方差和期望（均值）之間是有關系的，如下式 DX=E(X2)?(EX)2 因此在計算 I 的方差時，我們可以先計算 I*I 的均值，再減去 I 均值的平方即μk的平方。在方法上，計算 I*I 的均值和計算 Ip 的均值是一樣的。最后，對計算出來的方差圖像，加上常量?（每個元素都加?），分母就計算完了，自然，ak在所有窗口中的值也就得到了。bk的計算就更容易了。 輸出圖像的公式 qi=1|ω|∑k:i∈ωk(akIi+bk)=aˉiIi+bˉi.....(14) 輸出值q又與兩個均值有關，分別為a和b在窗口wi中的均值（不是wk），所以還是box filtering，我們將上一步得到兩個圖像都進行盒式濾波，得到兩個新圖：ai和bi，然后用ai乘以引導圖像 I ，再加上bi，即得最終濾波之后的輸出。
2.5加權導引濾波
加權導引濾波由Zhengguo Li博士等人在2015年的TIP上發表文章Weighted Guided Image Filtering上提出，該文章在何凱明博士的guided image filter 一文的基礎上做了改進，在邊緣保持上達到了更好的效果，并很大程度上消除了bilateral filter的halo現象。 讀完文章，發現此篇文章建立的數學模型和何凱明博士建立的數學模型基本一致，但做了如下改進: 優化矯正系數?，將圖像像素的權重考慮到矯正系數當中。具體數學模型如下公式所示: E=∑p∈Ωδ(p′)[(a′pG(p)+b′p?X(p))2+λΓG(p′)a′2p] 其中ΓG(p′)為圖像的加權系數,文章中給了如下定義方式 ΓG(p′)=1N∑p=1Nδ2G,1(p′)+?δ2G,1(p)+?
3.實際用途
文章中提到導引濾波多用來做邊緣保持的圖像模糊，圖像去霧，高動態圖像壓縮等等。基于我們的實際用途，去除云陰影，還待進一步實驗。
