淺析基于小波分解的圖像融合

標(biāo)簽（空格分隔）： 論文學(xué)習(xí)筆記

（備注：此篇心得基于論文 A wavelet-based image fusion tutorial. Gonzalo Pajares）

一、圖像融合背景

對(duì)于同一場(chǎng)景的圖像，由于成像方式、CCD的焦距、應(yīng)用背景燈多種因素的影響下，往往會(huì)得到不同關(guān)注點(diǎn)下的多幅圖像。通過對(duì)這項(xiàng)圖像的融合，可能使得新產(chǎn)生的圖像包含更過的信息，從而有利于人們認(rèn)知、機(jī)器識(shí)別以及后續(xù)的圖像處理。圖像融合也分為像素級(jí)、特征級(jí)、決策級(jí)的算法，本篇學(xué)習(xí)筆記主要針對(duì)基于像素級(jí)的小波分解圖像融合。

二、基于小波的圖像融合

基于小波的圖像融合主要是對(duì)小波多級(jí)分解后的圖像系數(shù)進(jìn)行一系列操作，從而得到可重構(gòu)的小波系數(shù)對(duì)圖像進(jìn)行重構(gòu)，從而達(dá)到圖像融合的目的。

2.1圖像預(yù)處理

圖像預(yù)處理主要分為兩個(gè)部分：對(duì)圖像的重采樣和待融合圖像的配準(zhǔn)。 重采樣：保證待融合的圖像具有相同的圖像尺寸，保證分解后的小波系數(shù)是位置上一一對(duì)應(yīng)的。 圖像配準(zhǔn)：為了保證小波系數(shù)在位置上的一一對(duì)應(yīng)，此方法對(duì)圖像配準(zhǔn)具有較高要求，希望配準(zhǔn)精度是亞像素級(jí)的。否則會(huì)出現(xiàn)十分明顯的融合殘影現(xiàn)象，如下圖所示：

2.2小波多級(jí)分解（MSD）

參照第二代提升小波和方向提升小波 以上鏈接講述了二代替身小波的原理以及自適應(yīng)方向提升小波的matlab源代碼和C語(yǔ)言源代碼。在這里只需要強(qiáng)調(diào)的是進(jìn)行小波分解后有低頻小波系數(shù)LL，和一系列的高頻小波系數(shù)HL,LH,HH以及多級(jí)分解后的跟高級(jí)數(shù)的高頻系數(shù)。在圖像融合的應(yīng)用中，只需要對(duì)待融合圖像的高頻系數(shù)進(jìn)行融合操作處理，低頻系數(shù)則是看具體需求選取一幅待處理圖像中的系數(shù)LL。

2.3圖像融合

在本篇學(xué)習(xí)筆記中，待融合圖像記為X,Y，融合后的圖像記為Z。DX,DY,DZ$D_X,D_Y,D_Z$分別為其小波系數(shù)，AX,AY$A_X,A_Y$為其高頻小波系數(shù)，p=(m,n,k,l)表示對(duì)應(yīng)位置的小波系數(shù)，m,n分別表示p對(duì)應(yīng)的空間位置，k表示小波分解級(jí)數(shù)，l表示小波分解的頻帶數(shù)。 基于像素的小波融合方法又可以分為基于單個(gè)像素的融合和基于滑窗內(nèi)像素（窗可取3*3,5*5,7*7）的融合。

2.3.1基于單個(gè)像素的融合

一是取待融合圖像MSD系數(shù)的加權(quán)和DZ(p)=wx(p)DX(p)+wy(p)DY(p)$D_Z(p) = w_x(p)D_X(p) + w_y(p)D_Y(p)$，最直白的即取小波系數(shù)的平均加權(quán)和，或者DZ(p)=DX(P)DY(p)???????????√+b$D_Z(p) = /sqrt{D_X(P)D_Y(p)} + b$,b為偏置項(xiàng)，用來控制最終的輸出小波系數(shù)。 一是取待融合圖像MSD系數(shù)的絕對(duì)值較大者Ai(p)=max(AX(p),AY(p))$A_i(p) = max(A_X(p),A_Y(p))$，一種改進(jìn)的策略是在一個(gè)窗內(nèi)如果大部分的系數(shù)都取X圖像的系數(shù)，那么該窗內(nèi)的中心點(diǎn)也取X圖像的系數(shù)。

2.3.2基于滑窗內(nèi)像素的融合

算法一： 融合的想法同于單個(gè)像素的融合，DZ(p)=wx(p)DX(p)+wy(p)DY(p)$D_Z(p) = w_x(p)D_X(p) + w_y(p)D_Y(p)$，關(guān)鍵在于權(quán)重wx(p)，wy(p)$w_x(p)，w_y(p)$的選擇，這里提出一個(gè)匹配度的概念，MXY(p)$M_{XY}(p)$描述了以p為中心像素的領(lǐng)域內(nèi)p對(duì)X，Y的匹配程度， MXY(p)=∑s∈S,t∈Tw(s,t)DX(m+s,n+t,k,l)DY(m+s,n+t,k,l)Ax(p)2+Ay(p)2 $$M_{XY}(p) = /frac{/sum_{s/in S,t/in T}w(s,t)D_X(m+s,n+t,k,l)D_Y(m+s,n+t,k,l)}{A_x(p)^2 +A_y(p)^2 }$$ 則有MXY$M_{XY}$小于某個(gè)閾值α$/alpha$，則取wX=0，wY=1$w_X = 0，w_Y = 1$,反之如果MXY$M_{XY}$不小于該閾值， wX=0.5?0.5?(1?MXY1?α),wY=1?wX $$w_X = 0.5 - 0.5*(/frac {1-M_{XY}}{1-/alpha}), w_Y = 1- w_X$$ 算法二： 根據(jù)窗內(nèi)的高新能量來確定加權(quán)系數(shù)： DZ(p)=?????????????DX(p)DY(p)1P∑1pDX(P) ifAX(Rk)>AY(Rk)+T ifAX(Rk)<AY(Rk)?T if|AX(Rk)?AY(Rk)|<T $$D_Z(p)=/left/{/begin{aligned}D_X(p) & & / if A_X(R^k)>A_Y(R^k) + T //D_Y(p) & & / if A_X(R^k) 其中<nobr>AI(Rk)=1Nk∑p∈CAI(p)</nobr><script type="math/tex" id="MathJax-Element-93">A_I(R^k) = /frac{1}{N_k}/sum_{p/in C}A_I(p)$$ ,也就是AI(Rk)$A_I(R^k)$表示該窗內(nèi)的小波能量。 算法三： DZ(p)=DX(p)+DY(p)?μx?μy+μx+μy2 $$D_Z(p) = D_X(p)+D_Y(p) - /mu_x - /mu_y + /frac{/mu_x+/mu_y}{2}$$ ,其中μx，μy$/mu_x，/mu_y$是給定窗的系數(shù)均值。

2.4基于小波的圖像融合總結(jié)

優(yōu)點(diǎn)：實(shí)現(xiàn)簡(jiǎn)單，對(duì)單個(gè)像素或者單個(gè)值進(jìn)行操作，往往只需要對(duì)圖像和窗內(nèi)所有值進(jìn)行遍歷操作即可，沒有復(fù)雜的程序?qū)崿F(xiàn)問題。 缺點(diǎn)：過度依賴圖像配準(zhǔn)結(jié)果，如果圖像配準(zhǔn)有較大的角度，位移、畸變等誤差，會(huì)導(dǎo)致融合結(jié)果出現(xiàn)較為嚴(yán)重的殘影現(xiàn)象。