關鍵詞： 深度圖像修復; 圖像融合; 提取邊緣信息; 圖像分類; 修復空洞; 對比驗證
　　中圖分類號： TN911.73?34                         文獻標識碼： A                       文章編號： 1004?373X（2020）02?0182?05
　　Depth image restoration algorithm based on image fusion
　　LIU Hanwei1， CAO Chuqing2
　　Abstract： A depth image restoration algorithm based on image fusion is proposed to solve the problem that the depth images collected by most depth cameras contain a large number of noisy points and a large area of voids. The edge information of the color image is extracted by means of the improved watershed algorithm， and the classification information of the depth image is extracted accordingto the gradient information of it and based on the KD tree neighbor algorithm. The accurate image classification results are obtained in combination with the edge information of the color image and the classification information of the depth image pixels. For each class after fusion， the least square algorithm is used to fit the voids to repair the large?area voids in depth images. The experimental results show that the method can not only accurately repair small?area voids at the edge of the object， but also effectively repair large?area voids in the depth images.
　　Keywords： depth image restoration; image fusion; extract edge information; image classification; repair voids; comparison validation
　　近年來深度相機得到了廣泛的應用，包含深度信息的深度圖像在人機交互、人臉技術、三維重建、AR等領域起到了關鍵作用。然而，目前大多數深度相機由于測量時的光照變化、物體材質的紅外反射特性以及區域遮擋等原因，導致采集到的深度圖像含有大量噪點以及空洞[1]，從而降低了深度圖像的質量。
　　深度相機生成的深度圖像的空洞問題主要發生在物體邊緣和遮擋區域[2]。目前深度圖像修復方法大致分為兩類：一類是基于聯合雙邊濾波器的深度圖像濾波算法[3]，該類方法可以很好地修復物體邊緣處的小面積空洞問題，但是對于深度圖像出現的大面積空洞問題，濾波器算法迭代次數多，修復時間長，修復產生的深度數據模糊[4];另一類基于加權最小二乘法算法的深度圖像修復算法[5]，該方法可以修復深度圖像大面積空洞，但是由于擬合范圍廣，產生深度數據不穩定，且在物體邊緣處的空洞修復結果往往產生過平滑的現象。因此，本文提出基于圖像融合的深度圖像修復方法，將彩色圖像中獲取的邊緣信息與深度圖像中依據梯度信息獲取的分類結果相融合，得到較為精確的分類結果，并對融合后每一類進行最小二乘法擬合空洞，從而實現對深度圖像中存在的空洞問題進行修復。
　　1  圖像處理
　　1.1  算法框架
　　本文首先獲取深度相機配準[6]后的彩色圖像以及深度圖像，分別對彩色圖像以及深度圖像進行處理，獲取各圖像粗略的分類信息，再將分類信息進行融合獲取圖像較為精確的分類結果，最后對圖像中的每一類進行最小二乘法擬合空洞獲取最終修復的深度圖像。本文算法框架如圖1所示。
　　1.2  彩色圖像處理
　　1.2.1  彩色圖像預處理 　　由于相機在采集圖像的過程中，易受到外界環境、設備本身等的影響，圖像會產生大量噪點，而分水嶺分割算法易受到噪聲、梯度局部不規則等因素的影響導致過分割[7]，所以在進行彩色圖像分割前要進行預處理。
　　目前，圖像去噪的方式大多采用低通濾波，但該類方法在平滑背景噪聲的同時模糊了圖像的重要邊緣[8]，不利于圖像邊緣的提取。使用偏微分方程進行圖像去噪，能夠更好地保持原始圖像的頻譜特性，特別是圖像邊緣處特性。本文建立如下偏微分方程：
　　設[l（u，v）]為理想不含噪圖像，[g（u，v）]為含噪圖像，為了除去彩色圖像中的噪點，滿足如下方程：
　　[min E（x）=Ωl2（u）+l2（v）dudv] （1）
　　式中，[Ω]為圖像域，采用Lagrange方程和最速下降法進行求解，可以得到：
　　[lt=??ulul2u+l2v+??vlvl2u+l2v-λ（l-g），u，v∈Ω]  （2）
　　式中，[λ]為權重系數，其計算公式為：
　　[λ=-12σ2l2u+l2v-gulu+gvlvl2u+l2vdudv]    （3）
　　[σ2=Ω12（l-g）2dudv]            （4）
　　通過上述方法，得到最終去噪后的圖像[lt]。將彩色圖像[lt]轉化為灰度圖像，采用頂帽與低帽處理來增強圖像的邊緣信息，再對圖像進行基于重建的形態學開、閉運算[9]來消除圖像產生的多余極大值點，減小過分割現象，得到形態學重建后的圖像。
　　1.2.2  彩色圖像分割
　　將彩色圖像轉化為灰度圖像再計算梯度會丟失圖像的彩色信息，對彩色圖像計算梯度，可以獲得更加準確的邊緣信息。本文采用如下方法計算彩色圖像梯度。
　　令[r]，[g]和[b]為RGB彩色空間沿[R]，[G]和[B]軸的單位向量，則有：
　　[u1=?R?ur+?G?ug+?B?ubv1=?R?vr+?G?vg+?B?vb]  （5）
　　彩色圖像在[（u，v）]處的最大變化率方向由角度給出：
　　[θ=12arctan2uT1v1uT1u1-vT1v1]            （6）
　　[（u，v）]點在[θ]方向上的變化率，即最終梯度值：
　　[gr（θ）=12uT1u1-vT1v1+uT1u1-vT1v1cos 2θ+2uT1v1sin 2θ12] （7）
　　傳統的分水嶺分割只是對圖像前景進行分割，但是在低對比度圖像中易丟失重要輪廓[10]，如圖2b）所示。本文分別提取形態學重建后圖像的局部極大值區域以及局部極小值區域得到圖像前景區域以及背景區域，并對梯度圖像在各區域進行極小值標記[11]，分別對前景、背景標記后的梯度圖像進行分水嶺變換。
　　用M1，M2，…，MR表示彩色梯度圖像[gr（u，v）]的極小值標記區域，且[gr（u，v）=0]，其中[（u，v）∈Mi（i=1，2，…，R）]，Mi為極小值區域，也為最小值點集。令[gr（u，v）]的最小值為[gmin]，最大值為[gmax]，[C（Mi）]為與極小值區域Mi相聯系的匯水盆地點集，[T[n]=（s，t）|gr（s，t）<n]，即表示坐標[（s，t）]的集合。[n]從[gmin+1]～[gmax+1]不斷增加，則第[n]階段，值小于[n]的[C（Mi）]內的點為[C（Mi）=C（Mi）∩T[n]]，令[C[n]]表示第[n]階段匯水盆地被淹沒部分的合集，即[C[n]=i=1RCn（Mi）]。算法如下：
　　1） 初始化[gr（u，v）=0]，[gmin=gr（u，v）]，[gmax=] [max（gr（u，v））][n=gmin+1];
　　2） 設定[T[n]]和[C[n]]的值;
　　3） [Q[n]]表示[T[n]]中的連續區域，[qj∈Q[n]]，遍歷[Q[n]]中的連續區域[qj]，如果[qj∩C[n-1]]包含多個[C[n-1]]集合中的區域，則在這些區域間建立分界線;
　　4） [n=n+1]，當[n<gmax]時，執行步驟2）、步驟3）;當[n=gmax]時，使用標記函數對分水嶺變換產生的各連通區域進行標記，返回標記矩陣[L]。
　　最終得到對圖像前景、背景的分割結果[L1]，[L2]，如圖2b）、圖2c）所示，成功將與圖像背景灰度值相近的物體（圖2中紅色圓圈內物體）提取出來，保證了圖像重要物體輪廓的提取。最后將分割結果進行融合，如下：
　　[L（u，v）=β（L1（u，v））+L2（u，v）]  （8）
　　式中，[β]為標簽權重防止兩個不相同標簽相加為相同的數，本文實驗中[β=max（L2）]。最終分割結果如圖2d）所示。
　　1.3  深度圖像處理
　　1.3.1  深度圖像梯度
　　由于深度圖像中處于同一平面的相鄰像素點之間的梯度值變化小，處于平面邊緣處的相鄰像素點之間的梯度值變化大[12]。本文依據深度圖像中相鄰像素點梯度值變化對圖像進行分類，對深度圖像的梯度進行計算的公式為：
　　[G（u，v）=?f?ui2+?f?vj2] （9）
　　式中：[f]為深度圖像在像素點[（u，v）]處的深度值;[i]，[j]分別為[u]，[v]方向的單位矢量，得到像素點[（u，v）]的梯度值[G（u，v）]。在對圖像進行梯度計算之前需對深度圖像進行偏微分去噪減噪，減少對梯度計算產生的影響。
　　1.3.2  深度圖像分類 　　依據相鄰兩點之間的梯度差值對深度圖像進行分類，引入圖像坐標[（u，v）]對梯度[G]進行約束，采用三維數組成簇的方法，對每個坐標點[（u，v）]分配一個整體簇標簽：對每一像素點[（u0，v0）]搜索與其在[（u，v，G）]下的歐幾里得距離小于閾值[μ]的點[（u1，v1）]劃分為同一集群，通過如下公式計算滿足閾值的點：
　　[p=（u1-u0）2+（v1-v0）2+（τ（G1-G0））2<μ]   （10）
　　式中：[p]為[（u，v，G）]的歐幾里得距離;[τ]為梯度系數;[μ]為距離閾值。[τ]，[μ]為深度圖像分類的關鍵部分，在本文實驗中，處于同一平面的相鄰兩像素點之間的梯度差值保持在5以內。先將梯度差減少[12]，[τ=0.5]，再以同一平面中相鄰兩點梯度差值代入式（10）計算歐幾里得距離[p]：對于水平或豎直相鄰兩點[p=2.7];對于斜對角相鄰兩點[p=2.9]。所以設置梯度系數[τ=0.5]，閾值[μ=3]。
　　對于滿足閾值[μ]的點的搜索策略大多采用窮舉搜索，依次計算樣本集[E]中每個樣本到輸入實例點的距離，然后抽取滿足閾值的點。由于圖像像素坐標集合數量大，消耗的時間會很多，因此采用基于KD樹的近鄰搜索算法來加快對于滿足閾值點的搜索。本文深度圖像分類算法具體表示為：
　　1） 新建零矩陣[K（u，v）]，令其橫縱坐標個數與深度圖像[f（u，v）]相同，令初始標簽[La=0]。
　　2） 對矩陣[K（u，v）]每一點[（ui，vi）]，令[K1=K（ui，vi）]，找出在深度圖像[f（u，v）]中的相同坐標點[（ui，vi）]，利用KD樹算法找出在深度圖像[f（u，v）]中滿足點[（ui，vi）]在式（10）成立下的點集合[（uj，vj）]，對于每一個點[（uj，vj）]，令[K2=K（uj，vj）]，其中：
　　若[K2>K1>0]，則[K（uj，vj）=K（ui，vi）];若[K1>K2>0]，則[K（ui，vi）=K（uj，vj）]。
　　若[K2>0]且[K1=0]，則[K（ui，vi）=K（uj，vj）];若[K1>0]且[K2=0]，則[K（uj，vj）=K（ui，vi）]。
　　若[K1=0]，則[La=La+1]，[K（uj，vj）=La];
　　循環步驟2）將矩陣[K（u，v）]中每個像素點進行賦值，最終得到深度圖像的分類集群[K（u，v）]。
　　上述步驟將不同平面的像素點進行分類，分類結果如圖3d）所示。圖中同一種顏色代表同一類，白色區域表示為深度圖像空洞部分。
　　1.4  圖像融合及擬合空洞
　　依據深度圖像的梯度信息可以獲取每類平面的基本位置信息，但其產生的邊緣模糊;彩色圖像可以獲取物體較為精確的邊緣信息，但容易出現過分割現象。將深度圖像、彩色圖像分類結果融合可以有效地彌補以上缺點。本文圖像融合和擬合空洞步驟具體表示為：
　　1） 地取彩色圖像分割結果[L]的每一類[Lh]（[h]為彩色圖像分割個數）的坐標集合[（uh，vh）]，賦值在深度圖像的分類結果[K]中相對應坐標的坐標值，得到新的分類結果[R]。
　　2） 在新的分類結果[R]中取與[Lh]相同坐標的坐標點[Rh]，繪制[Rh]坐標值的直方圖，求得出現次數最多的數[Rhmax]，通過式（11）為每一類[Rh]進行賦值：
　　[Rh=Rhmax，   Rhmax≠0Rhmax2， Rhmax=0]            （11）
　　式中，[Rhmax2]為除0外出現次數最多的數。得到最終的分類結果[R1]，如圖3e）所示。
　　3） 取[R1]中除值為0外坐標值相同的每一類坐標點集[（uk，vk）]，在深度圖像[f（u，v）]中對點集[（uk，vk）]進行最小二乘法擬合空洞。為提高擬合效率，當點集[（uk，vk）]中有效像素點個數大于4 000時，隨機選取4 000個點作為樣本點進行最小二乘法擬合。
　　4） 利用雙邊濾波處理，消除深度圖像剩余小區域空洞和噪點，得到最終的修復圖像。
　　本文修復算法能成功將原始深度圖像中存在的大面積空洞問題進行修復，其中各步驟效果圖及最終修復結果如圖3所示。
　　2  實驗結果及分析
　　本文算法在CPU為Intel i7，主頻為1.80 GHz，四核處理器，8 GB內存，操作系統為Windows 10的計算機上實現，軟件部分基于Matlab語言編寫。
　　為了驗證本文算法的有效性，實驗中分別對采用Kinect1、Kinect2、圖漾MF830?5M三種深度相機獲取的多幅自采深度圖以及Middlebury公開數據庫[13]中深度圖像進行修復實驗，并和雙邊濾波（BF）[14]、聯合雙邊濾波（JBF）[3]進行對比。
　　2.1  自采數據修復對比實驗
　　在對自采圖像的修復實驗中發現，本文算法在較為準確地修復物體邊緣處空洞的前提下，對于圖像中出現的大面積的空洞修復效果較好，如圖4c）所示;雙邊濾波（BF）在修復深度圖像時，物體邊緣處容易產生毛刺現象，修復效果不佳，如圖4d）所示;聯合雙邊濾波（JBF）對大面積空洞現象的修復結果容易產生模糊，且算法迭代次數較高，如圖4e）所示。
　　為了使各方法的修復效果進行更為直觀的表示，將圖中代表性區域進行放大。部分自采圖像的修復結果如圖4～圖6所示。
　　2.2  Middlebury數據集數據修復對比實驗
　　實驗選取Middlebury公共數據庫中的數據進行定量分析，從中選取Baby，Wool，Cloth，Plastic，Midd，Teddy深度圖作為測試對象，將數據集提供的深度圖像作為真實圖，為了能夠進行定量分析，在深度圖像中人工添加一些噪聲和空洞。深度圖像修復結果見圖7。 　　在本文實驗中，添加高斯噪聲（均值為0，標準差為3）到實際深度圖像中，同時隨機添加6處小于60×60像素的空洞。將添加噪聲和空洞后的深度圖像作為待修復圖像，如圖7b）所示。將本文算法與BF和JBF的修復效果進行對比，各算法修復效果如圖7c）～圖7e）所示，各方法修復的均方誤差RSME和峰值信噪比PSNR的結果如表1所示。
　　3  結  語
　　本文針對目前大多數深度相機獲取的深度圖像中存在的大面積空洞問題，提出基于圖像融合的深度圖像修復算法，利用彩色圖像獲取的邊緣信息與深度圖像獲取的分類信息相結合的方法對深度圖像進行修復。本文方法在保證深度圖像邊緣處小面積空洞較為精確修復的前提下，將剩余大面積空洞進行了有效的修復，后續研究中，優化步驟使得修復效率進一步的提高。
　　注：本文通訊作者為曹雛清。
　　參考文獻
　　[1] JUN X，CHENG C， CHOU， FERIS R， et al. Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering [C]// 2014 IEEE International Conference on Multimedia and Expo. Chengdu： IEEE， 2014： 142?145.
　　[2] 胡天佑，彭宗舉，焦任直，等.基于超像素分割的深度圖像修復算法[J].光電子·激光，2016（10）：1120?1128.
　　[3] 劉繼忠，吳文虎，程承，等.基于像素濾波和中值濾波的深度圖像修復方法[J].光電子·激光，2018，29（5）：539?544.
　　[4] 呂朝輝，沈縈華，李精華.基于Kinect的深度圖像修復方法[J].吉林大學學報（工學版），2016，46（5）：1697?1703.
　　[5] 譚筠，安向京，賀漢根.基于優化的深度圖像修復與恢復算法[J].華中科技大學學報（自然科學版），2013（z1）：137?139.
　　[6] ZHANG F， LEI T， LI J， et al. Real?time calibration and registration method for indoor scene with joint depth and color camera [J]. International journal of pattern recognition & artificial intelligence， 2018， 32（7）： 1854021.
　　[7] CAI Q， LIU Y Q， CAO J， et al. A watershed image segmentation algorithm based on self?adaptive marking and interregional affinity propagation clustering [J]. Acta electronica sinica， 2017， 45（8）： 1911?1918.
　　[8] 張建偉，王譯禾，陳允杰.基于非線性擴散濾波結構信息的圖像去噪方法[J].計算機工程與設計，2016，37（11）：2971?2978.
　　[9] DEVKOTA B， ALSADOON A， PRASED P W C， et al. Image segmentation for early stage brain tumor detection using mathematical morphological reconstruction [J]. Procedia computer science， 2018， 125： 115?123.
　　[10] CAI Q， LIU Y Q， CAO J， et al. A watershed image segmentation algorithm based on self?adaptive marking and interregional affinity propagation clustering [J]. Acta electronica sinica， 2017， 45（8）： 1911?1918.
　　[11] WANG L L， LI G D， SHI L P， et al. Research on segmentation of grape disease based on improved watershed algorithm [C]// International Conference on Smart City & Systems Engineering IEEE Computer Society. Changsha： IEEE， 2017： 46?51.
　　[12] PAN J， HU Z， SU Z， et al. Deblurring text images via l0?regularized intensity and gradient prior [C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition IEEE Computer Society. Columbus： IEEE， 2014： 67?71.
　　[13] Anon. Middlebury datasets [EB/OL]. [2017?12?24]. http：//vision.middlebury.edu/stereo.
　　[14] 徐歡，鄭江濱.Kinect深度圖像修復算法[J].微電子學與計算機，2013，30（11）：98?103.
　　作者簡介：劉漢偉（1996—），男，山東濟南人，碩士，主要研究方向為圖像處理、模式識別等。
　　曹雛清（1982—），男，安徽宣城人，博士，講師，主要研究方向為模式識別與人工智能、智能化機器人、人機交互與多機器人協作等。
(8v9W)