基于引導圖像濾波的素描人臉圖像合成技術
「針對傳統人臉圖像合成算法存在過度平滑的問題，文中提出一種使用引導圖像濾波的改進合成算法。通過引入K近鄰基準算法和機器學習等理論，測試人臉圖像可以得到訓練圖像塊的線性組合表示，從而獲取初始的合成結果。并在此基礎上，利用引導圖像濾波的方法，增強人臉素描圖像的細節特征，進一步優化人臉細節紋理的展示。相關的仿真結果表明，文中所提出的合成算法有效回避了傳統合成算法過度平滑的弊端，能夠合成效果更加優秀的人臉素描圖像。(2023-2-25)」
關鍵詞： 人臉圖像合成; 引導圖像濾波; 人臉圖像測試; 特征檢測; 細節增強; 仿真實驗
Abstract： In allusion to the excess smoothness in the traditional facial image synthesis algorithm， an improved synthesis algorithm using guided image filtering is proposed. By introducing the k?nearest?neighbor benchmark algorithm and machine learning theory， the face image is tested to get the linear combination representation of the training image block， so as to obtain the initial synthesis results. On this basis， the detail features of the face sketch image is enhanced by means of the method of guided image filtering， and the display of the face detail texture is further optimized. The simulation results show that the proposed synthesis algorithm can effectively improve the excess smoothness of the traditional synthesis algorithm， and can synthesize excellent face sketch images.
Keywords： facial image synthesis; guided image filtering; facial image test; feature detection; detail enhancement; simulation experiment
0 引 言
在互聯網不斷發展的背景下，圖像與視頻處理技術獲得了廣泛的普及和應用，為人類的娛樂及生活帶來了更加優秀的體驗。與指紋、掌紋等生理特征相比，人臉圖像具有容易獲取和處理的優點，因此被推廣到公共安全、動漫制作等領域中。在這些領域的應用中，跨越多種類別的圖像轉換，即跨模態人臉圖像轉換屬于人臉圖像的重點研究內容。在這些研究中，如何利用照片生成素描風格的人臉圖像，逐漸成為一個熱點研究方向。
為了解決這一問題，國內外的眾多學者做出了大量值得借鑒的工作[1?3]。然而這些算法并未徹底解決這一問題[4?6]，均存在過度平滑的情況。換言之，人臉照片與素描圖像之間的轉換效果依舊存在較大的優化空間，本文則是致力于研究此問題[7?8]。
為了避免經典合成算法產生的過度平滑效果，本文選取基準算法K近鄰（K?Nearest Neighbor，KNN），使用線性組合表示的方法實現圖像塊的估計與測試。在這些技術的基礎上，基于引導圖像濾波的細節增強效應，本文優化了算法的初始轉化結果，顯著地豐富了素描圖像的細節與紋理。
1 基準算法
為了生成較好的初始合成結果，本文引入基于K近鄰的基準算法。該算法包含兩個關鍵步驟，即K近鄰查詢和線性組合表示計算，具體說明如下：
1） 算法需要將人臉照片的訓練圖像和測試圖像劃分為若干個圖像塊，并查詢與測試圖像最接近的[K]個圖像塊。其詳細過程為：對于某張測試照片，算法平均地將其分割為若干個圖像塊，設某一個圖像塊的中心坐標點為[i，j]，這一點的像素值為[pij]。同時，搜索半徑為[r]范圍內的[N]個圖像塊，計算這些圖像塊與訓練圖像的中心像素值之間的歐氏距離，獲取搜索范圍內與訓練圖像最接近的[K]個圖像塊，并利用共軛梯度法計算線性映射的系數。
2） 利用獲取的[K]個圖像塊的線性組合，得到初始素描圖像。其詳細過程為，設[Is，p]是測試圖像中像素值為[p]的某一圖像塊估算結果，其計算公式為：
式中：[Bks，p]表示第[k]個與測試圖像最接近的圖像塊;[lkp]表示其線性組合的系數。而對于任意的[p]，所有系數均滿足[k=1Klkp=1]。由式（1）分析可知，線性組合系數[lkp]必然與訓練和測試圖像塊之間的歐氏距離呈現反比的關系。因此，本文利用式（2）計算未知的線性組合系數。
式中：[v]表示已定義的常量;[L]表示具有歸一化作用的因子，是眾多項之和。其計算公式如下：
經過反復的迭代與優化，算法可以獲取測試圖像的初始合成結果，其表達式為：
式中：[It，p]表示測試圖像的初始合成結果;[Bkt，p]（[1≤k≤K]）表示訓練圖像中與測試圖像接近的[K]個圖像塊;[lkp]（[1≤k≤K]）表示初始的線性組合系數，基準算法的完整描述如下：
Input：訓練圖像[X]，測試圖像[Y]，估算結果[Is，p]，圖像塊大小[s]，半徑[r]和鄰近圖像塊數量[K]。 Output：初始合成結果[It，p]。
1） 將訓練圖像[X]、測試圖像[Y]劃分為若干個圖像塊，利用式（1）計算其估算結果[Is，p];
2） 在測試圖像[Y]中，尋找[K]個最接近的中心像素值為[p]圖像塊;
3） 利用式（2）計算測試圖像的線性組合系數;
4） 利用式（4）計算測試圖像的初始合成結果。
2 細節增強算法
使用KNN的基準算法，本文可以得到測試圖像的初始合成結果。通常該合成結果存在過平滑的效果，缺少細致的人臉展示，例如眼睫毛、頭發和嘴唇等人臉細節[9?10]。為了更加細致地展示人臉的諸多特征，本文引入了引導圖像濾波的算法。在KNN基準算法的基礎上，進一步優化算法的合成效果，增強人臉素描圖像的細節。
2.1 引導圖像濾波
引導圖像濾波是一種新型有效的圖像濾波算法，其靈感最初來自于圖像的局部線性變換模型[11]。該算法的優勢在于可以同時保留圖像的整體結構與細節紋理，其詳細說明如下：
通常在濾波過程中，不妨使用[u]表示引導圖像，[I]表示輸入圖像，[O]表示輸出圖像。在這3個指標中，引導圖像[u]與輸入圖像[I]是已知的，則令[i]和[j]表示像素的索引。[nij]表示引導圖像[u]的濾波核函數，且該函數與輸入圖像[I]存在線性關系，則第[i]個像素位置的輸出圖像的計算公式為：
由于輸出圖像[O]與引導圖像[u]之間滿足局部線性關系，在以像素值[k]為中心的窗口[wk]，第[i]個像素位置（[i∈wk]）的濾波輸出公式可以簡化為：
式中，對于半徑為[r]的窗口[wk]，[ak]和[bk]是不變的線性系數。其計算方式為，已知輸出圖像[Oi]與輸入圖像[Ii]，設[vi]為噪聲，則存在以下公式：
令[ε]為正則化的參數，則最小化函數的數學定義為：
令[μk]表示窗口[wk]中[u]的均值，[σ2k]表示其方差，[w]表示窗口[wk]中像素個數，[Ik]表示窗口[wk]中輸入圖像的平均值，則其線性系數[ak]和[bk]的計算公式為：
經過推導、簡化和變換，本文得到了線性函數的計算方法，如下：
此時，線性系數[ai]和[bi]的計算公式分別為：
2.2 算法步驟
基于引導圖像濾波的算法原理，本文以基準算法的初始合成結果為輸入。使用引導圖像濾波方法進行精細地調整和優化，逐漸合成細致的素描人臉圖像。根據上述研究目的，本文設計了處理算法的具體步驟：
Input：基準算法結果[It，p]，測試圖像[Y]，搜索半徑[r]，中間參數[ε]。
Output：最終合成圖像結果[u″]。
1） 計算測試圖像[Y]和初始結果[It，p]的均值[meanY=fmY]，[meanIt，p=fmIt，p]，同時計算兩者之間的相關函數值[corI=fmY·Y]，[corIt，p=fmY·It，p];
2） 計算中間參數[var=corY-mean2Y]，協方差[covY=corY-meanY·meanIt，p];
3） 計算線性系數[a=covYvar+ε]，[b=meanIt，p-a·meanY];
4） 計算線性系數的均值[meana=fma]，[meanb=fmb];
5） 計算最終合成結果[u″=meana·Y+meanb]。
3 仿真與分析
為了驗證算法的有效性，本文分別使用K近鄰基準算法與引導濾波算法進行了仿真和比較。為了比較這兩種算法的合成效果，本文引入香港中文大學的CUHK數據集作為算法的輸入圖像[12?13]。在該數據集中，訓練圖像的數量為88對，其他圖像均為測試圖像。
基于Matlab軟件平臺，本文實現了這兩種算法，分別對圖1給出的人臉照片進行相應的處理，得到K近鄰基準算法與引導圖像濾波算法的運行結果，如圖2、圖3所示。
為了對比這兩種算法的運行效果，本文截取這3張人臉圖像的特定位置進行更加細致的對比，如圖4～圖6所示。
由圖5和圖6對比可知，引導圖像濾波算法的運行結果更加細膩，展示了更多人臉的細節。而基于K近鄰的基準算法運行結果相對較為粗糙，其細膩度明顯弱于引導圖像濾波算法的運行結果。
4 結 語
基于引導圖像濾波的原理，本文提出一種人臉素描圖像的合成算法。該算法在K近鄰基準算法的基礎上，進一步豐富人臉素描圖像的細節，更多地保留人類面部的細節特征。然而由于計算資源的限制，本文未使用大量的人臉照片測試文中所提出算法的穩定性，也未對該算法進行必要的推廣。因此，下一步將致力于解決這一問題。
參考文獻
[1] 劉光蓉，王文靖，李詩高，等.一種圖像素描特效處理算法及實現[J].武漢輕工大學學報，2015，34（4）：51?55.
[2] 周汐，曹林.分塊LBP的素描人臉識別[J].中國圖象圖形學報，2015，20（1）：50?58.
[3] 李偉紅，付偉鋒，張鎮，等.素描梯度方向直方圖用于人臉畫像識別[J].儀器儀表學報，2015，36（2）：368?376.
[4] 吳仕超，劉滿祿，朱波，等.基于圖像層級的機器素描研究[J].計算機系統應用，2017，26（9）：264?268.
[5] 吉娜燁，柴秀娟，山世光，等.局部回歸模型驅動的人臉素描自動生成[J].計算機輔助設計與圖形學學報，2014，26（12）：2232?2243.
[6] 趙艷丹，趙漢理，許佳奕，等.基于人臉特征和線積分卷積的肖像素描生成[J].計算機輔助設計與圖形學學報，2014，26（10）：1711?1719.
[7] 姚敏，趙振剛，高立慧，等.基于離散小波變換的圖像素描生成算法[J].計算機與數字工程，2017，45（6）：1207?1210.
[8] 趙京晶，方琪，梁植程，等.超分辨率重建的素描人臉識別[J].中國圖象圖形學報，2016，21（2）：218?224.
[9] 曹林，李猛，張華.結合改進Surf特征的素描人臉識別[J].計算機工程與應用，2018，54（21）：188?193.
[10] 高晨昊.基于深度神經網絡特征表達的人臉素描合成[D].上海：上海交通大學，2018.
[11] 孫會強，呂佳，吳秀敏.基于最小二乘法的人臉素描卡通圖像算法[J].現代電子技術，2019，42（18）：143?146.
[12] 孫玉紅，張元科，孟靜，等.基于紋理和草圖的圖像鉛筆畫繪制[J].計算機應用，2016，36（7）：1976?1980.
[13] 黃雙萍，王衛星，吳偉斌，等.基于特征融合的人臉素描自動生成系統研究[J].計算機應用與軟件，2015，32（4）：175?180.
[14] 楊旭.人臉素描生成與加強[D].南京：東南大學，2016.
[15] 鄭華昌.基于智能移動終端的人臉識別技術在高校課堂考勤中的應用研究：以江門職業技術學院為例[J].計算機產品與流通，2019（10）：222.
[16] 黃紹倫，孫東旭.人工智能在校園智慧圖書館中的應用與研究：基于人臉識別與RFID技術[J].現代信息科技，2019（19）：133?135.
[17] 左國才，韓東初，蘇秀芝，等.基于深度學習人臉識別技術的課堂行為分析評測系統研究[J].智能計算機與應用，2019（5）：135?137.
(霸翅)
Abstract： In allusion to the excess smoothness in the traditional facial image synthesis algorithm， an improved synthesis algorithm using guided image filtering is proposed. By introducing the k?nearest?neighbor benchmark algorithm and machine learning theory， the face image is tested to get the linear combination representation of the training image block， so as to obtain the initial synthesis results. On this basis， the detail features of the face sketch image is enhanced by means of the method of guided image filtering， and the display of the face detail texture is further optimized. The simulation results show that the proposed synthesis algorithm can effectively improve the excess smoothness of the traditional synthesis algorithm， and can synthesize excellent face sketch images.
Keywords： facial image synthesis; guided image filtering; facial image test; feature detection; detail enhancement; simulation experiment
0 引 言
在互聯網不斷發展的背景下，圖像與視頻處理技術獲得了廣泛的普及和應用，為人類的娛樂及生活帶來了更加優秀的體驗。與指紋、掌紋等生理特征相比，人臉圖像具有容易獲取和處理的優點，因此被推廣到公共安全、動漫制作等領域中。在這些領域的應用中，跨越多種類別的圖像轉換，即跨模態人臉圖像轉換屬于人臉圖像的重點研究內容。在這些研究中，如何利用照片生成素描風格的人臉圖像，逐漸成為一個熱點研究方向。
為了解決這一問題，國內外的眾多學者做出了大量值得借鑒的工作[1?3]。然而這些算法并未徹底解決這一問題[4?6]，均存在過度平滑的情況。換言之，人臉照片與素描圖像之間的轉換效果依舊存在較大的優化空間，本文則是致力于研究此問題[7?8]。
為了避免經典合成算法產生的過度平滑效果，本文選取基準算法K近鄰（K?Nearest Neighbor，KNN），使用線性組合表示的方法實現圖像塊的估計與測試。在這些技術的基礎上，基于引導圖像濾波的細節增強效應，本文優化了算法的初始轉化結果，顯著地豐富了素描圖像的細節與紋理。
1 基準算法
為了生成較好的初始合成結果，本文引入基于K近鄰的基準算法。該算法包含兩個關鍵步驟，即K近鄰查詢和線性組合表示計算，具體說明如下：
1） 算法需要將人臉照片的訓練圖像和測試圖像劃分為若干個圖像塊，并查詢與測試圖像最接近的[K]個圖像塊。其詳細過程為：對于某張測試照片，算法平均地將其分割為若干個圖像塊，設某一個圖像塊的中心坐標點為[i，j]，這一點的像素值為[pij]。同時，搜索半徑為[r]范圍內的[N]個圖像塊，計算這些圖像塊與訓練圖像的中心像素值之間的歐氏距離，獲取搜索范圍內與訓練圖像最接近的[K]個圖像塊，并利用共軛梯度法計算線性映射的系數。
2） 利用獲取的[K]個圖像塊的線性組合，得到初始素描圖像。其詳細過程為，設[Is，p]是測試圖像中像素值為[p]的某一圖像塊估算結果，其計算公式為：
式中：[Bks，p]表示第[k]個與測試圖像最接近的圖像塊;[lkp]表示其線性組合的系數。而對于任意的[p]，所有系數均滿足[k=1Klkp=1]。由式（1）分析可知，線性組合系數[lkp]必然與訓練和測試圖像塊之間的歐氏距離呈現反比的關系。因此，本文利用式（2）計算未知的線性組合系數。
式中：[v]表示已定義的常量;[L]表示具有歸一化作用的因子，是眾多項之和。其計算公式如下：
經過反復的迭代與優化，算法可以獲取測試圖像的初始合成結果，其表達式為：
式中：[It，p]表示測試圖像的初始合成結果;[Bkt，p]（[1≤k≤K]）表示訓練圖像中與測試圖像接近的[K]個圖像塊;[lkp]（[1≤k≤K]）表示初始的線性組合系數，基準算法的完整描述如下：
Input：訓練圖像[X]，測試圖像[Y]，估算結果[Is，p]，圖像塊大小[s]，半徑[r]和鄰近圖像塊數量[K]。 Output：初始合成結果[It，p]。
1） 將訓練圖像[X]、測試圖像[Y]劃分為若干個圖像塊，利用式（1）計算其估算結果[Is，p];
2） 在測試圖像[Y]中，尋找[K]個最接近的中心像素值為[p]圖像塊;
3） 利用式（2）計算測試圖像的線性組合系數;
4） 利用式（4）計算測試圖像的初始合成結果。
2 細節增強算法
使用KNN的基準算法，本文可以得到測試圖像的初始合成結果。通常該合成結果存在過平滑的效果，缺少細致的人臉展示，例如眼睫毛、頭發和嘴唇等人臉細節[9?10]。為了更加細致地展示人臉的諸多特征，本文引入了引導圖像濾波的算法。在KNN基準算法的基礎上，進一步優化算法的合成效果，增強人臉素描圖像的細節。
2.1 引導圖像濾波
引導圖像濾波是一種新型有效的圖像濾波算法，其靈感最初來自于圖像的局部線性變換模型[11]。該算法的優勢在于可以同時保留圖像的整體結構與細節紋理，其詳細說明如下：
通常在濾波過程中，不妨使用[u]表示引導圖像，[I]表示輸入圖像，[O]表示輸出圖像。在這3個指標中，引導圖像[u]與輸入圖像[I]是已知的，則令[i]和[j]表示像素的索引。[nij]表示引導圖像[u]的濾波核函數，且該函數與輸入圖像[I]存在線性關系，則第[i]個像素位置的輸出圖像的計算公式為：
由于輸出圖像[O]與引導圖像[u]之間滿足局部線性關系，在以像素值[k]為中心的窗口[wk]，第[i]個像素位置（[i∈wk]）的濾波輸出公式可以簡化為：
式中，對于半徑為[r]的窗口[wk]，[ak]和[bk]是不變的線性系數。其計算方式為，已知輸出圖像[Oi]與輸入圖像[Ii]，設[vi]為噪聲，則存在以下公式：
令[ε]為正則化的參數，則最小化函數的數學定義為：
令[μk]表示窗口[wk]中[u]的均值，[σ2k]表示其方差，[w]表示窗口[wk]中像素個數，[Ik]表示窗口[wk]中輸入圖像的平均值，則其線性系數[ak]和[bk]的計算公式為：
經過推導、簡化和變換，本文得到了線性函數的計算方法，如下：
此時，線性系數[ai]和[bi]的計算公式分別為：
2.2 算法步驟
基于引導圖像濾波的算法原理，本文以基準算法的初始合成結果為輸入。使用引導圖像濾波方法進行精細地調整和優化，逐漸合成細致的素描人臉圖像。根據上述研究目的，本文設計了處理算法的具體步驟：
Input：基準算法結果[It，p]，測試圖像[Y]，搜索半徑[r]，中間參數[ε]。
Output：最終合成圖像結果[u″]。
1） 計算測試圖像[Y]和初始結果[It，p]的均值[meanY=fmY]，[meanIt，p=fmIt，p]，同時計算兩者之間的相關函數值[corI=fmY·Y]，[corIt，p=fmY·It，p];
2） 計算中間參數[var=corY-mean2Y]，協方差[covY=corY-meanY·meanIt，p];
3） 計算線性系數[a=covYvar+ε]，[b=meanIt，p-a·meanY];
4） 計算線性系數的均值[meana=fma]，[meanb=fmb];
5） 計算最終合成結果[u″=meana·Y+meanb]。
3 仿真與分析
為了驗證算法的有效性，本文分別使用K近鄰基準算法與引導濾波算法進行了仿真和比較。為了比較這兩種算法的合成效果，本文引入香港中文大學的CUHK數據集作為算法的輸入圖像[12?13]。在該數據集中，訓練圖像的數量為88對，其他圖像均為測試圖像。
基于Matlab軟件平臺，本文實現了這兩種算法，分別對圖1給出的人臉照片進行相應的處理，得到K近鄰基準算法與引導圖像濾波算法的運行結果，如圖2、圖3所示。
為了對比這兩種算法的運行效果，本文截取這3張人臉圖像的特定位置進行更加細致的對比，如圖4～圖6所示。
由圖5和圖6對比可知，引導圖像濾波算法的運行結果更加細膩，展示了更多人臉的細節。而基于K近鄰的基準算法運行結果相對較為粗糙，其細膩度明顯弱于引導圖像濾波算法的運行結果。
4 結 語
基于引導圖像濾波的原理，本文提出一種人臉素描圖像的合成算法。該算法在K近鄰基準算法的基礎上，進一步豐富人臉素描圖像的細節，更多地保留人類面部的細節特征。然而由于計算資源的限制，本文未使用大量的人臉照片測試文中所提出算法的穩定性，也未對該算法進行必要的推廣。因此，下一步將致力于解決這一問題。
參考文獻
[1] 劉光蓉，王文靖，李詩高，等.一種圖像素描特效處理算法及實現[J].武漢輕工大學學報，2015，34（4）：51?55.
[2] 周汐，曹林.分塊LBP的素描人臉識別[J].中國圖象圖形學報，2015，20（1）：50?58.
[3] 李偉紅，付偉鋒，張鎮，等.素描梯度方向直方圖用于人臉畫像識別[J].儀器儀表學報，2015，36（2）：368?376.
[4] 吳仕超，劉滿祿，朱波，等.基于圖像層級的機器素描研究[J].計算機系統應用，2017，26（9）：264?268.
[5] 吉娜燁，柴秀娟，山世光，等.局部回歸模型驅動的人臉素描自動生成[J].計算機輔助設計與圖形學學報，2014，26（12）：2232?2243.
[6] 趙艷丹，趙漢理，許佳奕，等.基于人臉特征和線積分卷積的肖像素描生成[J].計算機輔助設計與圖形學學報，2014，26（10）：1711?1719.
[7] 姚敏，趙振剛，高立慧，等.基于離散小波變換的圖像素描生成算法[J].計算機與數字工程，2017，45（6）：1207?1210.
[8] 趙京晶，方琪，梁植程，等.超分辨率重建的素描人臉識別[J].中國圖象圖形學報，2016，21（2）：218?224.
[9] 曹林，李猛，張華.結合改進Surf特征的素描人臉識別[J].計算機工程與應用，2018，54（21）：188?193.
[10] 高晨昊.基于深度神經網絡特征表達的人臉素描合成[D].上海：上海交通大學，2018.
[11] 孫會強，呂佳，吳秀敏.基于最小二乘法的人臉素描卡通圖像算法[J].現代電子技術，2019，42（18）：143?146.
[12] 孫玉紅，張元科，孟靜，等.基于紋理和草圖的圖像鉛筆畫繪制[J].計算機應用，2016，36（7）：1976?1980.
[13] 黃雙萍，王衛星，吳偉斌，等.基于特征融合的人臉素描自動生成系統研究[J].計算機應用與軟件，2015，32（4）：175?180.
[14] 楊旭.人臉素描生成與加強[D].南京：東南大學，2016.
[15] 鄭華昌.基于智能移動終端的人臉識別技術在高校課堂考勤中的應用研究：以江門職業技術學院為例[J].計算機產品與流通，2019（10）：222.
[16] 黃紹倫，孫東旭.人工智能在校園智慧圖書館中的應用與研究：基于人臉識別與RFID技術[J].現代信息科技，2019（19）：133?135.
[17] 左國才，韓東初，蘇秀芝，等.基于深度學習人臉識別技術的課堂行為分析評測系統研究[J].智能計算機與應用，2019（5）：135?137.
(霸翅)