SIFT特征在臉部識(shí)別中的研究與應(yīng)用

《SIFT特征在臉部識(shí)別中的研究與應(yīng)用》由會(huì)員分享，可在線閱讀，更多相關(guān)《SIFT特征在臉部識(shí)別中的研究與應(yīng)用（9頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、SIFT特征在臉部識(shí)別中的研究與應(yīng)用摘要: 一些模式識(shí)別和分類技術(shù)已經(jīng)應(yīng)用到生物領(lǐng)域。其中，一個(gè)有趣的技術(shù)是尺度不變特征變換(SIFT)，它在最初設(shè)計(jì)時(shí)是用于對(duì)象識(shí)別。盡管SIFT特征已經(jīng)成為一種非常強(qiáng)大的特征描述方法，但它在人臉識(shí)別技術(shù)方面的應(yīng)用卻從來沒有過系統(tǒng)的研究。本文探討的是SIFT特征算法在人臉識(shí)別方面的應(yīng)用。為了確定方法的真正潛力和適用性，不同的匹配方案將用BANCA數(shù)據(jù)庫來測試，以便得到最適合的方法。1 引言人臉識(shí)別可能是第一個(gè)被人們用來認(rèn)識(shí)熟悉的人的認(rèn)知過程。雖然也可采用其它感官線索，比如說語音，步態(tài)，甚至是出生時(shí)的氣味，但是這個(gè)識(shí)別已知臉的能力，在人們出生的時(shí)候就有了。這些問

2、題，使得臉部識(shí)別在生物特征識(shí)別和計(jì)算機(jī)視覺的研究性領(lǐng)域中，變得非常有趣。人臉識(shí)別是一個(gè)復(fù)雜的問題，但是基本上可以歸結(jié)為模式分類的問題。許多模式識(shí)別技術(shù)已經(jīng)投入運(yùn)用，而且其它的也正在進(jìn)行開發(fā)研究。臉部分析的案例由于一些臉部的特征與其它模式識(shí)別問題是不常見的，因而具有更多的復(fù)雜性。 維數(shù)的詛咒(至少處理一個(gè)2 D圖像)由于分類模式多樣化而更加復(fù)雜。臉部不是一個(gè)嚴(yán)格對(duì)象，并且它會(huì)有連續(xù)的非剛性變形。臉部不同的東西同時(shí)也是它們的共同之處，比如說兩只眼睛和一張嘴巴。雖然臉部一般作為一個(gè)二維物體進(jìn)行處理，但是因?yàn)槟槻康娜S結(jié)構(gòu)和它在空間的運(yùn)動(dòng)，會(huì)產(chǎn)生許多歧義并導(dǎo)致一些假說的失敗。因?yàn)檫@些原因，人類的臉部分

3、析就面臨了一個(gè)不確定的問題。因此不同技術(shù)已經(jīng)運(yùn)用到限制模式匹配和分類過程。其中，對(duì)于減少臉部空間維度有許多值得介紹的方法，它們都是通過不同的優(yōu)化處理過程達(dá)到目的，如主成分分析(PDA)、線性判別分析(LDA),費(fèi)舍爾判別分析(FDA)與獨(dú)立分量分析(ICA)。其它技術(shù)則是基于圖像上臉的表面約束和模型，且都以形狀和紋理信息的形式顯示。還有一些方法是通過運(yùn)用伽柏核心程序的多尺度濾波，從而得到臉部顯著特征的提取和分類。沿著這個(gè)方向，對(duì)“人臉模型變形”的估計(jì)和漸進(jìn)變形會(huì)派生出一個(gè)新的技術(shù)，即三維人臉和它在圖像上的二維表現(xiàn)形式之間的約束映射。近來，尺度不變特征變換(SIFT) 方法可用于識(shí)別一般物體時(shí)進(jìn)

4、行邊緣切除，該方法目前主要應(yīng)用在這個(gè)領(lǐng)域，同時(shí)其它的機(jī)器視覺中也有所應(yīng)用。SIFT算法中一個(gè)有趣的特點(diǎn)是，通過圖像產(chǎn)生的尺度空間提取出本地模型，并從這個(gè)模型中提取灰度級(jí)別的特征點(diǎn)。在這方面， SIFT方法與本地二進(jìn)制模式方法類似，它們的區(qū)別是：從提取的2D模型中得到的視圖不變性的表現(xiàn)形式有所不同。先不論這個(gè)技術(shù)的潛力和廣泛的適用性，就二維圖像的分類而言，至少據(jù)我們所知，它從未在人臉識(shí)別/驗(yàn)證上運(yùn)用過。在本文中，首次嘗試應(yīng)用SIFT對(duì)臉部進(jìn)行分類。這個(gè)基本SIFT方案會(huì)在一個(gè)標(biāo)準(zhǔn)人臉數(shù)據(jù)庫中進(jìn)行測試，該數(shù)據(jù)庫由三種不同匹配技術(shù)構(gòu)成。一般來說，利用對(duì)物體幾何對(duì)象的先驗(yàn)知識(shí)，可以同時(shí)在精度和速度上用

5、來提高識(shí)別性能。因此，核心的SIFT算法已經(jīng)適應(yīng)了根據(jù)三個(gè)不同方案而得到的臉部圖像分類。在擬定的解決方案中，根據(jù)臉部幾何形狀，對(duì)提取的特征進(jìn)行選擇和分組，其分組依據(jù)是對(duì)臉部幾個(gè)特征位置的先驗(yàn)知識(shí)（通常是眼睛和嘴巴）。從結(jié)果中很容易看到，當(dāng)根據(jù)臉部幾何形狀進(jìn)行特征篩選時(shí)，分類將會(huì)更加精確。從這方面看，用于臉部識(shí)別技術(shù)的真正潛力和廣泛實(shí)用性已經(jīng)得到了研究。2 尺度不變特征變換在2004年，David Lowe提出了一種從圖像中提取不變特征的方法。它稱之為尺度不變特征變換(SIFT)方法。這一類型特征的特點(diǎn)是對(duì)圖像的尺度和旋轉(zhuǎn)具有不變性，并能對(duì)大范圍的仿射失真進(jìn)行魯棒匹配、改變3D視點(diǎn)、增加噪聲以及

6、改變照亮度，從而提供準(zhǔn)確的匹配。它們?cè)诳臻g域和頻率域都有很好的布局，以減少因阻斷、雜波或噪音而造成中斷的可能性。大量的特征可以通過有效的算法從典型圖像中提取出來。一張500*500像素的典型圖像會(huì)產(chǎn)生2000個(gè)穩(wěn)定特征點(diǎn)(雖然這個(gè)數(shù)字取決于圖像內(nèi)容和所選擇的各種參數(shù))。此外，這些特征是非常獨(dú)特的，它允許單個(gè)特征點(diǎn)與大型特征庫進(jìn)行正確匹配，這些特征庫會(huì)提供物體的基本圖像和場景識(shí)別。通過級(jí)聯(lián)濾波的方法使提取特征的成本實(shí)現(xiàn)最小化，只有通過初步測試后 ，才會(huì)進(jìn)行稍復(fù)雜的計(jì)算。以下是生成圖像特征的主要計(jì)算步驟：1尺度空間極值檢測：計(jì)算第一步即搜索所有尺度和圖像位置。通過高斯差異分布識(shí)別潛在的興趣點(diǎn)，這些

7、點(diǎn)應(yīng)具有尺度和旋轉(zhuǎn)不變性。給出一個(gè)高斯模糊圖像：在這里，I(x, y)即為所給圖像，同時(shí)，為了在尺度空間中（G為尺度空間），有效地檢測到穩(wěn)定的關(guān)鍵點(diǎn)的位置，應(yīng)該使用11中提到的方法。圖1. 模糊圖像處于不同尺度，并且是模糊高斯分布的計(jì)算。圖2. 局部極值的檢測，標(biāo)記有X的像素被拿來與處于3*3*3鄰域內(nèi)的26個(gè)鄰居做比較，跨越了相鄰的DoG的圖像。在高斯差異函數(shù)（D(x,y,)）與圖像進(jìn)行卷積時(shí)，用到了尺度空間極值，其中D(x,y,)由兩個(gè)相鄰尺度的差計(jì)算得到，其中，兩個(gè)相鄰尺度相差一個(gè)常數(shù)與系數(shù)k的乘積：興趣點(diǎn)(在SIFT中也稱為關(guān)鍵點(diǎn))是DOG圖層所有尺度中的極大值或極小值。DoG圖層中的

8、每一個(gè)像素均與它同尺度中的8個(gè)鄰域點(diǎn)作比較，同時(shí)還要和相鄰尺度的上下各9個(gè)點(diǎn)進(jìn)行比較。如果這個(gè)像素是最大值或者最小值，它就被選定為候選的關(guān)鍵點(diǎn)。2. 關(guān)鍵點(diǎn)的定位：在每個(gè)候選的位置上，建立一個(gè)詳細(xì)的模型來確定位置和尺度。通過衡量它們的穩(wěn)定性來決定關(guān)鍵點(diǎn)的的選取。 一旦一個(gè)候選的關(guān)鍵點(diǎn)是通過與鄰域像素比較而得到時(shí)，那下一步就要記錄關(guān)于它附近的位置、尺度和旋轉(zhuǎn)主曲率等詳細(xì)數(shù)據(jù)。當(dāng)一個(gè)點(diǎn)具有很低的對(duì)比度（因此對(duì)噪聲很敏感）或者在邊緣附近時(shí)，我們就會(huì)將這個(gè)店排除。3. 分配方向：根據(jù)本地圖像的梯度方向，關(guān)鍵點(diǎn)會(huì)被分配到一個(gè)或者多個(gè)的方向。為了確定關(guān)鍵點(diǎn)的方向，根據(jù)相鄰關(guān)鍵點(diǎn)（高斯圖像中最接近關(guān)鍵點(diǎn)尺度

9、的點(diǎn)）的方向生成一個(gè)梯度方向直方圖。每個(gè)相鄰像素點(diǎn)都由其梯度大小值和尺度為關(guān)鍵點(diǎn)1.5倍的高斯窗加權(quán)得到。直方圖的峰值對(duì)應(yīng)關(guān)鍵點(diǎn)主方向。為了使主方向?qū)?yīng)到直方圖的極大值，會(huì)生成一個(gè)單獨(dú)的關(guān)鍵點(diǎn)。并且其它任何方向都會(huì)小于最大值的百分之80。同時(shí)，所有關(guān)于關(guān)鍵點(diǎn)方向的屬性都會(huì)確定，這就保證它們具有了旋轉(zhuǎn)不變形。4. 關(guān)鍵點(diǎn)描述符：在每個(gè)關(guān)鍵點(diǎn)所在區(qū)域的選定的尺度內(nèi)，對(duì)本地圖像梯度進(jìn)行測量。這就意味著允許局部形狀畸變和照明度的改變。一個(gè)關(guān)鍵點(diǎn)的方向一旦確定，那么特征描述子將會(huì)由一系列在4*4像素區(qū)域上的直方圖計(jì)算得到。方向直方圖與關(guān)鍵點(diǎn)方向相關(guān)，這個(gè)方向數(shù)據(jù)來自于與關(guān)鍵點(diǎn)尺度最接近的高斯圖像。就像之

10、前那樣，每個(gè)相鄰像素點(diǎn)都由其梯度大小值和尺度為關(guān)鍵點(diǎn)1.5倍的高斯窗加權(quán)得到。每個(gè)直方圖包含8個(gè)二進(jìn)制文件，每個(gè)描述符包含一個(gè)關(guān)鍵點(diǎn)周圍的4個(gè)直方圖的數(shù)組。這就構(gòu)成了一個(gè)SIFT的特征向量的4*4*8 = 128個(gè)元素。這個(gè)向量經(jīng)過歸一化處理以實(shí)現(xiàn)亮度不變性，這樣，這個(gè)描述符就對(duì)光照的仿射變化具有不變性。 圖3和圖4中給出了一些SIFT算法應(yīng)用于臉部圖像(數(shù)據(jù)庫BANCA)識(shí)別的例子。特別是在具有統(tǒng)一主題的前三個(gè)圖像中，共同的特征都已經(jīng)表示出來（用黑點(diǎn)表示）：這對(duì)于相應(yīng)特征的匹配提供了可能性。后面三個(gè)圖像則呈現(xiàn)出三個(gè)不同的主題：在這種情況下，SIFT特征區(qū)別很大。圖3. 圖像過濾提取的例子。這

11、些圖像在不同造型中，呈現(xiàn)出相同對(duì)象。黑點(diǎn)表明在所有的三幅圖中的共同穩(wěn)定SIFT。3 匹配策略為了識(shí)別一張臉，在測試圖像中計(jì)算的SIFT特征，應(yīng)該與模板的SIFT特征相匹配。在本節(jié)中，會(huì)對(duì)不同的匹配方法進(jìn)行研究。它們不同于Lowe的方法，在某種意義上，它們會(huì)更加的簡單，同時(shí)也與我們正在解決的問題有更緊密的聯(lián)系。此外，這個(gè)方法更注重識(shí)別，而不是認(rèn)證(識(shí)別意味著找到更好的匹配，用優(yōu)化過的霍夫變換來解決)。圖4. 運(yùn)用提取SIFT的示例圖。這些圖像呈現(xiàn)了不同對(duì)象。這個(gè)SIFT差別也很大。在每個(gè)匹配策略開始都會(huì)使用兩套特征，分別是在測試圖像上的計(jì)算和在模板圖像上的計(jì)算。就如前面第二節(jié)所解釋的一樣，每個(gè)特

12、征都是四部分組成：軌跡(特征的位置)、尺度、方向和描述符。最后的描述符是一個(gè)128維的向量。為簡單起見，給出一個(gè)關(guān)鍵點(diǎn)Ki，我們先分別稱F(Ki)，L(Ki)，S(Ki)和O(Ki)為它的特征描述、位置、尺度和方向。針對(duì)不同的方法，會(huì)需要SIFT特征中的一部分或者所有的信息。3.1. 一對(duì)最小距離這個(gè)方法是最簡單的一種：計(jì)算兩個(gè)圖像中所有關(guān)鍵點(diǎn)描述對(duì)的距離，再把最小距離當(dāng)做匹配得分。更確切的說，給出兩張圖像Itest和Itemp，分別代表著測試圖像和模板圖像，兩套特征經(jīng)過計(jì)算：這個(gè)匹配得分 (一對(duì)最短距離)通過計(jì)算得到。在這里，是描述符的距離。盡管可以采用更復(fù)雜的方法(見19)，但本文只對(duì)歐氏

13、距離進(jìn)行簡單的研究。這個(gè)簡單的方案既沒有采用位置也沒有采用尺度和方向的信息：它表現(xiàn)出了一個(gè)最基本的系統(tǒng)。這個(gè)方法的主要思想是，一個(gè)對(duì)象的臉可能包含了許多鮮明的特征，在這張臉上的一個(gè)特征點(diǎn)可以與測試圖像中的特征點(diǎn)進(jìn)行匹配。3.2. 眼睛和嘴的匹配第二個(gè)方法考慮到了臉部大部分的信息，主要聚集在眼睛和嘴的周圍。一旦這些目標(biāo)位置被確定下來，這個(gè)匹配策略就可以只考慮歸屬于這個(gè)區(qū)域的SIFT特征而忽略其它圖像區(qū)域的信息點(diǎn)。針對(duì)眼睛和嘴巴位置的不同，人們提出了不同的技術(shù)(見例6和其中的參考)：在這里我們假設(shè)這個(gè)位置是已知的。給一張圖像I，提取兩張子圖片：一張位于眼睛附近，一張位于嘴附近，我們分別稱為Ieye

14、s和 Imouth。這個(gè)匹配將在成對(duì)組合方式下執(zhí)行，即眼睛對(duì)眼睛，嘴巴對(duì)嘴巴。最后平均計(jì)算一下這兩個(gè)距離。更確切的說即是：3.3. 在規(guī)則柵格上匹配第一個(gè)方法沒有考慮到特征點(diǎn)的位置：這就引發(fā)了一個(gè)問題，因?yàn)閮蓚€(gè)關(guān)鍵點(diǎn)的最小距離不可能在相同臉部部分聯(lián)系起來。換句話說，臉部所有部分都可以相互匹配是不現(xiàn)實(shí)的。因?yàn)橹豢紤]了眼睛和嘴巴，所以這個(gè)問題在第二個(gè)方法中得以解決。不過在這種情況下，位于右眼的特征可以與左眼的特征相匹配。因此，如果這張圖像或多或少的注冊(cè)過，那么位置相關(guān)匹配就可以實(shí)現(xiàn)。注冊(cè)是面部認(rèn)證和識(shí)別的一個(gè)特別重要的問題，應(yīng)該得到合理解決。然而它是與認(rèn)證/識(shí)別是完全不同的問題，并且應(yīng)該在應(yīng)用匹配

15、技術(shù)前得到解決。事實(shí)上，在最近所有的數(shù)據(jù)庫中(就像BANCA)，為了允許圖像重新注冊(cè)，眼睛的位置都會(huì)給定：只有這樣匹配方法才可得到充分研究。在本文，我們假設(shè)圖像已注冊(cè)。這段中介紹的匹配方法是利用重疊的規(guī)則柵格將圖像細(xì)分成不同的子圖。通過計(jì)算所有成對(duì)對(duì)應(yīng)的子圖像之間的特征距離并做平均處理后，進(jìn)行兩張圖像的匹配。更確切的來說，這兩張圖像將被細(xì)分為一系列局部重疊的子圖像，稱為I1IT。經(jīng)過初步實(shí)驗(yàn)評(píng)估后(這里沒有給出)，我們發(fā)現(xiàn)尺寸分別為長寬的1/4和1/2的子圖像，表現(xiàn)出在精確定位和修復(fù)注冊(cè)錯(cuò)誤之間的折中辦法。這個(gè)重疊設(shè)定為25%。最后這個(gè)匹配得分(規(guī)則柵格)就是計(jì)算成對(duì)圖像匹配分?jǐn)?shù)的平均值。即：

16、4 實(shí)驗(yàn)評(píng)價(jià)以下臉部認(rèn)證的實(shí)驗(yàn)在BANCA數(shù)據(jù)庫上進(jìn)行一1個(gè)包括臉部和聲音的多模式數(shù)據(jù)。用于臉部識(shí)別的部分由52個(gè)對(duì)象組成(26個(gè)女性，26個(gè)男性)。對(duì)于每個(gè)對(duì)象，記錄了在不同條件下的12個(gè)不同的類別。對(duì)于每個(gè)類別，會(huì)提取5張圖像，用于練習(xí)及客戶或冒充者的測試。在BANCA協(xié)議中，隨著難度不斷提升，定義了7種不同的實(shí)驗(yàn)配置。在我們的實(shí)驗(yàn)中，我們用匹配控制協(xié)議(MC)，這個(gè)協(xié)議將圖片從第一個(gè)類別里集中起來用于練習(xí)，而來自第二、三、四類別圖像用于測試。在這個(gè)例子中，我們使用已注冊(cè)的圖像，這樣圖像的位置標(biāo)注信息就已知。特別是在預(yù)處理階段，所有的圖像都在直方圖均衡化后進(jìn)行簡單的幾何歸一化處理。在幾何歸

17、一化中，這個(gè)臉部將被映射到一張210*200像素的輸出圖像中去。這個(gè)映射使用了仿射變換只變換平移、旋轉(zhuǎn)和尺度。這個(gè)圖像可以通過人工說明的方法進(jìn)行轉(zhuǎn)換，例如注釋眼睛的映射位置為輸出圖像邊緣的25%且自圖像頂端向下35%處的點(diǎn)?？梢允褂脴?biāo)準(zhǔn)方法對(duì)直方圖進(jìn)行均衡化。為了得到研究結(jié)果，測試圖像將被分為兩組，G1和G2，每組有26個(gè)對(duì)象。錯(cuò)誤率由下列步驟計(jì)算得到： 在G1上做實(shí)驗(yàn)，得到G1分值 在G2上做實(shí)驗(yàn)，得到G2分值 用G1分值來計(jì)算ROC曲線，來決定現(xiàn)有的等錯(cuò)誤率以及對(duì)應(yīng)的閥值G1 用閥值G1來計(jì)算錯(cuò)誤接受率Rate(FARG2(G1)以及G2分值上的錯(cuò)誤拒絕率。 通過下列計(jì)算G2的誤差加權(quán)率(

18、WER(R)R=0.1、1和10 在G1上用雙重方法計(jì)算WER(R)參數(shù)R預(yù)測了在錯(cuò)誤接受和錯(cuò)誤拒絕之間的成本率。SIFT特征已經(jīng)用Lowe的代碼進(jìn)行計(jì)算。這三種匹配方法已經(jīng)進(jìn)行測試：在表1和表2中給出識(shí)別的精確度。G1和G2的均等錯(cuò)誤率在表1中呈現(xiàn)(對(duì)應(yīng)的ROC在圖5中顯示)，而加權(quán)錯(cuò)誤率在表2中，分別針對(duì)三種不同的R值。從表和圖形中可以得出，考慮背景信息是有益的：當(dāng)對(duì)比臉部對(duì)應(yīng)的部分時(shí)，會(huì)得到明顯的改進(jìn)。特別是集中臉部和嘴的比較后，改善會(huì)更加明顯。此外，當(dāng)運(yùn)用規(guī)則柵格的方法去比較對(duì)應(yīng)部分時(shí)，我們會(huì)得到最好的結(jié)果。以上這些結(jié)果揭示出在匹配中位置信息扮演的重要角色。 表1. 在G1和G2上，對(duì)

19、三種方法的前誤差?！癕PD”代表了一對(duì)最小距離?！癊M”針對(duì)眼睛和嘴，“RG”針對(duì)規(guī)則柵格。圖5. G1和G2的ROC曲線：“MPD”代表一對(duì)最小距離，“EM”針對(duì)眼睛和嘴，“RG”針對(duì)規(guī)則柵格表2. 針對(duì)三種方法的不同的文字差錯(cuò)率：“MPD”代表一對(duì)最小距離，“EM”針對(duì)眼睛和嘴，“RG”針對(duì)規(guī)則柵格。5 結(jié)論在本文中，主要介紹了SIFT特征應(yīng)用于人臉識(shí)別技術(shù)中的方法。目前已提出三種不同的匹配技術(shù)，即：計(jì)算兩個(gè)圖像中關(guān)鍵點(diǎn)描述子之間的距離并將最小距離作為匹配得分。只使用屬于眼睛和嘴巴周圍區(qū)域的SIFT特征。對(duì)位于規(guī)則柵格和匹配重疊部分的SIFT特征進(jìn)行匹配。已利用三種技術(shù)分別對(duì)BANCA數(shù)據(jù)

20、庫中G1和G2的圖像組進(jìn)行集中測試。從實(shí)驗(yàn)的開展分析，沿規(guī)則柵格進(jìn)行匹配的方法優(yōu)于其它兩種方法，而一對(duì)最小距離方法為較差的方法。即使取得的分?jǐn)?shù)與分類測試數(shù)據(jù)庫中的標(biāo)準(zhǔn)人臉不能很好匹配，它們?nèi)匀淮_認(rèn)SIFT特征在這方面的適用性。值得注意的是亮度和形狀并沒有進(jìn)行精確的規(guī)范化。SIFT特征在該領(lǐng)域的首次應(yīng)用中就提出過這個(gè)問題，在特征匹配過程中，必須考慮到臉形的特殊性和多變性。另一方面，SIFT算法本身應(yīng)進(jìn)一步分析和調(diào)整，以充分適應(yīng)人臉形狀和紋理。這是朝這個(gè)方向的首次嘗試，未來將會(huì)研究更復(fù)雜的匹配技術(shù)和適當(dāng)?shù)奶卣鞣诸惖膽?yīng)用。為了更好地了解該方法的實(shí)際潛力，我們與其它方法（如PCA或LDA）進(jìn)行比較。未來將研究的另一個(gè)方向是使用SIFT特征解決圖像注冊(cè)問題。