《機器視覺finalppt課件》由會員分享，可在線閱讀，更多相關《機器視覺finalppt課件（53頁珍藏版）》請在裝配圖網上搜索。
1、人類視覺 人眼所能看到的光譜范圍，只是電磁輻射波范圍的很小一部分，其波長范圍從380納米到780納米，這段波長稱為可見光譜在可見光范圍內，不同波長的光給人以不同的色彩感覺，不同強度的光及不同強度分布的光刺激人眼，在人腦中將產生不同的光強，顏色，形狀等視覺信息 人的眼睛是一個前后直徑大約23毫米的近似球狀體，由眼球壁和眼球構成，如圖眼球壁的正前方，占整個眼球壁面積的1/6是一層彈性的透明組織，叫做角膜角膜具有屈光功能，光線經角膜發(fā)生屈折進入眼內眼球壁外層的其余5/6是白色的不透明膜，叫做鞏膜，它主要起鞏固、保護眼球的作用眼球壁的中層包括虹膜、睫狀體和脈絡膜脈絡膜含有豐富的色素細胞，呈黑色，起著吸
2、收外來散光的作用，消除光線在眼球內部的亂反射虹膜在角膜的后面，位于晶體的前面，虹膜中央的圓孔叫做瞳孔虹膜可以使瞳孔擴大和縮小，睫狀體位于虹膜后面，其內部有睫狀肌，起調節(jié)晶體的作用眼球壁內層是視網膜(retina)和視神經乳頭視網膜是一種透明薄膜，是眼球的感光部分視網膜由錐體細胞(cone cell)和桿體細胞(rod cell)兩種感光細胞組成，其中，錐體細胞約有650萬個，桿體細胞約有1億個 視網膜可分為以視軸為中心直徑約6毫米的中央區(qū)和周邊區(qū)中央區(qū)有一直徑約2毫米(折合6度視角)呈黃色區(qū)域，稱為黃斑黃斑中央有一小凹，叫做中央凹(fovea)，面積約1平方毫米人類視覺的中央凹沒有桿體細胞，只
3、有錐體細胞，其密度高達每平方毫米150,000離開中央凹，錐體細胞急劇減少，而桿體細胞急劇增多，在離開中央凹20度的地方，桿體細胞最多中央凹的錐體細胞密度很高，是產生最清晰視覺的地方桿體細胞主要是在黑暗的條件下起作用，同時還負責察覺物體的運動因此，常將錐體細胞稱為明視覺細胞，將桿體細胞稱為暗視覺細胞 眼球內包括晶體、房水及玻璃體，它們都是屈光介質晶體為一扁球形的彈性透明體，位于玻璃體與虹膜之間，睫狀體的收縮可改變晶體的屈光力，使外界的對象能在視網上形成清楚的影像 基本視覺信息包括：亮度，形狀，運動，顏色，深度知覺等亮度是最基本的視覺信息，因為沒有亮度就談不上什么形狀、運動、顏色等視知覺亮度是一
4、種外界輻射的物理量在我們視覺中反映出來的心理物理量 物體的形狀主要是由物體在視覺空間上的亮度分布，顏色分布或運動狀態(tài)不同而顯示出來的雪地上一張白紙，荒野中潛伏的狼，都比較難以覺察相反，雪地上一張彩紙，綠草地上等一朵紅花，荒野中奔跑的狼，都比較容易發(fā)現(xiàn)，這是由于物體形狀因亮度、顏色、運動等因素而突顯出來，易于被人眼分辨出來視覺系統(tǒng)對運動目標十分敏感，特別是低等動物更是如此，如蛙類的視網膜對運動特別敏銳，而對靜止的目標卻視而不見顏色知覺是一種主觀感覺，目前只在感受器細胞水平和心理物理的宏觀水平上得到了較深入的研究 研究表明：猴和人的視網膜中，含有三種不同的錐體細胞，每一種錐體細胞對不同的光譜，其敏
5、感性也是不同的三種錐體細胞對光譜的敏感峰值分別在430納米，540納米和570納米這三個峰值段正對應著光譜中的紅、綠、藍區(qū)域實驗進一步表明，當三種顏色按一定比例同時刺激人眼時，會產生各種顏色感覺其中有一種比例會使得顏色感覺完全消失，只有亮度感覺這就是所謂的色覺三變量性(tri-variance of color vision )，說明顏色只取決于三個基本的輸入量，這也是色覺三基色原理的基礎 人類的視覺不僅要識別物體的形狀和顏色，而且要隨時地作用于物體，例如，伸手拿一本書，躲開汽車或障礙物，把足球踢入球門等，這一切活動都需要判斷我們與被作用物體的距離立體知覺就是指這種判斷物體距離或深度的感覺正常
6、的雙眼視覺都可以提供高度的立體感外界目標在視網膜上的象是二維的，而且同一物體在左右眼的視網膜上的成像有著微小的差異，比如，用你的手輪流遮擋你的左、右眼，會發(fā)現(xiàn)同一個物體在左右眼中的位置是不同的 實際上，這種不同為立體視覺提供了最基本的信息視差(disparity)Julesz 1960首次使用隨機點立體圖對作為刺激研究了立體視知覺，如圖，這種刺激圖形排除了所有單眼視覺引入的第二視覺線索，而只保留了視差信息。受試者在觀察隨機立體圖對時，用左右眼分別觀看其中一個圖幾秒鐘，當兩個圖融合后，便會感受到有一個方形平面從背景中突顯出來。除了雙眼視差提供深度信息外，還有許多單眼的信息可以產生深度信息的估計，
7、如物體的重疊、透視(近大遠小，近清晰遠模糊，近亮遠暗)、明暗、紋理及運動當然這種深度估計在質量和感覺上仍無法與視差立體知覺的深度相比 圖像的灰度值一般表示光強，光強是兩個空間變量的函數(shù)實際上，光是由不同波段的光譜組成的，一幅圖像常常對應一個波段或多個波段光譜樣本，因此，圖像灰度值是兩個空間變量和一個光譜變量的函數(shù)我們稱這樣的圖像為多光譜圖像(multi-spectral image)，其中的每一個波段稱為一個通道比如，氣象衛(wèi)星獲取的云圖，其波段是紅外波段；扇形束型超聲診斷儀輸出的圖像，其波段是超聲波段 ),( yxf ),( yxf 場景或物體的顏色是由照射光源的光譜成分、光線在物體上反射和吸
8、收的情況決定的比如，一個藍色物體在日光下觀察呈現(xiàn)藍色，是由于這個物體將日光中的藍光反射出來，而吸收了光譜中的其它部分的光譜而同樣的藍色物體，在紅色的光源照射下，則呈現(xiàn)紅紫色對于機器視覺系統(tǒng)，彩色圖像還與成象系統(tǒng)敏感器的光譜響應有關 可見光的波長分布在380到780之間，人的顏色感覺是不同波長的可見光刺激人的視覺器官的結果在可見光的波段內，隨著波長的增長，使人產生紫、藍、青、綠、黃、橙、紅等顏色的感覺人的視網膜上有兩類細胞：桿體細胞和錐體細胞桿體細胞靈敏度高，能感受微弱的光；錐體細胞靈敏度低，但能很好地區(qū)分顏色為了解釋視覺對顏色的感知能力，美國物理學家TYoung 1801年提出三色假說，后來由
9、Helmholtz加以發(fā)展，形成著名的Young-Helmholtz三色學說 假設有三種視覺(錐體)感受器，分別對紅、綠、藍三種顏色敏感；當光線同時作用在這三種感受器上時，三個感受器產生的興奮程度不同；不同興奮程度的組合將產生不同的顏色感覺，三種感受器處于等強度興奮時，便產生白色的感覺 根據Wald 1964對人類色彩視覺的研究結果，三種錐體細胞的光譜吸收的峰值分別在430、540和570納米左右，這三個區(qū)間分別對應紅、綠和藍波段，由于這個原因，這三種顏色被稱為人類視覺的三基色。譜上的大多數(shù)顏色都可以用紅(Red)、綠(Green)、藍(Blue)三種單色加權混合產生，基于RGB三基色的顏色表
10、示稱為RGB顏色模型 根據RGB三基色原理，各種顏色的光都可以由紅、綠和藍三種基色加權混合而成,如圖RGB直角坐標定義的單位立方體來說明坐標原點（0，0，0）表示黑色，坐標點（1,1,1）表示白色，在坐標軸上的三個頂點表示RGB 三個基色因此，彩色空間是三維的線性空間，任意一種具有一定亮度的顏色光都可用空間中的一個點或一個向量表示因此我們可以選擇具有確定光通量的紅、綠、藍三基色作為這三維空間的基，這樣組成的表色系統(tǒng)稱為RGB表色系統(tǒng)在RGB表色系統(tǒng)中，標準白光的RGB光通量按以下比例混合而成： 0601.0:5907.4:1: bgr 通常把光通量為1流明的紅光，4.5907流明的綠光，0.0
11、601流明的藍光作為三基色的“單位基色量”，用(R)、(G)、(B)表示因此，任何一種具有一定亮度的彩色光的光通量為： 其中R,G,B為每種原基色的比例系數(shù)例如，對某種藍綠色，可以用下式表示：)()()()( BBGGRRC )(63.0)(31.0)(06.0)( BGRC )(63.0)(31.0)(06.0)( BGRC 上式表示彩色光的明亮程度顯然，光的色度只取決于之間的比例關系如果不考慮光的亮度，只對色度感興趣，則只要知道的相對值即可因此可以令： BGR Bb BGR Gg BGR Rr r,g,b稱為色度坐標由于r+g+b，因此只有兩個色度坐標是獨立的，這也說明色度空間是二維的，可
12、以用如下色度圖表示，標準白光位于 31 gr 為了使用RGB三基色有效地描述或混合各種顏色。人們還根據RGB三基色模型提出了CMY顏色模型，XYZ顏色模型，YIQ顏色模型，HSV顏色模型，HLS顏色模型等，以適應不同應用的需求。 從RGB顏色模型可知，在坐標軸上的三個頂點表示RGB 三個基色，各種顏色的光都可以由紅、綠和藍三種基色加權混合而成另外三個頂點：青(Cyan)，品紅(Magenta)，黃(Yellow)和RGB一樣，也可構成一組基色，稱為CMY顏色模型，各種顏色的光都可以由CMY三種基色加權混合而成在實際應用中，RGB顏色模型用于磷粉屏幕的顏色生成，是一個由黑到白的過程，稱為增色處理
13、CMY顏色模型主要用來描述繪圖和打印彩色輸出的顏色，因為這類彩色的形成是在白紙或其它印刷介質上生成的，是一個由白到黑過程，稱之為減色過程使用CMY的打印處理通常需要四個墨點的集合來產生顏色點，CMY三基色各對應一個墨點，黑色對應第四個墨點這是因為CMY三基色混合僅能生成深灰色，所以黑色應單獨作為一個墨點 這在某種程度上與RGB監(jiān)視器使用的三個磷粉點的集合是一樣的顯然，RGB和CMY之間的關系如下： BGRYMC 111 MCY單位立方體 使用RGB模型生成顏色時，用于產生顏色的原基色比例系數(shù)出現(xiàn)負值，使用起來十分不便同時，不同研究者所用的三基色和標準白色不同，使得研究結果很難比較因此，1931
14、年國際照明委員會CIE (Commission Internationale del Elairagethe International Commission on Illumination)規(guī)定了一種新的顏色表示系統(tǒng)，定義為CIE-XYZ顏色模型XYZ顏色模型把彩色光表示為： 其中，是XYZ顏色模型的基色量，為三色比例系數(shù) XYZ表色系統(tǒng)須滿足如下三個條件：三色比例系數(shù)皆大于零； Y的數(shù)值正好是彩色光的亮度；當時仍然表示標準白光根據以上條件，可以得到RGB顏色模型與XYZ顏色模型的關系式 )()()( ZZYYXXC 對XYZ顏色模型的三基色規(guī)范化，得到如下色度坐標： BGRZYX 5943
15、.50565.00000.0 0601.05907.40000.1 1302.17517.17689.2)( )( )( ZYX Zz ZYX Yy ZYX Xx RGB工業(yè)監(jiān)視器要求一幅彩色圖像由分開的RGB信號組成，而電視監(jiān)視器需要混合信號輸入為此，美國國家電視系統(tǒng)委員會（National Television System Committee，NTSC）采用YIQ彩色模型，其主要的優(yōu)點是可以保證彩色電視和黑白電視的兼容，即可以用彩色收看黑白電視圖像。YIQ是以CIE的XYZ顏色模型為基礎，其參數(shù)Y 與XYZ中的模型參數(shù)相同，是圖像的亮度信息在沒有色度的情況下，Y也就對應于黑白圖像，或者說
16、，黑白電視只接收Y信號由于人眼對顏色的相對視見度不同，所以選擇三色的基色量為 114.0587.0299.0 BGR 因此亮度信號Y為 規(guī)定如下色差信號：由此可見，在色度圖上，參數(shù)I包含有橙青顏色信息，參數(shù)Q包含有綠品紅顏色，I 和Q混合可以提高顏色的色調和飽和度BGRY 114.0587.0299.0 )(41.0)(48.0 )(27.0)(74.0 YBYRQ YBYRI 將(10.9)和(10.10)結合起來得到YIQ與RGB間的轉換關系為：這里的RGB是NTSC制式RGB BGRQIY 312.0523.0211.0 322.0274.0596.0 114.0587.0299.0 Y
17、 = 0.299R + 0.587G + 0.114B U = -0.147R - 0.289G + 0.436B V = 0.615R - 0.515G - 0.100B R = Y + 1.14V G = Y - 0.39U - 0.58V B = Y + 2.03U 從視覺的角度來講，顏色可分為彩色和非彩色兩大類。非彩色是指黑色、白色及其兩者之間深淺不同的灰色，稱為非彩色或無色系列(achromatic series)。彩色系列或有色系列(chromatic series)是指除了白色系列以外的各種顏色為了定量地描述顏色對人眼的視覺作用，可以選用亮度(brightness)、色調(hue
18、)、色飽和度(saturation)這三個與視覺特征有關的量來計算描述，這三個量稱為顏色的三個基本屬性色調是由物體反射光線中占優(yōu)勢的波長來決定的，不同的波長產生不同的顏色感覺，如紅、橙、黃、綠、青、藍、紫等色調是彩色的最重要的屬性，是決定顏色本質的基本特性顏色的飽和度是指一個顏色的鮮明程度，飽和度越高，顏色越深，如深紅，深綠在物體反射光的組成中，白色光愈少，則其色飽和度愈大在顏色中加上白色或灰色愈多，其飽和度就愈小亮度是指刺激物的強度作用于感受器所發(fā)生的效應，其大小是由物體反射系數(shù)來決定，反射系數(shù)越大，物體的亮度愈大，反之愈小 人眼大概能識別128不同的色調和 130種不同的色澤（色飽和度級）
19、根據不同的色調，還可以識別若干種明暗，比如對于黃色，可以分辨出23種明暗級，對于藍色，則可分辨出16種明暗級因此，人眼可以識辨出大約種不同的顏色，對于機器視覺來說，128不同的色調和8種不同的色飽和度級，16種明暗級基本上滿足應用需求 色度表示彩色分量是獨立于光通量的兩種彩色，比如深綠和淺綠，可能看起來不同，但實際上具有相同的波段相對分布如果光譜分布按一個比例常數(shù)增減，彩色會變深或變淺，但光譜分布的形狀不變，色調（主波段）和色飽和度（主波段的相對量）也就不變 我們來回顧一下圖10.5，感覺意義顯著的色度位于的舌形區(qū)域內 從白光點畫一條線，經過某一彩色點，再到色度圖邊界位置，我們可以認為彩色的色
20、度是由白光和純光譜色調相加混合而成： 其中S為長度與的比值，定義為色飽和度，控制白色和色調的相對比例 CSSCC S )1(1 將色調、色飽和度和亮度編碼成RGB彩色值，不利于在機器視覺算法中使用比如，識別不同顏色物體的簡單方法是使用物體的色調特征，但是，這些色調在RGB空間位于何處？對應于RGB空間不同區(qū)域的物體表面形狀是什么？將色調閾值應用于圖像RGB空間的公式是什么？這些問題在RGB空間中是很難回答的但將RGB值轉化為色調、色飽和度和亮度時，問題就變得十分簡單了按照色調（Hue）、色飽和度(Saturation)和明度值（Value）)建立的HSV彩色模型就是其中的一種方法，有的書不用明
21、度值，而用光強(Intensity)，HSV也用HSI來代替. HSV彩色表示。 HSV顏色三角形 一個圖像的RGB成分可以轉換為HSV彩色表示假設RGB成分已經被歸一化為r,g,b， r,g,b的所有可能值形成的軌跡是RGB空間正象限的三角形，如上頁圖。設三角形上的點P表示rgb空間上的某一顏色的位置，p=(r,g,b)是到三角形上P點的向量，w是到表示白色的三角形中心的點的向量，pr是到全色飽和紅色對應的三角形頂點的向量色調H是向量pr-w到向量p-w的夾角。從三角形遠離原點的一邊按逆時針方向環(huán)繞三角形，這是右手法則，大拇指沿三角形法線指向遠離原點的方向 )(31 BGRV 色調的余弦值是
22、到三角形中心的向量w的值為w =（1/3，1/3，1/3）p-w向量的幅值為 wpwp wpwpH rr )()(cos 222 )31()31()31( bgrwp 因為，因此，pr-w的幅值是 p-w和pr-w的點積是32 wp r 3 )31()31()31(2)()( bgrwpwp r 從而可以得到從R、G、B值得到簡化的計算色調方程：為了在0到360度的范圍內得到色調值，有必要從360中減去H（當 ） 雖然這個推導是從歸一化RGB值開始，但是方程可用于任何尺度的RGB值，這是因為分子和分母中具有相同的尺度因子，可以在計算中消除)()(2 2cos 2 BGBRGR BGRH IGI
23、B 色飽和度是指空間三角形到白色的距離相對于白色到具有相同色度的全色飽和色的距離而言的全色飽色位于三角形的邊上三角形中點經過彩色點與三角形邊緣的交點為，則色飽和度是一個距離比值： wp wpS s 色飽和度方程為：),min(31 BGRBGRS 彩色圖像獲取系統(tǒng)中的RGB圖像轉化為HSV表示，可以便于進一步的處理當色飽和度值為零時，色調不需要定義，也就是指沿HSV立體圖的軸心線上的任何彩色當光強值V0時，色飽和度值無需定義 使用RGB到HSV的變換來將彩色圖像轉化成適應于機器視覺的形式灰度算法可以在HSV表示的V分量上來完成分割可以在H分量上完成，以便用不同的色調區(qū)分不同物體但是，當色飽和度
24、值很低時，用色度來區(qū)分物體是不可靠的，所以必須修正分割算法以便將低色飽和度值的像素留下，等待進一步處理區(qū)域生長算法可以利用色調閾值來形成核心區(qū)域，將低色飽和度值或是在閾值邊界外的未定義的像素點留下通過分配像素來進行區(qū)域增長的算法沒有任何變化 更一般的算法是使用將色調、色飽和度和光強的閾值將HSV立體空間分成若干區(qū)域這些閾值用HSV表示比成象系統(tǒng)提供的RGB表示更容易公式化和應用 室外光線的彩色成分變化非常大，但人卻能正確的感知場景中物體的顏色，并且在大部分情況下不依賴于環(huán)境照明的顏色，這種現(xiàn)象叫彩色不變性(color constancy) 環(huán)境光的光譜分布描述了在每個波段上的能量假定場景表面是
25、不透明的，場景中的坐標值就能用圖像平面中對應點的坐標來確定在波段上的光從表面點(x,y)處反射的部分是S(x,y, )到達圖像上每一點的光是由照在場景表面的環(huán)境光的光譜分布和光在不同波段上的反射部分來確定： )(),( EyxS 假設在每個圖像位置(x,y)上有p個傳感器，每個傳感器有不同的光譜響應函數(shù)，傳感器k的光譜響應Rk()在(x,y)處的每個傳感器采樣不同分布的光譜：對應于圖像平面點的場景表面上一點的彩色（光譜反射）信息由該處p個傳感器編碼，得到p個編碼值 dEyxSRyx kk )(),()(),( 0 ),(),.,(),( 21 yxyxyx p 彩色不變性是傳感器響應 恢復場景
26、表面光譜反射S(x,y,)的問題，而獨立于環(huán)境照明的光譜分布 原則上，彩色不變性問題可以表示為有限維線性空間中的逆問題，并可通過矩陣方法求解假定表面反射是基函數(shù)的線性組合，基函數(shù)的數(shù)量是表面反射自由度的數(shù)目假定基函數(shù)已知，僅用三個基函數(shù)的線性模型足以表示典型的表面反射S x y x y S i ii n( , , ) ( , ) ( ) 1 ),(),.,(),( 21 yxyxyx p m個自由度的線性模型表示環(huán)境照明如下：假定基本光源（basic light）的光譜分布已知，則只需三個或四個基本光源就可以建立不同氣候條件和不同時間的自然光模型 mj jj EE 1 )()( 彩色確定問題可
27、以用矩陣形式表示m個值組成列向量，個值組成列向量，將這些列向量代入方程10.22，得到圖像中每個像素的矩陣模型：照明矩陣是一個矩陣，第(i,j)項的值是： dESR ji )()()(0 如果環(huán)境照明已知，那么照明矩陣也已知如果傳感器數(shù)目等于表面反射的自由度數(shù)目，即，那么可以求取照明矩陣的逆，以便得到圖像上每一點的表面光譜反射特性系數(shù)，該系數(shù)表征了場景相應點的色彩 如果環(huán)境照明未知，則需要傳感器數(shù)目多于表面反射自由度數(shù)目才能求解此問題由于假設環(huán)境照明對場景中所有點都一樣，因此可以用多個場景點上的信息來計算環(huán)境照明假定從個不同的空間點上，可得到個不同的測量值這里有個表面反射未知數(shù)和個環(huán)境光譜未知數(shù)因此，必須在時取樣才能得到比未知數(shù)更多的數(shù)據這一分析意味著如果有個敏感器，就可以在不知道環(huán)境光線的情況下求解彩色不變性問題 矩陣將維的表面空間映射到維的敏感器空間例如，當，時，子空間就是三維空間中的一個平面這意味著下面的確定表面反射性的兩步算法不依賴于環(huán)境照明： 1 確定覆蓋傳感器空間數(shù)據點的平面（子空間），以恢復環(huán)境照明向量 2 從環(huán)境照明向量確定照明矩陣，再求的逆來得到表面反射向量
機器視覺finalppt課件
