機(jī)器人手眼協(xié)調(diào)研究讀書報(bào)告.ppt

機(jī)器人手眼協(xié)調(diào)研究讀書報(bào)告,指導(dǎo)老師：張明路教授教授,匯報(bào)人: 鄧潔平,報(bào)告內(nèi)容,手眼協(xié)調(diào)系統(tǒng)的發(fā)展,手眼協(xié)調(diào)系統(tǒng)的發(fā)展：,利用視覺信息控制機(jī)器人的歷史可以追溯到1963年由Stanford大學(xué)wichman提出的以獲得視頻流作為輸入信息對機(jī)器人進(jìn)行運(yùn)動控制的方 法,他的這個(gè)思想后來被認(rèn)為是機(jī)器人視覺控制的雛形。,開環(huán)：look then move 視覺信息處理和機(jī)器人的運(yùn)動 是獨(dú)立分開的兩個(gè)串行的任務(wù)。,閉環(huán)：利用視覺信息反饋控制機(jī)器人的研究模型,成功 的以視覺反饋引導(dǎo)機(jī)器人,開環(huán)與閉環(huán)的比較,比較,開環(huán)：精度難以控制，且對先驗(yàn)知識 依賴度高,閉環(huán)：克服了開環(huán)的缺點(diǎn) 但是要求機(jī)器人末端 操作器始終可以在視覺場景中觀測到,視覺伺服控制方法,基于位置的視覺伺服控制（三維視覺） 利用攝像機(jī)的參數(shù)來建立圖像信號與機(jī)器人的位置/姿態(tài)信息之間的映射,然后在伺服過程中,借助于圖像信號來提取機(jī)器人的位置/姿態(tài)信息,并將它們與給定位姿進(jìn)行比較,形成閉環(huán)反饋控制。,視覺伺服控制方法,給定 位姿,三維視覺 控制器,機(jī)器人 對象,照相機(jī),圖像處 理環(huán)節(jié),照相機(jī) 逆映射,控制信號,位姿信號,圖像信號,二維信號,當(dāng)前位姿,基于位置的視覺伺服基本結(jié)構(gòu),視覺伺服控制方法,基于圖像的視覺伺服控制（二維視覺） 與三維視覺伺服不同,基于圖像的視覺伺服將 實(shí)時(shí)測量得到的圖像信號與給定圖像信號直接進(jìn)行 在線比較,然后利用所獲得的圖像誤差進(jìn)行反饋來 形成閉環(huán)控制。,視覺伺服控制方法,給定 圖像,二維視覺 控制器,機(jī)器人 對象,照相機(jī),圖像處 理環(huán)節(jié),控制信號,位姿信號,圖像信號,當(dāng)前圖像,基于圖像的視覺伺服基本結(jié)構(gòu),視覺伺服系統(tǒng)方法,1.基于位置的視覺伺服控制 精度取決于攝像機(jī)的參數(shù)準(zhǔn)確性以及圖像的噪聲，無法保證機(jī)器 人或者參考物體始終位于攝像機(jī)的視野之內(nèi) 2.基于圖像的視覺伺服控制 對于攝像機(jī)模型的偏差具有較強(qiáng)的魯棒性,通常也能較好地保證機(jī)器人或參考物體位于攝像機(jī)的視野之內(nèi),但是在設(shè)計(jì)視覺伺服控制器時(shí),這種方法又不可避免地遇到了圖像雅可比矩陣Js的奇異性以及局部極小等問題 T=Js(s-s*),視覺伺服系統(tǒng)方法,3. 2.5維視覺伺服控制 考慮到以上2種視覺伺服方法的局限性,法國機(jī)器人視覺控制專家 F. Chaumette等人提出了2.5維視覺伺服。 它將攝像機(jī)平動位移(V)與旋轉(zhuǎn)(O)的閉環(huán)控制解耦,根據(jù)從圖像中提取出來的特征點(diǎn),重構(gòu)物體3D空間中的方位及成像深度比率,平動部分用圖像平面上的特征點(diǎn)坐標(biāo)表示。,視覺伺服系統(tǒng)方法,位置控制律,旋轉(zhuǎn)控制律,關(guān)節(jié)控制器,機(jī)器人,攝像機(jī),特征提取,單應(yīng)性矩 陣分解,旋轉(zhuǎn)分量,位置分量,期望位置,期望轉(zhuǎn)角,視覺伺服過程,機(jī)器人執(zhí)行伸手抓取操作的視覺伺服過程被分成5步: 搜索 接近目標(biāo) 粗對準(zhǔn) 精對準(zhǔn) 抓取,視覺伺服過程,搜索.頭部左右和上下轉(zhuǎn)動來搜索定位目 標(biāo)物體,攝像頭獲取物體的位置信息. 接近目標(biāo). 控制本體從遠(yuǎn)處步行靠 近目標(biāo)物體,然后靜止站立在物體前面.,視覺伺服過程,粗對準(zhǔn).利用視覺前饋和基于表格的逆運(yùn)動學(xué)算法控制機(jī)器人手運(yùn)動到視覺區(qū)域內(nèi),3維位置估計(jì),特征提取,觀測目標(biāo),基于表格 的機(jī)器人 運(yùn)動求解,路徑規(guī)劃,關(guān)節(jié)傳感器,機(jī)器人,控制關(guān)節(jié)器,關(guān)節(jié)空間坐標(biāo),關(guān)節(jié)運(yùn)動軌跡,關(guān)節(jié) 位置,直角坐標(biāo)系,基于視覺前饋的視覺伺服控制流程,視覺伺服過程,神經(jīng)網(wǎng)絡(luò)中機(jī)器人視覺前饋控制,機(jī)器人視覺前饋控制主要包括視覺深度估計(jì)和基于內(nèi)部模型學(xué)習(xí)的前饋控制等過程。 建立基于神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)的視覺一運(yùn)動映射學(xué)習(xí)模型,將視覺信息和機(jī)器人動作對應(yīng)起來,通過在線學(xué)習(xí)來逼近這個(gè)非線性映射,將機(jī)器人速度輸出作為前饋控制發(fā)送的運(yùn)動指令“,視覺伺服過程,精對準(zhǔn)：同時(shí)測量機(jī)器人的手部和目標(biāo)物體的三維信息,以手部mark中心和目標(biāo)質(zhì)心之間的距離作為控制量,利用PD算法采用視覺反饋實(shí)現(xiàn)末端執(zhí)行器和目標(biāo)物體的精對準(zhǔn).,笛卡爾空間 控制策略,雅克比 逆矩陣,關(guān)節(jié) 控制器,機(jī)器人,圖像特征提取,位姿估計(jì),目標(biāo)位置,攝像機(jī),基于位置的視覺伺服過程,視覺伺服過程,機(jī)器人視覺反饋控制,視覺反饋控制的必要條件就是目標(biāo)物體和機(jī)器人本體特征同時(shí)存在于視 覺范圍之內(nèi) 雙目視差的機(jī)械手平移型視覺反饋控制,雙目視覺控制,研究目標(biāo),目標(biāo)選擇,位置估計(jì),內(nèi)部模型,視覺前饋,期望 軌跡,視覺前饋控制,視差估計(jì),選擇器LS,輸入,視覺反饋,機(jī)器人,本體感知 處理,視覺信 息處理,腹側(cè)通路,連續(xù),間斷,高,低,攝像機(jī),關(guān)鍵問題,目標(biāo)物體的識別 邊緣提取算子的研究與選擇,1.利用圖像中目標(biāo)物體邊緣輪廓與背景色彩上的突變?？梢愿鶕?jù)laplace算子 ，sobel算子，canny算子提取圖像的輪廓信息。 2.利用特征幾何形狀模板對機(jī)器人本體進(jìn)行描述,關(guān)鍵問題,視覺測量,主要途徑包括: 1)直接在圖像平面上進(jìn)行測量,利用光流檢測和圖像 差分等技術(shù); 2)利用攝像機(jī)參數(shù)和其它先驗(yàn)知識(例如物體的幾何模型) 對物體的姿態(tài)進(jìn)行計(jì)算,所采用的技術(shù)主要取決于攝像機(jī)數(shù)目!機(jī)械手一 攝像機(jī)配置情況!標(biāo)定的精確程度和場景先驗(yàn)知識的多寡等因素,視覺深度信息,為了通過二維像平面上一點(diǎn)來確定物體在三維空間中的關(guān)系必須有附加的信息，主要包括：多個(gè)視圖，目標(biāo)物體上多個(gè)特征點(diǎn)之間的幾何關(guān)系。,關(guān)鍵問題,視覺控制 經(jīng)典控制方法有PID方法、極點(diǎn)配置方法。 現(xiàn)代控制方法有最優(yōu)控制方法、自適應(yīng)控制方法等。 模糊邏輯和神經(jīng)網(wǎng)絡(luò)為代表的智能控制方法也廣泛應(yīng)用于機(jī)器人視覺伺服控制。,關(guān)鍵問題,視覺運(yùn)動規(guī)劃 勢場 導(dǎo)航函數(shù),關(guān)鍵問題,視覺伺服系統(tǒng)的穩(wěn)定性,將非線性控制理論應(yīng)用于機(jī)器人視覺伺服系統(tǒng),分別采用自應(yīng)控制和魯棒控制等方法來提高機(jī)器人視覺伺服系統(tǒng)對于這些不確定因素的適應(yīng)能力.,敬請老師們批評指正！,