《基于機器人視覺的快遞分揀系統(tǒng)設計與試驗》由會員分享，可在線閱讀，更多相關《基于機器人視覺的快遞分揀系統(tǒng)設計與試驗（84頁珍藏版）》請在裝配圖網(wǎng)上搜索。
1、本科畢業(yè)論文（設計）論 文 題 目：基于機器人視覺的快遞分揀系統(tǒng)設計與試驗 本科畢業(yè)論文（設計）專用摘要隨著電子商務行業(yè)的發(fā)展，包裹遞送量不斷增加，使傳統(tǒng)的分揀自動化機器人面臨壓 力，并限制了它們跟上需求的能力。作為回應，將視覺智能系統(tǒng)與這些機器人集成可以提 高效率并降低成本。對此，本文提出了一種基于機器視覺和機器人技術的快遞箱自動分類 系統(tǒng)，實現(xiàn)快遞盒的自動分揀和分類，可以分揀不同尺寸的快遞盒，提高分揀效率和準確 性。本文主要研究內容主要集中于以下幾個方面：(1)研究采用 HALCON 視覺軟件獲取快遞箱的深度信息，進而提取出快遞箱的長度、 寬度、高度和體積等信息，并通過九點標定算法和仿射變
2、換得出快遞箱的坐標信息，通過 socket 通信將坐標信息傳輸給 ABB 機器人，實現(xiàn)機器人的精確抓取和分類。(2) 實現(xiàn)對快遞盒的自動分類，編寫一套控制機器人動作的程序，開發(fā)相應的軟件程 序來實現(xiàn)這一目標，程序將指引機器人對快遞盒進行自動分類。這些程序需要與攝像頭、 傳感器和其他設備協(xié)調，以確保分揀操作順利進行。(3)使用 C#語言開發(fā) WinForm 界面，實現(xiàn)對整個快遞分類流程的控制。利用 C#語言 創(chuàng)建 WinForm 接口，用于控制整個快速分類過程。讓快遞自動分類更簡單流程化。使用 ABBIRB1410 型號的工業(yè)機器人、工業(yè)相機、光源、光源控制器、主控電腦等硬 件組成了機器人分揀系
3、統(tǒng)，提出了一種基于機器視覺和機器人技術的快遞箱自動分類系統(tǒng)， 將視覺智能系統(tǒng)和機器人技術集成，以應對快遞遞送量不斷增加的挑戰(zhàn)。本文的研究成果 可以代替人工進行快遞分揀搬運，提高快遞盒的自動分揀和分類效率和準確性，具有廣闊 的應用前景和市場價值。關鍵詞：機器視覺；快遞分揀；工業(yè)機器人；C#；工作站集成設計。AbstractAs the e-commerce industry grows, package delivery volumes are increasing, putting traditional sortation automation robots under pressure a
4、nd limiting their ability to keep up with demand. In response, integrating visual intelligence systems with these robots could improve efficiency and reduce costs. In this regard, this paper proposes an automatic sorting system for express boxes based on machine vision and robot technology to realiz
5、e automatic sorting and classification of express boxes, which can sort express boxes of different sizes and improve sorting efficiency and accuracy.The main research content of this paper mainly focuses on the following aspects:(1) The study uses the HALCON vision software to obtain the depth infor
6、mation of the express box, and then extracts the length, width, height and volume of the express box, and obtains the coordinate information of the express box through the nine-point calibration algorithm and affine transformation. The socket communication transmits the coordinate information to the
7、 ABB robot to realize the precise grasping and classification of the robot.(2) Realize the automatic classification of express boxes, write a set of programs to control the movement of the robot, and develop corresponding software programs to achieve this goal. The program will guide the robot to au
8、tomatically classify the express boxes. These procedures need to be coordinated with cameras, sensors and other equipment to ensure that sorting operations run smoothly.(3) Use C# language to develop the WinForm interface to realize the control of the entire express classification process. Create a
9、WinForm interface using C# language to control the entire quick classification process. Make the automatic classification of express delivery easier and more streamlined.A robot sorting system is composed of ABB IRB1410 industrial robot, industrial camera, light source, light source controller, main
10、 control computer and other hardware, and a express box automatic sorting system based on machine vision and robot technology is proposed. Integrate with robotics to meet the challenge of increasing express delivery volume. The research results of this paper can replace manual express sorting and ha
11、ndling, improve the efficiency and accuracy of automatic sorting and classification of express boxes, and have broad application prospects and market value.Key words: machine vision; Express sorting; industrial robots; C#；Workstation-integrated design.本科畢業(yè)論文（設計）專用目錄1 引論11.1 研究目的及意義11.2 國內外研究現(xiàn)狀21.3 設
12、計的主要內容31.4 章節(jié)安排42 機器人視覺的快遞分揀系統(tǒng)設計62.1 視覺分揀系統(tǒng)方案設計62.2 系統(tǒng)軟硬件集成設備選型62.3 光學方案設計123 Halcon 視覺圖像處理153.1 Halcon 視覺軟件工作總體流程153.2 相機的標定203.3 系統(tǒng)的通信方式233.4 快遞的定位轉換254 VS2019 的 WinForm 窗體設計304.1 上位機開發(fā)功能要求304.2 以 C#格式導出 Halcon 程序304.3 配置環(huán)境304.4 Winform 界面設計344.5 窗體界面的顯示邏輯355 ABB 機器人路徑算法設計375.1 ABB 機器人工作總體流程375.2
13、ABB 機器人 Halcon 通訊設置375.3 ABB 機器人離線程序設定396 工作站聯(lián)合調試試驗416.1 程序調試416.2 軟件打包發(fā)布417 結語46參考文獻47致謝48附錄49附錄一：Halcon 機器視覺算法設計及說明49附錄二：ABB 機器人詳細離線程54附件三：VS2019 的 WinForm 算法設計及說明59附圖79附圖一：UI 界面圖79本科畢業(yè)論文（設計）專用1引論1.1研究目的及意義近年來快遞量的持續(xù)增長，物流服務的質量和水平仍有待提高。要提高我國郵政業(yè)的發(fā) 展水平和國際競爭力，必須在郵政業(yè)實行全面、精細化的管理。智能分揀系統(tǒng)由物流自動化 設備、信息傳輸、倉儲控制
14、、管理系統(tǒng)組成，是快遞物流系統(tǒng)的重要組成部分，也是保障整 個物流系統(tǒng)高效運行的重要基礎設施。其主要功能包括自動揀選、自動包裝、自動分揀，可 由計算機遠程監(jiān)控或管理。研究快遞物流分揀環(huán)節(jié)自動化技術，可以為郵政行業(yè)的自動化生 產提供新技術、新產品，提高企業(yè)的經(jīng)濟效益。視覺識別技術是機器人分揀系統(tǒng)的核心組成 部分，涉及計算機采集圖像信息、分析圖像信息、提取有價值的信息等關鍵技術。通過分析 與研究圖像特征與分類之間的關系，進而獲取目標區(qū)域特征信息進行識別和分類，下面是分 揀機器人正在在進行分揀作業(yè)。（圖 1.1）圖 1.1 產線上的視覺分揀機器人機器人視覺作為一種新興技術，可以應用于自動化生產領域，用
15、于物體識別、跟蹤、分 類和計數(shù)。機器人視覺的關鍵在于實現(xiàn)物體識別和定位、跟蹤，并確定目標物體的位置和運 動方向，主要任務是目標對象檢測和分割。主要包括：（1）獲取和處理圖像中的顏色、灰度、 紋理等各種信息;（2）對加工目標進行分類;（3）對檢測到的目標對象進行計數(shù)和識別等基本 操作。在分揀過程中，機器人視覺不僅可以對貨物進行分揀，還可以對自動分揀系統(tǒng)中各種 傳感器檢測到的各種產品的規(guī)格和尺寸進行準確判斷和分類。實現(xiàn)不同產品之間或單個項目 之間的信息相互傳遞，部門之間的指令和信息傳遞，也需要不同的技術手段。機器人視覺可 以檢測并自動分類不同的產品或相同的產品。它在分揀過程中起著至關重要的作用，不
16、僅實 現(xiàn)了自動化物流系統(tǒng)中貨物的分揀功能，而且按照一定的程序和規(guī)則將貨物分揀或運輸?shù)街?定位置。本文設計一種可以應用于自動識別分揀小物件快遞盒和快速分揀系統(tǒng)。在進行貨物分類 處理時，快遞公司的工作人員將先前已經(jīng)分好相同地區(qū)的商品再進行分配，快遞公司的工作 人員將產品放到傳送帶上，經(jīng)過機器視覺識別器掃描后，將商品放到自動運輸機器上，到了 出貨站臺后自動運輸機器會把托盤升起使機器上的商品落到出貨口，集中配送。79本科畢業(yè)論文（設計）專用通過對快遞包裝進行圖像采集，采用了圖像處理中常用的閾值分割方法、邊緣檢測、形 態(tài)學操作、閾值分割、形態(tài)學操作以及特征提取方法來對包裹和包裝箱進行分類識別。根據(jù) 用戶
17、對快遞單信息錄入要求，設計了一種用于處理快遞數(shù)據(jù)信息并且能對快遞圖像數(shù)據(jù)信息 進行處理的系統(tǒng)模塊；該智能分揀系統(tǒng)可以自動識別單快遞盒和包裝箱等不同類別和不同大 小的物品進行分揀；1.2國內外研究現(xiàn)狀自 20 世紀以來，快遞行業(yè)飛速發(fā)展，智能物流發(fā)展迅速，國家政策也在不斷出臺鼓勵創(chuàng) 新。國內也在不斷學習技術并進行開發(fā)，以保證物流行業(yè)的高速發(fā)展。隨著人工智能技術在 各企業(yè)間的推廣應用，機器人視覺技術的發(fā)展也逐步成熟。我國研究的自主式智能快遞機器 人系統(tǒng)由三部分組成：控制中心、末端執(zhí)行器、服務機器人。機器人視覺技術在各行各業(yè)得 到廣泛應用，主要是為了提高生產效率和自動化程度，并且能有效避免人為失誤；
18、其次是降 低人工成本、減輕勞動強度、實現(xiàn)機器換人等特點。隨著人工智能和信息科技的不斷發(fā)展， 機器人系統(tǒng)被廣泛運用于物流、倉儲等領域中，目前已有很多優(yōu)秀品牌采用了自主研發(fā)機器 人來代替人工對貨物進行分揀作業(yè)。國內快遞行業(yè)正處于快速發(fā)展時期且各大快遞公司均在 不斷投入大量資金完善設施設備。2目前國內已經(jīng)有了許多分揀中心與自動化設備供各大快遞公司使用，并且已經(jīng)取得了良 好成效。隨著人工智能技術和信息科學技術的迅速發(fā)展，機器人系統(tǒng)可以有效代替人工工作 并降低人力成本；同時也是對傳統(tǒng)的機械化流水線進行升級改造的過程。近年來隨著物流行 業(yè)快速發(fā)展使得快遞行業(yè)業(yè)務量激增而機器人系統(tǒng)無法滿足日益增長的快件數(shù)量
19、所造成的設 備及人工成本增加是導致我國快遞分揀中心智能化水平不斷提高的重要原因之一；同時我國 物流業(yè)快速發(fā)展、物流業(yè)相關服務體系不斷完善也是對物流行業(yè)轉型升級、提高物流行業(yè)自 動化程度起到促進作用。目前我國已經(jīng)有了許多專業(yè)從事物流設備研發(fā)與生產、運營管理等 方面工作人員。其中就包括從事機器人系統(tǒng)研究、開發(fā)、制造及技術服務等工作人員；同時 從事機械自動化工程設計人員；從事相關設備研究及應用開發(fā)人員以及從事物流企業(yè)相關從 業(yè)技術與管理人員等；這些人通常擁有高學歷和扎實的專業(yè)技能與技術經(jīng)驗。與國外的機器視覺和人工智能領域進行比較，我們可以對國外幾種典型視覺識別系統(tǒng)進 行分析和應用研究：美國：Ecli
20、pse 公司的自動分揀系統(tǒng)（Automatic Segmentation System, ASS），通過基于圖 像的信息識別技術，實現(xiàn)自動分揀和貨物定位。日本：豐田物流公司的倉儲設備中，利用機器視覺識別系統(tǒng)技術來對分揀出來的貨物進 行分類。德國：Deeplearningen 公司通過計算機視覺識別系統(tǒng)來實現(xiàn)對貨物的分揀。 法國：Eclipse 公司使用工業(yè)相機和機器視覺技術來實現(xiàn)貨物的識別。 澳大利亞：Australian Technology 公司開發(fā)出一種可以將計算機視覺技術與 RFID 相結合使用并集成到機器人揀選中的機器人系統(tǒng)。科技都方便了人們日常生活和快遞行業(yè)的發(fā)展。 盡管國內快遞行
21、業(yè)已經(jīng)取得了一定的成效，但是有些企業(yè)采用的是傳統(tǒng)的人工分揀方式，成本高、效率低，同時易出現(xiàn)人為失誤，影響服務質量。所以提高快遞分揀中心的速度，降 低成本，提高服務質量，是快遞行業(yè)需要解決的問題。目前國內的物流企業(yè)已經(jīng)開始進行自主研發(fā)機器人快遞系統(tǒng)，例如順豐、圓通、中通等。 這些公司不斷引入新技術，提高其設備和機器人的智能化程度，提高快遞分揀中心的自動化 水平。在這些企業(yè)的帶動下，中國快遞業(yè)的自動化水平也在不斷提高?？偟膩碚f，隨著人工智能技術和信息科技的不斷發(fā)展，機器人系統(tǒng)將在物流、倉儲等領 域中被廣泛運用，快遞行業(yè)也將會實現(xiàn)從人工分揀到機器人分揀的轉變。我國快遞行業(yè)還需 要不斷加強技術研發(fā)和人
22、才培養(yǎng)，提高自主創(chuàng)新能力，以適應快速發(fā)展的市場需求，推動快 遞行業(yè)的轉型升級和可持續(xù)發(fā)展。1.3設計的主要內容（1）機器人視覺快遞分揀系統(tǒng)設計與測試方案，討論研究的目標以及對高效準確的快遞 包裹分揀系統(tǒng)的需求，為研究所需的實驗工作場景選擇合適的軟硬件設備，建立工作操作平 臺，連接系統(tǒng)與集成系統(tǒng)形成整體。設計系統(tǒng)的關鍵部件，包括攝像頭和視覺分揀一體化的 空間布局，開發(fā)可靠高效的系統(tǒng)，可以準確分揀快遞包裹。（2）快遞分揀系統(tǒng)光學平臺的設計與構建，確定需要分揀的快遞員的尺寸范圍，選擇合 適的硬件和軟件來設計和構建光學平臺，選擇光學載物臺的三個主要組成部分：光源、相機 和鏡頭，再校準相機以獲得快遞尺寸
23、和位置的準確測量值，確保快遞可以清晰地成像和提取， 以便在后續(xù)章節(jié)中進一步處理。（3）設計基于 HALCON 機器視覺的快速定位與抓取算法，描述 Halcon 軟件的整體工作 流程，利用處理圖像的算法提取快遞的深度信息，得到快遞的長度、寬度和高度，以及快遞 的體積，使用九點標定算法獲取快遞的坐標點，就可以通過 socket 通信發(fā)送到機器人的交互 端，實現(xiàn)快遞盒分揀和快遞盒的定位。（4）使用 C#作為編程語言工具，編寫基于 Halocn 程序的 VS2019 WinForm 界面設計 配置打包 Halocn 程序并配置語言環(huán)境，根據(jù)實驗要求設計 Winform 界面，控制快遞分揀全過程。（5）
24、快速定位和抓取的機器人工作流程，詳細介紹 ABB 機器人的工作流程，包括機器 人坐標系的建立、機器人的軌跡規(guī)劃、機器人的抓取和放置，針對快遞箱的不同尺寸和重量 調整機器人的工作參數(shù)，編寫相應的程序來控制機器人的動作，實現(xiàn)機器人的自動分類功能， 與攝像頭、傳感器等設備協(xié)調，確保機器人的分揀作業(yè)能夠順利完成。1.4章節(jié)安排圖 1.2 技術路線流程圖第一章，首先介紹研究的目的和意義，解釋了該主題的研究方向，通過研究目的介紹了 機器人視覺快遞分類的研究進展，并總結了國內外快遞分類技術的發(fā)展和實現(xiàn)方向。第二章本章主要探討機器人視覺快遞分揀系統(tǒng)的設計和測試方案。研究的目標是開發(fā)一 個高效準確的系統(tǒng),能夠快
25、速分揀各種大小和形狀的快遞包裹和遞分揀系統(tǒng)光學平臺的設計和 構建。為了實現(xiàn)這個目標,我們針對研究所需的實驗工作場景,具體選取了合適的軟硬件設備。 光學平臺是系統(tǒng)的關鍵組件,因為它捕獲快遞的圖像以進行進一步處理。為了確保準確高效的 分揀,我們首先確定需要分揀的快遞的尺寸范圍。根據(jù)實驗的要求,選擇合適的硬件和軟件來設 計和構建光學平臺。光學平臺由三個主要部件組成：光源、相機和鏡頭。光源為快遞提供照 明,其選擇對于最大限度地減少快遞表面的陰影和反射至關重要。根據(jù)快遞的尺寸、分辨率和 相應的視覺算法選擇相機。選擇鏡頭以優(yōu)化圖像質量,并確保在相機的視野中準確捕獲快遞。 選擇硬件后,我們校準相機以獲得快遞
26、尺寸和位置的準確測量值。校準過程包括測量相機的固 有和外在參數(shù)并獲得失真系數(shù)。校準結果用于校正相機捕獲的圖像,使其更準確并適合進一步 處理。根據(jù)快遞的高度、分辨率和相應的視覺算法進行特殊設計。這確保攝像頭能夠捕捉清 晰準確的快遞圖像,從而基于大小和形狀進行精確的分揀。此外,規(guī)劃視覺分揀集成的空間布局, 以確保系統(tǒng)的效率和準確性得到優(yōu)化。這包括攝像頭、照明和其他組件的擺放,以確保整個快 遞分揀過程順暢無縫。機器人視覺快遞分揀系統(tǒng)的設計和測試方案考慮了實驗的具體需求和 要求,開發(fā)出可靠高效的系統(tǒng),能夠準確地分揀快遞包裹。通過設計和構建光學平臺,我們確?？?以清晰地成像和提取快遞,以便在后續(xù)章節(jié)中進
27、一步處理。第三章，視覺圖像處理、算法流程、視覺中標定的介紹，基于 HALCON 機器視覺的快遞 定位抓取，本研究的主要目的是通過應用圖像處理算法從快遞包裹中提取深度信息。具體來說，這些算法旨在確定快遞的長度、寬度和高度，以及其整體體積。有了這些深度信息，系 統(tǒng)就可以利用九點校準算法和仿射變換來獲得快車的精確坐標。這項工作是自動分類和分揀 系統(tǒng)的關鍵組成部分，對系統(tǒng)的整體成功至關重要。第四章，基于 Halocn 程序進行 VS2019 的 WinForm 窗體設計。該設計主要以 C#作為編 程語言工具。概述了自動分類和排序系統(tǒng)中窗體設計開發(fā)的功能要求。它涵蓋了窗體設計必 須具備的關鍵特性和功能，
28、以有效控制和監(jiān)視系統(tǒng)的運行。介紹了以 C#格式導出 HALCON 程序的過程。這是開發(fā) WinForm 接口的關鍵步驟，因為它支持將 HALCON 程序與接口的 C# 代碼集成。還有開發(fā) WinForm 接口所需的環(huán)境配置。它涵蓋了軟件和硬件要求，以及必要的 設置和配置。首先打包好 Halocn 程序，以及配置好語言環(huán)境，再根據(jù)實驗的要求設計 Wimform 界面，釋界面的顯示邏輯，該邏輯決定了各種組件在屏幕上的顯示方式。本節(jié)涵蓋了管理不 同元素的顯示并確保界面響應迅速且用戶友好的代碼。做好控制快遞分揀整個流程。第五章，在本章中，將全面介紹 ABB 機器人的工作流程，包括坐標系建立、軌跡規(guī)劃、
29、 抓取和放置等關鍵步驟。再針對不同尺寸和重量的快遞箱，將對機器人的工作參數(shù)進行優(yōu)化， 以實現(xiàn)最佳分類效果。為實現(xiàn)機器人的自動分類功能，還將編寫相應的程序，控制機器人的 運動。在程序設計中，我們將充分考慮機器人的安全性、精確性和效率等因素。同時，我們 還需要與相機和傳感器等設備進行協(xié)調，以確保機器人的分類操作能夠順利完成。研究重點 在于如何實現(xiàn)機器人的精準定位和分類功能，解決機器人在處理快遞時可能遇到的尺寸差異 和重量不同等問題，提高機器人的分類效率和準確性。第六章，本章分為兩部分，重點介紹此過程涉及的關鍵步驟。重點是識別和修復系統(tǒng)軟 件組件中的錯誤所需的步驟。介紹如何使用調試工具和技術（如斷點
30、、變量檢查和錯誤日志 記錄）來識別和解決軟件中的問題。還有自動分類和排序系統(tǒng)的軟件打包和發(fā)布過程。它涵 蓋了將軟件組件打包為可分發(fā)格式（如安裝程序或 zip 文件）所需的步驟。更是介紹了發(fā)布過 程，包括版本控制、文檔和測試。強調了徹底測試和文檔編制的必要性，以確保系統(tǒng)部署和 運行成功。主要目的是描述系統(tǒng)的聯(lián)調過程。第七章，論文的結語提供了研究工作的總結，從獲得的結果中得出結論，提出了未來研 究的可能方向，并強調了研究結果的實際意義。最后的發(fā)言表達了對那些為這項研究做出貢 獻的人的感謝，并以對該領域未來研究的希望聲明結束。2機器人視覺的快遞分揀系統(tǒng)設計2.1視覺分揀系統(tǒng)方案設計視覺分揀機器人設計
31、由多個系統(tǒng)組成，包括快遞傳輸、視覺采集、圖像和信息處理、機 器人和控制器等。不同尺寸的快遞通過托盤隨機放置在傳送帶上。（圖 2.1）CCD 攝像設備捕 捉到圖像在工業(yè)生產過程中，使用 Halcon 軟件識別目標物體的類型，通過算法提取實時坐標， 并將坐標信息傳輸給工業(yè)機器人。然后，機器人對工件進行相應的分類?？刂破鰿CD光源快遞盒PC工業(yè)機器人圖 2.1 基于視覺機器人分揀系統(tǒng)示意圖快遞的輸送單元由輸送機履帶和步進電機組成?？爝f箱均為棕色，具有光澤，與工件傳 輸跟蹤箱托盤形成明顯的顏色對比。這種色差有利于快遞箱的識別和精確定位。視覺部門包括工業(yè)相機、光學鏡頭和照明設備。視覺光源作為平臺的照明設
32、備安裝在傳 送帶的兩側。充足的照明設備對于提高目標的成像效果，克服環(huán)境光干擾，確保圖像穩(wěn)定性， 消除工件上的陰影至關重要。工業(yè)相機在傳送帶上連續(xù)捕獲目標工件，獲得的信息由 Halcon 軟件處理，以便工業(yè)機器人進行后續(xù)分類，把 Visual Studio 作為操作軟件界面。該接口可輕 松控制和監(jiān)控整個系統(tǒng)，使包裹的分揀和交付更加高效和有效。2.2系統(tǒng)軟硬件集成設備選型本次視覺分揀機器人中的控制單元與視覺設備選型分為兩種，一是硬件選型，二是軟件 選型。硬件選型為：工業(yè)機器人、控制柜、示教器、?？迪鄼C、條形光源、光源控制器、紅 外線感應器、繼電器。軟件選擇為：Halcon17.12 完成（圖 2.
33、2）。Halcon 與 VS2019 開發(fā)完成（圖 2.3）。圖 2.2 HALCON12 開始界面圖 2.3 VS2019 開啟界面本課題選擇了中國 ABB 機器人分公司的一款名為 IRB-1410 型號機械手臂（圖 2.4）。該 機器人手臂具有卓越的性能，工作周期短，運行可靠，精度高，機器人手腕荷重為 5kg。此外， 機器人上管還提供了獨有的 18kg 附加荷重。根據(jù) ABB 官方網(wǎng)站提供的信息，該機器人末端 加上吸盤可以吸取的最大重量為 10 公斤，該項目中使用的工業(yè)機器人是一個多功能且適應性 強的系統(tǒng)，能夠容納一系列工藝設備。得益于其先進的定位技術，它擁有卓越的速度和精度， 可以進行調
34、整以適應每個制造過程的獨特要求。此外，這種堅固可靠的機器人以其低噪音排 放、長使用壽命和最低維護要求而聞名。其廣泛的工作范圍、長范圍和緊湊的設計使其成為 高效的選擇，即使在狹窄或具有挑戰(zhàn)性的工作空間中也是如此。憑借其卓越的性能和適應性， 該工業(yè)機器人非常適合滿足該項目的需求。圖 2.4 IRB-1410 機器人IRB1410 還配備了相應的機器人控制柜，如圖 2.4 所示。該控制柜支持以太網(wǎng)和串口通信。 同時，示教器功能也非常強大，包括通信暫停、功能復位、觸摸屏無效化和機器人系統(tǒng)重啟 等功能。機器人示教器是一種用于編程和控制工業(yè)機器人的工具，由一個手持式設備和一個 用戶界面組成，可以讓用戶直接
35、控制機器人的運動和操作，而不需要編寫復雜的程序代碼。 使用機器人示教器，操作人員可以將機器人的動作記錄下來并保存為程序，然后這些程序可 以在后續(xù)的操作中被重復使用。這使得機器人的編程和操作變得更加簡單和高效，同時也提 高了生產線的靈活性和適應性。（圖 2.4）圖 2.5 示教器機器人的末端執(zhí)行器可以配備不同的組件，例如真空吸盤（如圖 2.6 所示）和機械夾持器。 在該系統(tǒng)中，真空吸盤比機械夾具更實用、更高效。夾持器/吸盤工具是一種多功能復合工具， 可以將活塞銷的外圓表面夾在夾持器端的內側，并將卡展開以將連桿夾在外側。此外，當完 全關閉時，該工具的前端可以將活塞銷推入到位。圖 2.6 真空吸盤另
36、一方面，吸盤工具用于夾緊活塞部分的上端面。吸盤的使用需要空氣壓縮機（如圖 2.9所示）、真空發(fā)生器（如圖 2.8 所示）和電磁閥（如圖 2.7 所示）。空氣壓縮機和真空發(fā)生器 為真空吸盤產生吸力，而電磁閥控制氣體通道的打開和關閉。該系統(tǒng)選擇了常用的 NMPC 三 位兩位三通電磁閥。當機器人的吸盤用于抓取快遞時，電磁閥打開，當工業(yè)機器人將快遞放 下時，電磁閥關閉。圖 2.7 電磁閥圖 2.8 真空發(fā)生器圖 2.9 空氣壓縮機海康威視相機 MV-CA050-12GC（圖 2.10）是一款高性能的工業(yè)相機，主要用于工業(yè)自動 化、機器視覺、數(shù)字圖像處理等領域。以下是對其詳細介紹：分辨率和幀率：MV-C
37、A050-12GC 采用 500 萬像素的 CMOS 圖像傳感器，最大輸出分辨 率為 24482048 像素，幀頻為 23.5fps24482048 Mono8，可以實現(xiàn)高速捕捉和處理圖像數(shù) 據(jù)。接口和輸出：該相機支持 GigE Vision 接口，傳輸速率高達 1Gbps，具有較高的數(shù)據(jù)傳輸 穩(wěn)定性和可靠性。并輸出格式支持 RAW、BMP、JPEG 等多種格式。光學性能：該相機使用了高品質的鏡頭和濾光片，能夠提供高質量的圖像捕捉。此外， 它還支持多種自動曝光、自動白平衡等功能，可以適應不同的光線環(huán)境，并能夠實現(xiàn)自適應 亮度和對比度調節(jié)，使得圖像更加清晰和真實。硬件和軟件支持：MV-CA050
38、-12GC 相機可以通過 SDK 和 API 進行編程和控制，此外， 該相機還具備多種應用程序，如捕捉、觸發(fā)、調試等，方便用戶進行圖像處理和數(shù)據(jù)分析。（圖 2.12）。圖 2.10 外形尺寸圖 2.11 MV-CA013-20GC 相機圖 2.12 12mm 鏡頭在本課題中，我們需要選用合適照明設備。這種照明設備是條形光源，它有兩種形態(tài)： 高均勻性線性光源和復合線性光源。前者是照亮大型方形物體的理想選擇，而后者則提供了 根據(jù)需要組合顏色的靈活性。條形光源的長度和照明角度可調，適用于各種成像場景，尤其 是快遞包裹等涉及大型物品的場景。由于其多功能性，條形光源是這些領域專業(yè)人士的寶貴 工具。條形光
39、源是任何需要高質量照明才能產生準確結果的機器視覺系統(tǒng)的關鍵組件。本次 試驗也是采用 WD MM 型號:DSL-144-22 條形光源（圖 2.13）。19圖 2.13 DSL-144-22 條形光源圖 2.13 光源照度參考圖條形光源具有高亮度 LED，其照明水平可以根據(jù)照度參考圖進行調整，同時可以靈活修 改照明角度以滿足特定要求。此外，增加的擴散板可確保更均勻、更柔和的光輸出。本研究使用紅外傳感器（圖 2.14）來感應物體是否有無等其他參數(shù)。當紅外傳感器發(fā)出 信號時，信號要么被周圍物體吸收，要么被反射，傳感器根據(jù)反射時間和強度計算物體的位 置和距離。在本項目中，紅外傳感器用作硬觸發(fā)器，在必要
40、時通過向相機發(fā)送信號來捕獲圖 像。圖 2.14 紅外線傳感器光源控制器：?？倒庠纯刂破?，型號為“MV-VB2210-120G”（圖 2.15），主要負責控制光源的亮度和開/關狀態(tài)。它配備了英特爾 E3845 SoC，配備 1.91GHz CPU，4GB DDR3L 內存和 高可靠性 SSD 存儲。它還支持多個光耦合器隔離輸入和輸出，并可通過光源接口控制光源的 開/關狀態(tài)和亮度。內置觸發(fā)器是一個數(shù)字輸入模塊，用于檢測外部信號，例如按下按鈕或光 傳感器檢測物體，并向光源控制器發(fā)送信號以觸發(fā)相應的操作?？刂破鞯某叽缛缦拢▓D 2.16）圖 2.15 光源控制器2.3光學方案設計圖 2.16 光源控制器
41、尺寸檢測快遞盒以及標準，產品名稱：快遞盒（圖 2.17），產品尺寸：直徑長寬=1500 and real_length3 = 15)Summ := 0tuple_add (Highcoordinates+;,Summ, data) tuple_add (Sum1, data, out)send_data (Socket1, z, out, ) endif*條件二：體積小于 1500，高小于等于 15 執(zhí)行 1if(volume 1500 and real_length3 = 1500 and real_length3 15) Summ := 2tuple_add (Highcoordinate
42、s+;,Summ, data) tuple_add (Sum1, data, out)send_data (Socket1, z, out, ) endif之后通過 tuple_add 算子把需要輸出的 xyz 坐標和相應的執(zhí)行條件進行統(tǒng)一輸出，后面會通過 ABB 機器人進行接收。（圖 3.6）圖 3.6 坐標輸出3.2相機的標定在本文中，相機校準過程使用九點標定方法（圖 3.7），這是機器視覺中機器人技術的一 個重要方面，因為它向機器人手臂提供有關操作對象的關鍵信息。物體識別與計算機視覺有 一些相似之處，但其他兩個方面是機器視覺獨有的。相機校準是決定相機和機器人手臂之間 的相對位置和方向，姿
43、態(tài)估計涉及計算物體在相機坐標系中的位置和方向，使機器人手臂能 夠準確抓取它。此校準過程對于將物體的世界坐標系轉換為機械臂坐標系至關重要，從而實 現(xiàn)準確的產品識別、定位和抓取。攝像機標定板機械臂末端機器人基座圖 3.7 相機標定九點標定的基本原理是將物體放置在工作區(qū)內的 9 個位置，并使用相機捕獲圖像以獲得 這 9 個點的機械和像素坐標。然后使用 halcon 運算符 vector_to_hom_2d 和 affine_trans_point_2d 計算仿射矩陣，前者獲得變換矩陣關系，后者執(zhí)行實際轉換。為確保準確的 2D 校準，確保相 機平面和物體平面盡可能平行且角度相同非常重要。手眼校準過程是
44、一個成熟的領域，旨在確定相機、工具、機器人手臂和世界坐標系之間 的變換矩陣。這是必要的，因為物體識別通常依賴于世界坐標系，而機械臂操作需要了解物 體在機器人手臂坐標系中的真實位置。如果機械臂包含夾持器，則需要進行額外的變換才能 將機械臂坐標系轉換為工具坐標系。因此，手眼校準涉及在機器人手臂的工作空間內捕獲不 同位置和方向的物體圖像，然后使用這些圖像來確定與不同坐標系相關的仿射變換矩陣。確 保相機平面和物體平面盡可能平行非常重要，以最大程度地減少二維校準過程中的誤差。手 眼標定分為兩類（圖 3.8）：(1)Eye to Hand：相機在機器人外部固定，不用隨機械臂的運動而運動。24(2)Eye
45、in Hand：相機在機械臂上，跟隨機械臂運動。圖 3.8 Eye to Hand 及 Eye in Hand 標定本課題中使用 Eye to Hand，就是眼在手外。(1)首先自己畫九個點（圖 3.9），點的中心是為了用于機械臂旋轉中心定位。圖 3.9 九點標定板(2)把剛剛放圖打印出的標定紙進行拍照（圖 3.9）。(3)使用 halcon 把剛剛拍的標定板圖片進行圖像處理,獲取九個點的坐標，這里只使用了中心 點(X,Y)。（圖 3.10）圖 3.10 九點坐標(4)移動機械臂旋轉中心依次到第一個點，并且保存機器當前坐標(X,Y),然后按照順序移動到第二個點，保存坐標，以此類推，到最后一個點
46、,坐標全部保存起來。（圖 3.11）圖 3.11 九點中機器人坐標(5)利用剛剛保存的九點坐標和機器坐標，求出矩陣 vector_to_hom_mat2d(九點行,九點列,機 器 X,機器 Y,HomMat2D)(6)之 后 拿 個 物 品 ， 再 用 halcon 求 出 物 體 的 坐 標 ， 拿 著 物 品 坐 標 求 出 機 器 坐 標affine_trans_point_2d (HomMat2D, Row, Column, X, Y)。（圖 3.12） 具體程序如下：*實際的坐標點Qx:=-1.08,70.46,142.05,0.22,71.11,142.77,0.22,71.53,
47、142.77Qy:=64.82,65.72,66.91,0.42,1.33,2.34,-64.24,-63.29,-62.27vector_to_hom_mat2d (Column, Row, Qx, Qy, HomMat2D) affine_trans_point_2d (HomMat2D, 1572, 1770, Qx1, Qy1)*求快遞區(qū)域面積和中心點位置area_center (Rectangle, Area, Row2, Column2)*坐標的轉化affine_trans_point_2d (HomMat2D, Column2, Row2, Qx1, Qy1) tuple_str
48、ing (Qx1, -0.1f, String)tuple_string (Qy1, -0.1f, String1) tuple_add (String+;, String1+;, Sum1)圖 3.12 轉換坐標 X 和 Y(7)機械臂移動到剛剛求出來的機器 X，機器 Y 即可，如果有角度需求，直接補償計算出來 的角度即可，當前移動以及定位的精度和機械臂的重復定位精度和相機畸變較大關系有關系， 常規(guī)的工業(yè)相機畸變并不是很大，但是標定后會造成累積的邊緣誤差，導致邊緣的器件誤差 增大，同時機械臂重復定位精度會導致在標定時，移動的點位坐標出現(xiàn)誤差，從而也會累積 為隨機的系統(tǒng)誤差，所以現(xiàn)場需要根據(jù)實
49、際誤差來進行最終調試。3.3系統(tǒng)的通信方式本課題用 PC 普通計算機，用 socket 通信連接 ABB 機器人?？?ABB 機器人如何用 socket 與 Halcon 相連接，（圖 3.13）可以看到 socket 的基本用法，socket 的聲明、服務端與客戶端 的建立等等。Socket 通訊的流程：(1) 原始套接字的一種 TCP/IP，需要選項 616-1PC Interface (2) 先創(chuàng)建服務器端監(jiān)聽，再創(chuàng)建客戶端連接服務器端；(3) 服務器端與客戶端建立端口對端口連接以后，就可以互相收發(fā)數(shù)據(jù)； 注意事項：(1) 無字符串終止符，而不是回車換行符/r/n(2) 消息的意外合并，注意發(fā)送數(shù)據(jù)留有間隙，或增加握手互傳信號(3)
基于機器人視覺的快遞分揀系統(tǒng)設計與試驗
