電子信息工程 智能移動垃圾分揀機器人

《電子信息工程 智能移動垃圾分揀機器人》由會員分享，可在線閱讀，更多相關《電子信息工程 智能移動垃圾分揀機器人（26頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、廣東東軟學院本科畢業(yè)設計（論文） 智能移動垃圾分揀機器人 The intelligent mobile garbage sorting robot 內容摘要 本課題探討一種基于機器視覺識別技術的智能移動垃圾分揀機器人系統(tǒng)。該系統(tǒng)實現(xiàn)了簡單背景下進行路徑規(guī)劃遍歷待清掃區(qū)域，目標對象的識別和定位。系統(tǒng)采用深度學習的方法實現(xiàn)簡單背景下目標垃圾的真實性識別，由目標檢測模塊、導航模塊以及分揀

2、控制模塊三大部分組成。自動導航基于ROS分布式框架，采用激光雷達采集清掃區(qū)域環(huán)境信息，運用掃描匹配算法的SLAM功能，通過最優(yōu)路徑算法進行路徑規(guī)劃遍歷清掃區(qū)域。機器人遍歷過程中，目標檢測模塊通過SSD_ MobileNet_V2深度學習算法對攝像頭獲取的圖像進行目標檢測以及目標分類，獲取目標的坐標及其角度信息作為分揀控制模塊的輸入信息，控制分揀控制模塊執(zhí)行垃圾抓取任務。 關鍵詞：機器視覺 垃圾分揀 深度學習 自動導航  Abstract This paper discusses an intelligent mobile garbage sorting robot system

3、based on machine vision recognition technology. The system realizes the path planning, traversing the area to be cleaned, and identifying and locating the target object in a simple background. The system uses the method of deep learning to realize the authenticity identification of the target garbag

4、e in the simple background, which is composed of three parts: the target identification unit, navigation unit and the sorting control unit. Based on the ROS distributed framework, automatic navigation uses lidar to collect the environment information of the cleaning area, uses the slam function of s

5、canning matching algorithm, and uses the optimal path algorithm to plan and traverse the cleaning area. In the process of robot traversal, the target recognition unit detects and classifies the image acquired by the camera through the SSD_MobileNet_V2 deep learning algorithm, obtains the coordinates

6、 and angle information of the target as the input information of the sorting control unit, and controls the sorting control unit to perform the garbage grabbing task. Key Words: Machine vision,Garbage sorting Deep Learning Automatic pilot  目 錄 第一章 緒論 6 1.1課題研究背景與意義 6 1.1.1研究背景 6 1.1.2研究

7、意義 6 1.2國內外研究現(xiàn)狀 7 第二章 總體設計方案 9 2.1任務需求與功能分析 9 2.1.1任務需求 9 2.1.2功能分析 9 2.2系統(tǒng)構成 10 第三章 硬件電路設計 11 3.1硬件選型 11 3.1.1導航模塊主控制板選型 11 3.1.2 攝像頭模塊選型 12 3.1.3 舵機選型 13 3.1.4激光雷達選型 14 3.1.5微控制器選型 14 3.2總體結構分布 15 第四章 系統(tǒng)軟件設計 17 4.1目標檢測模型制作 17 4.1.1前期準備 17 4.1.2 模型建立與評估 17 4.2激光SLAM運用 19 4.2.1 S

8、LAM導航系統(tǒng)框架 19 4.2.2建圖系統(tǒng)框架 20 4.3軟件流程 21 第五章 系統(tǒng)調試 23 5.1模型訓練設置 23 5.1.1數(shù)據(jù)增強 23 5.1.2模型訓練 23 5.2性能指標測試 24 5.3結論 25 參 考 文 獻 26 致 謝 27  第一章 緒論 1.1課題研究背景與意義 1.1.1研究背景 從2000年以來，中國在經(jīng)濟方面取得了飛速發(fā)展，雖然生活水平得到了顯著提高，但是優(yōu)質生活所帶來的困擾也在不斷增加，特別是生活廢品、垃圾的飛速增長，導致我國逐漸成為受垃圾污染最嚴重的國家之一。有關部門統(tǒng)計表明，生活垃圾的產(chǎn)量與GDP增長存在一定

9、關系，隨著經(jīng)濟的飛速增長，人均生產(chǎn)垃圾也會隨之飛速增長，中國人口基數(shù)的龐大也是最重要的原因之一。在2019年國務院發(fā)布了一則重要通告，是有關于在全國地級城市進行生活垃圾分類工作的重要指示，決定在2019年起對全國地級及以上城市全面啟動垃圾分類工作。盡管全國各地都在積極推動人民要積極進行垃圾分類處理，也都采取了各種措施來實施垃圾分類，即使垃圾分類的重要試點——上海，推行相關政策20多年，但是從實際執(zhí)行的過程及效果來看，并沒有達到政府所預期的成果。綜合來看，居民對于垃圾的分類意識不強烈、分類知識欠缺、地方執(zhí)行監(jiān)管力度不夠嚴格、未從根源分類等都可能是造成分類效果不理想的原因。我們所面臨的難題依然：是

10、如何才能促進發(fā)發(fā)明更加節(jié)省人力又有效的垃圾分類方式。 在許多發(fā)展中國家，垃圾分類和減量勢在必行，在這些國家，固體廢物的快速增長與處理能力不足之間的不平衡可能是一個挑戰(zhàn)。城市固體廢物管理是當今城市社會面臨的一個重大挑戰(zhàn)，因為它占公共預算的很大一部分，如果處理不當，會導致環(huán)境和社會問題。分類是指將生活垃圾放入不同的垃圾桶中，通過不同的清潔、運輸和回收方式，使其成為新的資源。但是自從出現(xiàn)了與人們亂丟垃圾導致水污染、生態(tài)災害、大氣污染和垃圾圍城等有關的問題之后，環(huán)境在以我們控制不了的速度持續(xù)惡化，這種行為應該得到制止。 由于西方國家和一些亞洲國家城市化水平相對較高，城市垃圾問題也就更早的顯現(xiàn)出來，

11、現(xiàn)在國外主流措施對垃圾的源頭控制、市場與經(jīng)濟調控。日本在垃圾分類處理方面屬于世界頂尖水平。由于日本的孩子從小就接受環(huán)保方面的教育，最主要的優(yōu)點是他們對垃圾分類方面的宣傳與教育，公共場諸如：公交車、地鐵等所都會用自帶的垃圾袋去裝垃圾。在分類方式上日本垃圾分類比較細致。他們本身就存在著非常完善的垃圾管理系統(tǒng)，對于居民源頭分類是最有效的辦法，居民分類指導、經(jīng)濟鼓勵性和強制性手段可促進居民的源頭分類。 1.1.2研究意義 在這種形勢下，垃圾分類收集已成為當務之急和現(xiàn)代化建設的必然趨勢。我們普通公民的義務是垃圾分類回收，這不單單是國家的職責，我們的家園應該由我們每一個人保護。目前，分類垃圾桶在我國城

12、市街道上大部分只是貼有標簽的普通垃圾桶，需要人為去識別垃圾種類，這種分類桶缺乏自控能力，再加上我國對垃圾分類宣傳力度不夠，可回收垃圾的種類是很多人的知識盲區(qū)，使其分類并沒有達到想要的結果，回收后的再次分類消耗了大量的時間，依然需要安排人力對其進行處理。目前，人工垃圾分類效率低的缺點需要改進，取而代之的是機器人抓取系統(tǒng)。 本課題研究的是一種智能移動垃圾分揀機器人，其基于機器視覺識別技術 掃描識別垃圾并抓取垃圾和通過路徑規(guī)劃遍歷清掃需要人工清理的區(qū)域。本系統(tǒng)由分揀控制模塊、目標檢測模塊以及導航模塊三大模塊組成。導航模塊基于ROS分布式框架，機器人遍歷過程中，使用基于掃描匹配算法的SLAM功能，

13、利用安裝在地盤上的激光雷達采集掃描周圍區(qū)域環(huán)境的整體信息并進行建圖，通過最優(yōu)路徑算法進行路徑規(guī)劃遍歷需要代替人工清掃的區(qū)域。目標檢測模塊是由計算機連接攝像頭，通過SSD_MobileNet_V2深度學習算法對攝像頭獲取的圖像進行目標檢測以及分類，分揀控制模塊通過處理后所獲取的目標坐標及其角度信息作為的輸入信息，控制執(zhí)行對垃圾進行抓取任務。 1.2國內外研究現(xiàn)狀 國外對于機器視覺技術的運用已經(jīng)相對成熟，尤其是工業(yè)化程度較高的國家。 如德國、美國、日本等國家，已經(jīng)被廣泛的應用在其工業(yè)生產(chǎn)中，其技術及應用已經(jīng)走在世界的前列。日本的研究學者曾設計一款可除雜草并收割蔬菜的機器人，其利用機器視覺系統(tǒng)

14、識別雜草的位置，在通過機械結構割除的同時收割蔬菜。研究學者曾用傅里葉函數(shù)對收集的開心果圖片進行圖像特征點提取，同時利用CNN卷積神經(jīng)網(wǎng)絡實現(xiàn)開心果的等級選擇，從這個事例中也可看出卷積神經(jīng)網(wǎng)絡可以提取更準確的特征，實現(xiàn)對開心果的精細分類。早在二十世紀 90 年代，英國就基于機器視覺技術開發(fā)了一種蘑菇采樣機器人，利用圖像檢測和識別技術實現(xiàn)對蘑菇的識別、分類及定位。 在垃圾分類處理方面，荷蘭的一家機器人公司開發(fā)了一款垃圾分類機器人，該機器人的分揀系統(tǒng)都是由荷蘭已經(jīng)制造的現(xiàn)成的工業(yè)機器人零部件組裝而成，不僅可以對垃圾進行分揀的同時，還能夠對機器人上的各個部位進行任意功能部件的添加，其所佩戴的新的測

15、量裝置，安裝在其機械臂上的攝像頭、能夠對重物進行測量的重量測量儀、觸覺反饋和金屬探測器所采集的綜合數(shù)據(jù)，不僅能對金屬、塑料、木材，甚至對混凝土等的較難判斷的軟質物質進行分類，還能降低有害物質對人體的危害。為機器人系統(tǒng)上電后，根據(jù)系統(tǒng)設定，可以讓機器人從各種各樣的垃圾中分揀出可回收以及不可回收利用的垃圾材料，將需要被分揀的廢品放在垃圾傳送帶上，機器人的機械手將廢品等垃圾揀起并通過機器視覺技術進行分析，機器人將能識別出垃圾的種類，識別后放在不同的垃圾回收分類箱里。從而進一步提高這種單雙臂機器人的識別和分揀成功率，對于環(huán)境保護和節(jié)省人員有巨大的優(yōu)勢。 在2019年11月09日，上海進博會的ABB公

16、司展出了一款垃圾分類機械臂，整套系統(tǒng)是聽過一云計算、深度學習、邊緣計算以及機器人自動化 等前沿技術的綜合性應用使其能夠默契配合，并以此實現(xiàn)了各種各樣垃圾包括瓶子、紙巾、塑料袋等識別和分揀的自動化和無人化。分揀堆區(qū)域的單機械臂ABB機器人負責把收集到的垃圾桶里的垃圾放入投料區(qū)并對它進行精準識別。隨后發(fā)送給分揀區(qū)的雙機械臂ABB機器人，最終實現(xiàn)垃圾的分類與回收工作。  第二章 總體設計方案 2.1任務需求與功能分析 2.1.1任務需求 在生活的垃圾回收處理系統(tǒng)中，垃圾分類是整個系統(tǒng)的關鍵過程，其速率能夠制約整個生產(chǎn)線的效率，因此垃圾分揀是最關鍵的環(huán)節(jié)。目前，全世界范圍內的生活垃圾分揀

17、線主要還是是采用傳統(tǒng)的人工分揀的方式，以傳送帶將生活垃圾持續(xù)平鋪傳送，其兩側站立多名工人，以手動抓取的方式對垃圾進行分揀。傳送帶不間斷運行，工人長期在垃圾旁邊進行重復性的垃圾分揀工作，手工分揀工作不僅量大、自動化程度差，而且工人會因為長期的工作而容易疲勞，從而使垃圾分揀工作效率降低，且具有工作環(huán)境惡劣、有害垃圾對人體的傷害等弊端。因此，生活垃圾處理生產(chǎn)線急需采用自動化機器人系統(tǒng)替代人工分揀，將垃圾處理廠打造成無人化、智能化的智慧工廠。當給前復雜環(huán)境下的目標檢測識別是當前機器視覺檢測 技術的關鍵難題，到目前為止，針對具有粘連和遮掩的目標對象的分類，尚未有成熟的視覺處理產(chǎn)品可以滿足此需求。特別是

18、與工業(yè)機械臂實時配合的視覺辨識技術也沒有成熟的解決方案。本文以國內當前急需發(fā)展的環(huán)保產(chǎn)業(yè)為中心點，展開智能移動垃圾分揀機器人系統(tǒng)相關技術的討論，以實現(xiàn)無人化、垃圾分揀生產(chǎn)線智能化為目標，最終還可將相關技術推廣運用到分類及物料智能辨識等相關行業(yè)領域，應用面廣泛。 2.1.2功能分析 課題所述的智能移動垃圾分揀機器人系統(tǒng)需要將生活中的垃圾進行識別分類，通過分類后的結果將垃圾進行分揀處理回收，需要滿足以下需求： （1）能在穩(wěn)定充足的光照環(huán)境或者各種理想環(huán)境下，激光雷達掃描環(huán)境區(qū)域，進行3D建圖，獲取周圍的環(huán)境信息。 （2）通過安裝在計算機上的攝像頭實現(xiàn)實時傳輸圖像功能，獲取符合要求的圖像數(shù)據(jù)

19、。 （3）計算機將在簡單理想環(huán)境下，對攝像頭所拍攝的實時情況進行目標檢測分類識別，并且將處理結果保存，最終進行數(shù)據(jù)對比。 （3）機械臂能通過現(xiàn)有所組裝的元件實現(xiàn)對垃圾的分類和抓取或者通過氣泵吸取入桶。 （4）整個系統(tǒng)的功能模塊搭配密切，具有較好的穩(wěn)定性和抗干擾性，能夠持續(xù)穩(wěn)定的進行整套流程的操作。 （5）該系統(tǒng)有一定的模塊可組可拆化，可以進行拆卸、非核心部件的組合等，為后續(xù)的功能實現(xiàn)提供更大可能性。 2.2系統(tǒng)構成 該基于機器視覺的智能移動垃圾分揀機器人系統(tǒng)主要包括：目標檢測模塊、導航模塊、分揀控制模塊，下圖2.1所示是整個系統(tǒng)構成圖： 圖2.1系統(tǒng)構成圖 根據(jù)課題

20、開發(fā)了一款基于機器視覺識別技術的智能移動垃圾分揀機器人，該機器人的總體框架分為三大模塊：導航模塊、目標檢測模塊以及分揀控制模塊。導航模塊由軟硬件結合構成，分別為ROS 機器人操作系統(tǒng)和激光雷達。目標檢測模塊硬件上由攝像頭、計算機構成，軟件上由谷歌開源TensorFlow框架負責垃圾類別的目標檢測。分揀控制模塊為能夠夾取垃圾的機械臂、吸附木板或者紙巾的氣泵。 智能移動垃圾分揀機器人的工作流程如下：首先，開啟網(wǎng)絡以及無線通訊系統(tǒng)，使機器人正常啟動。在進行垃圾分揀前，將機器人放置于待清理的區(qū)域中，控制機器人行走整個待清理區(qū)域，讓機器人上的激光雷達掃描待清理區(qū)域的環(huán)境，使用上位機建立待清理區(qū)域的2

21、D平面圖，上位機建立完2D平面圖后，機器人將根據(jù)平面圖的自擬路線，按照導航模塊的指示，自動巡航整個待清理區(qū)域。機器人在行走的過程中，攝像頭會將每一幀圖像數(shù)據(jù)送達上位機，上位機的目標檢測模塊將每幀圖像處理后的圖像計算取得特征數(shù)據(jù)，與經(jīng)過訓練后的識別模型系統(tǒng)庫所存儲的垃圾圖集特征數(shù)值進行對比，若對比后的特征值數(shù)據(jù)相似度超90%以上，目標檢測系統(tǒng)則會將其判別為垃圾，控制器控制分揀控制模塊，使機械臂對垃圾進行清理，往返循環(huán)。 第三章 硬件電路設計 3.1硬件選型 3.1.1導航模塊主控制板選型 導航模塊需要接收通過激光雷達采集的大量環(huán)境數(shù)據(jù)，進行里程等大量數(shù)據(jù)計算，這要求處理器需要足夠優(yōu)秀的

22、運算能力。有以下兩種主控制板供選擇： 第一種是世界著名的Nvidia制造商旗下的JetSon Nano人工智能計算機,如圖3.1所示。 圖3.1 JetSon Nano 這是一款個人便攜式設備，其主打低功耗，雖然使用了相比Pascal老一代的Maxwell架構GPU，但是包含的128個視覺CUDA核心足夠應付大多數(shù)小型嵌入式系統(tǒng)的視覺需求，在電量僅為5W的情況下能將運算浮點提高達到472 GFLOPS。其技術規(guī)格如下表3.1所示： 參數(shù)名稱 技術規(guī)格 GPU 128-core Maxwell CPU Quad-core ARM A57 @ 1.43 GHz 內存 4

23、GB 64-bit LPDDR4 25.6 GB/s 存儲 視頻編碼 視頻解碼 攝像頭 連接 屏幕 USB 其他 引腳規(guī)格 microSD (not included) 4K @ 30 | 4x 1080p @ 30 | 9x 720p @ 30 (H.264/H.265) 4K @ 60 | 2x 4K @ 30 | 8x 1080p @ 30 | 18x 720p @ 30 (H.264/H.265) 1x MIPI CSI-2 DPHY lanes Gigabit Ethernet, M.2 Key E HDMI 2.0 and eDP 1.4 4

24、x USB 3.0, USB 2.0 Micro-B GPIO, I2C, I2S, SPI, UART 69 mm x 45 mm, 260-pin edge connector 表3.1 JetSon Nano技術規(guī)格 第二種是價格比較相對JetSon Nano較為低廉的樹莓派3B+，如下圖3.2所示： 圖3.2 樹莓派3B+ 其是一種基于ARM的小型個人電腦，相較于較早型號的樹莓派3B，CPU最高到達1.4GHZ，擁有更強的WIFI連接（支持5G頻段以及BT4.2&BLE）功能，無線連接支持5GHZ的WiFi頻段能夠使計算機操控樹莓派更加方便。其主要配置如下表3.2所示：

25、 參數(shù)名稱 技術規(guī)格 SOC Broadcom BCM2837BO GPU 64 位 1.4GHZ 以太網(wǎng) HAT 有線網(wǎng)絡 WiFi 同等條件功耗測試 同等條件溫度測試 1000M 802.11AC 無線；2.4GHZ/5HZ 雙頻 WiFi 1.67A 81 表3.2 樹莓派3B+規(guī)格 由主控制器只用來控制驅動板塊和分揀控制模塊的運行，從性能方面，樹莓派3B+能夠勝任用來處理激光雷達傳輸數(shù)據(jù)的速度并同時進行2D平面圖的繪制；從主機整體面積上測量方面，樹莓派3B+占用空間相較于JetSon Nano更小，更易于攜帶。從成本方面，樹莓派只有不到JetSon

26、Nano三分之一的價格，因此完全符合本課題的制作需求。 3.1.2 攝像頭模塊選型 題主要有兩種攝像頭供選擇，一種是可以進行視覺導航、紅外掃描周圍環(huán)境的深度攝像頭；另外一種則是普通攝像頭，只用來進行2D視頻的獲取。 第一種是來自Intel公司的D415/D435深度攝像頭，它的用途廣泛，能夠進行物體識別、定位和跟蹤；實現(xiàn)現(xiàn)代流行的人臉面部識別、整只手臂骨骼的跟蹤和手勢控制。它的強大之處不僅僅在視覺方面，還包括了一個雙陣列高精度回音消除麥克風。如下圖3.3所示： 圖3.3 D415深度攝像頭 D415規(guī)格如下表3.3所示： 參數(shù)名稱 技術規(guī)格 深度技術 主動紅外（IR）立體

27、 輸出分辨率 1280 x 720 深度流輸出幀率 90fps 最小深度距離 0.3m RGB傳感器分辨率和幀速度 30fps時為1920 x 1080 紅外信號發(fā)射器功率 可配置至達440毫瓦 表3.2 D415規(guī)格 第二種是CMOS Sensor攝像頭。RGB數(shù)據(jù)除了能表示紅綠藍三種顏色之外，各自色閾控制在0至255之間，還能表示任何一種由紅綠藍組合而成的顏色。 在本課題的機器視覺系統(tǒng)中，拍照部分由攝像機和鏡頭兩部分組成，因為所要分揀研究的對象是垃圾，所以需要快速且精準的捕捉運動中的物體圖像，并且考慮其在實際操作中的空間限制等問題，本課題只需采用一般的攝像頭元器

28、件即滿足對自動垃圾分類的探索條件。機器視覺方面采用1/2.7 OV2710 CMOS Sensor。在一般情況使用下能夠保持較好的低照度，模組搭配1080P 1/2.7 " 3.6mm高清拍攝鏡頭，照度可達星光級0.038Lux。高速640X480@120fps，1280X720@60fps，1920X1080@30fps 。除了用于普通廣告機、視頻會議和高清監(jiān)控等領域，還能支持USB2.0 OTG協(xié)議和接入OTG設備。 3.1.3 舵機選型 本課題研究選取機械臂由自己組裝而成，采用5個MG996R型號的舵機來機械臂三自由度抓取。由于本次垃圾分為2類，所以旋轉機構除了旋轉精度高、扭力較大之

29、外，還需要有較大的轉動角度。故依據(jù)實驗研究要求，本次選擇大扭力單軸數(shù)字舵機MG996R如下圖3.4所示： 圖3.4 MG996R舵機 另外其具有4.8V/9kg-cm的超大扭力，能實現(xiàn)180度大角度轉動，具體規(guī)格參數(shù)如下表3.4所示： 參數(shù)名稱 技術規(guī)格 扭矩 9kg/cm(4.8V)，11kg/cm(6V) 電壓 4.8 ~ 6V 齒輪類型 金屬齒輪 死區(qū) 速度 角度 重量 尺寸 5us (微秒) 0.19秒/60(4.8V)，0.18秒/60(6V) 180 55jigug 40.7mm19.7mm42.9mm 表3.4 MG996R規(guī)格參

30、數(shù) 3.1.4激光雷達選型 激光雷達購買了思嵐A1雷達，其在國產(chǎn)一些SLAM導航 項目中得到廣泛應用，而且價格相對合理，測距的經(jīng)典范圍在0.15－12米，掃描角度為0－360，其性能參數(shù)剛好適合于實驗場景。性能參數(shù)如下表3.5所示： 參數(shù)名稱 技術規(guī)格 角度分辨率 ≤1 單次測距時間 0.5ms 測量頻率 2000-8000Hz可調節(jié) 掃描頻率 5-10Hz可調節(jié) 表3.5思嵐A1雷達參數(shù) 3.1.5微控制器選型 由于微控制器的得負責移動和接收樹莓派3B+反饋的數(shù)據(jù)進行行走，并且需要進行機械臂的控制，因此需要選擇頻率相對較高的微控制器。意法半導體開發(fā)的STM32

31、F405擁有168MHz頻率的主頻，采用ART自適應實時存儲加速器，能夠完美釋放Corte-M4內核的性能；當CPU工作于所有允許頻率時，可以達到幾乎零等待周期的性能，并且擁有5個串口通訊設備，完全滿足課程需求。 3.2總體結構分布 機械部分分為上下兩層結構，第一層放置高性能筆記本，第二層放置其他模塊。主要由車輪、車架、目標檢測模塊、導航模塊、分揀控制模塊五部分組成。 機器人總體結構如圖3.5所示： 圖3.5機器人總體結構 1) .樹莓派3B+：作為激光雷達的系統(tǒng)搭建，為了能讓機器人以最快速度的進行導航，輕巧易于攜帶、性能好。 2) .OV2710攝像頭：采用1/2.7 CMOS

32、 Sensor。擁有很好的低照度，照度可達星光級0.038 Lux。模組搭配 3.6mm 1080P高清鏡頭。高速640X480@120fps，1280X720@60fps，1920X1080@30fps 。用于廣告機、視頻會議、高清監(jiān)控等領域；支持USB2.0 OTG協(xié)議，可接入OTG設備。 3) .舵機：主要用于使機械臂進行運動，綜合速度與力度的考慮，最終選定了MG996R。 4) .思嵐A1激光雷達:使用最高模式8000采樣頻率可以實現(xiàn)對環(huán)境的360度全方位掃描測距檢測，確保機器人快速度運動時地圖構建的質量并獲得周圍環(huán)境的輪廓圖，最后構建2D平面圖。 5) .驅動控制微處理器：主要

33、用于控制減速直流電機。擁有頻率可達168MHz的STM32F405可以提高反應的速度，縮短機器人清理垃圾運作時間。 6) .機器人上下層：為了便于對機器人進行加工和組裝模塊，減輕機器人的整體運行重量，本課題采用了亞克力板作為機器人搭載硬件的主體。直徑32cm，厚度1cm的圓形。為了增大空間，機器人分為了上下兩層，第一層搭載高性能計算機、攝像頭、垃圾存儲盒以及機械臂；第二層搭載樹莓派3B+、STM32F405和電源等小型設備。 7) .車輪：用于運載所有設備，一個搭載在底部亞克力板的萬向和兩個在前方的動力輪。兩個動力輪帶有防止打滑的橡膠輪胎，提高機器人對于環(huán)境的自適應能力。 8) .機械臂

34、和氣泵：用于拾取垃圾、紙巾和木板。 9) .高性能計算機：為了實現(xiàn)實時拍攝并且能夠盡可能地快處理每一幀照片與模型庫進行對比，機器人使用性能較好的計算機。 10) .垃圾存儲盒：20cm*19cm*10cm的3D打印垃圾存儲盒。  第四章 系統(tǒng)軟件設計 4.1目標檢測模型制作 4.1.1前期準備 首先在上位機端安裝深度學習Tensorflow框架與Python語言框架進行編程，Tensorflow是由谷歌公司發(fā)明的神經(jīng)網(wǎng)絡框架，是一個用于Python編寫的高級神經(jīng)網(wǎng)絡API，能同時支持循環(huán)神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡，兩者可以緊密組合，在CPU和GPU上無縫銜接運行，可以實現(xiàn)訓練模

35、型的快速化訓練和實現(xiàn)；把你的想法轉為實驗結果盡可能縮短時間上的限制。所以基于 Tensorflow框架搭建 CNN的有模塊化、簡單快捷、易擴展性等特點。垃圾的圖像為瓶子、紙巾以及木板，但是這些原始圖像有一些外來干擾因素導致數(shù)據(jù)不符合模型訓練的基本條件，因此需要對圖像進行以下處理： 1) .清洗數(shù)據(jù) 首先，數(shù)據(jù)清洗指的是對圖像數(shù)據(jù)進行檢驗和重新審查。為了保證圖像數(shù)據(jù)屬性的一致性問題，需要糾正原本存在未標注、標注的錯誤和刪除重復的圖像信息。首先，為了保證圖像的質量問題，需要花費大量時間在人工查看圖像數(shù)據(jù)上，由于一些體型較大的垃圾，如木板，不易折疊縮小體積，使得整個圖像空間被占滿，算法模型會難以

36、提取其特征數(shù)據(jù)，導致訓練后的最終模型不能進行目標檢測識別，從而導致數(shù)據(jù)和計算時間的浪費，需予以剔除。 第二是必須保持圖像數(shù)據(jù)一致性。因為在拍攝數(shù)據(jù)集的過程中，可能會有與待標注垃圾的無關物品出現(xiàn)，因此要在多種環(huán)境、背景下進行數(shù)據(jù)集采集。 2) .分類數(shù)據(jù) 在進行圖像存儲時，需要將圖像保持在不同類別的文件夾，使垃圾類別與文件夾名字一一對應。需要保證每張照片都分在對應的類別中。 3) .分類數(shù)據(jù)二次采集 圖像數(shù)據(jù)經(jīng)過清洗和分類后，已經(jīng)初步滿足模型訓練的基本要求，但是如果在訓練過程中，出現(xiàn)識別率從高到低的大幅下跌曲線，可以確定是數(shù)據(jù)沒有得到完全準確標注或者數(shù)據(jù)集不夠完好，需要進行二次采集。

37、 4.1.2 模型建立與評估 1) .交叉驗證數(shù)據(jù) 目標檢測系統(tǒng)的搭建主要包括三個部分：數(shù)據(jù)讀取并進行人工處理、模型訓練以及最終版本的模型測試。數(shù)據(jù)讀取處理是利用交叉驗證法，把原本的數(shù)據(jù)集劃分為三個集合，分別為訓練集、驗證集和測試集；并同時使用人工數(shù)據(jù)增強技術對訓練數(shù)據(jù)加以增強來提升其模型的泛化能力。模型訓練部分是通過預訓練的SSD_MobileNet_V2 模型作為基礎框架搭建深度卷積神經(jīng)網(wǎng)絡進行遷移學習，并使用經(jīng)過數(shù)據(jù)增強的訓練集對模型進行訓練，且使用驗證集的數(shù)據(jù)驗證訓練效果，也就是識別正確率的高低。模型最終測試部分，通過實際情況中拍攝的圖像檢驗最終模型的性能，以此確定模型的識別率。

38、 由于數(shù)據(jù)集的數(shù)量不是很充足，因此本課程將訓練集的數(shù)量控制為1050張，驗證集和測試集都為225張，占比分別為70%、15%、15%，這樣劃分的目的是降低過擬合的發(fā)生幾率。 2) .SSD_MobileNet_V2深度卷積神經(jīng)網(wǎng)絡 本課題構建基于SSD_MobileNet_V2模型的訓練模型，主要框架與官網(wǎng)API的SSD_MobileNet_V2模型一致，但是分類的類型較少，因此保留了輸入層、池化層和個卷積層，去除了2個全連接層來防止過擬合的情況發(fā)生。如下圖4.1所示： 圖4.1 SSD_MobileNet_V2簡化模型 3) .模型訓練 由于Adam模型訓練算法有計算方便

39、實現(xiàn)、計算快速、內存占用較少等優(yōu)點，因此選擇此算法為最佳模型訓練算法。每個輸出概率所屬置信度，選用對損失函數(shù)進行計算，具體公式（1）如下： _ = ?1∑ =1 + (1 ? ) (1 ? ) （1） 4.2激光SLAM運用 ROS機器人系統(tǒng)是一個以一個機器人編程框架，有別于Windows、Mac不同的是：它只是一個中間橋梁，負責在Linux與應用程序之間進行聯(lián)系。使得機器人的感知、控制算法和決策可以更好地組織和運行。ROS分為兩種版本，本課程選擇Kinetic作為樹莓派3B+的搭載版本，另一個版本是Indigo版本官網(wǎng)已經(jīng)不再進行維護更新，對后期實驗具有很大影響。 4.2.1

40、SLAM導航系統(tǒng)框架 激光SLAM系統(tǒng)框架指的是在激光SLAM系統(tǒng)中，導航包RVIZ利用柵格地圖， Gmapping是基于濾波SLAM算法獲取激光雷達掃描的反饋的環(huán)境信息信息以及行走時編碼器里程計數(shù)據(jù)可動態(tài)的生成2D柵格地圖，里程計數(shù)據(jù)和激光雷達數(shù)據(jù)做出適合的路徑規(guī)劃和定位 ，最后轉換為機器人的速度指令。如下圖4.2所示，激光SLAM 系統(tǒng)的框架，方框是傳感器獲得的數(shù)據(jù)或者生成的數(shù)據(jù)，橢圓里為ROS節(jié)點所發(fā)布或者獲得的消息隊列。 圖4.2 SLAM導航系統(tǒng)框架 4.2.2建圖系統(tǒng)框架 如下圖所示4.3所示： 圖4.3 建圖系統(tǒng)框架 1) .數(shù)據(jù)輸入和運動模型確定 開啟

41、建圖RVIZ后，首先需要將獲取激光和里程計數(shù)據(jù)傳入ROS mapping中，傳入開源的 openslam濾波算法地圖 openslam gmapping 包中，在下一時間的建圖導航時，根據(jù)上一時刻計算的粒子位姿。通過里程計數(shù)據(jù)來確定距離，在初始值的基礎上，通過增加高斯采樣的噪點來預測現(xiàn)在時刻的粒子位姿，為下一時刻提前做數(shù)據(jù)準備。 2) .掃描匹配與建議分布 Gmapping默認采取40個采樣對每個粒子實行掃描匹配算法。掃描匹配的作用是為后面粒子權重更新做充分準備以及計算，通過找出每個粒子在下一時間位姿，進行位姿判斷計算機器人的精準坐標點。如果這個環(huán)節(jié)的掃描匹配失敗，則必須對粒子權重更新，并

42、采用默認的似然進行估計。通過混合觀測模型和運動模型的建議分布來使當前粒子位置能夠滿足該均值方差的高斯分布，對于小于某閾值則進行均值與方差的計算，根據(jù)上一步掃描匹配獲得的最佳坐標來圍繞該坐標取若干位置樣本距離差值。 3) . 粒子維護地圖與地圖更新 粒子會對運動軌跡進行維護，這個步驟執(zhí)行的操作是更新每個粒子維護的地圖。需要在RVIZ中進行地圖更新并進一步獲取權重總數(shù)的判斷結果，通過結果來得到最優(yōu)的粒子使用權重，從而使地圖能夠在下一時刻得到膨脹更新和得到機器人最優(yōu)路徑軌跡。 4) . 權重計算與重采樣 更新之后，需要對每個粒子進行權重更新和歸一化操作，對于重采樣前更新過一次重采樣后又會對其

43、再更新一次。使用有效塔板數(shù)來判斷是否對結果進行重采樣處理，因為這樣會導致重采樣頻率越高和粒子退化越嚴重，也就是粒子的多樣性降低建圖精確度的降低，所以有必要設定一個判定值來改善粒子退化問題，提高建圖精確度。 4.3軟件流程 在上位機部分，開啟機器人攝像頭采集地面環(huán)境圖像，將采集后的圖像送往SSD_Mobile_V2進行垃圾分類 ，分類后將分類結果以及垃圾位置送往樹莓派3B+，樹莓派3B+根據(jù)垃圾的位置已經(jīng)類別進行導航，同時將結果發(fā)送給STM32F405控制機械臂的分揀工作，分揀完成并返回導航路線。如下圖4.4所示： 圖4.4 上位機控制驅動圖 在網(wǎng)絡良好、2D平面圖構建完成后，

44、將智能移動垃圾分揀機器人置于初始位置。系統(tǒng)進入初始狀態(tài)，根據(jù)SLAM規(guī)劃的路線 行走遍歷平面圖，行走過程中，上位機實時采集環(huán)境地面圖像并反饋信息給驅動，如果有垃圾出現(xiàn)，機器人全程避障并且通過SLAM導航移動到垃圾周圍，通過上位機反饋的垃圾類別選擇機械臂或者氣泵對垃圾進行分揀。過程如下圖4.5所示： 圖4.5程序流程圖  第五章 系統(tǒng)調試 5.1模型訓練設置 5.1.1數(shù)據(jù)增強 訓練前期拍攝了1500張瓶子、木板和紙屑后，經(jīng)過主流的數(shù)據(jù)增強方法：旋轉變換反射變換、隨機修剪、色彩抖動、平移變換、尺度變換、翻轉變換、對比度變換、噪聲擾動 等。本次對訓練集做了基本的圖片大小的

45、規(guī)定之外，還用了以下數(shù)據(jù)增強的方法：縮放、錯切變換、橫向平移和縱向平移、水平翻轉。具體參數(shù)如下表5.1所示： 數(shù)據(jù)增強 參數(shù)設置 縮放 50% 水平反轉 是 上下翻轉 是 填充模式 默認模式 旋轉 30 橫向平移 20% 縱向平移 20% 錯且變換 30% 表5.1數(shù)據(jù)增強參數(shù) 5.1.2模型訓練 經(jīng)過數(shù)據(jù)增強后，最終得到15000張圖像，將這些圖像進行模型的訓練。如下表5.2為模型訓練參數(shù)設置表： 訓練集 10500 張+圖像分辨率 640480 測試集 2250 張+圖像分辨率 640480 驗證集 2250 張+圖像分辨率 6404

46、80 訓練次數(shù) 117864 圖像是否翻轉 否 學習率 4.0000e-3 表5.2 模型訓練參數(shù)設置表 模型訓練的損失函數(shù)值變化如下圖5.1所示，基本達到預期要求。 圖5.1損失值變化圖 5.2性能指標測試 實驗采用 150 張圖像用于測試，其中標定的瓶子總數(shù)目為 180 個。在測試時，以檢測結果與瓶子真實位置的交并比大于 0.5 判斷瓶子是否被成功檢測。目標識別模塊 的技術性能要求包括：圖像檢測精度、圖像采集檢測速度兩方面。 主要技術性能指標要求如下： 1) .圖像采集系統(tǒng)需要保持有效圖像采集幀率≥30幀/s； 2) .圖像采集系統(tǒng)需要保持有效識別范圍≥

47、1m地面上的有效面積； 3) .圖像采集系統(tǒng)需要保持采集計算時間抖動≤10ms。 測試時，當瓶子真實位置與檢測結果的交并比大于 0.5 時，則判斷瓶子被成功檢測出來。 實驗所采用的評價標準為誤檢率和漏檢率，分別定義如下： 漏檢率% = 漏檢的目標數(shù)量/總的目標數(shù)量100%； 誤檢率% = 誤檢的目標數(shù)量/目標識別檢測到的數(shù)量100%； 在當前的實驗環(huán)境中，目標的預測角度 預測準確，目標的誤檢率為6%，漏檢率為8.67%，誤撿率低于 10%，基本滿足了智能移動垃圾分揀機器人系統(tǒng)課題要求。 表5.2實驗結果： 45 度內（個） 誤檢率(個) 漏檢數(shù)（個） 誤檢率 漏檢

48、率 150 9 13 6% 8.67% 5.3結論 本課題提出了一套基于機器視覺的生活垃圾智能分揀機器人系統(tǒng)的總體設計方案，當前雖然存在各種垃圾分揀機器人，但是大多數(shù)是不可自主移動導航或者只能按照特定路線進行巡邏分揀的任務機器人。本課題針對這種現(xiàn)象，簡單介紹了智能移動垃圾分揀機器人的總體設計方案和實現(xiàn)過程，針對本方案中的導航模塊、目標識別模塊和分揀控制模塊進行展開說明，通過對各部分系統(tǒng)的軟硬件設計原理和實現(xiàn)過程進行簡單描述，最后通過做出實物的方法，不僅驗證了嵌入式目標識別算法SSD_MobileNet_V2的準確性，而且通過系統(tǒng)在生活環(huán)境中的實際運行，驗證了系統(tǒng)設計的可行性。

49、充分突出我國可持續(xù)發(fā)展戰(zhàn)略，并構建生態(tài)環(huán)境友好型社會的發(fā)展需求。 參 考 文 獻 [1] 面向智能分類回收的塑料瓶機器視覺識別技術研究[D]. 浙江大學, 2017. [2] 陳曉斐. 機器視覺技術在機械制造自動化中的應用分析[J]. 中國設備工程, 2017(1):168-169. [3] 張慧, 王坤峰, 王飛躍. 深度學習在目標視覺檢測中的應用進展與展望[J]. 自動化學報, 2017, 43(8): 1289-1305. [4] 兼容ROS的嵌入式實時機器人通信系統(tǒng)的設計與實現(xiàn)[D]. 哈爾濱工業(yè)大學, 2018. [5] 易柯敏, 沈艷霞. 激光SLAM導航移動機器人定

50、位算法研究綜述[J]. 機器人技術與應用, 2019(5). [6] Sandler M, Howard A, Zhu M, et al. MobileNetV2: Inverted Residuals and Linear Bottlenecks[C]// 2018. [7] Mur-Artal R, Montiel J M M, Tards J D. ORB-SLAM: A Versatile and Accurate Monocular SLAM System[J]. IEEE Transactions on Robotics, 2017, 31(5):1147-1163. [8]

51、 趙妍, 解迎剛, 陳莉莉. 基于SLAM算法的機器人智能激光定位技術的研究[J]. 激光雜志, 2019(7). [9] Rahman M A, Kapoor P, Laganiere R, et al. Deep People Detection: A Comparative Study of SSD and LSTM-decoder[C]// 2018 15th Conference on Computer and Robot Vision (CRV). 2018. [10] 韓凱, 張紅英, 王遠,等. 一種基于 Faster R-CNN 的車輛檢測算法[J]. 西南科技大學學報,

52、 2017, 32(4):65-70. [11] Kujala J V, Lukka T J, Holopainen H. Picking a Conveyor Clean by an Autonomously Learning Robot[J]. Computer Science, 2015. [12] 蔡漢明, 趙振興, 韓露,等. 基于SSD網(wǎng)絡模型的多目標檢測算法[J]. 機電工程, 2017, 34(6):685-688. [13] Liu W, Anguelov D, Erhan D, et al. SSD: Single Shot MultiBox Detector[C]// European Conference on Computer Vision. 2016. 26