Tài liệu Ứng dụng trí tuệ nhân tạo và giải thuật visual servoing cho tay máy gắp vật

ĈҤI HӐC QUӔC GIA TP.HCM 75ѬӠ1*ĈҤI HӐC BÁCH KHOA ------------------- ĈҺNG BҦO DUY ӬNG DӨNG TRÍ TUӊ NHÂN TҤO VÀ GIҦI THUҰT VISUAL SERVOING CHO TAY MÁY GҲP VҰT Chuyên ngành: Kӻ thuұW&ѫĈLӋn Tӱ Mã sӕ: 8520114 LUҰ19Ă17+Ҥ&6Ƭ TP. Hӗ Chí 0LQKWKiQJQăP ii &{QJWUuQKÿѭӧc hoàn thành tҥi: 7UѭӡQJÿҥi hӑc Bách Khoa ± Ĉ+4*-HCM Cán bӝ Kѭӟng dүn khoa hӑc: TS. /rĈӭc Hҥnh ...................................................... Cán bӝ chҩm nhұn xét 1: PGS.TS.NguyӉQ7KDQK3KѭѫQJ ..................................... Cán bӝ chҩm nhұn xét 2: PGS.TS.Lê Mӻ Hà .......................................................... LuұQYăQWKҥc Vƭÿѭӧc bҧo vӋ tҥL7UѭӡQJĈҥi hӑF%iFK.KRDĈ+4*73+&0 1Jj\WKiQJQăP (trӵc tuyӃn). Thành phҫn HӝLĈӗQJÿiQKJLiOXұQYăQWKҥFVƭJӗm: 1. .. Chӫ tӏch: PGS.TS.NguyӉn Duy Anh .... 2. .. 7KѭNê763KQJ7Ut&{QJ .................. 3. .. Phҧn biӋn 1: PGS.TS.NguyӉQ7KDQK3KѭѫQJ 4. .. Phҧn biӋn 2: PGS.TS.Lê Mӻ Hà ............ 5. .. Uӹ YLrQ76ĈRjQ7KӃ Thҧo.................. Xác nhұn cӫa Chӫ tӏch HӝLÿӗQJÿiQKJLi/9Yj7Uѭӣng Khoa quҧn lý chuyên ngành sau khi luұQYăQÿmÿѭӧc sӱa chӳa (nӃu có). CHӪ TӎCH HӜ,ĈӖNG 75ѬӢ1*.+2$&Ѫ.+Ë i ĈҤI HӐC QUӔC GIA TP.HCM CӜNG HÒA XÃ HӖI CHӪ 1*+Ƭ$9,ӊT NAM 75ѬӠ1*ĈҤI HӐC BÁCH KHOA Ĉӝc lұp ± Tӵ do ± Hҥnh phúc NHIӊM VӨ LUҰ19Ă17+Ҥ&6Ƭ Hӑ tên hӑFYLrQĈһng Bҧo Duy ........................................... MSHV: 1970026 ........... 1Jj\WKiQJQăPVLQK ...................................... 1ѫLVLQK73+&0 ........ Chuyên ngành: Kӻ ThuұW&ѫĈLӋn Tӱ .................................. Mã sӕ: 8520114............. I. 7Ç1Ĉӄ TÀI: Ӭng dөng trí tuӋ nhân tҥo và giҧi thuұt visual servoing cho tay máy gҳp vұt NHIӊM VӨ VÀ NӜI DUNG: a. Nghiên cӭu tәng quan các vҩQÿӅ liên quan b. Mô hình tay máy và lý thuyӃt giҧi thuұWÿLӅu khiӇn visual servoing c. Ӭng dөQJ$,ÿӇ nhұn diӋn và trích xuҩWÿѭӡng bao vұt d. Mô phӓng visual servoing, thӵc nghiӋm và kӃt luұn II. NGÀY GIAO NHIӊM VӨ: 21/09/2020 III. NGÀY HOÀN THÀNH NHIӊM VӨ: 02/08/2021 IV. CÁN BӜ +ѬӞNG DҮN: 76/rĈӭc Hҥnh Tp.HCM, ngày « tháng « QăP CÁN BӜ +ѬӞNG DҮN CHӪ NHIӊM BӜ 0Ð1Ĉ¬27ҤO (Hӑ tên và chӳ ký) (Hӑ tên và chӳ ký) 75ѬӢ1*.+2$&Ѫ.+Ë (Hӑ tên và chӳ ký) ii LӠI CҦ0Ѫ1 ViӋFKRjQWKjQKÿѭӧc luұQYăQWӕt nghiӋp này gҳn liӅn vӟi nhӳng sӵ hӛ trӧ, JL~Sÿӥ dù ít hay nhiӅu, dù trӵc tiӃp hay gián tiӃp cӫa nhiӅXQJѭӡi khác. Trong suӕt thӡi gian tӯ khi bҳWÿҫu hӑc tұp ӣ giҧQJÿѭӡng cao hӑFÿӃQQD\HPÿmQKұQÿѭӧc rҩt nhiӅu sӵ TXDQWkPJL~Sÿӥ cӫa quý thҫy cô, giDÿuQKYjEҥn bè. Vӟi lòng biӃWѫQVkXVҳc nhҩt, em xin gӱLÿӃn quý thҫy cô ӣ .KRD&ѫNKtFNJQJ QKѭ%ӝ P{QFѫÿLӋn tӱ ± 7UѭӡQJĈҥi Hӑc Bách Khoa TP. Hӗ &Kt0LQKÿmFQJYӟi tri thӭc và tâm huyӃt cӫDPuQKÿӇ truyӅQÿҥt vӕn kiӃn thӭc quý báu cho chúng em trong suӕt thӡi gian hӑc tұp tҥLWUѭӡng. Em xin chân thành cҧPѫQWKҫ\76/rĈӭc HҥQKÿmJLӟi thiӋXÿӅ tài luұQYăQ Qj\YjÿѭDUDKѭӟQJÿLFKRHPWURQJTXiWUuQKWKӵc hiӋn. (Pÿһc biӋt xin cҧPѫQWKҫ\76/rĈӭc HҥQKÿmWұQWkPKѭӟng dүn em qua tӯng buәi gһp mһWFNJQJQKѭQKӳng buәi nói chuyӋn, thҧo luұn vӅ ÿӅ tài luұQYăQQj\ Và em xin cҧPѫQQKӳng lӡi nhұn xét, góp ý cӫa các thҫy ӣ hӝLÿӗQJÿiQKJLiÿӅ FѭѫQJOXұQYăQ1Ӄu không có nhӳng lӡLKѭӟng dүn, dҥy bҧo cӫa các thҫy thì em QJKƭEjLWKXKRҥch này cӫa em rҩt khó có thӇ hoàn thiӋQÿѭӧc. Mӝt lҫn nӳa, em xin chân thành cҧPѫQFiFWKҫy. MһFGÿmFӕ gҳng và nӛ lӵFÿӇ hoàn thành luұQYăQWX\QKLrQYLӋc không tránh khӓi nhӳng thiӃXVyWOjÿLӅu chҳc chҳn, em rҩt mong nhұQÿѭӧc nhӳng ý kiӃQÿyQJ góp quý báu cӫa quý thҫy cô và các bҥn hӑc cùng lӟSÿӇ em có thӇ hӑc hӓi và hoàn thiӋQPuQKKѫQ Em xin chân thành cҧPѫQ Tp. Hӗ &Kt0LQKWKiQJQăP Sinh viên thӵc hiӋn Ĉһng Bҧo Duy iii TÓM TҲT ĈӅ WjL³Ӭng dөng trí tuӋ nhân tҥo và giҧi thuұt visual VHUYRLQJFKRWD\Pi\´ WUuQKEj\SKѭѫQJSKiS[ӱ lý ҧnh nhұn diӋQFKDLQѭӟc bҵQJFiFSKѭѫQJSKiS'HHS /HDUQLQJYjÿLӅu khiӇn cánh tay robot 6 bұc tӵ do dҥng eye-in-KDQGÿӃn vӏ trí ҧnh mong muӕn bҵng thuұt toán Visual Servoing. ĈӅ tài sӱ dөng trí tuӋ nhân tҥo (Artificial Intelligence) cho nhұn diӋn vұt thӇ nhҵm khҳc phөc các hҥn chӃ cӫDSKѭѫQJSKiS[ӱ lý truyӅn thӕQJĈӅ tài sӱ dөng và mô phӓng giҧi thuұW9LVXDO6HUYRLQJÿӇ bám ҧnh mөFWLrXÿLӅXKѭӟng cánh tay robot ÿӃn vӏ trí cҫn gҳp vұt vӟi sai sӕ ӣ mӭc tӕi thiӇu. Công viӋc xӱ lý ҧQKÿѭӧc thӵc hiӋn trên Google Colab Notebook hӛ trӧ cho các công viӋc khoa hӑc dӳ liӋu và máy hӑc cùng vӟLWKѭYLӋn xӱ lý ҧnh detectron2. Mô phӓQJÿѭӧc thӵc hiӋn trên Matlab bҵng công cө Robotics Toolbox và Machine Vision Toolbox (cӫa tác giҧ Peter Corke). Nӝi dung chính cӫa luұQYăQEDRJӗPFiFFKѭѫQJVDX &KѭѫQJ1JKLrQFӭu tәng quan các vҩQÿӅ liên quan. &KѭѫQJӬng dөQJ$,ÿӇ nhұn diӋn, trích xuҩWÿѭӡng bao vұt và thӵc nghiӋm. &KѭѫQJ0{KuQKWD\Pi\YjOêWKX\Ӄt giҧi thuұWÿLӅu khiӇn visual servoing. &KѭѫQJ0{SKӓng visual servoing, thӵc nghiӋm và kӃt luұn. iv ABSTRACT 7KH WKHVLV WRSLF ³$UWLILFLDO ,QWHOOLJHQFH DQG 9LVXDO 6HUYRLQJ $OJRULWKP Appliance for 6-'2)5RERW$UP´SUHVHQWDQLPDJHSURFHVVLQJPHWKRGZKLFKDSSOLHV Deep Learning and a robot controlling method which control a 6 DOF eye-in-hand robot to a desired position by Visual Servoing algorithm. This thesis uses Artificial Intelligence for detecting objects to improve limitations of classical detecting object method. The thesis uses and simulates Visual Servoing algorithm to tracking the object image position, controlling 6-DOF robot arm to object position with minimum position error. The image processing works is performed on Google Colab Notebook service that offers an integrated and secure JupyterLab environment for data scientists and machine learning developers and Detectron2 a Facebook AI Research library that provides state-of-the-art detection and segmentation algorithms. Simulation works is performed on Matlab using Robotics ToolBox and Machine Vision ToolBox (developed by Peter Corke professor). Main contents of the thesis include below chapters: Chapter 1: Overview of related solutions. Chapter 2: Artificial Intelligence theory in detection and segmentation object application and Experiments. Chapter 3: Robot arm architecture analysis and Visual Servoing algorithm. Chapter 4: Controlling robot arm simulation using Visual servoing, Experiments and Conclusions. v LӠ,&$0Ĉ2$1 7{L[LQFDPÿRDQÿk\OjF{QJWUuQKW{LÿmQJKLrPW~FQJKLrQFӭu và thӵc hiӋn. Các sӕ liӋu, kӃt quҧ nêu trong LuұQYăQOjWUXQJWKӵc và chính xác. 7{L[LQFDPÿRDQUҵng mӑi sӵ JL~Sÿӥ cho viӋc thӵc hiӋn LuұQYăQQj\ÿm ÿѭӧc cҧPѫQYjFiFWK{QJWLQÿmWKDPNKҧo trong LuұQYăQÿmÿѭӧc trích nguӗn. Hӑc viên thӵc hiӋn LuұQYăQ Ĉһng Bҧo Duy vi MӨC LӨC Contents NHIӊM VӨ LUҰ19Ă17+Ҥ&6Ƭ............................................................................ i LӠ,&È0Ѫ1 .............................................................................................................ii TÓM TҲT ................................................................................................................. iii ABSTRACT ............................................................................................................... iv LӠ,&$0Ĉ2$1 ....................................................................................................... v MӨC LӨC .................................................................................................................. vi MӨC LӨC HÌNH ҦNH ............................................................................................. ix MӨC LӨC BҦNG BIӆU ........................................................................................ xiii DANH MӨC CÁC TӮ VIӂT TҲT, KÝ HIӊU ....................................................... xiv MӢ ĈҪU ..................................................................................................................... 1 &KѭѫQJ Tәng quan các vҩQÿӅ liên quan ................................................................3 1.1 Ĉһt vҩQÿӅ ......................................................................................................3 1.2 Tәng quan ......................................................................................................4 1.2.1 Quy trình chiӃWUyWYjÿyQJQҳp chai ......................................................4 1.2.2 Mӝt sӕ tay máy robot [2] ........................................................................4 1.2.3 Mӝt sӕ vӏ trí gҳn camera .........................................................................7 1.2.4 Mӝt sӕ SKѭѫQJSKiSQKұn diӋQÿѭӡng bao vұt thӇ ................................8 &KѭѫQJ Ӭng dөQJ$,ÿӇ nhұn diӋn, trích xuҩWÿѭӡng bao vұt và thӵc nghiӋm ...14 2.1 6ѫ Oѭӧc lý thuyӃt AI ....................................................................................14 2.1.1 Giӟi thiӋu vӅ neuron network ...............................................................14 2.1.2 Giӟi thiӋu vӅ deep learning ...................................................................16 2.1.2.1 MҥQJQѫ-ron tích chұp (Convolutional Neural Networks) ............16 2.1.2.2 Feature Pyramid Network (FPN) ...................................................21 2.1.2.3 Resnet (Residual network) .............................................................22 2.1.2.4 ResNeXt .........................................................................................23 vii 2.1.2.5 0ҥQJ &11 [iF ÿӏQK YQJ ÿһF WUѭQJ 5-CNN±Regions with convolutional neural networks) .....................................................................24 2.2 Calibration ...................................................................................................29 2.2.1 Mô hình hóa camera .............................................................................29 2.2.2 Ĉӝ méo trong Camera Calibration ........................................................31 2.2.3 Quá trình Camera Calibration ...............................................................33 2.2.4 KiӇm tra sai sӕ trong quá trình Camera Calibration .............................35 2.3 Giҧi thuұt nhұn dҥQJFKDLQѭӟc và lұp trình ................................................36 2.3.1 Phҫn mӅPYjFiFWKѭYLӋn lұSWUuQKWKѭYLӋn ҧQKÿѭӧc sӱ dөng .........36 2.3.2 Giҧi thuұt xӱ lý ҧnh và thӵc nghiӋm.....................................................40 2.3.2.1 6ѫÿӗ giҧi thuұt xӱ lý ҧnh bҵng mҥng Deep Learning...................40 2.3.2.2 Thӵc nghiӋPFiFWUѭӡng hӧp nhұn dҥQJÿѭӧFFKDLQѭӟc..............45 &KѭѫQJ Mô hình tay máy và lý thuyӃt giҧi thuұWÿLӅu khiӇn visual servoing ......50 3.1 0{KuQKÿӝng hӑc cӫa tay máy ...................................................................50 3.1.1 Giӟi thiӋu robot Nachi-MZ07 ...............................................................50 3.1.2 Ĉӝng hӑc thuұn .....................................................................................50 3.1.3 Jacobian ................................................................................................53 3.1.4 3KkQWtFKFKDLQѭӟc ...............................................................................56 3.2 Lý thuyӃt giҧi thuұt ÿLӅu khiӇn visual servoing...........................................57 3.2.1 6ѫOѭӧc vӅ moment ҧnh ........................................................................57 3.2.2 Moment khӕi tâm và các bҩt biӃn .........................................................59 3.2.3 Thuұt toán visual servoing sӱ dөng moment ҧnh [12], [13],[15] .........60 &KѭѫQJ Mô phӓng visual servoing, thӵc nghiӋm và kӃt luұn ..............................66 4.1 Mô tҧ Vѫÿӗ giҧi thuұt quá trình mô phӓng thuұt toán visual servoing .......66 4.2 Thӵc nghiӋm các kӃt quҧ mô phӓng và kӃt luұn .........................................70 viii 4.3 KӃt luұn ........................................................................................................75 4.3.1 Các kӃt quҧ ÿҥWÿѭӧc.............................................................................75 4.3.2 Hҥn chӃ .................................................................................................75 4.3.3 +ѭӟng phát triӇQWURQJWѭѫQJODL ..........................................................75 TÀI LIӊU THAM KHҦO ......................................................................................... 77 PHҪN LÝ LӎCH TRÍCH NGANG ........................................................................... 80 ix MӨC LӨC HÌNH ҦNH +uQK*LDLÿRҥn 2 chuҭn bӏ vӓ chai ........................................................................4 Hình 1.2 Robot tӑDÿӝ Descartes.................................................................................5 Hình 1.3 Robot tӑDÿӝ trө ............................................................................................5 Hình 1.4 Robot tӑDÿӝ cҫu...........................................................................................6 Hình 1.5 Robot khӟp nӕi 6 trөc...................................................................................6 +uQK&iFFѫFҩu gҳp (a) tay gҳSFѫNKtEJLiFK~WYjFQDPFKkPÿLӋn tӯ....7 Hình 1.7 Camera ӣ vӏ trí cӕ ÿӏnh .................................................................................8 Hình 1.8 Camera gҳn trên tay máy..............................................................................8 Hình 1.9 (a)Ҧnh xám (b)ҦQKPjXFĈѭӡQJEDRÿӗng xu.........................................9 Hình 1.10 Ҧnh màu và ҧQKÿѭӡng bao .......................................................................9 +uQK3KkQÿRҥQÿӕLWѭӧQJWURQJGHHSOHDUQLQJFKRRXWSXWOjÿѭӡng bao vұt thӇ) ...................................................................................................................................11 +uQK6ѫÿӗ mô phӓng tәng quát .......................................................................12 +uQK6ѫÿӗ mô phӓng visual servoing ..............................................................12 +uQK6ѫÿӗ thӵc tӃ visual servoing ...................................................................12 Hình 2.1 Mô hình cӫa mӝt neuron network ..............................................................14 Hình 2.2 Hàm sigmoid ..............................................................................................15 Hình 2.3 Hàm ReLU .................................................................................................15 Hình 2.4 Mҥng neuron ..............................................................................................15 Hình 2.5 KiӃn trúc mӝt mҥng neuron cho tác vө nhұn dҥng vұt thӇ trong thӏ giác máy tính [20] .....................................................................................................................16 Hình 2.6 Phép tích chұp áp dөng trên hình ...............................................................17 Hình 2.7 KӃt quҧ cӫa ҧnh sau khi tích chұp ..............................................................17 Hình 2.8 Hình thành lӟp pooling bҵng max pooling ................................................18 Hình 6ѫÿӗ ROI pooling .....................................................................................19 +uQK7Uѭӡng tiӃp nhұn cөc bӝ ..........................................................................19 +uQK6ѫÿӗ cӫa FPN [10] ..................................................................................21 +uQK6ѫÿӗ khӕi FPN ........................................................................................21 Hình 2.13 KӃt nӕi tҳt qua 1 hay nhiӅu layer cӫa Resnet[6] ......................................22 x Hình 2.14 Mô hình mӝt phҫn cӫa Resnet ..................................................................23 Hình 2.15 Trái: cҩu trúc Resnet; Phҧi: cҩu trúc ResNeXt vӟi cardinality=32 ........24 Hình 2.16 Sai sӕ top-1 cӫa ResNet và ResNeXt có cùng 101 layer [7] ...................24 +uQK*LDLÿRҥn 1 R-&11[iFÿӏnh các phân vùng có thӇ chӭDÿӕLWѭӧng ......24 +uQK6ѫÿӗ xӱ lý cӫa R-CNN ...........................................................................25 +uQK6ѫÿӗ layer R-CNN ..................................................................................25 +uQK6ѫÿӗ Fast R-CNN ...................................................................................26 +uQK6ѫÿӗ layer Fast R-CNN ..........................................................................26 +uQK6ѫÿӗ Faster R-CNN ................................................................................26 +uQK6ѫ ÿӗ layer Faster R-CNN .......................................................................27 +uQK6ѫÿӗ Mask R-CNN .................................................................................27 +uQK6ѫÿӗ Mask R-CNN .................................................................................28 Hình 2.26 ROI Align .................................................................................................28 Hình 2.27 Tóm tҳt các biӃn thӇ cӫa R-CNN [19] .....................................................28 Hình 2.28 Mô hình camera pinhole ..........................................................................29 Hình 2.29 HӋ tӑDÿӝ camera ......................................................................................29 Hình 2.30 Liên hӋ giӳa hӋ trөc tӑDÿӝ thӵc và hӋ trөc tӑDÿӝ camera ......................31 Hình 2.31 Trái: ÿӝ méo radical âm; Giӳa: không có méo; Phҧi: ÿӝ méo radical GѭѫQJ.........................................................................................................................32 Hình 2.32 Trái: không có méo tangential; Phҧi: méo tangential ............................32 Hình 2.33 Tiêu chuҭn bàn cӡ ....................................................................................33 Hình 2.34 NhұSNtFKWKѭӟc ô vuông trong bàn cӡ ....................................................33 Hình 2.35 Giao diӋn app sau khi calibration .............................................................34 Hình 2.36 KӃt quҧ cӫa quá trình calibration .............................................................34 +uQK+uQKÿmÿѭӧc loҥi bӓ các loҥLÿӝ méo......................................................35 Hình 2.38 Sai sӕ FiFÿLӇPWKHRSKѭѫQJ[YjSKѭѫQJ\ ...........................................35 Hình 2.39 Ҧnh mүXÿm[iFÿӏnh khung bao và phân vùng vұt [18] .........................38 Hình 2.40 Ví dө vӅ ÿӝ chính xác cӫa khung bao và pKkQÿRҥn cӫDPRGHOÿmWUDLQ trong detectron2 [18] .................................................................................................38 +uQK6ѫÿӗ giҧi thuұt xӱ lý ҧnh trên Google Colab Notebooks .......................40 xi Hình 2.42 ҦQKFKDLQѭӟc rӛQJÿm[yDÿӝ méo .........................................................41 Hình 2.43 Mӝt phҫn bҧng config ..............................................................................41 Hình 2.44 Vұt thӇ và các output cӫa xӱ lý bҵng AI ..................................................42 Hình 2.45 ҦQKELQDU\FKDLQѭӟc ...............................................................................42 Hình 2.46 ҦQKELQDU\Fyÿѭӡng bao vұt màu xanh lá ..............................................43 Hình 2.47 Các góc cӫa mӛLÿLӇm ҧnh trong ҧnh nhӏ phân ........................................43 Hình 2.48 ThuұWWRiQWuPÿѭӡQJEDRÿDJLiFOӗi nhӓ nhҩt .......................................44 +uQK+ѭӟQJ[RD\ÿLӇm (a, b, c).....................................................................44 +uQK;iFÿӏnh chiӅX[RD\ÿLӇm a, b, c ..........................................................45 +uQKĈӏnh dҥQJH[FHOOѭXWӑDÿӝ ÿѭӡng bao ....................................................45 Hình 2.52 Nhұn dҥng chai 7up rӛng .........................................................................46 Hình 2.53 Nhұn dҥQJFKDLQѭӟFWURQJÿLӅu kiӋn ánh sáng trҳng (ánh sáng tӕt) .......46 Hình 2.54 Nhұn dҥQJFKDLQѭӟFWURQJÿLӅu kiӋn ánh sáng vàng tӕi (ánh sáng kém)46 Hình 2.55 Nhұn dҥQJFKDLQѭӟc 7up......................................................................46 Hình 2.56 Nhұn dҥQJKDLFKDLQѭӟc coca-cocla........................................................46 Hình 2.57 Nhұn dҥng 3 chai Qѭӟc cùng loҥi .............................................................47 Hình 2.58 Nhұn diӋn nhiӅXFKDLQѭӟc khác loҥi .......................................................47 Hình 2.59 Nhұn diӋQFKDLQѭӟc nghiêng 160 so vӟLÿҩt ...........................................47 Hình 2.60 Nhұn diӋQFKDLQѭӟc nghiêng 450 so vӟLÿҩt ...........................................47 Hình 2.61 Nhұn diӋQFiFFKDLQѭӟc dính sát nhau ....................................................48 Hình 3.1 Vùng làm viӋc và thông sӕ cӫa robot Nachi-MZ07 ...................................50 +uQK6ѫÿӗ vӏ WUtEDQÿҫu tay máy 6 DOF ..........................................................51 +uQK.tFKWKѭӟFFKDLQѭӟc 500 ml và tay gҳp ...................................................57 Hình 3.4 Tӯ bên trái qua phҧi lҫQOѭӧt là ҧnh vұt thӇ, ҧQKÿmGӏch chuyӇn, ҧQKÿm[RD\ ҧQKÿmWKXQKӓ ...........................................................................................................58 +uQK+uQKFKDLQѭӟc mүXErQWUiLYjFKDLQѭӟc cҫn bám bên phҧi ................66 Hình 4.2 Khӣi tҥo tay máy 6 bұc tӵ do .....................................................................67 +uQK6ѫÿӗ giҧi thuұt mô phӓng visual servoing ...............................................68 Hình 4.4 Tay máy, chai nѭӟc mүXPjXÿӓ YjFKDLQѭӟc cҫn bám màu xanh .......69 Hình 4.5 bên trái: hình tay máy robot; bên phҧi: KuQKFiFFKDLQѭӟc tӯ camera ...70 xii Hình 4.6 ҦQKTXDQViWNKLFKDLQѭӟFÿDQJJҳp vұt ..................................................71 Hình 4.7 ҦQKFKDLQѭӟc mүu khi sҳp trùng vӟLFKDLQѭӟc màu xanh bên phҧi ........71 +uQKĈӗ thӏ vӏ trí các góc khӟp ...........................................................................71 +uQKĈӗ thӏ sai sӕ mӛLÿһFWUѭQJҧnh .................................................................72 +uQKĈӗ thӏ sai sӕ tәng hӧSFiFÿһFWUѭQJҧnh .................................................72 +uQKĈӗ thӏ vӏ trí các khӟp vӟi ɉ ൌ ͲǤͲͳ..........................................................73 Hình 4.12 Sai sӕ e3, e4 và sai sӕ tәng hӧp vӟi ɉ ൌ ͲǤͲͳ..........................................73 Hình 4.13 ҦQKFKDLQѭӟc mүu trùng vӟLFKDLQѭӟc màu xanh bên trái ....................73 +uQKĈӗ thӏ vӏ trí các góp khӟSNKLEiPFKDLQѭӟc bên trái.............................74 +uQKĈӗ thӏ sai sӕ mӛLÿһFWUѭQJNKLEiPFKDLQѭӟc bên trái ..........................74 +uQKĈӗ thӏ sai sӕ tәng hӧp ciFÿһFWUѭQJҧQKNKLEiPFKDLQѭӟc bên trái .....74 xiii MӨC LӨC BҦNG BIӆU Bҧng 2.1 So sánh sai sӕ ÿѭӡng bao cӫa ResQHWYjÿӕi thӫ trong cuӝc thi IISVRC ..23 Bҧng 2.2 Các thông sӕ chính cӫa camera .................................................................34 Bҧng 2.3 Bҧng các framework AI hiӋn nay [18] ......................................................37 Bҧng 2.4 Các thông sӕ cӫa các mҥng neuron dùng cho nhұn dҥng phân vùng vұt thӇ (Instance Segmentation) trên nӅn Mask R-CNN, dӳ liӋu ҧnh tӯ WKѭYLӋn COCO [18] ...................................................................................................................................39 Bҧng 2.5 Bҧng sai sӕ FiFWUѭӡng hӧp nhұn diӋn chai 7up ........................................49 Bҧng 3.1 Bҧng thông sӕ DH cӫa tay máy .................................................................51 Bҧng 3.2 Thông sӕ FKDL3(7ÿӵQJQѭӟc giҧi khát cӫa nhà sҧn xuҩt bavico ............56 xiv DANH MӨC CÁC TӮ VIӂT TҲT, KÍ HIӊU AI: Artificial Intelligence CNC: Computer Numerical Control DH: Denavit ± Hartenber DOF: Degrees of freedom CNN: Convolutional Neural Networks RBM: Restricted Bolzman Machine DBM: Deep Bolzman Machine ROI: Region of interest R-CNN: Regions with convolutional neural networks SVM: Support Vector Machine Resnet: Residual network FPN: Feature Pyramid Network RPN: Region Proposal Network PET: PolyEthylene Terephthalate (mӝt dang polyester) LR Schedule: Learning rate schedule Box AP: Bounding box average precision Mask AP: Mask average precision 1 MӢ ĈҪU 1. Tính cҩp thiӃt cӫDÿӅ tài Trong nhӳng QăPJҫQÿk\FXӝc cách mҥng công nghӋ 4.0 tӵ ÿӝQJKyDÿDQJ ngày càng lan rӝng. Công viӋc hҵng ngày cӫDFRQQJѭӡi tӯ công viӋc phӭc tҥSÿӃn công viӋFÿѫQJLҧn lһSÿLOһp lҥLÿӅXÿDQJGҫn bӏ thay thӃ bӣi robot. Cùng vӟi robot, sӵ phát triӇn cӫa ngành tӵ ÿӝng hóa, ngành trí tuӋ nhân tҥo AI, hӋ thӕng thông tin, internet vҥn vұWÿDQJÿHPÿӃn cho các chú robot nhӳng công cө mҥnh mӁ nhҩWÿӇ tiӃp cұn vӟi thӃ giӟi thұt, trӣ QrQWK{QJPLQKKѫQYjOjPÿѭӧc nhӳng viӋc ngày càng NKyKѫQ7URQJPDGӏch Corona mӟLÿk\WURQJNKLFRQQJѭӡLÿDQJFiFKO\Wҥi nhà và nghӍ viӋc thì nhӳQJFK~URERWÿDQJGҫn thay thӃ FRQQJѭӡi trong các công viӋc lau dӑn vӋ sinh, xӱ lý phân dӑn rác (do lo ngҥi virus trong rác lây cho công nhân). Các chatbot thay nhân viên giao tiӃp và giҧLÿiSWKҳc mҳc cho khách hàng. Cùng hòa chung vӟL[XKѭӟng tӵ ÿӝng hóa và AI hiӋn nay, em chӑQÿӅ tài nghiên cӭu robot gҳp vұt ӭng dөng AI làm thӏ giác máy tính. Robot gҳp vұt hiӋn nay có nhiӅu chӫng loҥi tӯ ÿѫQJLҧQÿӃn phӭc tҥp, 2 bұFÿӃn nhiӅu bұFÿӇ mô phӓng gҫn KѫQYӟLWD\QJѭӡi, vӟLÿӝ linh hoҥWQJj\FjQJWăQJ$,WURQJ[ӱ lý ҧQKFNJQJÿѭӧc hӛ trӧ bӟi nhiӅu loҥLQKѭPi\Kӑc (Machine learning), deep learning, mҥng thҫn kinh (Neural network) vӟi nhiӅXWKѭYLӋn hӛ trӧ QKѭ2SHQ&99;/$IRUJH1(7/7,/LE«KD\F{ng cө QKѭ7HQVRU)ORZ&DIIH0$7/$%,PDJH3URFHVVLQJ7RROER[ 0LFURVRIW&RPSXWHU9LVLRQ*RRJOH&ORXG9LVLRQ*RRJOH&RODERUDWRU\&RODE« ViӋc lӵa chӑn, ӭng dөQJÿѭӧc AI vào thӏ giác máy tính và kӃt nӕi vӟi robot sӁ ÿHPOҥi cho robot mӝt tҫm nhìn thông PLQKKѫQ+\YӑQJÿӅ tài sӁ góp phҫn vào viӋc phát triӇn cӫDOƭQKYӵc thӏ JLiFPi\WtQKFNJQJQKѭÿLӅu khiӇn robot. Trong các dây chuyӅn sҧn xuҩWQѭӟFÿyQJFKDLF{QJYLӋFÿHPYӓ FKDLQѭӟc vào dây chuyӅn sҧn xuҩt vүn còn sӱ dөQJFRQQJѭӡL'FKRÿk\OjPӝt công viӋc mang tính chҩt lһSÿLOһp lҥi và có thӇ sӱ dөng robot thay thӃ FRQQJѭӡLÿѭӧc nhҵm tiӃt kiӋPFKLSKtYjWăQJQăQJVXҩt công viӋFÿiSӭng nhu cҫu cҥnh tranh ngày càng khôc liӋt cӫa thӏ WUѭӡng. Tӯ nhӳng nguyên nhân trên, em quyӃWÿӏnh chӑQÿӅ tài: ³Ӭng dөng trí tuӋ nhân tҥo và giҧi thuұt visual servoing cho tay máy´ 2 2. MөFÿtFKFӫDÿӅ tài MөFÿtFKFӫDÿӅ tài nhҵm nghiên cӭu, áp dөng và khai thác lӧi ích cӫa công nghӋ mӟi hiӋn nay vào xӱ lý ҧQKYjÿLӅu khiӇn robot. ĈӕLWѭӧng và phҥm vi nghiên cӭu x &DOLEUDWLRQҧQKÿӇORҥLWUӯVӵPpRWURQJFDPHUDWҥRҧQKSKҷQJ x 1KұQGLӋQQKLӅXYkWWKӇWURQJҧQKEҵQJF{QJFө$,YӟLVӵKӛWUӧFӫDFiF WKѭYLӋQYjQJ{QQJӳ3\WKRQWUrQQӅQWҧQJ*RRJOH&RODE x ĈLӅXNKLӇQWD\URERWÿӃQYӏWUtYұWÿӇJҳSYұWӭQJGөQJWKXұWWRiQYLVXDO servoing. x 0{SKӓQJJLҧLWKXұW x 7KӵFQJKLӋPYjNӃWOXұQ éQJKƭDNKRDKӑFYjWKӵFWLӉQFӫDÿӅWjL 1JKLrQFӭXiSGөQJFiFSKѭѫQJSKiSPӟLKLӋQQD\ÿӇJLҧLTX\ӃWFiFEjLWRiQ WURQJOƭQKYӵF[ӱOêҧQKYjÿLӅXNKLӇQĈӅWjLJySSKҫQPӣUӝQJWKrPFiFF{QJFө PӟLÿӇJLҧLTX\ӃWYҩQÿӅYjJӧLPӣFKRQKLӅXKѭӟQJÿLPӟLÿDQJFҫQÿѭӧFQJKLrQ FӭXQKѭGQJ$,QKұQGLӋQYұWGLFKX\ӇQWUrQYLGHR 1JKLrQFӭXFzQJySSKҫQJLҧLTX\ӃWFiFYҩQÿӅWURQJYLӋFJҳSFKDLQѭӟFYjFiF VҧQSKҭPNKiFWURQJGk\ FKX\ӅQVҧQ[XҩW 3 &KѭѫQJ Tәng quan các vҩQÿӅ liên quan 1.1 Ĉһt vҩQÿӅ 3KѭѫQJSKiSÿLӅu khiӇn tay máy robot cә ÿLӇn bҵQJFiFKWuPSKѭѫQJWUuQKÿӝng hӑFQJѭӧc và di chuyӇQÿӃQÿLӇm mong muӕn dӵa trên công thӭc có nhiӅXÿLӇm bҩt lӧi trong thӵc tӃ: x 3KѭѫQJWUuQKÿӝng hӑc không chính xác hay các sai sӕ trong các khӟp ÿӅu làm tay máy không thӇ di chuyӇQÿӃQÿLӇm mong muӕn mӝt cách chính xác. x Cánh tay máy không thӇ di chuyӇQÿӃn vұt thӇ mà không biӃWÿѭӧc tӑa ÿӝ cө thӇ. x NӃu tӑDÿӝ vұt thӇ có sai sӕ lӟQFNJQJGүQÿӃn tay má\ÿLÿӃn vӏ trí sai. x NӃu vұt thӇ di chuyӇn vӏ trí thì phҧL[iFÿӏnh lҥi vӏ trí mӟi cӫa vұt thӇ. 3KѭѫQJSKiS[ӱ lý ҧnh truyӅn thӕng (tҥo ҧnh nhӏ phân, lҩ\ÿѭӡng bao vұt thӃ) không phҧLO~FQjRFNJQJFyWKӇ nhұn diӋQÿѭӧc vұt thӇ mà phө thuӝc rҩt nhiӅu vào ÿLӅu kiӋn ngoҥi cҧQKQKѭORҥLiQKViQJFѭӡQJÿӝ sáng, màu sҳc phông nӅn. NӃu thay ÿәi vұt thӇ thì phҧLOjPFiFF{QJÿRҥn xӱ lý lҥi tӯ ÿҫu, không thӇ nhұn diӋn linh hoҥt nhiӅu vұt thӇ cùng loҥi. Do nhӳng hҥn chӃ WUrQPjSKѭѫQJSKiSÿLӅu khiӇn visual servoing WURQJÿLӅu khiӇQWD\Pi\YjFiFSKѭѫQJSKiSQKұn diӋn vұt thӇ bҵng AI trong xӱ lý ҧnh ngày FjQJÿѭӧc sӱ dөng rӝng rãi vӟi nhiӅXWtQKQăQJÿѭӧc hӛ trӧ. 4 1.2 Tәng quan 1.2.1 Quy trình chiӃWUyWYjÿyQJQҳp chai Hình 1.1 *LDLÿR̩n 2 chu̱n b͓ v͗ chai *LDLÿRҥn 1: Chuҭn bӏ nҳSÿѭӧc lҩy tӯ kho và rӱa tiӋt trùng. *LDLÿRҥn 2: Chuҭn bӏ vӓ chai: vӓ chai mӟLÿѭӧFÿѭDYjREăQJWҧi, súc rӱa bҵQJQѭӟc thành phҭm (mӝt sӕ nhà máy vүn còn sӱ dөng sӭFQJѭӡi). *LDLÿRҥn 3: ChiӃWQѭӟc ÿyQJQҳp: Máy chuyӇn chai qua hӋ thӕng chiӃWQѭӟFYjÿyQJ nҳp chai. *LDLÿRҥn 4: KiӇm tra và xuҩt ra thӏ WUѭӡng. TӕFÿӝ chҥy cӫa dây chuyӇn sҧn xuҩWQѭӟc hiӋn nay cӫa hãng uniduc 15-30 chai/phút. 1KѭYұy, viӋc gҳSFKDLQѭӟFÿѭDYjRGk\FKX\Ӆn sҧn xuҩt có nhu cҫXÿѭӧc tӵ ÿӝng hóa. 1.2.2 Mӝt sӕ tay máy robot [2] Tay máy robot tӑDÿӝ Descartes (robot tuyӃn tính) là loҥi robot có 3 trөc chính khӟp tӏnh tiӃQWKHRÿѭӡng thҷQJĈһFÿLӇPFyÿӝ cӭng vӳQJFDRÿӝ chính xác cao, QKѭQJWӕn không gian và không linh hoҥW7KѭӡQJÿѭӧc sӱ dөng trong các loҥi máy CNC, gҳp và thҧ, nâng hҥ SK{L«