Tài liệu Thiết kế mô hình thị giác và điều khiển cho robot tự động thu gom bóng bàn

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KHOA HỌC & KỸ THUẬT MÁY TÍNH LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC THIẾT KẾ MÔ HÌNH THỊ GIÁC VÀ ĐIỀU KHIỂN CHO ROBOT TỰ ĐỘNG THU GOM BÓNG BÀN Hội đồng Tập thể hướng dẫn : Khoa học Máy tính 5 : TS. Nguyễn An Khương TS. Trần Tuấn Anh ThS. Lê Nhật Quang KS. Huỳnh Hoàng Kha Giảng viên phản biện : TS. Nguyễn Tiến Thịnh Sinh viên thực hiện : Nguyễn Đăng Hà Nam MSSV : 1710195 TP. Hồ Chí Minh, Tháng 8/2021 ĈҤ,+Ӑ&48Ӕ&*,$73+&0 ---------75ѬӠ1*ĈҤ,+Ӑ&%È&+.+2$ KHOA:KH & KT Máy tính %Ӝ0Ð1 KHMT &Ӝ1*+Ñ$;­+Ӝ,&+Ӫ1*+Ƭ$9,ӊ71$0 ĈӝFOұS- 7ӵGR- +ҥQKSK~F 1+,ӊ09Ө/8Ұ1È17Ӕ71*+,ӊ3 Chú ý: Sinh viên pK̫LGiQWͥQj\YjRWUDQJQK̭WFͯDE̫QWKX\͇WWUình +Ӑ9¬7Ç1 NguyӉQĈăQJ+à Nam NGÀNH: Khoa hӑFMáy tính MSSV: 1710195 /Ӟ3 MT17KH02 ĈҫXÿӅOXұQ văQ: ThiӃWNӃPô hình thӏJLác và ÿLӅXNKLӇQFKRURERWWӵÿӝQJWKXJRP bóng bàn (Design vision and navigation models for the autonomous ping-pong collecting robot) 1KLӋPYө\rXFҫXYӅQӝLGXQJYjVӕOLӋXEDQÿҫX i) Tìm hiӇXnӅQWҧQJURERWLFVYà tìm hiӇXhӋWKӕQg phҫQFӭQJ phiên bҧQ Alpha và tұSOӋQK ÿLӅXNKiӇQ robot do TickLab thiӃWNӃ. ii) Cùng vӟL7LFN/Db tham gia nâng cҩSSKҫQFӭQJ lên phên bҧn Beta. iii) 1JKLrQFӭXYjÿӅ[XҩWP{KuQKWKӏJLiFYjÿLӅX khLӇQFKRURERWWӵÿӝQJWKXJRPEyQJEjQ. iv) Nghiên cӭu và ÿӅ[XҩWFác phѭѫQJSKáp giҧLTX\ӃWFác bài toán ÿһWUDFKRmô hình thӏJLác và ÿLӅXNKLӇQ. v) HiӋQWKӵF và demo mô hình thӏJLác và ÿLӅu khiӇQ trên robot tӵÿӝQJWKXgom bóng bàn nói trên. 3. Ngày giao nKLӋPYөOXұQvăQ: 01/03/2021 41Jj\KRjQWKjQKQKLӋPYө 14/06/2021 +ӑWrQJLҧQJYLrQKѭӟQJGүQ x 1JX\ӉQ$Q.KѭѫQJ, Ĉ+%. 3KҫQKѭӟQJGүQ GӧLý hѭӟQJluұQ văQ hѭӟng dүQFKXQJ. x TrҫQ7XҩQ$QK, Ĉ+BK HѭӟQJGүQNiӃQWKӭF thӏJLác máy tính. x Lê NhұW4XDQJ, Dinovative HѭӟQJGүQNLӃQWKӭF vӅ thiӃWNӃPô hình và mô phӓQJ cho robot. x HXǤQK+Ràng Kha, Ĉ+%. HѭӟQJGүQkiӃQWKӭF phҫn cӭng robot. NӝLGXQg và yrXFҫX/971ÿmÿѭӧFWK{QJTXD%ӝP{Q 1Jj\WKiQJQăP &+Ӫ1+,ӊ0%Ӝ0Ð1 .êYjJKLU}K͕WrQ ĈҤ,',ӊ17Ұ37+ӆ +ѬӞ1*'Ү1 .êYjJKLU}K͕WrQ NguyӉQ$Q.KѭѫQJ 3+̮1'¬1+&+2.+2$%͠0Ð1 1JѭӡLGX\ӋWFKҩPVѫEӝ________________________ ĈѫQYӏ _______________________________________ 1Jj\EҧRYӋ __________________________________ ĈLӇPWәQJNӃW _________________________________ 1ѫLOѭXWUӳOXұQiQ _____________________________ 75ѬӠ1*ĈҤ,+Ӑ&%È&+.+2$ KHOA KH & KT MÁY TÍNH ---------------------------- &Ӝ1*+Ñ$;­+Ӝ,&+Ӫ1*+Ƭ$9,ӊ71$0 ĈӝFOұS- 7ӵGR- +ҥQKSK~F Ngày 10 tháng 08 QăP2021 3+,ӂ8&+Ҩ0%Ҧ29ӊ/971 'jQKFKRQJ˱ͥLK˱ͣQJG̳Q +ӑYjWrQ691JX\ӉQĈăQJ+jNam MSSV: 1710195 (MT17KH02) Ngành (chuyên ngành): KHMT ĈӅWjL 7KLӃWNӃP{KuQKWKӏJLiFYjÿLӅXNKLӇQFKRURERWWӵÿӝQJWKXJRPEyQJEjQ (Design vision and navigation models for the autonomous ping-pong collecting robot) +ӑWrQQJѭӡLKѭӟQJGүQ x 1JX\ӉQ$Q.KѭѫQJ, .KRD.+ .70i\WtQKĈ+%. x 7UҫQ7XҩQ$QK, Khoa KH&KT Máy tính, Ĉ+%. x /r1KұW4XDQJ, Công ty Dinovative x +XǤQK+RjQJ.KD, .KRD.+ .70i\WtQKĈ+%. 7әQJTXiWYӅEҧQWKX\ӃWPLQK 6ӕWUDQJ131 6ӕEҧQJVӕOLӋX27 6ӕWjLOLӋXWKDPNKҧR26 +LӋQYұWVҧQSKҭP 7әQJTXiWYӅFiFEҧQYӁ - 6ӕEҧQYӁ %ҧQ$ - 6ӕEҧQYӁYӁ tay: 6ӕFKѭѫQJ08 6ӕKuQKYӁ84 3KҫQPӅPWtQKWRiQ %ҧQ$ .KәNKiF 6ӕEҧQYӁWUrQPi\WtQK 1KӳQJѭXÿLӇPFKtQKFӫD/971 x LV WKӵFKLӋQNKӕLOѭӧQJF{QJYLӋFQKLӅXF{QJSKX/9YLӃWUҩWWӕWWUuQKEj\ÿҽSPҥFKOҥF U}UjQJÿ~QJTX\FiFKNK{QJFyOӛLFKtQKWҧQJӳSKiS7/7.WUuQKEj\ÿ~QJFKXҭQ x SVTH có QăQJOӵFWӕWFyNKҧQăQJWӵKӑFYjWLQKWKҫQOjPYLӋFÿӝFOұSUҩWFDR x 697+QҳPYӳQJNLӃQWKӭFQӅQWҧQJNLӃQWKӭFOLrQQJjQKNӻWKXұWYjFiFF{QJQJKӋFyOLrQ TXDQÿӇWKLӃWNӃÿѭӧFP{KuQKWKӏJLiFYjÿLӅXNKLӇQFKRURERWWӵÿӝQJWKXJRPEyQJEjQ x .ӃWTXҧÿҥWÿѭӧFFӫD/9FyêQJKƭDWKӵFWLӉQSKKӧSYӟLPөFWLrXYjJLӟLKҥQSKҥPYLÿӅ WjLÿһWUDEDQÿҫXYjFyWKӇWUuQKEj\ÿѭӧFӣKӝLWKҧRFKX\rQQJjQK 1KӳQJWKLӃXVyWFKtQKFӫD/971 Robot FKѭDÿѭӧc kiӇm tra trên thӵc tӃ nhiӅu lҫn ÿӇ ÿҧm bҧo tính әn ÿӏnh cӫa sҧn phҭm. ĈӅ nghӏĈѭӧc bҧo vӋ 🗹 %әVXQJWKrPÿӇEҧRYӋƑ .K{QJÿѭӧFEҧRYӋƑ 0ӝWVӕFkXKӓL69SKҧLWUҧOӡLWUѭӟF+ӝLÿӗQJKhông có (69Vͅÿ˱ͫFK͗LWU͹FWL͇SWUrQ+Ĉ) ĈiQKJLiFKXQJEҵQJFKӳJLӓLNKi7% *LӓL ĈLӇP9.9/10 .êWrQJKLU}KӑWrQ 1JX\ӉQ$Q.KѭѫQJ TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KH & KT MÁY TÍNH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc ---------------------------Ngày 11 tháng 08 năm 2021 PHIẾU CHẤM BẢO VỆ LVTN (Dành cho người hướng dẫn/phản biện) 1. Họ và tên SV: Nguyễn Đăng Hà Nam MSSV: 1710195 Ngành (chuyên ngành): Khoa học Máy tính 2. Đề tài: Thiết kế mô hình thị giác và điều khiển cho robot tự động thu gom bóng bàn 3. Họ tên người hướng dẫn/phản biện: Nguyễn Tiến Thịnh 4. Tổng quát về bản thuyết minh: Số trang: Số chương: Số bảng số liệu Số hình vẽ: Số tài liệu tham khảo: Phần mềm tính toán: Hiện vật (sản phẩm) 5. Tổng quát về các bản vẽ: - Số bản vẽ: Bản A1: Bản A2: Khổ khác: - Số bản vẽ vẽ tay Số bản vẽ trên máy tính: 6. Những ưu điểm chính của LVTN: - Luận văn trình bày bố cục rõ ràng. Nội dung rất chi tiết, phong phú và mạch lạc. Hầu như không có lỗi chính tả hoặc rất ít. - Thiết kế được một mô hình thị giác và điểu khiển robot tự động thu gom bóng bàn dựa trên mô hình deep learning YOLO và một số kỹ thuật xử lý ảnh phát hiện vật thể trong khung hình mà ở đây là các trái bóng bàn và sân tập bóng bàn. Sản phẩm có ý nghĩa thực tiễn và kinh tế cao. - Cơ chế hoạt động của robot có cải tiến so với một số loại robot khác như có tính toán sensitive area giúp robot rẽ hướng và di chuyển tránh được vật cản. - Có thử nghiệm và đánh giá so sánh các công trình nghiên cứu liên quan. 7. Những thiếu sót chính của LVTN: - Một số tên hàm số còn dễ gây hiểu lầm như artan2. - Một số hình ảnh bị mờ như hình 4.9, 6.32, 6.33, 6.34, v.v. - Data train chứa bóng nhưng phong nền còn chưa phù hợp với thực tế sân tập. - Chương tổng kết và hướng phát triển quá ngắn cần bổ sung thêm. - Thiếu phần thử nghiệm robot trên hiện trường sân tập bóng. 8. Đề nghị: Được bảo vệ  Bổ sung thêm để bảo vệ  Không được bảo vệ  9. 3 câu hỏi SV phải trả lời trước Hội đồng: a. Giải thích ý nghĩa hệ số gamma trong công thức 6.16 tính f_att và lý do các giá trị được thử nghiệm lần lượt là 3,4,4.5, 5, 5.5, 6, 7. b. Khi có banh nằm ngay sát chướng ngại vật như chân bàn thì do cách tính sensitive area, robot sẽ né chân bàn. Hiệu quả nhặt bóng khi đó sẽ như thế nào? c. Kết quả phương pháp lập đường di chuyển của robot trong bảng 6.12 chỉ được thử nghiệm 10 lần, như vậy kết quả thu được có đủ để nhận xét là “khá cao” so với kết quả thử nghiệm ở các công trình nghiên cứu liên quan không? Nếu đem vào sản xuất đại trà thì nên thử nghiệm bao nhiêu lần là đủ (chỉ cần cho ý kiến)? 10. Đánh giá chung (bằng chữ: giỏi, khá, TB): giỏi Điểm: 9,8/10 Ký tên (ghi rõ họ tên) Nguyễn Tiến Thịnh LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi dưới sự hướng dẫn của TS. Nguyễn An Khương, TS. Trần Tuấn Anh, ThS. Lê Nhật Quang, và KS. Huỳnh Hoàng Kha. Tất cả những nội dung nghiên cứu và trình bày trong luận văn là trung thực và chưa từng được công bố trước đây. Trong luận văn có sử dụng số liệu và dẫn chứng từ nhiều nguồn khác nhau sẽ được chỉ rõ trong phần trích dẫn tài liệu tham khảo. Nếu phát hiện bất kỳ sự gian lận nào, tôi xin chịu hoàn toàn trách nhiệm đối với luận văn của mình. Trường Đại học Bách Khoa và tập thể hướng dẫn không liên quan đến bất kỳ vi phạm về tác quyền và bản quyền do tôi gây ra trong quá trình thực hiện luận văn. KÝ TÊN: NGÀY: i LỜI CẢM ƠN Những lời cảm ơn đầu tiên tôi xin chân thành gửi đến thầy tôi, thầy Nguyễn An Khương. Cho đến hiện tại, thầy là một trong hai người thầy đã đưa cuộc đời tôi sang một chương mới. Thầy đã dạy cho tôi rất nhiều thứ về học thuật, viết lách, thái độ, và kinh nghiệm sống. Hơn nữa, thầy còn động viên và hỗ trợ kịp thời vào những thời điểm tôi khó khăn và chệch hướng. Tôi nhận thấy rằng tôi của hiện tại và một năm trước đó đã có sự trưởng thành rất lớn, phần nhiều là nhờ may mắn được làm luận văn dưới sự hướng dẫn của thầy. Tôi tin chắc rằng đây là bước ngoặt và là bước khởi đầu chắc chắn cho những chặng đường tiếp theo của mình. Một lần nữa, tôi xin gửi lời cảm ơn và biết ơn sâu sắc tới thầy tôi. Tôi cũng xin gửi lời cảm ơn đến các thầy Trần Tuấn Anh, thầy Nguyễn Tiến Thịnh đã có những góp ý và chỉ bảo để tôi có thể hoàn thiện luận văn này. Ngoài ra, tôi xin gửi lời cảm ơn đến anh Lê Nhật Quang, anh đã có những hướng dẫn sâu sắc và hỗ trợ kinh phí để tôi có thể làm luận văn. Thêm vào đó, tôi xin cảm ơn đến anh Huỳnh Hoàng Kha, anh không chỉ giúp đỡ tôi hoàn thiện phần cứng mà còn chỉ dạy những nguyên tắc, kinh nghiệm khi làm sản phẩm cũng như những vấn đề cuộc sống. Tiếp theo, tôi xin gửi lời cảm ơn sâu sắc đến gia đình tôi. Gia đình đã luôn động viên, hỗ trợ cho tôi có thể yên tâm nghiên cứu và hoàn thiện luận văn này. Ngoài ra, tôi cũng xin cảm ơn chân thành đến bạn gái tôi, Trúc Ly. Chúng tôi đã giúp đỡ lẫn nhau và đã đồng hành cùng nhau suốt những năm tháng đại học. Em đã động viên và góp ý để tôi có thể hoàn thiện bản thân mình cũng như luận văn này. Dù một lời cảm ơn có thể không đủ, nhưng tôi vẫn sẽ gửi lời cảm ơn chân thành đến em. Thêm vào đó, tôi xin gửi lời cảm ơn đến các anh Nguyễn Văn Tường, Văn Minh Hào, các bạn Nguyễn Đức Phú, Nguyễn Hữu Hồng Huy, và tập thể TickLab đã có những hỗ trợ và góp ý giúp tôi hoàn hiện luận văn của mình. Ngoài ra, tôi xin cảm ơn đến các anh, các bạn, và các em đã có những câu hỏi về luận văn này, điều đó đã góp phần giúp tôi hoàn thiện luận văn. Cuối cùng, tôi xin gửi lời cảm ơn đến nhóm “GẮT”, những người bạn tuyệt vời trong khoảng thời gian đại học. ii TÓM TẮT LUẬN VĂN Bóng bàn là môn thể thao có từ lâu đời và khá phổ biến ở Việt Nam cũng như trên thế giới. Sau mỗi phiên tập luyện, những trái bóng sẽ rơi đầy khắp sân, người tập sẽ phải tiến hành thu gom bóng. Đây là một công việc vất vả và không có tính chuyên môn, trong khi người tập có thể dành thời gian này để nghỉ ngơi cho phiên tập tiếp theo. Để giải quyết vấn đề trên và giúp nâng cao chất lượng buổi tập, sinh viên thực hiện nghiên cứu và thiết kế mô hình thị giác và điều khiển cho robot (đã được phát triển phần cứng) tự động thu gom bóng bàn sau mỗi phiên tập. Trong luận văn này, sinh viên thực hiện đã giải quyết được các bài toán đặt ra cho robot như phát hiện trái bóng bàn trong ảnh, ước tính vị trí bóng, lập đường di chuyển cho robot, và tránh các vật cản trên đường di chuyển. Ngoài ra, các thí nghiệm mô phỏng, so sánh đánh giá với các phương pháp hiện tại đã được thực hiện để chứng minh sự hiệu quả của các phương pháp đề xuất. Kết quả cho thấy phương pháp đề xuất có độ hiệu quả cao nhất trong các thí nghiệm, đặc biệt là phương pháp sinh viên thực hiện đề xuất cho bài toán tránh vật cản trên đường di chuyển và lập đường đi cho robot. iii MỤC LỤC Danh sách bảng vii Danh sách hình vẽ ix 1 Giới thiệu 1.1 Bóng bàn và lịch sử môn thể thao bóng bàn . . 1.2 Robot đánh bóng bàn và robot nhặt bóng bàn 1.3 Đặt vấn đề . . . . . . . . . . . . . . . . . . . . . 1.4 Nhiệm vụ . . . . . . . . . . . . . . . . . . . . . . 1.5 Phạm vi và mục tiêu . . . . . . . . . . . . . . . 1.6 Ý nghĩa thực tiễn . . . . . . . . . . . . . . . . . 1.7 Cấu trúc luận văn . . . . . . . . . . . . . . . . . . . . . . . . 1 1 3 3 6 6 8 9 . . . . . . 10 10 10 12 13 13 14 3 Công trình liên quan 3.1 Đề xuất phần cứng cho robot . . . . . . . . . . . . . . . . . . 3.2 Bài toán phát hiện trái bóng bàn trong ảnh . . . . . . . . . . 18 19 19 2 Kiến thức nền tảng 2.1 Học sâu . . . . . . . . . . . . . . . . 2.1.1 Mạng thần kinh tích chập . 2.1.2 Mạng You Only Look Once 2.2 Robotics . . . . . . . . . . . . . . . 2.2.1 Thấu kính hội tụ . . . . . . 2.2.2 Sự chuyển động của robot . iv . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . MỤC LỤC 3.3 3.4 3.5 Bài toán ước tính vị trí trái bóng . . . . . . . . . . . . . . . . Bài toán lập đường đi cho robot thu gom bóng . . . . . . . . Bài toán tránh vật cản trên đường di chuyển . . . . . . . . . 4 Phần cứng robot 4.1 Khái quát về kết cấu cơ khí của robot . . . . . . . . . . . . 4.2 Các thiết bị cho phần cứng robot . . . . . . . . . . . . . . . 4.2.1 Máy tính nhúng cho mô hình thị giác và điều khiển 4.2.2 Camera . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2.3 Cảm biến vật cản . . . . . . . . . . . . . . . . . . . . 4.2.4 Mạch điều khiển chuyển động . . . . . . . . . . . . . 4.3 Tập lệnh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3.1 Lệnh gửi cho robot . . . . . . . . . . . . . . . . . . . 4.3.2 Phản hồi từ robot . . . . . . . . . . . . . . . . . . . . 4.4 Sơ đồ khối điều khiển robot tự động thu gom bóng bàn . . 4.5 Hiện trạng . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5.1 Robot ở bản thử nghiệm đầu tiên . . . . . . . . . . 4.5.2 Robot ở phiên bản hiện tại . . . . . . . . . . . . . . 5 Mô 5.1 5.2 5.3 hình đề xuất Phát biểu bài toán . . . . . . . Sơ đồ khối hệ thống . . . . . . . Mô hình thị giác và điều khiển bóng bàn . . . . . . . . . . . . . . . . . . . . . . . . . cho robot . . . . . . . . . . tự . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . động thu gom . . . . . . . . . 6 Mô phỏng và thực nghiệm 6.1 Phát hiện trái bóng bàn trong ảnh . . . . . . . . . . . . . . . 6.1.1 Phương pháp phát hiện bóng bằng cách lọc ngưỡng HSV 6.1.2 Phương pháp nhận diện bóng qua ảnh xám sử dụng kỹ thuật Circle Hough Transform . . . . . . . . . . . . 6.1.3 Sử dụng mô hình mạng nơ-ron đơn giản để phát hiện trái bóng bàn . . . . . . . . . . . . . . . . . . . . . . . 6.1.4 Sử dụng mô hình YOLOv3 phát hiện trái bóng bàn . 6.1.5 Sử dụng tiny-YOLOv3 phát hiện trái bóng bàn . . . 6.2 Ước tính vị trí trái bóng trên sân . . . . . . . . . . . . . . . . 6.2.1 Mô tả bài toán . . . . . . . . . . . . . . . . . . . . . . 6.2.2 Công thức tính trực tiếp vị trí trái bóng . . . . . . . . 6.2.3 Phương pháp hồi quy . . . . . . . . . . . . . . . . . . . v 25 29 30 34 34 36 36 38 39 41 42 43 45 47 48 48 48 54 54 55 56 59 60 60 61 65 67 76 78 78 79 83 MỤC LỤC 6.3 6.4 6.2.4 Lựa chọn phương pháp ước tính vị trí trái bóng Tránh vật cản trên đường di chuyển . . . . . . . . . . . 6.3.1 Mô tả bài toán . . . . . . . . . . . . . . . . . . . 6.3.2 Phương pháp đề xuất . . . . . . . . . . . . . . . 6.3.3 Thực nghiệm và kết quả . . . . . . . . . . . . . . Lập đường đi cho robot di chuyển . . . . . . . . . . . . . 6.4.1 Mô tả bài toán . . . . . . . . . . . . . . . . . . . 6.4.2 Phương pháp đề xuất . . . . . . . . . . . . . . . 6.4.3 Thực nghiệm và kết quả . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 89 90 90 99 105 105 106 107 7 Hiện thực trên robot 110 7.1 Các khó khăn và hướng giải quyết . . . . . . . . . . . . . . . 110 7.2 Kiểm thử thực địa và kết quả . . . . . . . . . . . . . . . . . . 111 8 Tổng kết 115 8.1 Các kết quả đạt được . . . . . . . . . . . . . . . . . . . . . . . 115 8.2 Hạn chế và hướng phát triển . . . . . . . . . . . . . . . . . . . 116 Tài liệu tham khảo 117 vi DANH SÁCH BẢNG 3.1 Độ lỗi của vị trí trái bóng . . . . . . . . . . . . . . . . . . . . 27 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 4.11 4.12 Lệnh dừng khẩn cấp. . . . . . . . Lệnh dừng thông thường. . . . . . Lệnh chạy thẳng. . . . . . . . . . Lệnh xoay tại chỗ. . . . . . . . . . Lệnh chạy vòng cung. . . . . . . . Lệnh điều chỉnh tốc độ trục quay Lệnh điều chỉnh độ sáng của đèn. Lệnh truy vấn tình trạng pin. . . Phản hồi về tình trạng pin. . . . Cảnh báo pin yếu. . . . . . . . . . Không thể di chuyển. . . . . . . . Lỗi không xác định. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 43 43 44 44 45 45 45 46 46 46 47 6.1 6.2 6.3 6.4 6.5 6.6 6.7 6.8 6.9 6.10 Kết quả dùng phương pháp mạng nơ-ron đơn giản . . . Đo độ hiệu quả của phương pháp mạng nơ-ron . . . . . Kết quả trên tập valid của mạng YOLOv3 . . . . . . . Kết quả trên tập test của mạng YOLOv3 . . . . . . . . Đo độ hiệu quả của mạng YOLOv3 trên tập valid . . . Đo độ hiệu quả của mạng YOLOv3 trên tập test . . . . Đo độ hiệu quả của mạng tiny-YOLOv3 trên tập valid Đo độ hiệu quả của mạng tiny-YOLOv3 trên tập test . Kết quả MAE khoảng cách từ trái bóng đến camera. . Độ lỗi của các hàm hồi quy trong tập train và tập test. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 67 73 73 74 74 77 77 82 84 vii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . DANH SÁCH BẢNG 6.11 6.12 6.13 6.14 Phương pháp hồi quy và sai số khoảng cách. . . Phương pháp hồi quy và sai số của góc. . . . . . Kết quả tránh vật cản trong các tình huống . . . Kết quả của phương pháp lập đường di chuyển. . viii . . . . . . . . . . . . . . . . . . . . . . . . . 88 . 89 . 101 . 109 DANH SÁCH HÌNH VẼ 1.1 1.2 Trái bóng bàn tiêu chuẩn . . . . . . . . . . . . . . . . . . . . . Dụng cụ thu gom bóng đơn giản. . . . . . . . . . . . . . . . . 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 Mạng CNN. . . . . . . . . . . . . . . . . . . . . . . Quá trình tích chập qua lớp convolution. . . . . . . Quá trình qua lớp pooling. . . . . . . . . . . . . . . Sơ đồ kiến trúc mạng YOLO. . . . . . . . . . . . . Ví dụ về holonomic robot. . . . . . . . . . . . . . . Ví dụ về differential−drive robot. . . . . . . . . . . Một số ví dụ về legged robot. . . . . . . . . . . . . Nguyên lý hoạt động của chuyển động ackermann. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 11 11 12 14 15 16 17 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 Cơ cấu robot. . . . . . . . . . . . . . . . . . . . . . Các thành phần của robot . . . . . . . . . . . . . . Phương pháp thu gom bóng bằng hai trục quay . Mô tả hành động của bộ phận thu gom bóng . . . Sơ đồ xử lý ảnh với phân đoạn đa ngưỡng . . . . . Phát hiện trái bóng bàn trong thời gian thực . . . Lọc ngưỡng và phát hiện bằng pháp HSV . . . . . Mô tả hệ trục tọa độ cho robot và trái bóng . . . . Ước tính độ lỗi của vị trí bóng trong một quỹ đạo. Góc lệch giữa mục tiêu và camera . . . . . . . . . . Khu vực thu gom bóng. . . . . . . . . . . . . . . . Phương pháp di chuyển thu gom bóng. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 21 21 22 23 24 25 26 28 28 30 30 ix 3 5 DANH SÁCH HÌNH VẼ 3.13 Polar histogram được sử dụng trong giải thuật VFH . . . . . 31 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 4.11 4.12 4.13 Thiết kế robot. . . . . . . . . . . . . . . . . . . . Raspberry Pi 4 Model B 2019 . . . . . . . . . . Raspberry Pi Camera Module V2 8MP . . . . . Cảm biến Laser Radar RPLIDAR A1 . . . . . Mạch điều khiển Arduino Mega 2560 ADK . . Sơ đồ khối điều khiển cho phần cứng robot . . Lắp rắp Raspberry Pi 4 Model B với Camera. . Hình ảnh robot ở bản thử nghiệm đầu tiên. . . Bộ phận thu gom bằng lưới. . . . . . . . . . . . Tình trạng kẹt bóng khi thu gom. . . . . . . . . Vị trí đặt tay quay mới . . . . . . . . . . . . . . Tay quay robot sử dụng nhựa EVA . . . . . . . Robot phiên bản hiện tại. . . . . . . . . . . . . . . . . . . . . . . . . . 35 37 39 41 42 47 49 50 50 51 51 52 53 5.1 5.2 Sơ đồ khối hệ thống. . . . . . . . . . . . . . . . . . . . . . . . Mô hình thị giác và điều khiển . . . . . . . . . . . . . . . . . 55 57 6.1 6.2 6.3 6.4 6.5 6.6 6.7 6.8 6.9 6.10 6.11 6.12 6.13 6.14 6.15 6.16 6.17 6.18 6.19 6.20 Ảnh chụp trái bóng bàn. . . . . . . . . . . . . . . Hình ảnh đầu vào. . . . . . . . . . . . . . . . . . . Lọc ngưỡng HSV. . . . . . . . . . . . . . . . . . . Sau bước các bước xử lý ảnh . . . . . . . . . . . . Phát hiện trái bóng trong bức ảnh. . . . . . . . . Điểm yếu của phương pháp HSV . . . . . . . . . Kết quả tốt của Circle Hough Transform . . . . . Kết quả không tốt của Circle Hough Transform . Mạng nơ-ron đơn giản. . . . . . . . . . . . . . . . Một số hình ảnh lấy từ thực tế. . . . . . . . . . . Gán nhãn trái bóng bàn trên ảnh. . . . . . . . . Nội dung file chứa thông tin nhãn. . . . . . . . . Bộ lọc thông thấp Gaussian với σ = 1.1. . . . . . Bộ lọc thông cao. . . . . . . . . . . . . . . . . . . Train YOLO trên Colab . . . . . . . . . . . . . . Một vài kết quả khi sử dụng mô hình YOLOv3. Minh họa vị trí bóng và camera gắn trên robot. . Đường kính trái bóng và khoảng cách . . . . . . Minh họa quy trình lấy ảnh của camera. . . . . . Ước tính khoảng cách bằng công thức. . . . . . . 61 62 62 63 63 64 65 65 66 69 70 71 71 71 72 75 79 80 81 82 x . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . DANH SÁCH HÌNH VẼ 6.21 6.22 6.23 6.24 6.25 6.26 6.27 6.28 6.29 6.30 6.31 6.32 6.33 6.34 6.35 6.36 6.37 6.38 6.39 6.40 6.41 6.42 Tập dữ liệu huấn luyện và kiểm thử . . . . . . . . . . Hồi quy hàm bậc một để tính khoảng cách. . . . . . . Hồi quy hàm bậc hai để tính khoảng cách. . . . . . . . Hồi quy hàm bậc ba để tính khoảng cách. . . . . . . . Hồi quy hàm bậc bốn để tính khoảng cách. . . . . . . Hồi quy hàm bậc năm để tính khoảng cách. . . . . . . Ước tính khoảng cách bằng phương pháp hồi quy. . . Minh họa robot và cảm biến LiDAR. . . . . . . . . . . Tạo sensitivity area . . . . . . . . . . . . . . . . . . . . Lưu đồ của phương pháp đề xuất. . . . . . . . . . . . . Minh họa dữ liệu cảm biến. . . . . . . . . . . . . . . . Phát hiện vật cản trên dữ liệu cảm biến. . . . . . . . . Góc arctan2(y, x). . . . . . . . . . . . . . . . . . . . . . Phóng to góc của chướng ngại vật. . . . . . . . . . . . Tình huống 1. . . . . . . . . . . . . . . . . . . . . . . . Tình huống 2. . . . . . . . . . . . . . . . . . . . . . . . Tình huống 3. . . . . . . . . . . . . . . . . . . . . . . . Tình huống 4. . . . . . . . . . . . . . . . . . . . . . . . Tình huống 5. . . . . . . . . . . . . . . . . . . . . . . . Tình huống 6. . . . . . . . . . . . . . . . . . . . . . . . Lưu đồ phương pháp đề xuất lập đường di chuyển cho Mô tả sân bóng bàn và các trái bóng trên sân. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . robot. . . . . 84 85 85 86 86 87 88 91 92 93 93 94 94 95 102 102 103 104 104 105 107 108 7.1 7.2 7.3 7.4 Tình huống thực địa thu gom bóng không vật cản Tình huống thực địa tránh vật cản thông thường . Kịch bản kiểm thử thực địa với độ khó cao. . . . . Một số hình ảnh của robot khi kiểm thử thực địa . . . . . 112 113 113 114 xi . . . . . . . . . . . . . . . . . . . . CHƯƠNG 1 GIỚI THIỆU Ở chương này, sinh viên thực hiện giới thiệu sơ qua về bóng bàn và lịch sử của nó, đặt vấn đề, nhiệm vụ, phạm vi, mục tiêu, và ý nghĩa của luận văn sinh viên thực hiện. 1.1 Bóng bàn và lịch sử môn thể thao bóng bàn Bóng bàn (tên tiếng Anh là ping-pong hoặc table tennis) là một môn thể thao trong đó hai hoặc bốn người chơi tham gia đánh một trái bóng nhẹ (trái bóng bàn) qua lại trên một chiếc bàn bằng cây vợt nhỏ. Trò chơi diễn ra trên một mặt bàn cứng được chia làm đôi bởi một tấm lưới. Ngoại trừ loạt giao bóng đầu tiên, bóng bàn có quy tắc thi đấu chung như sau người chơi phải để trái bóng hướng về phía bản thân nảy đúng một lần trên phần bàn của mình và trả trái bóng về phía đối phương, sao cho bóng nảy ít nhất một lần trên phần bàn của họ. Một điểm được ghi khi có một người chơi không thể trả bóng theo đúng luật. Đây là một trò chơi có tốc độ nhanh và cũng đòi hỏi phản xạ nhanh. Về nguồn gốc xuất phát môn thể thao bóng bàn cho đến nay vẫn còn nhiều quan điểm trái chiều, song phần đông quan điểm ủng hộ bóng bàn 1 CHƯƠNG 1. GIỚI THIỆU xuất phát từ nước Anh1 . Phiên bản sơ khai được cho là hình thành vào thập niên những năm 1860 bởi các sĩ quan quân đội Anh ở Ấn Độ, sau đó mới được mang trở về quê hương. Họ dựng dãy sách ở giữa bàn làm lưới, dùng hai cuốn sách khác làm vợt và đánh một trái bóng gôn qua lại liên tục. Bước chuyển đổi mang tính đột phá khi một vận động viên thể thao người Anh mang từ Mỹ về các trái bóng làm từ celluloid và nhận thấy chúng rất lý tưởng cho môn thể thao này. Bởi do những trái bóng có độ nảy lớn và khi đánh phát ra những tiếng “ping pong” nên người ta dùng từ “ping-pong” để đặt tên cho môn thể thao này. Tuy nhiên trên các văn bản và quy tắc của Hiệp hội Bóng bàn quốc tế thì bóng bàn gọi là “table tennis”. Những năm 1950, các cây vợt được thiết kế từ sự kết hợp của một lớp cao su với một lớp cao su xốp đã thay đổi đáng kể tốc độ và độ xoáy của bóng. Đến năm 1988, bóng bàn chính thức là một môn thể thao trong Thế vận hội. Ngày nay, theo tiêu chuẩn quốc tế, trái bóng bàn có khối lượng 2.70g và có đường kính 40.00mm (1.57in). Bóng chất lượng sẽ nhảy lên 24.00 − 26.00cm (9.40 − 10.20in) khi thả từ độ cao 30.50cm (12.00in) xuống một khối thép tiêu chuẩn, trong đó hệ số COR2 rơi vào khoảng 0.89 đến 0.92. Trái bóng sẽ được làm từ celluloid hoặc chất dẻo tương tự, có màu trắng hoặc da cam, với phần lớp phủ bề mặt mờ. Nhìn chung trái bóng bàn (Hình 1.1) là nhẹ, hình cầu và có độ nẩy tốt, màu sắc thông thường là màu trắng hoặc cam, tuy nhiên vẫn có các màu khác như xanh lá cây, xám. Hiện nay, các giải thưởng và cuộc thi Quốc tế lớn được tổ chức có thể kể đến như giải Vô địch bóng bàn Thế giới, Cúp bóng bàn Thế giới, Bóng bàn trong Thế vận hội Olympic. 1 Trong đó có sự thừa nhận của Liên đoàn bóng bàn quốc tế (ITTF). https://www.ittf.com/history/documents/historyoftabletennis/. 2 Coefficient of restitution là tỷ số giữa vận tốc tương đối sau va chạm và vận tốc tương đối trước va chạm. COR nằm trong khoảng từ 0 đến 1, trong đó tại 1 được coi là va chạm đàn hồi hoàn hảo. 3 Trái bóng đã được Liên đoàn bóng bàn quốc tế (ITTF) phê chuẩn. https://equipments.ittf.com/#/equipment_preview/balls/460. 2 CHƯƠNG 1. GIỚI THIỆU (a) (b) Hình 1.1: Trái bóng bàn tiêu chuẩn.3 1.2 Robot đánh bóng bàn và robot nhặt bóng bàn Ngày nay, bóng bàn đã trở nên phổ biến ở Việt Nam và thế giới. Nhu cầu tập luyện để nâng cao trình độ chơi bóng ngày càng tăng, kéo theo đó là sự thúc đẩy hình thành và phát triển các lớp học, cơ sở vật chất cho môn thể thao này. Hàng loạt các máy móc thiết bị đã được thiết kế để phục vụ cho từng nhu cầu luyện tập. Các máy móc thiết bị có thể được chia thành hai loại chính gồm máy móc tập luyện và máy móc dọn dẹp. Máy móc tập luyện bao gồm các thiết bị giúp rèn luyện kỹ năng chơi bóng như máy phát bóng, giao bóng, và thậm chí là máy đánh bóng trực tiếp với con người. Máy móc dọn dẹp bao gồm những thiết bị giúp đỡ việc dọn dẹp sân cũng như phòng tập một cách nhẹ nhàng và ít tốn sức trong những việc như thu gom bóng sau mỗi phiên tập, và làm sạch sân. Đặc biệt, sự xuất hiện của robot trong môn thể thao này đã giúp đỡ rất nhiều cho người tập trong việc nâng cao chất lượng buổi tập và tiết kiệm thời gian cũng như công sức khi dọn dẹp sân. Có thể kể đến như các loại robot phát bóng và robot thu gom bóng. 1.3 Đặt vấn đề Trong phạm vi luận văn này, sinh viên thực hiện sẽ quan tâm về máy móc dọn dẹp, cụ thể hơn là thiết bị thu gom bóng trên sân sau mỗi phiên/bài tập. Và bóng bàn thường sẽ được tập luyện hoặc chơi trong một không gian 3 CHƯƠNG 1. GIỚI THIỆU kín như trong phòng tập, trong nhà, văn phòng nên trong luận văn này, sinh viên thực hiện giới hạn không gian chơi bóng như trên. Để nâng cao trình độ, người chơi thường sẽ đến các trung tâm tìm huấn luyện viên hoặc mua một loại máy phát bóng để tự tập. Chương trình huấn luyện thường được chia làm từng nội dung để luyện tập như học giao bóng, đẩy công, đẩy chặn, và “lốp” bóng. Cứ sau mỗi lượt tập thì bóng sẽ rơi xuống sàn, để tiết kiệm thời gian và tăng hiệu suất tập luyện, bóng sẽ không được nhặt ngay mà người tập sẽ sử dụng một trái bóng khác thay thế từ rổ bóng. Khi đánh hết bóng từ rổ cũng là lúc kết thúc một phiên tập. Do trái bóng bàn nhẹ và được người tập đánh nên những trái bóng sẽ rơi khắp sân tập, ngoài ra có thể có hơn 50 trái bóng được sử dụng trong mỗi phiên tập. Bản thân sinh viên thực hiện cũng đã từng chơi bóng bàn nên hiểu rõ công việc thu gom những trái bóng rơi trên sàn là mệt nhọc và hao tốn năng lượng, trong khi việc đó lại không có ý nghĩa về mặt chuyên môn. Thay vì có thể nghỉ ngơi giữ sức cho phiên tập tiếp theo, người tập sẽ là người phải thực hiện công việc đó. Điều đó dẫn ra ảnh hưởng xấu đến chất lượng của buổi tập. Để giúp cải thiện vấn đề này, cũng có nhiều phương pháp đơn giản đã được đề xuất như là dùng chổi quét, dùng máy hút bụi hay một loại công cụ thu gom đơn giản (Hình 1.2), và thậm chí thuê người nhặt bóng. Sinh viên thực hiện đã đến sân tập bóng bàn và tiến hành khảo sát về thực trạng hiện nay trong việc thu gom bóng. Huấn luyện viên và học viên đều thống nhất rằng việc thu gom bóng hiện nay vẫn chưa hiệu quả và còn nhiều hạn chế (sẽ được sinh viên thực hiện phân tích ở đoạn bên dưới). Họ cần một thiết bị có thể tự động thu gom bóng bàn một cách hiệu quả để nâng cao chất lượng buổi tập. Do đó, để đáp ứng nhu cầu thực tiễn này, sinh viên thực hiện đã tiến hành nghiên cứu và phát triển mô hình robot tự động thu gom bóng bàn. 4 CHƯƠNG 1. GIỚI THIỆU Hình 1.2: Dụng cụ thu gom bóng đơn giản.4 Các phương pháp đơn giản nêu trên theo thời gian đã bộc lộ những mặt hạn chế của nó. Phương pháp thuê người nhặt bóng hoàn toàn không phải một ý kiến sáng suốt nên được loại đầu tiên. Vì bóng bàn là một môn thể thao phổ thông, không phải môn thể thao dành riêng cho giới quý tộc; hơn nữa công việc nhặt bóng thật sự chưa tới mức thuê người để nhặt. Mặc dù trái bóng bàn nhẹ nên việc dùng chổi quét nghe qua có vẻ khả thi, nhưng bóng nẩy tốt và lăn rất mượt, vì thế việc quét bóng có thể dẫn đến những trái bóng sẽ lăn đi xa, và lộn xộn thêm trong phòng. Khi xem xét phương pháp dùng máy hút để thu gom bóng thì phương pháp này cũng không thật sự hiệu quả. Tuy rằng trái bóng bàn nhẹ nhưng việc hút rất nhiều trái bóng sẽ là một vấn đề hoàn toàn khác, việc hút có nguy cơ kẹt bóng rất cao và nhiều khi hút cả rác vào máy. Điều quan trọng là khi hút sẽ làm giảm chất lượng trái bóng. Tiếp theo, đối với phương pháp dùng công cụ đơn giản (Hình 1.2) để thu gom bóng, công cụ này được thiết kế với sự kết hợp giữa cây vợt (như vợt bóng bàn nhưng ô lưới sẽ rộng vừa đủ để khi căng lưới bóng có thể lọt qua) và một tấm lưới nhỏ để giữ các trái bóng. Khi sử dụng, người tập chỉ cần đập cây vợt vào trái bóng, bóng sẽ lọt được vào trong và được tấm lưới giữ lại. Khi bóng trong tấm lưới đã đầy, người tập sẽ lấy những trái bóng bỏ vào rổ bóng. Hạn chế lớn nhất của phương pháp này chính là lúc dùng vợt đập trái bóng, hành động này có thể làm giảm chất lượng trái bóng. Một kết quả có thể đoán trước là chất lượng buổi tập tiếp theo sẽ giảm xuống khi sử 4 Website https://www.tabletennisspot.com/ping-pong-ball-collectors-pick-balls/. 5