Tài liệu Luận án tiến sĩ nghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác rô bốt trong nhà

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Đặng Khánh Hòa NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC THUẬT TOÁN ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG THỊ GIÁC RÔ-BỐT TRONG NHÀ LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ Hà Nội – 2019 i BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Đặng Khánh Hòa NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC THUẬT TOÁN ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG THỊ GIÁC RÔ-BỐT TRONG NHÀ Ngành: Kỹ thuật điện tử Mã số: 9520203 LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. PGS.TS. Nguyễn Tiến Dũng 2. TS. Lê Dũng Hà Nội – 2019 ii LỜI CAM ĐOAN Tôi xin cam đoan rằng các kết quả khoa học được trình bày trong luận án này là thành quả nghiên cứu của bản thân tôi trong suốt thời gian làm nghiên cứu sinh và chưa từng xuất hiện trong công bố của các tác giả khác. Các kết quả đạt được là chính xác và trung thực. Hà Nội, ngày Tập thể giáo viên hướng dẫn khoa học tháng 7 năm 2019 Tác giả luận án TS. Lê D PGS. TS. Nguyến Tiến Dũng TS. Lê Dũng Đặng Khánh Hòa i LỜI CẢM ƠN Trước hết, tôi xin bày tỏ lời cảm ơn chân thành và sâu sắc đến tập thể hướng dẫn PGS. TS. Nguyễn Tiến Dũng và TS. Lê Dũng đã trực tiếp định hướng khoa học trong quá trình nghiên cứu. Các Thầy đã dành nhiều thời gian và tâm huyết, động viên về mọi mặt để tác giả hoàn thành luận án. Tác giả xin trân trọng cảm ơn Lãnh đạo trường Đại học Bách Khoa Hà Nội (HUST), Phòng Đào tạo, Viện Điện tử Viễn thông (SET), Bộ môn Điện tử và Kỹ thuật máy tính và TT Đào tạo thực hành đã tạo điều kiện thuận lợi cho nghiên cứu sinh trong suốt quá trình học tập và nghiên cứu. Chân thành cảm ơn các cán bộ, giảng viên, các cộng sự cũng như các anh chị NCS của Viện Điện tử Viễn thông đã động viên, hỗ trợ và tận tình giúp đỡ tác giả trong quá trình thực hiện luận án. Tác giả cảm ơn chương trình 911, Bộ Giáo dục và Đào tạo đã tài trợ cho nghiên cứu sinh. Cảm ơn SET, HUST đã tài trợ thông qua đề tài nghiên cứu khoa học cấp cơ sở với mã T2016PC-108. Cuối cùng, tôi xin bày tỏ lòng biết ơn đến song thân phụ mẫu, vợ và hai con vì những sự thúc đẩy, khích lệ và hy sinh nhiều trong thời gian vừa qua. Đây chính là động lực to lớn giúp tác giả vượt qua mọi trở ngại để hoàn thành luận án này. Tác giả luận án ĐẶNG KHÁNH HÒA ii MỤC LỤC LỜI CAM ĐOAN ...................................................................................................i LỜI CẢM ƠN....................................................................................................... ii MỤC LỤC ........................................................................................................... iii DANH MỤC CÁC KÝ HIỆU .............................................................................vi DANH MỤC CÁC CHỮ VIẾT TẮT .............................................................. viii DANH MỤC CÁC BẢNG ...................................................................................xi DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ ....................................................... xii MỞ ĐẦU .............................................................................................................. xv 1. Tính cấp thiết của luận án.............................................................................. xv 1.1. Trích trọn mặt phẳng .............................................................................. xvii 1.2. Trích trọn mặt phẳng đất ..........................................................................xix 1.3. Dẫn đường cho rô-bốt trong nhà ............................................................... xx 2. Mục tiêu, đối tượng, phương pháp và phạm vi nghiên cứu .......................xxi 2.1. Mục tiêu nghiên cứu .................................................................................xxi 2.2. Đối tượng nghiên cứu ............................................................................. xxii 2.3. Phương pháp nghiên cứu ........................................................................ xxii 2.4. Phạm vi nghiên cứu ............................................................................... xxiii 3. Ý nghĩa khoa học và những đóng góp của luận án .................................. xxiii 3.1. Ý nghĩa khoa học ................................................................................... xxiii 3.2. Các đóng góp khoa học của luận án gồm: ............................................. xxiii 4. Cấu trúc nội dung của luận án ...................................................................xxiv CHƯƠNG 1. TỔNG QUAN HỆ THỐNG DẪN ĐƯỜNG CHO RÔ-BỐT DỰA TRÊN HÌNH ẢNH THỊ GIÁC MÁY TÍNH ..................................................... 1 Giới thiệu chương .......................................................................................... 1 Hệ thống dẫn đường cho rô-bốt trong nhà .................................................. 1 1.2.1. Các hệ thống dẫn đường cho rô-bốt trong nhà ..................................... 3 1.2.2. Kiến trúc hệ thống dẫn đường rô-bốt sử dụng thị giác máy tính ......... 4 Một số vấn đề của hệ thống rô-bốt dẫn đường dựa trên thị giác nổi ........ 5 1.3.1. Phương pháp tính toán bản đồ chênh lệch/độ sâu ................................ 5 1.3.2. Phương pháp trích xuất đối tượng mặt phẳng dựa trên ảnh thị giác máy tính. .............................................................................................................. 8 1.3.3. Phát hiện mặt phẳng đất dựa trên sự biến đổi ảnh thị giác ................. 15 iii 1.3.4. Phương pháp dẫn đường cho rô-bốt trong nhà trong môi trường chưa biết ............................................................................................................ 25 Tổng kết chương .......................................................................................... 29 CHƯƠNG 2. PHƯƠNG PHÁP TĂNG TỐC TÍNH TOÁN BẢN ĐỒ CHÊNH LỆCH VÀ PHÁT TRIỂN THUẬT TOÁN TRÍCH XUẤT MẶT PHẲNG .................................................................................................... 31 Giới thiệu chương ........................................................................................ 31 Hệ thống máy ảnh nổi.................................................................................. 31 2.2.1. Cảm biến hình ảnh .............................................................................. 31 2.2.2. Cấu trúc hệ thống máy ảnh nổi ........................................................... 32 2.2.3. Nguyên lý thị giác nổi ........................................................................ 33 2.2.4. Bản đồ độ sâu ..................................................................................... 35 Phương pháp tăng tốc tính toán bản đồ chênh lệch/độ sâu ..................... 36 2.3.1. Triển khai tính toán SAD thông thường ............................................. 36 2.3.2. Triển khai tính toán SAD đề xuất ....................................................... 37 2.3.3. Kết quả thực hiện và thảo luận ........................................................... 39 Nguyên lý trích xuất đối tượng mặt phẳng ............................................... 43 2.4.1. Độ sâu của điểm ................................................................................. 43 2.4.2. Khái niệm mặt phẳng trong thị giác máy tính .................................... 44 2.4.3. Khái niệm điểm lân cận và hàng xóm ................................................ 45 Triển khai phương pháp trích xuất đối tượng mặt phẳng....................... 46 2.5.1. Kiến trúc hệ thống xử lý dữ liệu ......................................................... 46 2.5.2. Thuật toán đề xuất Tạo nhóm hàng xóm kết hợp lọc ......................... 46 2.5.3. Kết quả thực nghiệm và thảo luận ...................................................... 49 2.5.4. Kết luận .............................................................................................. 55 Tổng kết chương .......................................................................................... 55 CHƯƠNG 3. PHÁT TRIỂN THUẬT TOÁN NHẬN DẠNG MẶT ĐẤT... 57 Giới thiệu chương ........................................................................................ 57 Nguyên lý nhận dạng đối tượng mặt đất ................................................... 57 Phương pháp nhận đối tượng mặt đất từ ảnh độ sâu chuẩn ................... 59 3.3.1. Kiến trúc hệ thống xử lý dữ liệu ......................................................... 59 3.3.2. Thuật toán đề xuất .............................................................................. 60 3.3.3. Kết quả thực nghiệm và thảo luận ...................................................... 64 3.3.4. Kết luận .............................................................................................. 72 iv Phương pháp nhận dạng đối tượng mặt phẳng đất từ dữ liệu độ sâu thực tế .................................................................................................................................... 72 3.4.1. Giới thiệu ............................................................................................ 72 3.4.2. Kiến trúc hệ thống trích mặt đất từ dữ liệu độ sâu thực tế ................. 73 3.4.3. Kết quả thực nghiệm và thảo luận ...................................................... 74 3.4.4. Kết luận .............................................................................................. 81 Tổng kết chương .......................................................................................... 81 CHƯƠNG 4. PHÁT TRIỂN PHƯƠNG PHÁP DẪN ĐƯỜNG CHO RÔBỐT DỰA TRÊN THUẬT TOÁN NHẬN DẠNG MẶT ĐẤT ............................... 83 Giới thiệu chương ........................................................................................ 83 Phương pháp dẫn đường sử dụng nhận dạng mặt đất............................. 83 4.2.1. Mô hình hoạt động của rô-bốt trong nhà ............................................ 83 4.2.2. 4.2.3. sâu Xác định kích thước 2D của điểm sâu................................................ 84 Phương pháp dẫn đường AMSD đề xuất dựa trên khai thác dữ liệu độ ............................................................................................................ 85 Kết quả thực nghiệm phương pháp dẫn đường AMSD dựa trên nhận dạng mặt đất và thảo luận .......................................................................................... 89 4.3.1. Kết quả thực nghiệm của phương pháp tránh vật cản cơ bản ............ 90 4.3.2. Kết quả thực nghiệm của phương pháp tránh vật cản cải thiện ......... 92 4.3.3. Kết luận .............................................................................................. 97 Tổng kết chương .......................................................................................... 98 KẾT LUẬN VÀ KIẾN NGHỊ ............................................................................ 99 1. Kết luận ............................................................................................................ 99 2. Kiến nghị nghiên cứu tiếp theo ...................................................................... 99 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN ..........100 TÀI LIỆU THAM KHẢO ................................................................................102 v DANH MỤC CÁC KÝ HIỆU Ký hiệu Ý nghĩa A Cửa sổ tham chiếu A’ Cửa sổ tìm kiếm B Cửa sổ làm mịn Bottom Điểm liền kề dưới C Phép biến đổi ảnh d Độ chênh lệch dmax Độ chênh lệch tối đa dmin Độ chênh lệch tối thiểu f Tiêu cự máy ảnh FN Bộ đếm các điểm đất đúng không được phát hiện FP Bộ đếm các điểm phi đất bị phát hiện sai. H Ma trận biến đổi phẳng IL Ảnh bên trái IR Ảnh bên phải j Ngưỡng chênh lệch độ sâu của hai điểm liền kề K Ma trân hiệu chuẩn máy ảnh Left Điểm liền kề bên trái masbias Giới hạn độ lệch n Véc tơ pháp tuyến mặt đất OL Vị trí máy ảnh trái OR Vị trí máy ảnh phải p Điểm ảnh P Tập điểm ảnh PL Điểm phản chiếu của điểm p trên ảnh trái PR Điểm phản chiếu của điểm p trên ảnh phải q Ngưỡng phân biệt khối đất và phi đất R Phép xoay ảnh R1 Tỷ lệ phần trăm của các điểm đất được phát hiện R2 Tỷ lệ phần trăm của các điểm mặt đất được phát hiện không chính xác Right Điểm liền kề bên phải vi T Khoảng cách giữa hai máy ảnh hoặc máy ảnh với projector TN Bộ đếm các điểm phi đất đúng được phát hiện Top Điểm liền kề trên TP Bộ đếm các điểm đất đúng được phát hiện w Kích thước cửa sổ XG Tập hợp điểm có sẵn trên mặt đất xL Hoành độ trên ảnh trái xR Hoành độ trên ảnh phải z Độ sâu vii DANH MỤC CÁC CHỮ VIẾT TẮT Viết tắt Tên tiếng Anh Tên tiếng Việt 2D Two Dimensions Hai chiều 3D Three Dimensions Ba chiều AMDS ANN Always Move Straight to the Thuật toán Luôn di chuyển thẳng Destination tới đích Artificial Neural Network Mạng nơron nhân tạo APIs Application Programming Interface Giao diện lập trình ứng dụng ARA* Anytime Repairing A* BFS Best First Seaching BP Belief Propagation Thuật toán sửa chữa bất cứ lúc nào* Thuận toán tìm kiếm tốt nhất đầu tiên Thuật toán Lan truyền tin cậy CCD Charge Coupled Device Linh kiện tích điện kép CMOS DSM Complementary Metal Semiconductor Digital Surface Models DWA Dynamic Window Approach EKF Extended Kalman Filter Oxide Bán dẫn bổ sung ô xít kim loại Mô hình bề mặt số Thuật toán tiếp cận cửa sổ động GDM Bộ lọc phi tuyến tính Kalman mở rộng Fast Plane Detection In Disparity Thuật toán Phát hiện mặt phẳng Maps nhanh trong bản đồ chênh lệch Fast Sampling Plane Filtering Thuật toán Lọc mặt phẳng lấy mẫu nhanh Gradient Depth Map Thuật toán Gradien bản đồ độ sâu GPS Global Positioning System Hệ thống định vị toàn cầu HSAD Hybrid SAD SAD lai HSBSR HT Hierarchical Shape-Based Surface Thuật toán tái tạo bề mặt dự trên Reconstruction hình dạng phân cấp Hough Transform Thuật toán Biến đổi Hough ICP Iterative Closest Point Thuật toán điểm gần nhất lặp lại LRF Laser Range Finder Xác định phạm vi bằng tia laser LSD Line Segment Detector Bộ phát hiện đoạn thẳng MDL Minimum Description Length Thuật toán Độ dài mô tả tối thiểu MS Mean Shift Thuật toán Dịch trung bình FPDIDM FSPF viii NCC Normalized Cross Correlation NGaF Neighbor Grouping and Filter NMOS N Metal Oxide Semiconductor Thuật toán Độ tương quan chéo chuẩn Thuật toán Tạo nhóm hàng xóm và lọc Bán dẫn ôxit kim loại loại N PPDFDM Planar Patch Detection for Disparity Thuật toán Phát hiện mảnh phẳng Maps dùng bản đồ chênh lệch PROSAC Progressive Sample Consensus Đồng thuận mẫu lũy tiến PSO Thuật toán tối ưu đám hạt Particle Swarm Optimization Thuật toán Đồng thuận lấy mẫu ngẫu nhiên Thuật toán phát triển vùng RANSAC RANdom SAmple Consensus RG Region Growing RGB-D Red Green Blue-Depth RHT Random Hough Transform SAD Sum of Absolute Differences SCS Stereo Camera System Cảm biến màu Đỏ Lục Dương-Độ sâu Thuật toán Biến đổi Hough ngẫu nhiên Thuật toán Tổng tuyệt đối độ sai lệch Hệ thống máy ảnh stereo SIFT Scale-invariant Feature Transform Biến đổi đặc trưng tỷ lệ bất biến SLAM SP1 Simultaneous Localization Mapping Service Pack 1 SSD Sum of Squared Differences SUFT VDEMs VGA vLRF RHT SAD SCS And Đồng thời định vị trí và lập bản đồ Gói dịch vụ 1 Thuật toán Tổng bình phương độ sai lệch Speeded-Up Robust Features Tăng tốc đặc trưng mạnh mẽ Vectorized Digital Elevation Model Mô hình nâng cao kỹ thuật số véctơ hóa Video Graphics Array Chuẩn mảng đồ họa video độ phân giải 640x480 Virtual LRF Máy LRF ảo Random Hough Transform Thuật toán Biến đổi Hough ngẫu nhiên Sum of Absolute Differences Thuật toán Tổng tuyệt đối độ sai lệch Stereo Camera System Hệ thống máy ảnh stereo And Đồng thời định vị trí và lập bản đồ SP1 Simultaneous Localization Mapping Service Pack 1 SSD Sum of Squared Differences Thuật toán Tổng bình phương độ sai lệch SLAM Gói dịch vụ 1 ix VDEMs VGA Vectorized Digital Elevation Model Mô hình nâng cao kỹ thuật số véctơ hóa Video Graphics Array Chuẩn mảng đồ họa video độ phân giải 640x480 x DANH MỤC CÁC BẢNG Bảng 1.1. Sai số của phương pháp [47] ........................................................................... 7 Bảng 1.2. Thông số đánh giá kết quả thực nghiệm [7].................................................. 15 Bảng 1.3. Kết quả phát hiện mặt đường với các kịch bản khác [26] ............................ 21 Bảng 3.1. Phân loại điểm đất và điểm phi đất ............................................................... 59 Bảng 4.1. So sánh hiệu năng các phương pháp dẫn đường cho rô-bốt trong nhà ......... 97 Bảng 4.2. So sánh tỷ lệ điều hướng thành công ............................................................ 97 xi DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ Hình 1.1. Hệ thống dẫn đường bằng thị giác cho rô-bốt ................................................. 5 Hình 1.2. Hệ thống tính bản đồ chênh lệch điển hình ..................................................... 6 Hình 1.3. Kết quả tính bản đồ chênh lệch thưa thớt áp dụng thuật toán SAD [46]. ....... 7 Hình 1.4. Kết quả thử nghiệm trên bốn hình ảnh thang độ xám thử nghiệm [47] .......... 7 Hình 1.5. Biểu diễn các thông số của mặt phẳng theo dạng chuẩn [25] ......................... 8 Hình 1.6. Kết quả phát hiện mặt phẳng mái bằng cách sử dụng biến đổi Hough 3D. [25] ....................................................................................................................................... 10 Hình 1.7. Hình ảnh của các đám mây điểm 2D phát sinh từ việc phát hiện mặt phẳng mái bằng RANSAC [25] ............................................................................................... 12 Hình 1.8. Kết quả phát hiện mặt phẳng sử dụng bộ phát hiện đoạn thẳng [7] .............. 14 Hình 1.9. Khung cảnh tương quan của máy ảnh tại các điểm thời gian t1 và t2 [26] .... 17 Hình 1.10. Một số kết quả trung gian của phép biến đổi ảnh thị giác [26] ................... 20 Hình 1.11. Kết quả phát hiện mặt đường sử dụng phương pháp biến đổi ảnh thị giác [26] ....................................................................................................................................... 20 Hình 1.12. (a) Vùng quan tâm của bản đồ chênh lệch và (b) Ảnh mặt đất phủ lên ảnh gốc [22] .......................................................................................................................... 22 Hình 1.13. Phân tích dữ liệu độ chênh lệch theo hàng (a) và cột (b) [22] .................... 23 Hình 1.14. Cảm biến và mặt phẳng mặt đất được trình bày dựa trên tọa độ cảm biến. 24 Hình 2.1. Hệ thống máy ảnh nổi Bumblebee [76]......................................................... 32 Hình 2.2. Các trục tọa độ của hệ thống thị giác nổi [78]............................................... 33 Hình 2.3. Mối quan hệ tỷ lệ nghịch độ sâu và độ chênh lệch [78] ................................ 34 Hình 2.4. Ví dụ về bản đồ độ sâu [79]........................................................................... 35 Hình 2.5. Hệ thống tính bản đồ độ sâu điển hình SAD ................................................. 36 Hình 2.6. Hệ thống tính bản đồ độ sâu SAD điều chỉnh đề xuất .................................. 38 Hình 2.7. Bản đồ chênh lệch được thực hiện bởi thuật toán SAD thông thường.......... 40 Hình 2.8. Bản đồ chênh lệch được thực hiện bởi SAD cải thiện .................................. 41 Hình 2.9. Biểu đồ thời gian tiêu tốn, độ chính xác và độ che phủ được thực hiện bởi SAD thông thường cho ảnh Cones. ............................................................................... 41 Hình 2.10. Thời gian chạy, độ chính xác và độ bao phủ của phương pháp tăng cường thuật toán SAD cho hình ảnh Cones.............................................................................. 42 Hình 2.11. So sánh trong thời gian xử lý được thực hiện bởi các phương pháp SAD thông thường và phương pháp tăng cường SAD đề xuất. ............................................. 42 Hình 2.12. Sơ đồ khối của hệ thống máy ảnh thị giác nổi [78] ..................................... 43 xii Hình 2.13. Nguyên lý tính độ sâu của điểm ảnh ........................................................... 43 Hình 2.14. Khái niệm điểm lân cận của điểm p ............................................................ 45 Hình 2.15. Sơ đồ khối hệ thống phát hiện mặt phẳng ................................................... 46 Hình 2.16. Minh họa dữ liệu trong thư viện Middlebury. ............................................. 47 Hình 2.17. Minh họa dữ liệu độ sâu môi trường thực tế và dữ liệu cải thiện ............... 47 Hình 2.18. Thuật toán Tạo vùng hàng xóm ................................................................... 49 Hình 2.19. Hệ thống thử nghiệm trích mặt phẳng ......................................................... 50 Hình 2.20. Kết quả của các ảnh kiểm tra trong thư viện Middlebury ........................... 51 Hình 2.21. Kết quả của các ảnh kiểm tra thu thập bởi máy ảnh RGB-D ...................... 52 Hình 2.22. So sánh số lượng mặt phẳng được phát hiện theo một số ngưỡng tối thiểu min khác nhau với phương pháp FPDIDM [7] ............................................................. 52 Hình 2.23. Số lượng mặt phẳng được phát hiện theo các ngưỡng tối thiểu min khác nhau áp dụng với bản đồ độ sâu từ máy ảnh RGB-D............................................................. 53 Hình 2.24. Kết quả của các phương pháp HSBSR [6], PPDFDM [53], FPDIDM [7] và thuật toán đề xuất trên bản đồ chênh lệch St-Michel Jail của Toulouse ....................... 54 Hình 2.25. So sánh ba thông số đánh giá giữa các phương pháp HSBSR, PPDFDM, FPDIDM và Phương pháp NGaF đề xuất trên bản đồ chênh lệch nhà thờ St-Michel Jail ở Toulouse. .................................................................................................................... 55 Hình 3.1. Mô hình toán học xác định độ chênh lệch độ sâu ......................................... 58 Hình 3.2. Kiến trúc hệ thống nhận dạng mặt đất đề xuất .............................................. 60 Hình 3.3. Thuật toán Lọc và gom nhóm ........................................................................ 61 Hình 3.4. Thuật toán Tinh chỉnh vùng mặt đất ............................................................. 64 Hình 3.5. Các bản đồ gradient của hình ảnh trong thư viện Middlebury được thử nghiệm. ....................................................................................................................................... 66 Hình 3.6. Kết quả nhận dạng mặt đất của hình ảnh thử nghiệm trong nhiều trường hợp điển hình với các giá trị B. ............................................................................................ 66 Hình 3.7. Kết quả của các hình ảnh được thử nghiệm trong nhiều môi trường. ........... 68 Hình 3.8. Tỷ lệ các điểm mặt đất được phát hiện trước khi quá trình hiệu chỉnh theo các kích thước cửa sổ w ....................................................................................................... 69 Hình 3.9. Tỷ lệ điểm mặt đất được phát hiện sau quá trình hiệu chỉnh theo các kích thước khối B với cửa sổ w = 3 3 ............................................................................................. 69 Hình 3.10. Tỷ lệ điểm mặt đất được phát hiện sau quá trình hiệu chỉnh theo các kích thước khối B với cửa sổ w = 5  5 .................................................................................. 69 Hình 3.11. Tỷ lệ điểm mặt đất được phát hiện sau quá trình hiệu chỉnh theo các kích thước khối B với cửa sổ w = 7  7 .................................................................................. 70 xiii Hình 3.12. Đường cong biến đổi của R và đường ngưỡng tương ứng θ trong bản đồ gradient độ sâu sau khi phân chia khối. ......................................................................... 71 Hình 3.13. Sơ đồ khối hệ thống trích mặt đất từ dữ liệu độ sâu cung cấp bởi máy ảnh RGB-D ........................................................................................................................... 73 Hình 3.14. Các thông số hình học của Kinect [93] ....................................................... 74 Hình 3.15. Kết quả của các hình ảnh được thử nghiệm trong nghiên cứu điển hình. ... 78 Hình 3.16. Tỷ lệ điểm mặt đất được phát hiện đúng R1 theo kích thước cửa sổ làm mịn B..................................................................................................................................... 79 Hình 3.17. Tỷ lệ điểm mặt đất lỗi theo các kích thước cửa sổ làm mịn B. ................... 80 Hình 3.18. So sánh tỷ lệ điểm mặt đất được phát hiện đúng (R1) của các phương pháp. ....................................................................................................................................... 80 Hình 3.19. So sánh tỷ lệ điểm mặt đất được phát hiện sai (R2) của các phương pháp . 80 Hình 4.1. Mô hình rô-bốt sử dụng hệ thống dẫn đường dựa trên thị giác máy tính ...... 84 Hình 4.2. (a) Các thành phần của Kinect và (b) Phạm vi không gian độ sâu [94] ........ 84 Hình 4.3. Mô hình toán học để tính toán kích thước của điểm sâu ............................... 84 Hình 4.4. Sơ đồ khối phương pháp dẫn đường dựa trên bản đồ độ sâu ........................ 85 Hình 4.5. Mô hình toán học cơ bản lựa chọn hướng di chuyển của rô-bốt ................... 86 Hình 4.6. Mô hình toán học cải tiến lựa chọn hướng di chuyển của rô-bốt .................. 88 Hình 4.7. Thuật toán điều hướng cải thiện dựa trên bản đồ độ sâu cho rô-bốt trong nhà ....................................................................................................................................... 89 Hình 4.8. Hệ thống xe rô-bốt thử nghiệm ..................................................................... 90 Hình 4.9. Kết quả thử nghiệm chiến thuật dẫn đường cơ bản ....................................... 91 Hình 4.10. Theo dõi vị trí rô-bốt theo chiến thuật điều hướng cơ bản .......................... 92 Hình 4.11. Kết quả thuật toán điều hướng cải tiến ........................................................ 95 Hình 4.12. Theo dõi vị trí rô-bốt theo chiến thuật điều hướng cải tiến ......................... 96 xiv MỞ ĐẦU 1. Tính cấp thiết của luận án Một xã hội phát triển được đánh giá theo nhiều khía cạnh. Một trong những yếu tố quan trọng là khả năng hỗ trợ, bảo vệ, nâng cao chất lượng sống những cá nhân bị tổn thương như người già, người khiếm thị. Theo báo cáo của Tổ chức Y tế Thế giới, trên toàn cầu, ước tính có khoảng 1,3 tỷ người sống với một số dạng suy giảm thị lực. Có 188,5 triệu người bị suy giảm thị lực nhẹ, 217 triệu người bị suy giảm thị lực từ trung bình đến nặng và 36 triệu người bị mù [1]. Liên quan đến tầm nhìn gần, 826 triệu người sống trong tình trạng suy giảm thị lực gần [2]. Trên toàn cầu, các nguyên nhân hàng đầu gây suy giảm thị lực là các tật khúc xạ và đục thủy tinh thể không được điều trị. Khoảng 80% của tất cả các suy giảm thị lực trên toàn cầu được coi là có thể tránh được. Phần lớn những người bị suy giảm thị lực là trên 50 tuổi. Như vậy nhu cầu về các thiết bị hỗ trợ cho điều hướng và định hướng là rất cao và tăng lên khi mức sống ngày càng cao. Có rất nhiều công cụ đang được sử dụng như gậy dò đường hoặc sử dụng chó được huấn luyện dẫn đường. Mặc dù các công cụ này rất phổ biến, nhưng chúng không thể cung cấp cho người khiếm thị tất cả thông tin và tính năng để di chuyển an toàn. Nhờ những thành tựu của mạch tích hợp, ý tưởng sử dụng máy ảnh thị giác có cấu trúc như mắt người tỏ ra có tiềm năng hỗ trợ tìm đường. Máy ảnh còn có ưu thế cung cấp đầy đủ thông tin môi trường xung quanh cá nhân. Trong những năm gần đây, các thảm họa gây nhiều thiệt hại về người và vật chất xảy ra tại các đô thị bởi yếu tố đặc trưng mật độ dân cư cao và nhiều nhà cao tầng. Công tác tiếp cận khu vực khảo sát đối mặt với nhiều thách thức bởi môi trường này tiềm ẩn nhiều yếu tố nguy hiểm như rò rỉ khí ga, khói, … Các nghiên cứu gần đây có định hướng đề xuất giải pháp thay thế con người bằng xe rô-bốt tự dẫn đường. Thách thức là làm thế nào rô-bốt làm việc được chính xác ổn định và kịp thời trong môi trường không lường trước và có thể biến đổi. Có rất nhiều phương pháp dẫn đường đã được thử nghiệm nhưng trong thời gian gần đây nổi lên là phương pháp dẫn đường bằng máy ảnh thị giác với nhiều hy vọng hỗ trợ được tối đa các yêu cầu trong khảo sát môi trường văn phòng tòa nhà. Ngoài ra, xe rô bốt hoàn toàn có thể trở thành trợ lý của con người trong việc chuyển phát hoặc nhận hàng hóa, tài liệu cứng trong một khu vực tổ hợp văn phòng hoặc trong kho phân phối chuyển phát kiện hàng. xv Gần đây rất nhiều nhóm nhà khoa học đang tập trung nghiên cứu và phát triển các hệ thống rô-bốt tự trị tích hợp máy ảnh. Xu hướng phát triển công nghệ là tích hợp các cảm biến ảnh mạnh mẽ như máy ảnh nổi hoặc máy ảnh màu Đỏ Lục Dương-Độ sâu (RGB-D). Trong đó việc nghiên cứu giải thuật xử lý tín hiệu ảnh thị giác có vai trò quan trọng trong toàn hệ thống. Dựa trên hình ảnh thu nhận trong hiện trường cho phép xác định được chính xác đầy đủ đa vật cản, đa mục tiêu. Lợi thế vượt trội của hệ máy ảnh thị giác là cung cấp hình ảnh sinh động và giàu có thông tin cho người giám sát . Tình hình nghiên cứu thuật toán xử lý tín hiệu ảnh ứng dụng trong rô-bốt tự trị trong nhà không biết trước môi trường chưa được sự quan tâm xứng đáng với vai trò quan trọng của nó. Nguyên nhân chủ yếu là việc định hướng nghiên cứu chưa được hoạch định ở tầm vĩ mô. Nếu điều này được xây dựng một cách bài bản thì sẽ khuyến khích có nhiều nhà khoa học, các nghiên cứu sinh, kỹ sư … tham gia bởi tính ứng dụng thiết thực đến nhiều lĩnh vực trong đời sống xã hội. Mặc dù xử lý tín hiệu máy ảnh là một khoa học ứng dụng đóng vai trò đặc biệt quan trọng cho sự phát triển của các hệ thống giám sát, cứu hộ, hỗ trợ bệnh nhân người già và người khiếm thị. Nhưng do đặc thù của lĩnh vực nghiên cứu là đòi hỏi có những kiến thức cơ bản về toán học và logic vững vàng, nên có nhiều khó khăn đối với nhiều nhà nghiên cứu. Cho nên số lượng các bài báo, các công trình khoa học có liên quan được công bố trên các tạp chí khoa học, báo khoa học ở trong nước còn hạn chế. Ngoài nhóm nghiên cứu của Viện Điện tử Viễn thông, trường Đại học Bách Khoa Hà Nội, ở trong các trường đại học, các viện khoa học vẫn có những nhóm nghiên cứu thực hiện các đề tài, dự án nghiên cứu khoa học như Khoa Điện tử - Viễn thông, Trường đại học Công nghệ, Đại học Quốc Gia Hà Nội, Học viện kỹ thuật quân sự, Khoa Điện tử - Viễn thông, Trường Đại học Bách Khoa thành phố Hồ Chí Minh và một số trường đại học, viện nghiên cứu khác. Các nghiên cứu hiện nay hứa hẹn sẽ giải quyết được vấn đề hiệu năng và tính chính xác hệ thống, có tính ứng dụng cao trong tương lai. Nhưng riêng đối với những nghiên cứu phát triển thuật toán xử lý tín hiệu máy ảnh ứng dụng trong hệ thống thị giác rô-bốt dẫn đường trong nhà còn tiềm năng. Nguyên nhân một phần do điều kiện nghiên cứu thực nghiệm còn nhiều hạn chế nên cho đến nay số lượng các công trình nghiên cứu liên quan được công bố trong các tạp chí, hội thảo khoa học trong nước còn khá hạn chế. Sau đây là một số phân tích môi trường đặc trưng môi trường hoạt động trong nhà của xe rô-bốt. Bằng cách quan sát thực tế, tính chất chung của chúng là được xây dựng là phẳng hoặc gồm các mảng phẳng lớn ghép lại với nhau. Các đồ đạc trong phòng được xvi sắp xếp và có thể thay đổi vị trí tùy ý bất kỳ lúc nào. Các đồ đạc bị xê dịch hoặc xáo trộn hoặc đổ xuống sàn. Nên khó có thể sử dụng được bản đồ xây dựng sẵn có của tòa nhà hoặc có thể chúng chưa được số hóa theo chuẩn của hệ xe rô-bốt. Vậy trường hợp phổ quát xe rô-bốt làm việc môi trường trong nhà không biết trước. Một điều hiển nhiên xe rô-bốt với cơ cấu chấp hành bánh xe chỉ có thể di chuyển trên mặt sàn hoặc gọi là mặt đất. Vậy vấn đề dẫn đường có thể được giải quyết bằng cách chỉ ra cho hệ xe rô-bốt đâu là mặt đất và phi đất sử dụng hệ thống cảm biến máy ảnh thị giác. Bản chất mặt đất là một trong những mặt phẳng xuất hiện trong ảnh. Ngoài ra còn có các mặt phẳng khác tạo nên hình dạng của các đối tượng như tường, bàn, ghế, tủ…Các đối tượng này được quan tâm khi yêu cầu xe rô-bốt có nhiệm vụ thu thập dữ liệu để phân tích cấu trúc môi trường. Thực tế đây cũng là tính năng cơ bản của xe rô-bốt trong bài toán khảo sát môi trường, giúp tái tạo cảnh vật dạng 3D. Như vậy, nhằm khai thác hiệu quả hệ máy ảnh thị giác gắn trên xe rô-bốt các vấn đề thiết yếu đặt ra gồm: 1. Trích xuất mặt phẳng từ dữ liệu cung cấp bởi máy ảnh thị giác nổi hoặc RGBD. Bài toán này hỗ trợ phát triển ứng dụng tái tạo lại môi trường dạng 3D. 2. Nhận dạng mặt đất dựa trên việc khai thác dữ liệu máy ảnh thị giác nổi hoặc RGB-D. 3. Ứng dụng nhận dạng mặt đất trong bài toán dẫn đường cho xe rô-bốt hoạt động trong nhà trong điều kiện không có bản đồ giao thông. Sau đây là phân tích sâu hơn tính cấp thiết của 3 vấn đề trên. 1.1. Trích trọn mặt phẳng Trong lĩnh vực thị giác máy tính, phát hiện mặt phẳng là một trong những ứng dụng cơ bản để khai thác sâu dữ liệu thị giác bao gồm ứng dụng tái kiến trúc môi trường 3D, nhận dạng đối tượng và điều hướng rô-bốt. Nghiên cứu gần đây cho thấy một số kết quả thú vị với các thuật toán khác nhau. Những phương pháp tiếp cận này có thể lựa chọn một trong nhiều loại dữ liệu đầu vào phong phú như đám mây điểm 3D, hình ảnh màu đơn hoặc bản đồ chênh lệch. Trong [3], các tác giả kết hợp một cải tiến thuật toán biến đổi Hough với kỹ thuật bó cụm để tìm kiếm nhiều mục tiêu trong ảnh dựa trên biên của đối tượng. Phương pháp này có thể phát hiện nhiều đối tượng với hình dạng tròn hoặc hình dạng thẳng. Tuy nhiên, cấu trúc của các đối tượng được trích chọn khá đơn giản. Vì vậy, các thuật toán ứng dụng không thể thích ứng với môi trường tự nhiên, xvii trong đó hầu hết hình dáng của các vật thể đều được hình thành bởi rất nhiều mặt phẳng. Công trình [4] đề xuất một phương pháp tiếp cận thực tế hơn bằng cách giải quyết vấn đề tìm kiếm mặt phẳng dựa trên thuật toán chuyển đổi 3D Hough áp dụng cho đám mây điểm 3D. Sự đóng góp xuất sắc chính là cải thiện sự phức tạp của phép chuyển đổi Hough trong hệ tọa độ của không gian ba chiều. Các kết quả trải nghiệm được đánh giá là tích cực lạc quan nhưng rõ ràng là mục đích đáp ứng thời gian thực vẫn chưa đạt được. Các nội dung trong [5] [6] [7] mang đến một cách tiếp cận mới để phát hiện các mặt phẳng bằng cách cải thiện thuật toán Đồng thuận lấy mẫu ngẫu nhiên (RANSAC). Ngoài ra giải pháp phối hợp với giải thuật khác như Độ dài mô tả tối thiểu (MDL) để cải thiện độ tin cậy của các kết quả được thử nghiệm. [8] [9] giải quyết bài toán hẹp phát hiện mặt bàn với thuật toán đề xuất PROSAC bằng cách cải thiện RANSAC. Nhìn chung, các công trình đã có một số kết quả đáng khích lệ cho cả hai loại dữ liệu tổng hợp và dữ liệu thu thập trong thực tế. Phương pháp này có thể tránh việc phát hiện mặt phẳng sai do độ phức tạp hình học cao của dữ liệu 3D. Nhưng sau đó sự phức tạp của dữ liệu của cấu trúc là không được quan tâm thích đáng. Trong công trình [10], mặt phẳng ngang được phát hiện từ các điểm đầu mối của hình ảnh trực quan hoặc phát hiện từ biên trong dữ liệu điểm 3D. Tuy nhiên, những phương pháp này không thích hợp cho hầu hết các loại cấu trúc xây dựng trên thực tế. Giải pháp tìm mặt phẳng được trình bày trong [11] căn cứ trên giải pháp Tối ưu hạt Swarm (PSO) kèm với thuật toán Phát triển vùng (RG) để trích chọn các mặt phẳng nhỏ. Song trong nhận định kết quả của giải pháp này thì có nhiều ý kiến là cần phải thảo luận thêm về khả năng giảm chi phí tính toán và cải thiện độ chính xác. Tất cả các phương pháp tiếp cận được đề cập ở trên đều lựa chọn dữ liệu đầu vào 3D phức tạp. Gần đây, các bài viết [12] [13] [14] công bố phát hiện bất kỳ loại bề mặt nào mà không cần hiệu chuẩn máy ảnh bằng cách giả định máy ảnh gắn trên xe tự hành luôn chuyển động tuyến tính. Các bề mặt phẳng được tham số hóa bằng cách chuyển chúng thành không gian vận tốc c có dạng pa-ra-bôn [12]. Tác giả đề xuất phương pháp phát hiện mặt phẳng mà khai thác ràng buộc đường cong vận tốc ISO sau khi ước tính luồng quang học và bỏ phiếu cho các bộ tích lũy. Hàm vận tốc c phụ thuộc vào hai biến x và y với mối quan hệ gốc bình phương vì vậy nó có độ phức tạp quá cao. Bản thảo [14] đưa ra một số kết quả lạc quan và cần được phát triển hoàn thiện hơn nữa. Các phương pháp ứng dụng thú vị [15] [16] có thể nhanh chóng phát hiện nhiều mặt phẳng dựa trên một bản đồ chiều sâu thu được từ máy ảnh Kinect. Thuật toán được áp dụng trong giải pháp tính véc tơ pháp tuyến cục bộ của các nhóm bốn điểm liền kề xviii