Tài liệu Nghiên cứu và phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN QUỐC HÙNG NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Hà Nội − 2016 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN QUỐC HÙNG NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ Chuyên ngành: Khoa học Máy tính Mã số chuyên ngành: 62480101 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. TS. Trần Thị Thanh Hải 2. PGS.TS. Nguyễn Quang Hoan Hà Nội −2016 LỜI CAM ĐOAN Tôi xin cam đoan luận án: “Nghiên cứu phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị” là công trình nghiên cứu của riêng tôi. Một phần các số liệu, kết quả trình bày trong luận án là trung thực, đã được công bố trên các tạp chí khoa học chuyên ngành, kỷ yếu hội nghị khoa học trong nước và quốc tế. Phần còn lại của luận án chưa được công bố trong bất kỳ công trình nghiên cứu trong và ngoài nước. Hà Nội, ngày 20 tháng 7 năm 2016 NGHIÊN CỨU SINH Nguyễn Quốc Hùng TẬP THỂ HƯỚNG DẪN KHOA HỌC TS. Trần Thị Thanh Hải PGS.TS. Nguyễn Quang Hoan i LỜI CẢM ƠN Luận án tiến sĩ được thực hiện tại Viện Nghiên cứu Quốc tế MICA, trường Đại học Bách khoa Hà Nội dưới sự hướng dẫn khoa học của TS. Trần Thị Thanh Hải và PGS.TS. Nguyễn Quang Hoan. Nghiên cứu sinh xin bày tỏ lòng biết ơn sâu sắc tới các thầy, cô về định hướng khoa học trong suốt quá trình nghiên cứu. Nghiên cứu sinh xin được trân trọng cảm ơn các nhà khoa học, tác giả các công trình công bố đã được trích dẫn và cung cấp nguồn tư liệu quý báu trong quá trình hoàn thành luận án. Nghiên cứu sinh xin trân trọng cảm ơn Viện Nghiên cứu Quốc tế đa phương tiện MICA; Viện Đào tạo sau Đại học Trường Đại học Bách Khoa Hà Nội; GS.TS. Phạm Thị Ngọc Yến; GS.TS. Eric Castelli; đề tài KHCN tiềm năng mã số: KC.01.TN19/11-15, đề tài VLIR mã số: ZEIN2012RIP19; đề tài hợp tác Việt - Bỉ mã số: FWO.102.2013.08; Quỹ phát triển KH&CN quốc gia Việt Nam; Trường THCS Nguyễn Đình Chiểu Hà Nội; nhóm nghiên cứu IPI Đại học GENT Vương quốc Bỉ...đã tạo điều kiện thuận lợi về thời gian, địa điểm thực tập, trang thiết bị, hỗ trợ về mặt nhân lực để NCS thực hiện việc thu thập dữ liệu, thực nghiệm các kết quả nghiên cứu. Cuối cùng nghiên cứu sinh xin bày tỏ sự biết ơn tới Ban giám hiệu Trường Cao đẳng Y tế Thái Nguyên; gia đình và đồng nghiệp đã động viên khích lệ, tạo mọi điều kiện thuận lợi để NCS yên tâm công tác và học tập. Hà Nội, ngày 20 tháng 7 năm 2016 NGHIÊN CỨU SINH Nguyễn Quốc Hùng ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC vi DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT vii DANH MỤC CÁC BẢNG ix DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ xv MỞ ĐẦU 1 1 TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP NGƯỜI KHIẾM THỊ 1.1 Đặt vấn đề . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Các nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . . . . . . 4 4 4 1.2.1 Các nghiên cứu trên thế giới . . . . . . . . . . . . . . . . . . . . 1.2.1.1 Siêu âm . . . . . . . . . . . . . . . . . . . . . . . . . . 4 5 1.2.1.2 1.2.1.3 1.2.1.4 Hồng ngoại . . . . . . . . . . . . . . . . . . . . . . . . Laser . . . . . . . . . . . . . . . . . . . . . . . . . . . Camera . . . . . . . . . . . . . . . . . . . . . . . . . . 7 7 7 1.2.1.5 Đa cảm biến . . . . . . . . . . . . . . . . . . . . . . . Các nghiên cứu trong nước . . . . . . . . . . . . . . . . . . . . . 9 10 1.2.3 Thảo luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3 Mục tiêu nghiên cứu và phương pháp đề xuất . . . . . . . . . . . . . . 1.3.1 Mục tiêu và phạm vi nghiên cứu . . . . . . . . . . . . . . . . . . 11 12 12 1.3.2 Phương pháp đề xuất . . . . . . . . . . . . . . . . . . . . . . . . 1.4 Kết luận chương 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 13 2 BIỂU DIỄN MÔI TRƯỜNG VÀ ĐỊNH VỊ 2.1 Giới thiệu chung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 14 2.2 Những nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . . . . 2.2.1 Hướng tiếp cận sử dụng bản đồ số liệu . . . . . . . . . . . . . . 15 15 1.2.2 2.2.2 2.2.3 2.2.4 Hướng tiếp cận sử dụng bản đồ topo . . . . . . . . . . . . . . . Hướng tiếp cận lai . . . . . . . . . . . . . . . . . . . . . . . . . Thảo luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii 17 19 21 2.3 Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường . . . . . . . 22 2.4 Phương pháp xây dựng bản đồ môi trường . . . . . . . . . . . . . . . . 2.4.1 Xây dựng bản đồ số liệu . . . . . . . . . . . . . . . . . . . . . . 2.4.1.1 Phương pháp đo hành trình bằng hình ảnh sử dụng mô 23 23 hình không chắc chắn . . . . . . . . . . . . . . . . . . Thích nghi VO cho môi trường trong nhà . . . . . . . 24 27 2.4.1.2 2.4.2 Xây dựng bản đồ topo . . . . . . . . . . . . . . . . . . . . . . . 29 2.4.2.1 Giải thuật FAB-MAP . . . . . . . . . . . . . . . . . . 30 2.4.2.2 Thích nghi và cải thiện FAB-MAP xây dựng bản đồ topo 39 2.4.3 Bổ sung thông tin đối tượng vật cản tĩnh trên bản đồ . . . . . . 2.5 Phương pháp định vị . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 44 2.6 Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.6.1 Môi trường đánh giá . . . . . . . . . . . . . . . . . . . . . . . . 2.6.2 Thu thập dữ liệu đánh giá . . . . . . . . . . . . . . . . . . . . . 45 45 46 2.6.2.1 Hệ thống thu thập dữ liệu . . . . . . . . . . . . . . . . 2.6.2.2 Thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . . Kết quả đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . 46 47 48 2.6.3.1 2.6.3.2 Đánh giá phương pháp xây dựng bản đồ số liệu . . . . Đánh giá phương pháp định vị hình ảnh . . . . . . . . 48 53 2.7 Kết luận chương 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 3 PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN 3.1 Định nghĩa bài toán và các thách thức . . . . . . . . . . . . . . . . . . 3.2 Những nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . . . . 60 60 61 2.6.3 3.2.1 Các phương pháp sử dụng 01 camera . . . . . . . . . . . . . . . 3.2.1.1 Hướng nghiên cứu sử dụng stereo camera . . . . . . . 61 62 3.2.1.2 Hướng nghiên cứu sử dụng cảm biến Kinect . . . . . . 3.2.1.3 Phân tích và đánh giá các phương pháp . . . . . . . . 3.3 Đề xuất phương pháp phát hiện và ước lượng khoảng cách . . . . . . . 64 65 66 3.4 Phát hiện vật cản . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4.1 Phát hiện vật cản cố định . . . . . . . . . . . . . . . . . . . . . 67 67 3.4.1.1 3.4.1.2 3.4.1.3 Đối sánh các điểm đặc trưng . . . . . . . . . . . . . . Phát hiện vật cản từ kết quả đối sánh . . . . . . . . . Xác định vùng chứa đối tượng . . . . . . . . . . . . . . 68 71 74 Phát hiện vật cản động . . . . . . . . . . . . . . . . . . . . . . . 3.4.2.1 Trích chọn đặc trưng HoG . . . . . . . . . . . . . . . . 3.4.2.2 Bộ phân loại SVM . . . . . . . . . . . . . . . . . . . . 75 75 76 3.5 Uớc lượng khoảng cách vật cản . . . . . . . . . . . . . . . . . . . . . . 3.5.1 Nguyên lý ước lượng khoảng cách . . . . . . . . . . . . . . . . . 77 77 3.4.2 iv 3.5.2 Xây dựng bản đồ chênh lệch . . . . . . . . . . . . . . . . . . . . 79 3.5.2.1 3.5.2.2 3.5.2.3 Thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . . Hiệu chỉnh hình ảnh . . . . . . . . . . . . . . . . . . . Đối sánh hình ảnh . . . . . . . . . . . . . . . . . . . . 80 80 84 3.5.2.4 Tính toán độ sâu . . . . . . . . . . . . . . . . . . . . . 3.6 Kết quả đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 88 3.6.1 3.6.2 3.6.3 Xây dựng cơ sở dữ liệu vật cản . . . . . . . . . . . . . . . . . . Đánh giá giải thuật phát hiện đối tượng . . . . . . . . . . . . . Đánh giá giải thuật ước lượng khoảng cách vật cản . . . . . . . 88 90 93 3.7 Kết luận chương 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 4 PHÁT TRIỂN VÀ THỬ NGHIỆM HỆ THỐNG DẪN ĐƯỜNG 4.1 Hệ thống tích hợp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.1.1 Tích hợp phần cứng . . . . . . . . . . . . . . . . . . . . . . . . 99 99 99 4.1.2 Kiến trúc tổng thể . . . . . . . . . . . . . . . . . . . . . . . . . 101 4.2 Phát triển hệ thống dẫn đường sử dụng robot . . . . . . . . . . . . . . 102 4.2.1 4.2.2 Tìm đường cho robot . . . . . . . . . . . . . . . . . . . . . . . . 102 Điều khiển robot . . . . . . . . . . . . . . . . . . . . . . . . . . 103 4.2.2.1 Điều khiển trực tiếp dựa trên đường đi xác định . . . . 103 4.2.2.2 Điều khiển theo dự báo và hiệu chỉnh vị trí của bộ lọc Kalman . . . . . . . . . . . . . . . . . . . . . . . . . . 105 4.2.3 Tương tác người-robot . . . . . . . . . . . . . . . . . . . . . . . 111 4.3 Thử nghiệm và đánh giá hệ thống dẫn đường . . . . . . . . . . . . . . 112 4.3.1 Môi trường và quy trình thử nghiệm . . . . . . . . . . . . . . . 112 4.3.1.1 4.3.1.2 4.3.2 Môi trường thử nghiệm . . . . . . . . . . . . . . . . . 112 Quy trình thử nghiệm . . . . . . . . . . . . . . . . . . 115 Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . 116 4.3.2.1 Đánh giá khả năng xác định vị trí xuất phát của robot 116 4.3.2.2 Đánh giá khả năng điều khiển robot . . . . . . . . . . 117 4.3.2.3 4.3.2.4 Đánh giá khả năng tương tác người-robot . . . . . . . 119 Đánh giá hệ thống dẫn đường trợ giúp NKT bằng robot 121 4.3.3 Bàn luận hệ thống robot dẫn đường . . . . . . . . . . . . . . . . 130 4.4 Kết luận chương 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 133 TÀI LIỆU THAM KHẢO 136 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN 148 PHỤ LỤC 151 v A MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG 151 A.1 Đặc trưng Harris Corner . . . . . . . . . . . . . . . . . . . . . . . . . . 151 A.2 Đặc trưng SIFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 A.3 Đặc trưng SURF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 A.4 Đặc trưng GIST . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 A.5 Đặc trưng HoG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 A.6 Đặc trưng Haar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 B ĐÁNH GIÁ HIỆU NĂNG NHẬN DẠNG TRÊN MỘT SỐ CSDL 173 B.1 Giới thiệu 3 CSDL thử nghiệm . . . . . . . . . . . . . . . . . . . . . . 173 B.2 Khung nhận dạng đối tượng tổng quát . . . . . . . . . . . . . . . . . . 177 B.3 Độ đo đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 B.4 Kết quả đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 C THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU 188 C.1 Xe camera thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . 188 C.2 Hiệu chỉnh camera góc rộng . . . . . . . . . . . . . . . . . . . . . . . . 191 C.3 Robot PC-Bot914 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193 vi DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT TT 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 Viết tắt AM AP BOW CSDL ED FAB-MAP FLANN FN FP GPS HOG HSI KF KH&CN k-NN LASER LATS LIDAR MICA MUT NCS NĐC NKT PUT RANSAC RFID RGB RMSE SAD SIFT SLAM SURF SVM TP TQB VO WIFI Nghĩa đầy đủ (tiếng Việt/tiếng Anh) Appearance based Mapping Average Precision Bag of Words Cơ sở dữ liệu Euclidean Distance Fast Appearance Based Mapping Fast Library for Approximate Nearest Neighbors False Negative False Positive Global Positioning System Histogram of Oriented Gradients Hue Saturation and Intensity Kalman Filter Khoa học và Công nghệ K-Nearest Neighbors Light Amplification by Stimulated Emission of Radiation Luận án tiến sĩ Light Detection And Ranging Multimedia, Information, Communication & Applications Motion Uncertainty Tetragon Nghiên cứu sinh Nguyễn Đình Chiểu Người khiếm thị Perspective Uncertainty Tetragons RANdom SAmple Consensus Radio Frequency Identification Red Green and Blue Root Mean Square Error Sum of Absolute Differences Scale Invariant Feature Transforms Simultaneous Localization and Mapping Speeded Up Robust Features Support Vector Machine True Positive Tạ Quang Bửu Visual Odometry Wireless Fidelity vii DANH MỤC CÁC BẢNG Bảng 2.1 Bảng tổng hợp thông tin về 03 môi trường thử nghiệm . . . . . . 46 Bảng 2.2 Tốc độ lấy mẫu (fps) của các camera tại các môi trường thử nghiệm 47 Bảng 2.3 Dữ liệu thu thập tại E1:NĐC . . . . . . . . . . . . . . . . . . . . 47 Bảng 2.4 Dữ liệu thu thập tại E2:TQB . . . . . . . . . . . . . . . . . . . . 47 Bảng 2.5 Dữ liệu thu thập tại E3:MICA . . . . . . . . . . . . . . . . . . . 47 Bảng 2.6 Kết quả đánh giá RMSE tại E1:NĐC . . . . . . . . . . . . . . . . 48 Bảng 2.7 Kết quả đánh giá độ sai số tiêu chuẩn RMSE tại E2:TQB . . . . 50 Bảng 2.8 Kết quả đánh giá độ sai số tiêu chuẩn RMSE tại E3:MICA . . . . 52 Bảng 2.9 So sánh khả năng định vị của giải thuật FAB-MAP* tại E1:NĐC 54 Bảng 2.10 Kết quả đánh giá so sánh giải thuật định vị FAB-MAP* tại E2:TQB 56 Bảng 2.11 Kết quả đánh giá so sánh giải thuật định vị FAB-MAP* tại E3:MICA 57 Bảng 3.1 Kết quả thu nhận dữ liệu khung cảnh/đường đi phục vụ đánh giá 88 Bảng 3.2 Thu thập dữ liệu đánh giá phát hiện và ước lượng khoảng cách vật cản . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 Bảng 3.3 Kết quả phát hiện đối tượng theo phương pháp đề xuất . . . . . 91 Bảng 3.4 Kết quả phát đánh giá so sánh với phương pháp Haar-AdaBoost 91 Bảng 3.5 Kết quả dự đoán độ sai số ước lượng khoảng cách vật cản . . . . 93 Bảng 4.1 Danh sách tham gia thử nghiệm dẫn đường tại E1:NĐC . . . . . 112 Bảng 4.2 Danh sách tham gia đánh giá hệ thống dẫn đường tại E2:TQB Bảng 4.3 Danh sách tham gia đánh giá hệ thống dẫn đường tại E3:MICA . 114 Bảng 4.4 Kết quả đánh giá điểm xuất phát của robot . . . . . . . . . . . . 117 Bảng 4.5 Kết quả đánh giá vai trò lọc Kalman trong điều khiển robot . . . 118 Bảng 4.6 Kết quả sai số định vị sử dụng sai số trung vị . . . . . . . . . . . 118 viii . 113 Bảng 4.7 Kết quả sai số định vị sử dụng sai số trung bình . . . . . . . . . . 119 Bảng 4.8 Bảng câu hỏi phỏng vấn trước và sau khi sử dụng hệ thống . . . 119 Bảng 4.9 Tổng hợp kết quả tần số rung (Hz) phản hồi thông tin môi trường 121 Bảng 4.10 Kết quả đánh giá độ sai số RMSE khi robot chuyển động tịnh tiến 122 Bảng 4.11 Kết quả đánh giá hiệu năng robot dẫn đường chuyển động tịnh tiến122 Bảng 4.12 Kết quả đánh giá robot dẫn đường chuyển động tịnh tiến . . . . 123 Bảng 4.13 Kết quả đánh giá độ sai số RMSE với kịch bản robot chuyển động tịnh tiến và quay tại E1:NĐC . . . . . . . . . . . . . . . . . . . . . . . 123 Bảng 4.14 Kết quả robot dẫn đường chuyển động quay và tịnh tiến tại E1:NĐC124 Bảng 4.15 Đánh giá các lần thử nghiệm hệ thống dẫn đường tại E1:NĐC . . 125 Bảng 4.16 Kết quả sai số RMSE robot phát hiện vật cản xuất hiện bất ngờ tại E1:NĐC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 Bảng 4.17 Kết quả đánh giá hiệu năng dẫn đường robot phát hiện vật cản . 126 Bảng 4.18 Kết quả đánh giá robot dẫn đường chuyển động quay và tịnh tiến 127 Bảng 4.19 Kết quả đánh giá độ sai số RMSE tại E2:TQB . . . . . . . . . . 127 Bảng 4.20 Kết quả đánh giá hiệu năng dẫn đường robot tại E2:TQB . . . . 128 Bảng 4.21 Tổng hợp kết quả robot dẫn đường tại E2:TQB . . . . . . . . . . 129 Bảng 4.22 Kết quả đánh giá độ sai số RMSE tại E3:MICA . . . . . . . . . . 129 Bảng 4.23 Kết quả đánh giá hiệu năng dẫn đường của robot tại E3:MICA . 129 Bảng 4.24 Tổng hợp kết quả robot dẫn đường tại E3:MICA . . . . . . . . . 130 Bảng 4.25 Bảng tổng hợp thông số kỹ thuật . . . . . . . . . . . . . . . . . . 131 Bảng B.1 Quy định thang tính điểm phần thi nhận dạng RobotVision2013 182 Bảng B.2 Kết quả nhận dạng tượng CSDL Naiscorp 2012 . . . . . . . . . . 183 Bảng B.3 Kết quả điểm nhận dạng đối tượng CSDL Robot Vision 2013 . . 185 ix DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ Hình 1.1 Các thành phần chính của hệ thống đề xuất Robot trợ giúp NKT 13 Hình 2.1 Mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa . 22 Hình 2.2 Minh họa di chuyển của robot với vận tốc v và góc lái α . . . . . 24 Hình 2.3 Các bước giải thuật đo hành trình bằng thông tin hình ảnh VO . 25 Hình 2.4 Một số trường hợp lỗi tích lũy khi xây dựng bản đồ . . . . . . . . 26 Hình 2.5 Một số cấu trúc mặt nền thử nghiệm thuật toán VO . . . . . . . 27 Hình 2.6 Tạo các điểm đánh dấu dọc hành trình . . . . . . . . . . . . . . . 28 Hình 2.7 Minh họa số điểm đặc trưng phát hiện trên mặt sàn . . . . . . . . 28 Hình 2.8 Minh họa phương pháp thử nghiệm khi tạo các mẫu đánh dấu . . 29 Hình 2.9 Các bước của giải thuật FAB-MAP [29] . . . . . . . . . . . . . . 30 Hình 2.10 Xây dựng từ điển và biểu diễn quan sát theo mô hình túi từ . . . 32 Hình 2.11 Một số những thách thức khi nhận dạng vị trí trong môi trường . 33 Hình 2.12 Cây nhị phân Chow liu theo hướng đồ thị có hướng . . . . . . . . 34 Hình 2.13 Biểu diễn các quan sát cùng xuất hiện tại một thời điểm . . . . . 34 Hình 2.14 Biểu diễn vị trí Li thành phần quan sát eq và quan sát có nhiễu zq 35 Hình 2.15 Xác định khung cảnh phân biệt: (a) Chuỗi hình ảnh khung cảnh; (b) Khung cảnh đại diện . . . . . . . . . . . . . . . . . . . . . . . . . . 40 Hình 2.16 Xác định các khung cảnh có cấu trúc giống nhau . . . . . . . . . 41 Hình 2.17 Minh họa các bước trích chọn đặc trưng GIST . . . . . . . . . . . 42 Hình 2.18 Minh họa kết quả loại bỏ khung cảnh có cấu trúc giống nhau . . 42 Hình 2.19 Minh họa các bước thực hiện giải thuật FAB-MAP* . . . . . . . . 43 Hình 2.20 Minh họa bước thực hiện cập nhật điểm mốc quan trọng . . . . . 44 Hình 2.21 Mô hình định vị sử dụng thông tin hình ảnh sử dụng robot . . . . 45 x Hình 2.22 Hệ thống thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . . . 46 Hình 2.23 Biểu đồ so sánh RMSE giữa VO và VO* tại E1:NĐC . . . . . . . 49 Hình 2.24 Minh họa giá trị ngưỡng θV O quyết định số điểm đặc trưng . . . . 49 Hình 2.25 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E1:NĐC . . . . 50 Hình 2.26 Biểu đồ so sánh RMSE giữa VO và VO* tại E2:TQB . . . . . . . 51 Hình 2.27 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E2:TQB . . . . 51 Hình 2.28 Biểu đồ so sánh sai số RMSE giữa VO và VO* tại E3:MICA . . . 52 Hình 2.29 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E3:MICA . . . 53 Hình 2.30 Biểu đồ so sánh giải thuật định vị FAB-MAP* tại E1:NĐC . . . . 55 Hình 2.31 Minh họa kết quả định vị FAB-MAP* tại E1:NĐC . . . . . . . . 55 Hình 2.32 Biểu đồ so sánh giải thuật định vị FAB-MAP* tại E2:TQB . . . . 56 Hình 2.33 Minh họa kết quả định vị FAB-MAP* tại E2:TQB . . . . . . . . 57 Hình 2.34 Biểu đồ so sánh hai phương pháp định vị FAB-MAP* tại E3:MICA 58 Hình 2.35 Minh họa kết quả định vị giải thuật FAB-MAP* tại E3:MICA . . 58 Hình 3.1 Định nghĩa bài toán phát hiện và ước lượng khoảng cách . . . . . 61 Hình 3.2 Mô hình phát hiện và ước lượng khoảng cách vật cản . . . . . . . 66 Hình 3.3 Sơ đồ các bước thực hiện phát hiện vật cản cố định . . . . . . . . 68 Hình 3.4 Kết quả trích chọn đặc trưng SIFT . . . . . . . . . . . . . . . . . 69 Hình 3.5 Minh họa giải thuật đối sánh các điểm đặc trưng . . . . . . . . . 70 Hình 3.6 Kết quả đối sánh các điểm đặc trưng phát hiện . . . . . . . . . . 70 Hình 3.7 Kết quả loại bỏ một số cặp điểm đối sánh (matching) yếu . . . . 71 Hình 3.8 Lưu đồ giải thuật tính ma trận H . . . . . . . . . . . . . . . . . . 72 Hình 3.9 Minh họa kết quả xác định vùng chứa đối tượng . . . . . . . . . . 74 Hình 3.10 Sơ đồ các bước phát hiện người sử dụng HoG-SVM . . . . . . . . 75 Hình 3.11 Mô hình ước lượng khoảng cách vật cản từ hai quan sát . . . . . 77 Hình 3.12 Hình ảnh của đối tượng (cây) quan sát từ hai góc thu nhận . . . 78 xi Hình 3.13 Sơ đồ các bước tính bản đồ chênh lệch và ước lượng khoảng cách 80 Hình 3.14 Minh họa hai quan sát khi camera chuyển động . . . . . . . . . . 81 Hình 3.15 Kết quả tìm đường eplipolar trên mô hình camera chuyển động . 82 Hình 3.16 Minh họa hiệu chỉnh hình ảnh trên cùng mặt phẳng ngang . . . . 82 Hình 3.17 Kết quả hiệu chỉnh hình ảnh . . . . . . . . . . . . . . . . . . . . . 84 Hình 3.18 Dò tìm khối dữ liệu trên hai ảnh được hiệu chỉnh . . . . . . . . . 85 Hình 3.19 Kết quả đối sánh ảnh sử dụng giải thuật SAD . . . . . . . . . . . 85 Hình 3.20 Minh họa phương pháp tính bản độ chênh lệch . . . . . . . . . . 86 Hình 3.21 Kết quả phát hiện & ước lượng khoảng cách vật cản trên ảnh độ sâu 87 Hình 3.22 Minh họa hình ảnh thu nhận dữ liệu tại khung hình 289 . . . . . 88 Hình 3.23 Minh họa chuẩn bị dữ liệu đánh giá phát hiện đối tượng . . . . . 89 Hình 3.24 Minh họa phương pháp đo khoảng cách vị trí vật cản trên thực địa 89 Hình 3.25 Biểu đồ đánh giá so sánh hai phương pháp phát hiện đối tượng . 92 Hình 3.26 Một số hình ảnh phát hiện đối tượng của hai phương pháp. Hình chữ nhật màu xanh là kết quả phát hiện bằng tay, màu đỏ là kết quả phát hiện tự động . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 Hình 3.27 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp Chậu hoa 94 Hình 3.28 Minh họa dự đoán khoảng cách lớp đối tượng chậu hoa . . . . . . 94 Hình 3.29 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp Bình cứu hỏa 95 Hình 3.30 Minh họa dự đoán khoảng cách lớp đối tượng bình cứu hỏa . . . . 95 Hình 3.31 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp thùng rác 96 Hình 3.32 Minh họa dự đoán khoảng cách lớp đối tượng thùng rác . . . . . 96 Hình 3.33 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp người . . . 97 Hình 3.34 Minh họa dự đoán khoảng cách lớp đối tượng người . . . . . . . . 97 Hình 4.1 Tích hợp các thiết bị phần cứng lên robot . . . . . . . . . . . . . 100 Hình 4.2 Mô hình tổng quát của hệ thống đề xuất . . . . . . . . . . . . . . 101 Hình 4.3 Minh họa đường đi từ hai điểm biết trước trên bản đồ môi trường 103 xii Hình 4.4 Lược đồ điều khiển robot . . . . . . . . . . . . . . . . . . . . . . 104 Hình 4.5 Các bước tính toán chính của giải thuật của lọc Kalman . . . . . 106 Hình 4.6 Minh họa các bước điều khiển sử dụng lọc Kalman . . . . . . . . 107 Hình 4.7 Lược đồ điều khiển robot sử dụng lọc Kalman . . . . . . . . . . . 109 Hình 4.8 Minh họa tương tác giữa người-robot . . . . . . . . . . . . . . . 111 Hình 4.9 Bản đồ tầng 2 khu nội trú Trường THCS Nguyễn Đình Chiểu . . 112 Hình 4.10 Bản đồ thử nghiệm robot dẫn đường hành lang tầng 5 tại E2:TQB 113 Hình 4.11 Kịch bản thử nghiệm robot dẫn đường tại E3:MICA . . . . . . . 114 Hình 4.12 Kết quả đánh giá việc xác định vị trí xuất phát của robot . . . . 116 Hình 4.13 Vai trò của lọc Kalman trong điều khiển robot . . . . . . . . . . . 117 Hình 4.14 Một số học sinh khiếm thị tham gia đánh giá tương tác người-robot120 Hình 4.15 Thử nghiệm các tần số rung trên điện thoại di động với NKT . . 121 Hình 4.16 Một số hình ảnh robot chuyển động tịnh tiến tại E1-NĐC . . . . 122 Hình 4.17 Hình ảnh thử nghiệm robot dẫn đường gặp sự cố tại E1-NĐC . . 123 Hình 4.18 Minh họa robot chuyển động quay và tịnh tiến tại E1:NĐC . . . . 124 Hình 4.19 Một số hình ảnh robot chuyển động quay và tịnh tiến tại E1-NĐC 125 Hình 4.20 Kịch bản robot phát hiện vật cản tại E1:NĐC . . . . . . . . . . . 126 Hình 4.21 Minh họa trường hợp vật cản xuất hiện bất ngờ E1:NĐC . . . . . 127 Hình 4.22 Minh họa hình ảnh robot dẫn đường tại E2:TQB . . . . . . . . . 128 Hình 4.23 Minh họa hình ảnh robot dẫn đường tại E3:MICA . . . . . . . . . 130 Hình 4.24 Lược đồ thời gian trung bình vận hành điều khiển robot dẫn đường 131 Hình 4.25 Một số hình ảnh trong phóng sự “cuộc sống tươi” đẹp phát trên kênh VTV4 - Đài truyền hình Việt Nam . . . . . . . . . . . . . . . . . 149 Hình A.1 Minh họa phát hiện các điểm đặc trưng Harris-Corner . . . . . . 151 Hình A.2 Một số trường hợp phát hiện đặc trưng Harris-Corner . . . . . . . 152 Hình A.3 Một số trường hợp phát hiện đặc trưng Harris-Corner . . . . . . . 152 xiii Hình A.4 Minh họa đặc trưng biểu diễn các điểm đặc biệt trong ảnh . . . . 154 Hình A.5 Mô tả tạo bộ mô tả các điểm đặc trưng (nguồn [87]) . . . . . . . 157 Hình A.6 Minh họa đặc trưng SURF biểu diễn các điểm đặc biệt trong ảnh 158 Hình A.7 Minh họa xấp xỉ đạo hàm cấp 2 hàm Gaussian [5] . . . . . . . . . 158 Hình A.8 Minh họa giảm không gian không gian trong biểu diễn đặc trưng 159 Hình A.9 Minh họa các điểm quan tâm được phát hiện quanh tâm . . . . . 160 Hình A.10 Phép lọc Haar wavelet: x (trái) và y hướng (phải). Vùng đen trọng số -1 và vùng trắng trọng số +1 . . . . . . . . . . . . . . . . . . . . . . 161 Hình A.11 Gán hướng: một cửa sổ kích thước π 3 . . . . . . . . . . . . . . . . 161 Hình A.12 Xác định ô 4 × 4 hình vuông con xung quanh điểm đặc trưng . . 162 Hình A.13 Các mô tả của miền đại diện cho tính chất của mẫu . . . . . . . . 163 Hình A.14 Một số trường hợp so khớp giữa các đặc trưng . . . . . . . . . . . 163 Hình A.15 Minh họa các tính chất của khung cảnh . . . . . . . . . . . . . . 164 Hình A.16 Bộ lọc Gabor 4 tỉ lệ, 8 hướng . . . . . . . . . . . . . . . . . . . . 165 Hình A.17 Minh họa quá trình trích chọn đặc trưng HoG . . . . . . . . . . . 166 Hình A.18 Thứ tự các Histogram với các góc khác nhau (0o đến 180o) . . . . 167 Hình A.19 Hai loại hình học khối chính của đặc trưng HoG . . . . . . . . . . 168 Hình A.20 Ví dụ minh họa các bước trích chọn đặc trưng HoG . . . . . . . . 169 Hình A.21 Tính góc và biên độ theo Gradient-X và Gradient-Y . . . . . . . . 169 Hình A.22 Một số ứng dụng phát hiện đối tượng sử dụng đặc trưng Haar . . 170 Hình A.23 Các kiểu cơ bản của đặc trưng Haar . . . . . . . . . . . . . . . . 171 Hình A.24 Cách tính tổng các điểm ảnh trong một hình chữ nhật bất kì . . . 171 Hình B.1 Minh họa cơ sở dữ liệu Robot Vision 2013 . . . . . . . . . . . . . 173 Hình B.2 Minh họa 20 lớp đối tượng trong Pascal VOC . . . . . . . . . . . 174 Hình B.3 Những khó khăn thách thưc trên 3 CSDL đề xuất . . . . . . . . . 175 Hình B.4 Các lớp đối tượng trong CSDL Naicorp 2012 . . . . . . . . . . . . 176 xiv Hình B.5 Khung làm việc tổng quát phát hiện và nhận dạng đối tượng . . . 177 Hình B.6 Minh họa giải thuật Adaboost . . . . . . . . . . . . . . . . . . . . 178 Hình B.7 Mô hình phân tầng CascadeAdaboost . . . . . . . . . . . . . . . . 179 Hình B.8 Siêu phẳng tách với khoảng cách lề cực đại SVM . . . . . . . . . 180 Hình B.9 Phân tách theo siêu phẳng (w,b) trong không gian 2 chiều tập mẫu 181 Hình B.10 Minh họa các bước tính toán k-NN . . . . . . . . . . . . . . . . . 181 Hình B.11 Một số kết quả nhận dạng đúng/sai CSDL Naicorp 2012 . . . . . 184 Hình B.12 Một số kết quả nhận dạng đúng/sai CSDL RobotVision2013 . . . 184 Hình B.13 Đồ thị AP của 20 lớp đối tượng CSDL PascalVOC 2007 . . . . . 186 Hình B.14 Đồ thị AP từng lớp đối tượng CSDL PascalVOC 2007 . . . . . . 186 Hình B.15 Kết quả nhận dạng đối tượng trong CSDL Pascal VOC 2007 . . . 187 Hình B.16 Kết quả nhận dạng đối tượng trong CSDL Pascal VOC 2007 . . . 187 Hình C.1 Một số giải pháp thu thập dữ liệu từ 2 camera . . . . . . . . . . . 188 Hình C.2 Một số lỗi khi xây dựng bản đồ tại môi trường trong nhà . . . . . 189 Hình C.3 Một số lỗi khi xây dựng bản đồ tại môi trường ngoài trời . . . . . 189 Hình C.4 Thiết kế xe camera thu thập dữ liệu . . . . . . . . . . . . . . . . 190 Hình C.5 Mô hình thu nhận ảnh của camera . . . . . . . . . . . . . . . . . 191 Hình C.6 Các loại biến dạng khi thu nhận ảnh . . . . . . . . . . . . . . . . 192 Hình C.7 Quá trình hiệu chỉnh méo hình ảnh từ camera góc nhìn rộng . . . 193 Hình C.8 Các phiên bản của robot PC-Bot 914 . . . . . . . . . . . . . . . . 194 Hình C.9 Vị trí lắp các cảm biển hồng ngoại IR . . . . . . . . . . . . . . . 195 Hình C.10 Cơ cấu bánh xe điều khiển của robot PC-Bot 914 . . . . . . . . . 195 xv MỞ ĐẦU Tính cấp thiết, ý nghĩa khoa học của luận án Năm 2013, theo công bố của Tổ chức Y tế thế giới (WHO) trên thế giới có khoảng 285 triệu người suy giảm thị lực, trong đó 246 triệu người có thị lực kém ở mức độ vừa phải đến mức độ nặng và 39 triệu người mù [107]. Tại Việt Nam, theo số liệu của Viện mắt Trung ương cung cấp, có khoảng 1.2 triệu NKT, trong đó 820.503 người không còn khả năng nhìn thấy ánh sáng. Nếu tính cả những người bị các tật về mắt như cận hoặc viễn thì con số này còn lớn hơn rất nhiều. Số lượng NKT lớn, bản thân NKT gặp nhiều khó khăn trong cuộc sống cũng như nắm bắt các cơ hội việc làm. Chính vì vậy, trợ giúp NKT là vấn đề thu hút sự quan tâm của nhiều nhà khoa học trong thời gian gần đây. Trong số các yêu cầu trợ giúp, trợ giúp định hướng là cần thiết và chỉ dẫn để giúp họ tránh các vật cản trên đường đi hay đưa ra các thông báo về môi trường xung quanh. Trên thực tế, nhiều phương pháp đã được nghiên cứu và triển khai nhằm hỗ trợ định hướng cho NKT, như sử dụng gậy [32], chó dẫn đường [32], hay thiết bị điện tử [14]. Mỗi phương pháp có những ưu nhược điểm riêng: gậy dẫn đường bị hạn chế phạm vi phát hiện vật cản theo kích thước của gậy; chó dẫn đường thường có chi phí cao và gây trở ngại về tâm sinh lý đối với người dùng; thiết bị điện tử như các điện cực đặt trên lưỡi có thể gây tâm lý ngại ngần khi sử dụng. Trong bối cảnh này, nghiên cứu và phát triển một hệ thống trợ giúp dẫn đường hiệu quả và thân thiện trợ giúp NKT vẫn là chủ đề đầy thách thức, động lực để NCS thực hiện đề tài: “Nghiên cứu phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị”. Mục tiêu và những thách thức Xuất phát từ ý tưởng tạo ra một hệ thống hỗ trợ giống như một người bạn đồng hành có khả năng giao tiếp thân thiện và hiệu quả. Luận án hướng đến phát triển một hệ thống trợ giúp định hướng và cảnh báo vật cản cho NKT sử dụng robot di động. Để đạt được mục tiêu này, robot cần có khả năng nhận biết và di chuyển giữa các vị trí trong môi trường và nhận dạng được các vật cản trên đường đi. Do vậy, chúng tôi chia các mục tiêu đạt được thành ba bài toán cụ thể: 1 1. Biểu diễn môi trường và định vị: Với mục tiêu dẫn đường cho NKT đi từ vị trí hiện tại đến vị trí mong muốn trong môi trường, robot phải biết mình đang ở đâu trong môi trường và đường đi đến vị trí đích như thế nào. Để giải quyết vấn đề này, bản đồ môi trường phải được xây dựng từ trước và robot phải có khả năng định vị từ một vị trí bất kỳ trên bản đồ. Mặc dù có nhiều phương pháp đã được đề xuất, hướng tiếp cận tổng quát và bền vững với các yếu tố môi trường đang là những mục tiêu mà các nhà khoa học theo đuổi. 2. Phát hiện và ước lượng khoảng cách vật cản: Trong quá trình di chuyển, để đảm bảo an toàn cho NKT cũng như cho sự di chuyển của robot, các vật cản trong môi trường bao gồm vật cản tĩnh và động cần phải được phát hiện và cảnh báo về mức độ nguy hiểm có thể gây ra. Ngoài các thách thức chung của bài toán phát hiện đối tượng trong lĩnh vực thị giác máy tính như điều kiện chiếu sáng thay đổi, che khuất, bóng, luận án còn phải giải quyết với chất lượng ảnh không tốt do rung lắc của thiết bị, camera di chuyển và ước lượng khoảng cách giữa NKT và vật cản trong thời gian thực. 3. Dẫn đường, điều khiển và tương tác người robot: Trong ngữ cảnh của bài toán robot dẫn đường thì việc tìm đường tối ưu là một phần quan trọng, đặc biệt với việc dẫn đường cần phải thực hiện với độ chính xác cao trong khi vẫn đảm bảo an toàn cho NKT. Bên cạnh đó, điều khiển robot di chuyển đúng hành trình, giảm sai số định vị là một thách thức trong lĩnh vực điều khiển động học. Tương tác người-robot phải thân thiện, tự nhiên và hiệu quả để NKT cảm nhận được các trạng thái hệ thống đang hoạt động và đưa ra các phản hồi kịp thời mà không mất đi các giác quan tự nhiên là một bài toán đòi hỏi nhiều thời gian thử nghiệm trên người dùng khiếm thị. Những điểm mới của luận án Để giải quyết 03 bài toán nêu trên, chúng tôi đã đề xuất và cải tiến một số phương pháp với những đóng góp chính sau đây: 1. Đề xuất mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa trong đó bản đồ số liệu và bản đồ topo được tích hợp cùng với các thông tin về vật cản tĩnh trong môi trường. 2. Nâng cao độ chính xác của giải thuật xây dựng bản đồ và định vị sử dụng hình ảnh, vốn thường được thiết kế cho môi trường ngoài trời nhưng gặp phải các khó khăn khi hoạt động trong môi trường trong nhà. 2 3. Đề xuất phương pháp phát hiện một số vật cản phù hợp với ngữ cảnh của bài toán robot dẫn đường. 4. Chứng minh bằng thực nghiệm tính khả thi của giải pháp đề xuất thông qua việc phát triển ứng dụng trợ giúp định hướng NKT sử dụng robot. Cấu trúc của luận án Luận án gồm 4 chương với nội dung tóm tắt như sau: ◦ Chương 1: Tổng quan về thống trợ giúp người khiếm thị giới thiệu một số nghiên cứu trong và ngoài nước về trợ giúp định hướng NKT, phân tích ưu nhược điểm của các phương pháp và đề xuất hệ thống “Trợ giúp dẫn đường cho NKT di chuyển trong môi trường diện hẹp sử dung robot”. ◦ Chương 2: Biểu diễn môi trường và định vị đề xuất mô hình biểu diễn môi trường và định vị dựa trên hình ảnh. Hai giải thuật với những cải tiến sẽ được giới thiệu là giải thuật đo hành trình VO nhằm xây dựng bản đồ số liệu, giải thuật xây dựng bản đồ topo và định vị FAB-MAP sử dụng hình ảnh. ◦ Chương 3: Phát hiện và ước lượng khoảng cách vật cản trình bày một phương pháp đề xuất cho việc phát hiện vật cản dựa trên kỹ thuật đối sánh ảnh và ước lượng khoảng cách vật cản dựa trên tính toán ảnh sai khác từ các quan sát khác nhau trên 01 camera. ◦ Chương 4: Thử nghiệm và đánh giá hệ thống dẫn đường, trình bày hệ thống dẫn đường hoàn chỉnh tích hợp các thiết bị phần cứng và phát triển thêm một số chức năng khác như tìm đường, điều khiển, tương tác người robot sử dụng các kỹ thuật cơ bản sẵn có. Phần thử nghiệm và đánh giá trên người dùng khiếm thị 100% không nhìn thấy ánh sáng tại 03 môi trường khác nhau. 3