Tài liệu điều khiển mobile robot dùng thị giác máy tính

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA -------------------- LÊ THANH TÙNG ĐIỀU KHIỂN MOBILE ROBOT DÙNG THỊ GIÁC MÁY TÍNH Chuyên ngành : TỰ ĐỘNG HÓA LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 12 năm 2009. CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán bộ hướng dẫn khoa học : GVC.TS. NGUYỄN ĐỨC THÀNH. ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… Cán bộ chấm nhận xét 1 : PGS.TS. DƯƠNG HOÀI NGHĨA. ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… Cán bộ chấm nhận xét 2 : TS. HUỲNH THÁI HOÀNG. ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… ………………………………………………………………………………… Luận văn thạc sĩ được bảo vệ tại HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC SĨ TRƯỜNG ĐẠI HỌC BÁCH KHOA, ngày 08 tháng 01 năm 2010. TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HOÀ XÃ HỘI CHỦ NGHIÃ VIỆT NAM KHOA ĐIỆN – ĐIỆN TỬ Độc Lập - Tự Do - Hạnh Phúc ---------------- ---oOo--Tp. HCM, ngày 20 tháng 12 năm 2009. NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ và tên học viên: LÊ THANH TÙNG. Phái: Nam. Ngày, tháng, năm sinh: 07/10/1983. Nơi sinh: HẢI DƯƠNG. Chuyên ngành: TỰ ĐỘNG HÓA. MSHV: 01507325 1- TÊN ĐỀ TÀI: ĐIỀU KHIỂN MOBILE ROBOT DÙNG THỊ GIÁC MÁY TÍNH. 2- NHIỆM VỤ LUẬN VĂN: - Xây dựng chương trình nhận dạng hướng nhìn của khuôn mặt trên cơ sở dùng thị giác máy tính. - Thiết kế và chế tạo mô hình mobile robot. - Điều khiển mobile robot dựa vào hướng nhìn của khuôn mặt. .................................................................... .................................................................... .................................................................... .................................................................... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 3- NGÀY GIAO NHIỆM VỤ : 12/02/2009. 4- NGÀY HOÀN THÀNH NHIỆM VỤ : 20/12/2009. 5- HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN : GVC.TS. NGUYỄN ĐỨC THÀNH. Nội dung và đề cương Luận văn thạc sĩ đã được Hội Đồng Chuyên Ngành thông qua. CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN QUẢN LÝ CHUYÊN NGÀNH KHOA QL CHUYÊN NGÀNH Để hoàn thành tốt luận văn này, tôi xin chân thành cảm ơn quí thầy cô và gia đình đã dạy dỗ, động viên và giúp đỡ tôi trong suốt quá trình học tập. Tôi xin chân thành cảm ơn Thầy TS.Nguyễn Đức Thành đã hướng dẫn, giúp đỡ tận tình và tạo mọi điều kiện thuận lợi cho tôi thực hiện luận văn này. Tôi xin chân thành cảm ơn các thầy cô trong trường Đại học Bách Khoa, đặc biệt là các thầy cô trong bộ môn Điều khiển tự động đã truyền đạt nhiều kiến thức và tạo mọi điều kiện để tôi có thể hoàn thành tốt luận văn này. Cuối cùng, xin cảm ơn các anh chị và các bạn trong lớp Tự Động Hóa khóa 2007, đã giúp đỡ tôi trong thời gian học tập. Do thời gian có hạn nên luận văn không thể tránh khỏi những thiếu sót, sai lầm rất mong nhận được sự chỉ dẫn và đóng góp của quý thầy cô và các bạn. Tp.HCM, ngày 30 tháng 11 năm 2009 Học viên thực hiện Lê Thanh Tùng TÓM TẮT NỘI DUNG Luận văn trình bày những kết quả nghiên cứu nhằm điều khiển mobile robot theo hướng thân thiện với con người, đó là phương pháp điều khiển dùng thị giác máy tính. Người sử dụng sẽ điều khiển robot bằng những cử chỉ quay mặt sang trái, phải, lên, xuống nhờ vào hệ thống tự động nhận dạng hướng khuôn mặt. Hệ thống có khả năng nhận dạng và xác định vị trí khuôn mặt người trong ảnh video theo thời gian thực bằng giải thuật Camshift, sau đó tính toán hướng nhìn của khuôn mặt bằng cách tính toán vị trí mũi trên khuôn mặt và so sánh với vị trí điểm chính giữa của khuôn mặt vừa nhận dạng được. Quá trình nhận dạng vị trí mũi được thực hiện bằng phương pháp “không gian riêng” (eigenspace method) kết hợp với giải thuật PCA (Principle Component Analysis) . Luận văn gồm có sáu chương với nội dung như sau : Chương 1 : Giới thiệu. Giới thiệu về các công trình nghiên cứu có liên quan trong nước cũng như ở nước ngoài. Chương 2 : Cơ sở lý thuyết. Trình bày các cơ sở lý thuyết cần thiết để thực hiện đề tài. Chương 3 : Thuật toán nhận dạng. Trình bày các thuật toán và giải thuật nhận dạng hướng khuôn mặt. Chương 4 : Chương trình và kết quả. Giới thiệu chương trình “Nhận dạng hướng nhìn của khuôn mặt”, đánh giá các kết quả nhận dạng và điều khiển mobile robot dựa trên kết quả nhận dạng. Chương 5 : Kết luận và hướng phát triển. Đánh giá các kết quả đã đạt được và đưa ra hướng phát triển cho luận văn. MỤC LỤC Chương 1: TỔNG QUAN ................................................................................ 1 1.1. Đặt vấn đề ............................................................................................... 1 1.1.1 Giới thiệu............................................................................................. 1 1.1.2 Các định nghĩa có liên quan ................................................................ 2 1.2. Các công trình nghiên cứu có liên quan................................................ 3 1.2.1 Các công trình nghiên cứu ở nước ngoài ............................................ 3 1.2.2 Các công trình nghiên cứu trong nước ................................................ 5 1.3. Mục tiêu của luận văn ........................................................................... 7 1.3.1. Mục tiêu và nhiệm vụ của luận văn .................................................... 7 1.3.2. Nội dung thực hiện.............................................................................. 7 Chương 2: CƠ SỞ LÝ THUYẾT .................................................................... 8 2.1. Thị giác máy tính (Computer Vision) .................................................. 8 2.1.1. Các lĩnh vực có liên quan .................................................................... 8 2.1.2. Chức năng của hệ thống thị giác máy tính .......................................... 9 2.1.3. Các hệ thống thị giác máy tính.......................................................... 10 2.1.4. Ứng dụng của thị giác máy tính ........................................................ 11 2.2. Lí thuyết về ảnh số và xử lí ảnh ........................................................... 12 2.2.1. Khái niệm .......................................................................................... 12 2.2.2. Khái niệm về phần tử ảnh.................................................................. 14 2.2.3. Cấu trúc của một file ảnh .................................................................. 15 2.2.4. Ảnh màu ............................................................................................ 15 2.2.5. Không gian màu (Color Space)......................................................... 15 2.2.6. Chuyển đổi không gian màu.............................................................. 22 2.3. Các khái niệm cơ bản trong xử lí ảnh số............................................. 24 2.3.1. Mục đích của việc xử lí ảnh số.......................................................... 24 2.3.2. Lấy ngưỡng ảnh (Image Thresholding) ............................................ 24 2.3.3. Kỹ thuật nâng cao chất lượng ảnh..................................................... 25 2.3.4. Biến đổi lược đồ mức xám (Histogram)............................................ 26 2.3.3. Kỹ thuật lọc số - làm trơn nhiễu........................................................ 27 2.3.4. Kỹ thuật tăng độ sắc nét ảnh ............................................................. 29 Chương 3: THUẬT TOÁN NHẬN DẠNG VÀ TÍNH TOÁN HƯỚNG KHUÔN MẶT ............................................................................................... 32 3.1. Thu nhận và xử lí tín hiệu Webcam .................................................... 32 3.1.1. Mục đích............................................................................................ 32 3.1.2. Giới thiệu DirectShow....................................................................... 32 3.1.3. Lập trình Webcam sử dụng DirectShow ........................................... 33 3.2. Thuật toán nhận dạng khuôn mặt người ............................................ 33 3.2.1. Nhận dạng mặt người ........................................................................ 33 3.2.2. Giải thuật AdaBoost .......................................................................... 34 3.2.3. Giải thuật Camshift ........................................................................... 41 3.3. Thuật toán nhận dạng hướng nhìn của khuôn mặt............................ 44 3.3.1. Thuật toán nhận dạng và xác định vị trí mũi..................................... 46 3.3.2. Nhận dạng mũi dùng Eigennose........................................................ 48 3.3.3. Giải thuật PCA (Principle Component Analysis) ............................. 50 Chương 4: CHƯƠNG TRÌNH VÀ KẾT QUẢ............................................ 55 4.1. Lưu đồ giải thuật của chương trình nhận dạng ................................. 55 4.1.1. Cấu trúc của chương trình. ................................................................ 55 4.1.2. Lưu đồ giải thuật nhận dạng.............................................................. 57 4.2. Kết quả nhận dạng ................................................................................ 68 4.2.1. Tốc độ nhận dạng ............................................................................. 68 4.2.2. Kết quả nhận dạng............................................................................. 70 4.3. Điều khiển mobile robot ....................................................................... 71 4.3.1. Xuất tín hiệu điều khiển .................................................................... 72 4.3.2. Giao tiếp với mobile robot ................................................................ 73 Chương 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ................................ 76 5.1. Kết luận .................................................................................................. 76 5.2. Hướng phát triển................................................................................... 76 TÀI LIỆU THAM KHẢO ............................................................................ 78 PHỤ LỤC ....................................................................................................... 80 Kết quả nhận dạng ....................................................................................... 80 Mã code của chương trình ............................................................................. 84 DANH SÁCH HÌNH Hình 1.1 : Robot bám đối tượng di động SRV1 ............................................................ 4 Hình 1.2 : Xe lăn thông minh điều khiển bằng hướng khuôn mặt của ĐH Saitama. .... 4 Hình 1.3 : Mobile robot của trường ĐH Copenhagen ................................................... 5 Hình 1.4 : Điều khiển mobile robot dùng chuyển động của đầu ................................... 5 Hình 1.5 : Nhận dạng cảm xúc mặt người . ................................................................... 6 Hình 1.6 : Điều khiển robot di động dùng ánh mắt ....................................................... 6 Hình 2.1 : Các lĩnh vực có liên quan đến thị giác máy tính........................................... 8 Hình 2.2 : Robot Rover của NASA ............................................................................. 12 Hình 2.3 : Phần tử ảnh ................................................................................................ 14 Hình 2.4 : Mảng hai chiều của một file ảnh................................................................. 15 Hình 2.5 : Các kiểu không gian màu............................................................................ 16 Hình 2.6 : Không gian màu RGB................................................................................. 17 Hình 2.7 : Không gian màu HSV................................................................................. 18 Hình 2.8 : Không gian màu XYZ................................................................................. 20 Hình 2.9 : Không gian màu Lab................................................................................... 21 Hình 2.10 : Không gian màu YCbCr ........................................................................... 22 Hình 2.11 : (a) Ảnh màu, (b) Ảnh xám........................................................................ 23 Hình 2.12 : Ảnh ban đầu và ảnh biến đổi với giá trị ngưỡng 180 ............................... 25 Hình 2.13 : Ảnh gốc và ảnh sau khi lấy ngưỡng với ma trận 7x7 và C = 4 ................ 25 Hình 2.14 : Các Histogram tương ứng với bốn loại ảnh.............................................. 27 Hình 2.15 : Ảnh gốc và ảnh sau khi lọc trung vị 3x3 ................................................. 28 Hình 2.16 : Tách biên bằng phương pháp Canny ........................................................ 30 Hình 3.1 : Sơ đồ mạch lọc............................................................................................ 33 Hình 3.2 : 4 đặc trưng Haar-like cơ bản ...................................................................... 34 Hình 3.3 : Cách tính Integral Image của ảnh .............................................................. 35 Hình 3.4 : Ví dụ cách tính các giá trị mức xám của vùng D trên ảnh.......................... 35 Hình 3.5 : Biểu đồ tính toán giá trị fk ........................................................................... 36 Hình 3.6 : Mô hình phân tầng kết hợp các bộ phân loại yếu để xác định khuôn mặt ...... 37 Hình 3.7 : Hệ thống xác định vị trí khuôn mặt người (Face detection system) .......... 40 Hình 3.8 : Kết quả tìm kiếm với giải thuật CAMSHIFT ............................................. 43 Hình 3.9 : Tách vùng khuôn mặt ra khỏi ảnh video .................................................... 44 Hình 3.10 : Xác định hướng nhìn của khuôn mặt........................................................ 45 Hình 4.1 : Chương trình nhận dạng hướng khuôn mặt ................................................... 55 Hình 4.2 : Giao diện chương trình chính .................................................................... 56 Hình 4.3 : Giao diện khối chọn thông số ..................................................................... 57 Hình 4.4 : Giao diện khối tạo tập dữ liệu....................................................................... 57 Hình 4.5 : Lưu đồ của chương trình ............................................................................ 58 Hình 4.6 : Lưu đồ khối nhận dạng chính ..................................................................... 59 Hình 4.7 : Hình ảnh thu về từ Webcam ......................................................................... 60 Hình 4.8 : Ảnh ban đầu (a). Ảnh chưa lọc (b). Ảnh khi lọc trung vị 3x3 (c). ............. 60 Hình 4.9 : Lấy mẫu cho giải thuật CAMSHIFT .......................................................... 61 Hình 4.10 : Ảnh mẫu và Histogram của ảnh.................................................................. 61 Hình 4.11 : Ảnh đầu vào – Ảnh sau khi trích lọc Hue – Ảnh sau khi chiếu (project). .... 61 Hình 4.12 : Kết quả nhận dạng dùng giải thuật Haar-like .......................................... 62 Hình 4.13 : Kết quả nhận dạng dùng giải thuật CAMSHIFT ...................................... 63 Hình 4.14 : Tập ảnh huấn luyện .................................................................................... 64 Hình 4.15 : Kích thước tương đối của vùng mũi và mặt. ............................................ 65 Hình 4.16 : Giới hạn vùng tìm kiếm. ........................................................................... 66 Hình 4.17 : Lưu đồ giải thuật nhận dạng mũi dùng PCA. ........................................... 67 Hình 4.18 : Mô hình xe lăn .......................................................................................... 71 Hình 4.19 : Xuất tín hiệu điều khiển............................................................................ 72 Hình 4.20 : Mô hình mobile robot ............................................................................... 73 Hình 4.21 : Sơ đồ nguyên lý mạch giao tiếp................................................................ 74 Hình 4.22 : Mạch phát sóng RF ................................................................................... 74 Hình 4.23 : Mạch thu sóng RF..................................................................................... 74 Hình 4.23 : Mạch điều khiển........................................................................................ 75 DANH MỤC CHỮ VIẾT TẮT OpenCV : Open Source Computer Vision. CAMSHIFT : Continuously Adaptive Mean Shift. PCA : Principle Component Analysis. RGB : Red Green Blue. HSV : Hue Saturation Value. RF : Radio Frequency. UAV : Unmanned Aerial Vehicle. AUV : Autonomous Underwater Vehicle. SLAM : Simutaneous Localization And Mapping. CIE : Commission Internationale d'Eclairage. AVI : Audio Video Interleave. MCU : MicroController Unit. Điều khiển Mobile robot dùng thị giác máy tính GVHD : TS. Nguyễn Đức Thành CHƯƠNG 1 : GIỚI THIỆU 1.1 ĐẶT VẤN ĐỀ : 1.1.1 Giới thiệu : Ngày nay, cùng với sự phát triển không ngừng của khoa học công nghệ, robot ngày càng được sử dụng rông rãi, không chỉ trong lĩnh vực sản xuất công nghiệp mà còn trong nhiều lĩnh vực khác như y tế, giải trí và đặc biệt là sự xuất hiện của các mobile robot thực hiện các công việc nội trợ trong nhà. Các robot này đã và đang được tập trung nghiên cứu phát triển để ngày càng trở nên thân thiện hơn với con người. Trước đây, robot được xem như là một cái máy, được lập trình và hoạt động cứng nhắc theo các chương trình có sẵn và chỉ có khả năng giao tiếp với con người thông qua thông qua các thiết bị ngoại vi thông thường như bàn phím, chuột. Ngày nay, với sự phát triển của khoa học máy tính đặc biệt là công nghệ robot cùng với việc sức mạnh của các bộ vi xử lí ngày càng được nâng cao đã cho phép robot giao tiếp với con người theo một cách tiếp cận mới : thị giác. Chính vì thế mà trong thời gian gần đây, nhiều dự án nghiên cứu ở nước ngoài đã được thực hiện nhằm điều khiển robot, đặc biệt là mobile robot dùng thị giác máy tính (computer vision). Cụ thể, người điều khiển sẽ điều khiển robot bằng các cử chỉ của tay hay hướng nhìn của mắt, của khuôn mặt thông qua camera. Đây là một cách tiếp cận giúp cho robot trở nên thân thiện hơn với con người. Luận văn sẽ nghiên cứu điều khiển mobile robot thông qua chuyển động của khuôn mặt người, cụ thể là hướng quay của khuôn mặt. Chương trình điều khiển sẽ nhận dạng hướng quay của khuôn mặt từ đó truyền tín hiệu điều khiển để điều khiển robot. Việc điều khiển bằng hướng quay của khuôn mặt có tính thân thiện hơn so với các kiểu điều khiển bằng tay thông qua joystick hay điều khiển bằng ánh mắt do thói quen của con người khi muốn di chuyển theo một hướng bất kì thì luôn luôn có xu hướng nhìn về phía đó để quan sát. HVTH : Lê Thanh Tùng Trang 1 Điều khiển Mobile robot dùng thị giác máy tính GVHD : TS. Nguyễn Đức Thành 1.1.2. Các định nghĩa có liên quan : a. Mobile robot : Mobile robot là loại robot tự hành có khả năng di chuyển tự do trong một môi trường đã được định sẵn. Nó khác với các loại robot công nghiệp như các loại tay máy chỉ có khả năng đạt tới một vị trí nhất định. Mobile robot hiện đang là một đề tài trọng tâm được đề cập đến trong những nghiên cứu hiện tại và hầu hết các trường đại học lớn trên thế giới đều có một hoặc nhiều phòng thí nghiệm nghiên cứu về mobile robot. Hiện nay, mobile robot có thể được tìm thấy trong rất nhiều các lĩnh vực như công nghiệp, quân sự, y tế và cả trong lĩnh vực giải trí và phục vụ công việc nhà. Mobile robot có thể được phân loại dựa vào không gian hoạt động (robot di chuyển trên mặt đất, mobile robot trên không -UAVs và mobile robot hoạt động trong môi trường nước –AUVs) hoặc dựa vào thiết bị hỗ trợ di chuyển (chân, bánh xe hoặc đường ray). b. Thị giác máy tính (computer vision) : Thị giác máy tính là một thuật ngữ kĩ thuật dùng để chỉ các thiết bị máy móc có khả năng “nhìn thấy” được. Về mặt khoa học, thị giác máy tính liên quan đến lý thuyết xây dựng những hệ thống nhân tạo có khả năng thu thập thông tin từ hình ảnh. Dữ liệu hình ảnh này có thể lấy được từ nhiều dạng khác nhau như tín hiệu video thu được từ một hoặc nhiều camera, hay dữ liệu nhiều chiều từ một máy chụp cắt lớp… Về mặt kĩ thuật, thị giác máy tính là tìm cách áp dụng các lý thuyết và mô hình của thị giác máy tính để xây dựng một hệ thống thị giác máy tính. Ví dụ như ứng dụng hệ thống thị giác máy vào các hệ thống để :  Điều khiển quá trình (như robot công nghiệp hay thiết bị vận chuyển tự động).  Phát hiện đối tượng (ví dụ như giám sát hay đếm số người).  Thiết lập thông tin (xây dựng cơ sở dữ liệu hình ảnh hay chuỗi hình ảnh).  Mô hình hoá đối tượng hay môi trường (như việc kiểm tra trong công nghiệp, phân tích hình ảnh trong y tế hay phục vụ việc xây dựng bản đồ địa hình).  Tín hiệu ngõ vào cho một thiết bị tương tác người – máy. HVTH : Lê Thanh Tùng Trang 2 Điều khiển Mobile robot dùng thị giác máy tính GVHD : TS. Nguyễn Đức Thành Thị giác máy tính cũng có thể được miêu tả như một thành phần của thị giác sinh vật học (biological vision). Trong thị giác sinh vật học, năng lực thị giác của con người và các động vật khác được nghiên cứu để xây dựng một hệ thống có khả năng hoạt động trong những điều kiện của quá trình sinh lý học. Thị giác máy tính, nói cách khác, nghiên cứu và mô tả hệ thống thị giác nhân tạo để bổ sung cho các phần mềm và phần cứng. 1.2 CÁC NGHIÊN CỨU LIÊN QUAN : 1.2.1 Các công trình nghiên cứu ở nước ngoài : Phương pháp điều khiển mobile robot dùng thị giác máy tính gần đây đã được nghiên cứu khá nhiều trên thế giới. Về cơ bản, ta có thể chia mobile robot thành hai dạng : mobile robot tự động và mobile robot được điều khiển bởi con người. Dạng mobile robot tự động : đây là dạng mobile robot hoạt động theo những chương trình đã được lập trình sẵn và ít giao tiếp với con người, các robot nay hoạt động trong môi trường độc lập và không cần con người điều khiển. Hai dạng phổ biến của mobile robot loại này là mobile robot tránh vật cản và mobile robot bám theo đối tượng di động. Mobile robot tránh vật cản dùng thị giác máy tính [1]: Những nghiên cứu đầu tiên về mobile robot là dạng mobile robot tránh vật cản. Robot có khả năng tránh được vật cản trên đường đi nhờ vào hệ thống cảm biến như cảm biến siêu âm, và gần đây là dùng thị giác máy tính để xác định vật cản. Hệ thống thị giác của robot thường là hệ thống camera (có thể là 1,2 hoặc nhiều camera). Robot sẽ xác định vật cản trên đường đi nhờ vào kĩ thuật phân tích ảnh. Julirose Gonzales và Zahari Taha [1] đã nghiên cứu chế tạo mobile robot tránh vật cản dùng thị giác máy tính với bộ điều khiển mờ. Bộ điều khiển có thể xác định được vật cản trên đường đi bằng kĩ thuật phân tích ảnh và phương pháp Otsu. Mobile robot bám theo đối tượng di động [2]: Một hướng nghiên cứu khác về mobile robot là robot bám theo đối tượng di động : robot có khả năng phát hiện và bám theo đối tượng di động nhờ hệ thống camera. So với mobile robot tránh vật cản thì mobile robot dạng này đòi hỏi kĩ thuật phân tích ảnh phức tạp hơn : có khả năng phát hiện và xác định được vật thể di chuyển từ các dữ liệu truyền về từ camera. HVTH : Lê Thanh Tùng Trang 3 Điều khiển Mobile robot dùng thị giác máy tính GVHD : TS. Nguyễn Đức Thành Hình 1.1: Mobile Robot bám đối tượng di động SRV1 Dạng thứ hai là mobile robot được điều khiển bởi con người để thực hiện những mong muốn của người điều khiển. Giao tiếp người-máy của mobile robot loại này đang được phát triển theo hướng thân thiện với con người : điều khiển bằng âm thanh, thị giác. Xe lăn thông minh (IWs) điều khiển bằng thị giác máy tính : Xe lăn thông minh [7][8] là một dạng mobile robot dùng trong lĩnh vực y tế. Chúng có chức năng hỗ trợ di chuyển cho người cao tuổi và các bệnh nhân bị liệt. Trong thời gian gần đây, có rất dự án nghiên cứu về xe lăn thông minh được điều khiển bằng thị giác máy tính. Cụ thể, bô điều khiển sẽ nhận dạng hướng nhìn của mắt hoặc hướng quay của khuôn mặt để điều khiển xe lăn. Hình 1.2: Xe lăn thông minh điều khiển bằng hướng khuôn mặt của ĐH Saitama Điều khiển mobile robot dùng thị giác máy tính : Điều khiển mobile robot bằng hướng nhìn [4][5]: người điều khiển sử dụng hướng nhìn của cặp mắt để điều khiển robot di chuyển. Bộ điều khiển sẽ phân tích tín HVTH : Lê Thanh Tùng Trang 4 Điều khiển Mobile robot dùng thị giác máy tính GVHD : TS. Nguyễn Đức Thành hiệu truyền về từ camera và tính toán hướng nhìn dựa trên việc phân tích vị trí của con ngươi. Hình 1.3: Mobile robot của trường ĐH Copenhagen Điều khiển mobile robot bằng chuyển động của đầu [6] : người sử dụng điều khiển mobile robot bằng chuyển động của đầu : quay trái/phải để điều khiển robot quay trái/phải và gật đầu để điều khiển robot đi tới hoặc dừng lại Hình1.4: Điều khiển Mobile robot dùng chuyển động của đầu 1.2.2 Các công trình nghiên cứu trong nước : Nhận dạng cảm xúc mặt người [13]: tác giả nhận dạng khuôn mặt người bằng phương pháp AdaBoost. Trên cơ sở đó, sử dụng gương mặt Eigenface để so sánh với cơ sở dữ liệu để xác định cảm xúc của khuôn mặt. Ta có thể sử dụng các cảm xúc này để điều khiển robot thông qua máy tính. Tuy nhiên luận văn mới chỉ dừng lại ở mức hiển thị Led thông qua kit vi điều khiển giao tiếp với máy tính. HVTH : Lê Thanh Tùng Trang 5 Điều khiển Mobile robot dùng thị giác máy tính GVHD : TS. Nguyễn Đức Thành Hình1.5: Nhận dạng cảm xúc mặt người. Điều khiển robot di động dùng ánh mắt [14] : tác giả đưa ra phương pháp điều khiển robot dựa vào ánh mắt. Nghiên cứu sử dụng phương pháp nhận dạng phân lớp Haar để xác định khuôn mặt và mắt của người sử dụng. Từ ảnh mắt người, chương trình sẽ dùng phương pháp trích đặc trưng ảnh PCA để quyết định mắt đang nhìn trái, phải, nhìn lên hay nhìn thẳng. Từ đó chương trình sẽ điều khiển robot di động di chuyển theo hướng nhìn đã xác định thông qua module thu phát sóng RF. Hình1.6: Điều khiển robot di động dùng ánh mắt. 1.3 MỤC TIÊU VÀ NỘI DUNG THỰC HIỆN CỦA LUẬN VĂN : 1.3.1 Mục tiêu của luận văn : Mục tiêu của luận văn là nghiên cứu và xây dựng chương trình nhận dạng hướng nhìn của khuôn mặt dùng thị giác máy tính và chương trình điều khiển để điều khiển mobile robot. Chương trình điều khiển phải có khả năng thực hiện : - Thu nhận hình ảnh động từ camera (webcam) và xử lí . HVTH : Lê Thanh Tùng Trang 6 Điều khiển Mobile robot dùng thị giác máy tính GVHD : TS. Nguyễn Đức Thành - Nhận dạng chuyển động của khuôn mặt người trong ảnh video và xác định hướng nhìn của khuôn mặt người điều khiển. - Xuất ra tín hiệu điều khiển để điều khiển mobile robot. 1.3.2 Nội dung thực hiện : Luận văn sẽ nghiên cứu phương pháp điều khiển mobile robot bằng hướng nhìn của khuôn mặt. Cụ thể, khi muốn điều khiển mobile robot quay sang trái, người điều khiển sẽ quay mặt sang trái. Tương tự, khi người điều khiển quay mặt sang phải, robot sẽ quay sang phải. Để điều khiển robot chạy thẳng, người điều khiển sẽ nhìn thẳng và khi gật đầu thì robot sẽ dừng lại. Nhiệm vụ chính của luận văn là xây dựng chương trình điều khiển cho mobile robot thông qua hệ thống nhận dạng khuôn mặt theo sơ đồ sau : HVTH : Lê Thanh Tùng Trang 7 Điều khiển Mobile robot dùng thị giác máy tính GVHD : TS. Nguyễn Đức Thành CHƯƠNG 2 : CƠ SỞ LÝ THUYẾT 2.1 THỊ GIÁC MÁY TÍNH (COMPUTER VISION) : Thị giác máy tính có thể được mô tả là một lĩnh vực chưa thực sự phát triển mạnh và bao gồm nhiều loại khác nhau. Phải đến tận cuối thập kỉ 70, các nghiên cứu mới bắt đầu tập trung vào lĩnh vực này khi các máy tính có thể xử lí các tập dữ liệu lớn như các hình ảnh. Tuy nhiên, các nghiên cứu này thường bắt nguồn từ những lĩnh vực khác nhau, và do đó không có một công thức tiêu chuẩn cho các “vấn đề về thị giác máy tính”. Thay vào đó, có rất nhiều các phương pháp khác nhau được sử dụng để giải quyết các vấn đề về thị giác máy tính, do đó các phương pháp thường được sử dụng cho một vấn đề cụ thể và hiếm khi có thể tổng quát hoá cho các ứng dụng ở phạm vi rộng. Rất nhiều các phương pháp cũng như các ứng dụng vẫn còn ở mức nghiên cứu cơ bản ban đầu. Trong hầu hết các ứng dụng thực tế trong lĩnh vực thị giác máy tính, máy tính thực hiện công việc tiền xử lí để giải quyết một nhiệm vụ riêng biệt, nhưng những phương pháp dựa trên quá trình học đang ngày càng trở nên phổ biến hơn. 2.1.1 Các lĩnh vực có liên quan : Hình 2.1: Các lĩnh vực có liên quan đến thị giác máy tính HVTH : Lê Thanh Tùng Trang 8