Tài liệu ĐIỀU KHIỂN XE LĂN BẰNG CỬ CHỈ BÀN TAY

ĐẠI HỌC QUỐC GIA TP.HỒ CHÍ MINH TRƢỜNG ĐẠI HỌC BÁCH KHOA KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN TỰ ĐỘNG ------ LUẬN VĂN TỐT NGHIỆP ĐIỀU KHIỂN XE LĂN BẰNG CỬ CHỈ BÀN TAY GVHD: TS. HUỲNH THÁI HOÀNG SVTH: NGUYỄN ANH DŨNG MSSV: 40800349 NGUYỄN VĂN DŨNG MSSV: 40800356 TP. HỒ CHÍ MINH, THÁNG 12 NĂM 2012 i BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc Lập-Tự Do-Hạnh Phúc __________________ Thành phố Hồ Chí Minh Khoa Điện – Điện Tử Bộ Môn: ĐIỀU KHIỂN TỰ ĐỘNG NHIỆM VỤ LUẬN VĂN TỐT NGHIỆP HỌ VÀ TÊN: 1. NGUYỄN ANH DŨNG 2. NGUYỄN VĂN DŨNG NGÀNH: ĐIỀU KHIỂN TỰ ĐỘNG MSSV: 40800349 MSSV: 40800356 LỚP: DD08KSTD 1. Đầu đề luận án: ĐIỀU KHIỂN XE LĂN BẰNG CỬ CHỈ BÀN TAY 2. Nhiệm vụ(yêu cầu về nội dung và số liệu ban đầu): ………………………………………………………………………………………... ………………………………………………………………………………………... ………………………………………………………………………………………... ………………………………………………………………………………………... ………………………………………………………………………………………... ………………………………………………………………………………………... 3. Ngày giao nhiệm vụ luận án:…………………………………………………………. 4. Ngày hoàn thành nhiệm vụ:…………………………………………………………... 5. Họ tên người hướng dẫn:……………………………………………………………... 6. Nội dung và yêu cầu LVTN đã được thông qua bộ môn. Ngày…….tháng…….năm……… Chủ nhiệm bộ môn Giáo viên hướng dẫn (ký và ghi rõ họ tên) (ký và ghi rõ họ tên) PHẦN DÀNH CHO KHOA BỘ MÔN Người duyệt(chấm sơ bộ):…………………………………… Đơn vị:………………………………………………………. Ngày bảo vệ:………………………………………………… Điểm tổng kết: ……………………………………………… Nơi lưu trữ luận án:…………………………………………. ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐH BÁCH KHOA Độc Lập-Tự Do-Hạnh Phúc ***** Ngày……tháng……năm 2102 PHIẾU CHẤM BẢO VỆ LUẬN VĂN TỐT NGHIỆP (Dành cho người hướng dẫn) 1. HỌ VÀ TÊN: NGUYỄN ANH DŨNG NGUYỄN VĂN DŨNG NGÀNH: ĐIỀU KHIỂN TỰ ĐỘNG MSSV: 40800349 MSSV: 40800356 LỚP: DD08KSTD 2. Đầu đề luận án: ĐIỀU KHIỂN XE LĂN BẰNG CỬ CHỈ BÀN TAY 3. Họ tên người hướng dẫn:…………………………………………………………….. 4. Tổng quát về bản thuyết minh: Số trang: …………. Số chương: …………….. Số bảng số liệu: …………. Số hình vẽ: …………….. Số tài liệu tham khảo: …………. Phần mềm tính toán: …………….. Hiện vật(sản phẩm): …………. 5. Tổng quát về các bản vẽ: - Số bản vẽ: bản A1 bản A2 khổ khác - Số bản vẽ tay Số bản vẽ trên máy tính 6. Những ưu điểm chính của luận văn tốt nghiệp:……………………………………... ………………………………………………………………………………………... ………………………………………………………………………………………... ………………………………………………………………………………………... 7. Những thiếu sót chính của luận văn tốt nghiệp:……………………………………... ………………………………………………………………………………………... ………………………………………………………………………………………... ………………………………………………………………………………………... 8. Đề nghị: Được bảo vệ Bổ sung thêm để bảo vệ Không được bảo vệ 9. Câu hỏi sinh viên trả lời trước hội đồng: a) …………………………………………………………………………………….. …………………………………………………………………………………….. b) …………………………………………………………………………………….. …………………………………………………………………………………….. c) …………………………………………………………………………………….. …………………………………………………………………………………….. 10. Đánh giá chung(bằng chữ giỏi, khá, TB): Điểm__________/10 Ký tên(ghi rõ họ tên) ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐH BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc Lập-Tự Do-Hạnh Phúc ***** Ngày……tháng……năm 2102 PHIẾU CHẤM BẢO VỆ LUẬN VĂN TỐT NGHIỆP (Dành cho người phản biện) 1. HỌ VÀ TÊN: NGUYỄN ANH DŨNG MSSV: 40800349 NGUYỄN VĂN DŨNG MSSV: 40800356 NGÀNH: ĐIỀU KHIỂN TỰ ĐỘNG LỚP: DD08KSTD 2. Đầu đề luận án: ĐIỀU KHIỂN XE LĂN BẰNG CỬ CHỈ BÀN TAY 3. Họ tên người phản biện:……………………………………………………………... 4. Tổng quát về bản thuyết minh: Số trang: …………. Số chương: …………….. Số bảng số liệu: …………. Số hình vẽ: …………….. Số tài liệu tham khảo: …………. Phần mềm tính toán: …………….. Hiện vật(sản phẩm): …………. 5. Tổng quát về các bản vẽ: - Số bản vẽ: bản A1 bản A2 khổ khác - Số bản vẽ tay Số bản vẽ trên máy tính 6. Những ưu điểm chính của luận văn tốt nghiệp:…………………………………….... ………………………………………………………………………………………... ………………………………………………………………………………………... ………………………………………………………………………………………... 7. Những thiếu sót chính của luận văn tốt nghiệp:…………………………………….... ………………………………………………………………………………………... ………………………………………………………………………………………... ………………………………………………………………………………………... 8. Đề nghị: Được bảo vệ Bổ sung thêm để bảo vệ Không được bảo vệ 9. Câu hỏi sinh viên trả lời trước hội đồng: a) …………………………………………………………………………………….. …………………………………………………………………………………….. b) …………………………………………………………………………………….. …………………………………………………………………………………….. c) …………………………………………………………………………………….. …………………………………………………………………………………….. 10. Đánh giá chung(bằng chữ giỏi, khá, TB): Điểm__________/10 Ký tên(ghi rõ họ tên) Nhận xét của giáo viên hƣớng dẫn: ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... Nhận xét của giáo viên phản biện: ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... ………………………………………………………………………………………………... LỜI CẢM ƠN Trước hết chúng em xin gửi lời cảm ơn chân thành đến quý thầy cô trường Đại học Bách Khoa thành phố Hồ Chí Minh nói chung và quý thầy cô ở khoa Điện- Điện tử và bộ môn Tự Động nói riêng đã tận tình truyền đạt những kiến thức quý giá trong khoảng thời gian chúng em học đại học. Chúng em xin bày tỏ lòng biết ơn sâu sắc đối với thầy Huỳnh Thái Hoàng, người đã tận tình chỉ dạy cho chúng em phương pháp nghiên cứu khoa học, cung cấp rất nhiều kiến thức chuyên sâu để thực hiện đề tài. Trong quá trình làm luận văn chúng em đã tiếp thu từ Thầy rất nhiều điều quý báu là hành trang cho chúng em bước vào công việc và cuộc sống sau này. Chúng em xin cảm ơn đến các thầy phòng thí nghiệm điều khiển tự động 300B B1: thầy Quốc, thầy Hoàng, thầy Nam; các anh chị cựu sinh viên đã giúp đỡ và tạo điều kiện cho chúng em hoàn thành luận văn này. Chúng em xin gửi lời cảm ơn chân thành đến quý Thầy/Cô đã dành thời gian quý báu để nhận xét và chấm Luận văn tốt nghiệp. Đây sẽ là nhưng đóng góp rất quý giá cho chúng em để hoàn thiện và phát triển đề tài ngày một tốt hơn, đưa vào ứng dụng thực tiễn trong sản xuất. Chúng tôi xin chân thành cảm ơn các bạn lớp DD08KSTD đã giúp đỡ và góp ý trong suốt quá trình làm luận văn. Sau cùng, con xin bày tỏ lòng biết ơn sâu sắc tới Mẹ, Ba, Chị, Em những người đã luôn luôn động viên, ở bên con trong những lúc khó khăn nhất, là động lực cho con nỗ lực cố gắng trong suốt những năm tháng học tập tại trường và trên những bước đường tiếp theo trong cuộc sống. TPHCM, tháng 12 năm 2012 Sinh viện thực hiện Nguyễn Anh Dũng Nguyễn Văn Dũng ii Tóm tắt đề tài Đề tài xuất phát từ mục tiêu phân tích các thành phần cấu tạo cũng như điều khiển xe lăn điện. Trên cơ sở đó thiết kế thành công mô hình xe lăn dùng động cơ BLDC với tổng công suất 700W, bộ vi điều khiển trung tâm có độ ổn định cao. Đề tài thực hiện so sánh các phương án MOSFET Driver khác nhau và so sánh các phương pháp điều khiển động cơ BLDC, từ đó rút ra kết luận, áp dụng phương pháp tối ưu vào điều khiển động cơ BLDC cho xe lăn. Đề tài cũng tích hợp cho toàn bộ phần nguồn của hệ thống vi điều khiển và phần mạch công suất từ bộ nguồn Flyback converter. Điều này cho phép chúng ta tiết kiệm năng lượng cho toàn hệ thống, tăng độ an toàn cho hệ thống vì các nguồn được cách ly hoàn toàn. Đề tài cũng kết hợp xử lý ảnh nhận dạng cử chỉ tay cho người dùng có nhiều lựa chọn hơn khi điều khiển xe lăn ngoài việc điều khiển bằng joystick. Ngoài ra còn tích hợp thêm các cảm biến nhằm tăng độ chính xác cho việc điều khiển và bảo vệ người dùng tốt hơn. Vi điều khiển 32-bit LPC17xx của hãng NXP Semiconductors được chọn làm bộ vi điều khiển chính, ngoài ra còn dùng thêm vi điều khiển 8bit PIC 16F887 cho bộ driver điều khiển động cơ. Cách làm này giúp phân cấp các khối, dễ điều khiển và có tính chuyên nghiệp cao. iii MỤC LỤC Nội Dung Trang Chƣơng 1: GIỚI THIỆU ..................................................................................................... 1 1.1 Giới thiệu về xe lăn điện ............................................................................................. 1 1.2 Tổng quan về các nghiên cứu liên quan ..................................................................... 2 1.2.1 Nhận dạng bàn tay dựa vào màu sắc và hình dáng............................................. 2 1.2.2 Nhận dạng dựa trên đặc trƣng bàn tay ............................................................... 2 1.2.3 Optical Flow ......................................................................................................... 2 1.2.4 Phƣơng pháp trừ nền ........................................................................................... 3 1.2.5 Mean Shift ............................................................................................................ 3 1.3 Nhiệm vụ luận văn ...................................................................................................... 4 1.4 Sơ lƣợc về nội dung luận văn ..................................................................................... 6 Chƣơng 2: CƠ SỞ LÝ THUYẾT ........................................................................................ 7 2.1. Giới thiệu về hệ thống xử lý ảnh ............................................................................... 7 2.2 Những vấn đề cơ bản trong hệ thống xử lý ảnh....................................................... 10 2.2.1 Điểm ảnh (Picture Element)............................................................................... 10 2.2.2 Độ phân giải của ảnh .......................................................................................... 10 2.2.3 Mức xám của ảnh ............................................................................................... 10 2.2.4 Định nghĩa ảnh số ............................................................................................... 11 2.2.5 Quan hệ giữa các điểm ảnh ................................................................................ 11 2.3 Vấn đề cải thiện chất lƣợng ảnh............................................................................... 12 2.3.1 Khái niệm về toán tử điểm ................................................................................. 12 2.3.2 Cải thiện ảnh dùng toán tử không gian ............................................................. 13 2.4 Phân vùng ảnh .......................................................................................................... 19 2.4.1 Phân vùng ảnh theo ngƣỡng biên độ ................................................................. 19 2.4.2 Phân vùng ảnh theo miền đồng nhất ................................................................. 20 iv 2.5 Đặc trƣng Haar-like................................................................................................. 21 2.5.1 Khái niệm Integral Image .................................................................................. 24 2.6 Khái niệm Boosting.................................................................................................. 26 2.6.1 Thuật toán học AdaBoost................................................................................... 27 2.7 Cascade of Classifier .................................................................................................. 31 2.8 Vài nét về động cơ BLDC ........................................................................................ 32 2.8.1 Giới thiệu về động cơ ba pha không chổi than(BLDC): ................................... 32 2.8.2Cấu tạo động cơ BLDC: ...................................................................................... 33 2.8.3 Nguyên tắc hoạt động của động cơ BLDC: ....................................................... 38 2.8.4 Mô hình toán động cơ BLDC:............................................................................ 39 2.8.5 So sánh động cơ BLDC với động cơ DC có chổi than ....................................... 40 Chƣơng 3:THIẾT KẾ VÀ THI CÔNG PHẦN CỨNG..................................................... 42 3.1 Sơ đồ phần cứng các module trong luận văn ........................................................... 42 3.2 Sơ đồ mạch trên các module..................................................................................... 43 3.2.1 Mạch master ARM LPC17xx điều khiển chính ................................................ 43 3.2.2 Mạch điều khiển driver động cơ BLDC dùng pic 16F887 ................................ 48 3.2.3 Mạch điều khiển dùng MC33035 ....................................................................... 49 3.2.4 Mạch cách ly dùng OPTO TLP250: .................................................................. 51 3.2.5 Module mạch động lực 75N75 ........................................................................... 53 3.2.6 Module mạch nguồn xung phục vụ cách ly:. ..................................................... 54 Chƣơng 4: XÂY DỰNG GIẢI THUẬT............................................................................. 58 4.1 Mô hình tổng quan ................................................................................................... 58 4.2 Lƣu đồ giải thuật ...................................................................................................... 59 4.2.1 Giải thuật quét ảnh nhận dạng cử chỉ tay ......................................................... 60 4.2.2 Lƣu đồ PID trong điều khiển tốc độ và hƣớng đi của xe lăn: ........................... 70 4.2.3 Giải thuật đọc cảm biến ..................................................................................... 78 Chƣơng 5: KẾT QUẢ VÀ HƢỚNG PHÁT TRIỂN ......................................................... 82 v 5.1 Kết quả ...................................................................................................................... 82 5.1.1 Kết quả mạch điều khiển và mạch công suất .................................................... 82 5.1.2 Kết quả nhận dạng cử chỉ tay ............................................................................ 85 5.2 Hạn chế và hƣớng khắc phục ................................................................................... 87 5.2.1Hạn chế:............................................................................................................... 87 5.2.2 Hƣớng phát triển đề tài: .................................................................................... 87 Tài liệu tham khảo...………………………………………………………………………...89 vi MỤC LỤC HÌNH ẢNH Hình 1.1 Mô hình xe lăn điện ............................................................................................... 1 Hình 1.2 Hình minh họa kết quả thuật toán trừ nền ............................................................ 3 Hình 1.1 Thuật toán Mean Shift ........................................................................................... 3 Hình 1.1 Theo dõi bàn tay sử dụng thuật toán Camshift ...................................................... 4 Hình 2.1 Các bước cơ bản trong xử lý ảnh ........................................................................... 8 Hình 2.2 Sơ đồ phân tích và xử lý ảnh và lưu đồ thông tin giữa các khối ............................ 9 Hình 2.3 Lân cận các điểm ảnh của tọa độ(x,y) ................................................................. 11 Hình 2.4 Các toán tử gờ sai phân. ...................................................................................... 17 Hình 2.5 Sơ đồ bộ lọc thông cao. ........................................................................................ 17 Hình 2.6 Khái niệm 4 liên thông và 8 liên thông ................................................................ 21 Hình 2.7 Sóng Haar-like cơ bản ......................................................................................... 22 Hình 2.8 Tập các đặc trưng trong Haar-Like mở rộng ....................................................... 22 Hình 2.9 Đặc trưng Haar-like ................................................................................................ 23 Hình 2.10 “Integral Image” của hình chữ nhật thẳng đứng ............................................. 24 Hình 2.11 “Integral Image” của hình chữ nhật xoay........................................................ 25 Hình 2.12 Mật độ phân bố giá trị đặc trưng của 1 weak classifier .................................... 26 Hình 2.13 Quá trình Boosting............................................................................................. 27 Hình 2.14 Cấu trúc của thuật toán học Adaboost .............................................................. 28 Hình 2.15 Quá trình xây dựng strong classifier của thuật toán học AdaBoost .................. 29 Hình 2.16 Nhận dạng positive sub- window sử dụng classifier ghép cascade ....................... 31 Hình 2.17 Loại nhanh các ảnh nền sử dụng phân loại ghép cascade ................................ 32 Hình 2.18 Cấu động cơ ba pha không chổi than ................................................................ 33 Hình 2.19 Cấu tạo động cơ BLDC ...................................................................................... 33 Hình 2.20 Mặt cắt của BLDC ............................................................................................. 34 Hình 2.21 Cấu tạo stator của BLDC ................................................................................... 34 Hình 2.22 Sóng phản điện hình sin .................................................................................... 35 Hình 2.23 Sóng phản điện hình thang................................................................................ 35 Hình 2.24 Cấu tạo Rotor ..................................................................................................... 36 Hình 2.25 Vị trí Hall Sensor .............................................................................................. 37 Hình 2.26 Nguyên lý hoạt động của BLDC ........................................................................ 38 vii Hình 2.27 Sơ đồ mạch một pha của động cơ BLDC ........................................................... 39 Hình 3.1 Sơ đồ phần cứng các module trong mạch ............................................................ 42 Hình 3.2 Sơ đồ capture mạch master ARM LPC 1769........................................................ 43 Hình 3.3 Sơ đồ khối của ARM Cortex M3 LPC17XX ......................................................... 44 Hình 3.4 Cảm biến siêu âm SRF05..................................................................................... 45 Hình 3.5 Cảm biến la bàn CMPS03 .................................................................................... 46 Hình 3.6 Sơ đồ capture mạch PIC 16F887 ......................................................................... 48 Hình 3.7 Sơ đồ capture mạch IC MC33035 ........................................................................ 49 Hình 3.8 Sơ đồ cấu tạo IC MC33035 .................................................................................. 50 Hình 3.9 Tín hiệu đọc về từ Hall Sensor............................................................................. 51 Hình 3.10 Sơ đồ capture mạch cách ly ............................................................................... 51 Hình 3.11 Sơ đồ capture mạch kích FET ........................................................................... 52 Hình 3.12 Điện áp kích FET............................................................................................... 52 Hình 3.13 Sơ đồ mạch động lực dùng FET 75N75 ............................................................. 53 Hình 3.14 Sơ đồ đơn giản bộ biến đổi flyback .................................................................... 54 Hình 3.15 Mạch nguồn được dùng trong đề tài này ........................................................... 56 Hình 3.16 Mạch nguồn flyback thực tế .............................................................................. 57 Hình 4.1 Mô hình tổng quan .............................................................................................. 58 Hình 4.2 Các module PIC 16F887 giao tiếp ....................................................................... 59 Hình 4.3 Kích thước của sub-window có thể thay đổi nhờ hệ số tỉ lệ ................................. 60 Hình 4.4 Sơ đồ khối quá trình nhận dạng ảnh đưa vào từ camera ................................... 61 Hình 4.5 Các bộ phân loại ghép cascade được nối song song với nhau ............................. 62 Hình 4.6 Bàn tay dạng lõm hình chữ “C” ......................................................................... 63 Hình 4.7 a) Bàn tay chụp dưới ánh sáng tự nhiên và b) bàn tay chụp dưới ánh sáng đèn huỳnh quang ........................................................................................................ 64 Hình 4.8 Ảnh các bàn tay đã được cắt thành hình vuông .................................................. 64 Hình 4.9 Hình bàn tay được cắt trong hình chữ nhật có kích thước 1:2........................... 65 Hình 4.10 Một số ảnh nền được sử dụng trong huấn luyện ............................................... 66 Hình 4.11 Giải thuật chống nhiễu ...................................................................................... 68 Hình 4.12 Lưu đồ giải thuật xử lý ảnh ............................................................................... 69 Hình 4.13 Lưu đồ PID ........................................................................................................ 70 Hình 4.14 Minh họa vận tốc tiến và xoay của xe lăn .......................................................... 71 Hình 4.15 Lưu đồ giải thuật trên ARM............................................................................... 72 viii Hình 4.16 Tín hiệu xung pha A và B của encoder khi quay thuận..................................... 73 Hình 4.17 Tín hiệu xung pha A và B của encoder khi quay nghịch ................................... 73 Hình 4.18 Lưu đồ giải thuật nhân 2 số xung encoder ........................................................ 74 Hình 4.19 Lưu đồ giải thuật PD trên ARM......................................................................... 75 Hình 4.20 Lưu đồ giải thuật PID trên PIC ......................................................................... 77 Hình 4.21 Giải thuật đọc cảm biến siêu âm ........................................................................ 79 Hình 4.22 Hình minh họa giản đồ xung đọc về từ cảm biến siêu âm ................................. 80 Hình 4.23 Giải thuật đọc la bàn điện tử.............................................................................. 81 Hình 5.1 Mạch công suất .................................................................................................... 83 Hình 5.2 Mạch nguồn Flyback ........................................................................................... 83 Hình 5.3 Mô hình xe lăn đã hoàn thiện .............................................................................. 84 Hình 5.4 Giao diện máy tính ............................................................................................... 85 Hình 5.5 Kết quả nhận dạng ............................................................................................... 87 ix NỘI DUNG Chƣơng 1: GIỚI THIỆU Chƣơng 1: GIỚI THIỆU 1.1 Giới thiệu về xe lăn điện Trong thời gian trở lại đây, cuộc sống của những ngƣời kém may mắn về cơ thể ngày càng đƣợc quan tâm và nâng cao. Trong đó không thể không kể đến tầm quan trọng của chiếc xe lăn trong việc hỗ trợ ngƣời khuyết tật có thể di chuyển một cách dễ dàng hơn. Thật vậy, chiếc xe lăn không chỉ góp phần tạo nên sự chủ động hơn trong cuộc sống cho bản thân ngƣời sử dụng chúng mà còn giảm bớt gánh nặng cũng nhƣ nỗi lo lắng của thân nhân ngƣời khuyết tật. Hệ thống điều khiển bằng tay thông qua cần điều khiển đã đƣợc áp dụng khá lâu trong lĩnh vực khoa học kỹ thuật, đặc biệt đó xe lăn điện. Bên cạnh đó, nhờ sự tiến bộ của khoa học kỹ thuật, hàng loạt công nghệ nhận dạng cử chỉ và hành động của con ngƣời đã đƣợc phát minh, trong số đó, hệ thống nhận dạng mắt và giọng nói đã và đang đƣợc ứng dụng một cách rộng rãi. Với ý tƣởng ứng dụng công nghệ hiện đại vào đồ án nghiên cứu đồng thời nâng cao hiệu quả hoạt động của chiếc xe lăn điện, luận văn đã khai thác việc sử dụng hệ thống nhận dạng cử chỉ tay vào việc điều khiển xe lăn, kết hợp với việc điều khiển qua joystick bằng tay truyền thống nhằm tạo ra sản phẩm có thể giúp ngƣời sử dụng có thể dễ dàng điều khiển xe, từ đó chủ động hơn trong việc di chuyển hằng ngày. Hình 1.1 Mô hình xe lăn điện GVHD: HUỲNH THÁI HOÀNG Trang 1 Chƣơng 1: GIỚI THIỆU 1.2 Tổng quan về các nghiên cứu liên quan Bàn tay con ngƣời có cấu trúc xƣơng phức tạp bao gồm rất nhiều khớp nối với nhau. Vì số bậc tự do của bàn tay ngƣời là rất lớn nên việc nhận dạng cử chỉ bàn tay trở nên một thách thức lớn. Có nhiều nghiên cứu về nhận dạng cử chỉ với các giải thuật khác nhau nhƣ: nhận dạng dựa vào dáng vẻ, dựa vào màu sắc, hình dáng, các đặc trƣng của bàn tay, optical flow, mean shift…. 1.2.1 Nhận dạng bàn tay dựa vào màu sắc và hình dáng Màu da là một đặc trƣng quan trọng để định vị và tracking bàn tay ngƣời. Tuy nhiên thuật toán dựa trên màu da phải đối mặt với khó khăn đó là phải phân biệt đối tƣợng có màu tƣơng tự với bàn tay nhƣ khuôn mặt và cánh tay ngƣời. để giải quyết vấn đề này, ngƣời sử dụng phải mặc áo sơ mi dài và phải hạn chế trong khung nền trong đó màu sắc các đối tƣợng không đƣợc tƣơng đồng với màu da ngƣời. Thuật toán này cũng rất nhạy với các điều kiện chiếu sáng khác nhau. Khi điều kiện ánh sáng không đáp ứng yêu cầu thì bộ nhận dạng thƣờng không nhận ra bàn tay. Wuetal đã đề xuất thuật toán bám theo đối tƣợng dựa trên màu sắc không ổn định bằng cách học hai phƣơng pháp biểu diễn khác nhau cho sự phân bố màu sắc và gọi thuật toán mới này là structure adaptive self-organizing map (SASOM). Kết quả trong việc định vị bàn tay đã chỉ ra rằng thuật toán có thể kiểm soát tốt một vài điểm khó trong tracking đối tƣợng có màu sắc không ổn định. 1.2.2 Nhận dạng dựa trên đặc trƣng bàn tay Thuật toán dựa trên đặc trƣng bàn tay trích xuất đặc trƣng trong một vùng ảnh nhất định nhƣ đầu ngón tay hoặc biên bàn tay, và sử dụng một vài phƣơng pháp suy luận để tìm ra hình dạng hoặc kết hợp những đặc trƣng cụ thể để tạo nên một cử chỉ bàn tay. Đối với cách tiếp cận dựa trên đặc trƣng bàn tay, việc phân đoạn những ảnh không bị nhiễu là bƣớc cần thiết để phục hồi những đặc trƣng của bàn tay. Đây không phải là nhiệm vụ dễ dàng khi gặp phải những ảnh nền phức tạp. 1.2.3 Optical Flow Optical flow là thuật toán dựa trên phân tích chuyển động của bàn tay. Việc bám theo bàn tay dựa vào quỹ đạo chuyển động và kết hợp với bộ phát hiện màu da. Bộ lọc theo thời gian dùng thuật toán Viterbi để nhận dạng quỹ đạo của bàn tay và thuật toán kiểm tra phụ đƣợc bổ sung vào thuật toán Viterbi để đảm bảo chắc chắn quỹ đạo trích xuất sẽ chứa vị trí GVHD: HUỲNH THÁI HOÀNG Trang 2 Chƣơng 1: GIỚI THIỆU bàn tay của cùng một bàn tay đã đƣợc nhận dạng trƣớc đó. Những kết quả thực tế cho thấy hệ thống có khả năng bám theo bàn tay ổn định. 1.2.4 Phƣơng pháp trừ nền Bàn tay đƣợc phát hiện bằng phƣơng pháp trừ nền, sử dụng thuật toán “codebook” của thƣ viện OpenCV. Các điểm đầu mút đƣợc phát hiện bằng thuật toán “convex hull 2”, các điểm lõm đƣợc phát hiện bằng thuật toán “convexity defect”. Dựa vào số điểm lồi và lõm ngƣời ta sẽ biết đƣợc số ngón tay đƣợc đƣa lên. Hình 1.2 Hình minh họa kết quả thuật toán trừ nền. 1.2.5 Mean Shift Thuật toán mean shift là một thủ tục lặp đơn giản, dịch điểm trọng tâm của vùng ảnh đang xét (ROI-region of interest) đến điểm trọng tâm của khối (ví dụ nhƣ trung bình của những điểm dữ liệu). Dữ liệu có thể là những đặc trƣng nhìn thấy đựợc nhƣ là màu sắc hay hoa văn. Hình 1.3 Thuật toán Mean Shift GVHD: HUỲNH THÁI HOÀNG Trang 3 Chƣơng 1: GIỚI THIỆU Thuật toán sử dụng phân bố thống kê (statistical distribution) để mô tả đặc điểm đối tƣợng quan tâm. Brakski đề xuất đổi tên thuật toán mean shift thành Continuously Adaptive Mean Shift (CamShift) - tạm dịch là mean shift thích nghi liên tục - mục đích ban đầu là tracking một cách có hiệu quả vùng đầu và khuôn mặt. Thuật toán CamShift đi tìm điểm trung tâm và kích thƣớc của đối tƣợng sử dụng xác suất xuất hiện của một yếu tố màu nào đó trong khung ảnh. Yếu tố màu này đƣợc xác định phụ thuộc vào đối tƣợng đang xét, nếu là bàn tay thì yếu tố màu là màu sắc của da. Xác xuất này đƣợc tạo thông qua một mô hình histogram của một màu đó. Một cửa sổ tìm kiếm (search window) đƣợc di chuyển và thay đổi kích thƣớc của nó, quét trên toàn bộ khung hình cho đến khi nào vùng tâm của nó trùng với vùng tâm của khối. So với thuật toán mean shift thông thƣờng sử dụng phân bố tĩnh (static distribution) - tức phân bố không đƣợc cập nhật về thông tin của đối tƣợng nếu đối tƣợng không có những thay đổi nghiêm trọng về kích thƣớc, hình dáng, và màu sắc - thuật toán CamShift có thể theo dõi hiệu quả những phân bố xác suất thay đổi liên tục trong vùng ảnh quan sát. Hình 1.4 cho thấy vài kết quả sử dụng thuật toán này theo dõi bàn tay. Thuật toán CamShift có thể theo dõi rất nhanh dựa vào vào một vài đặc trƣng của ảnh nhƣ là đốm màu. Tuy nhiên thuật toán này gặp khó khăn trong việc phân biệt giữa những bàn tay khác nhau nhƣng có cùng điểm trọng tâm khối. Hình 1.4 Theo dõi bàn tay sử dụng thuật toán Camshift. Có nhiều nghiên cứu về giải thuật nhận dạng bàn tay:  Nhận dạng bàn tay điều khiển robot di động- Nguyễn Văn Dũng (2005) dùng thuật toán Haar Features- AdaBoost nhƣng có nhƣợc điểm là chỉ nhận dạng đƣợc trên nền cố định vì sử dụng thuật toán trừ nền.  Điều khiển robot bằng cử chỉ bàn tay- Nguyễn Thịnh Định (2011) dùng Haar Features- AdaBoost nhận dạng tƣơng đối ổn định nhƣng có nhƣợc điểm làm hơi bị nhiễu với ánh sáng mạnh, tốc độ xử lý còn chậm. GVHD: HUỲNH THÁI HOÀNG Trang 4 Chƣơng 1: GIỚI THIỆU  Mô phỏng bàn tay sử dụng xử lý ảnh và đồ họa máy tính - Bùi Hoàng Nam (2011) dùng hai camera để xác định các khớp bàn tay nhƣng dễ bị nhiễu môi trƣờng, nhất là ánh sáng.  Công ty Nhật Bản Omron đã ứng dụng công nghệ nhận dạng cử chỉ tay trên máy tính, vô tuyến truyền hình, máy ảnh số, điện thoại di động hay cả trên máy tính bảng, những thiết bị nhỏ nhẹ, cấu hình không cao.  Sony vừa cho ra laptop Vaio E Series 14P, sản phẩm này có hỗ trợ nhận diện cử chỉ. Ngƣời dùng có thể sử dụng camera để ra lệnh bằng cử chỉ đối với một số ứng dụng nhất định. Ví dụ nhƣ lƣớt tay sang trái, phải để chuyển giữa các trang web và hình ảnh trong thƣ viện hoặc đẩy tay xuống để dừng phát nhạc, slideshow, quay vòng tay để tăng, giảm âm lƣợng...  Hãng Toyota vừa tung ra một chiếc ván trƣợt có gắn camera Kinect và máy tính bảng của Microsoft để mô tả một số công nghệ nhận diện cử chỉ tay. Tốc độ của tấm ván đƣợc điều khiển bằng chuyển động của tay. Khi ngƣời điều khiển di chuyển cánh tay xuống gần camera thì tốc độ tăng lên, và di chuyển ra xa thì tốc độ giảm dần. Theo ngƣời đại diện Toyota cho biết, công nghệ này cũng có thể dùng để điều chỉnh âm lƣợng radio trong xe, giúp ngƣời lái vẫn tập trung nhìn đƣờng.  Điều khiển máy tính từ xa bằng cử động tay đƣợc nhận dạng bằng thiết bị Kinect.  Điều khiển slide từ xa bằng cử chỉ tay đƣợc nhận diện bằng OpenCV. Trong luận văn chúng tôi dùng thuật toán AdaBoost- Haar Features vì thuật toán này xử lý trên một vùng ảnh riêng biệt, hoạt động nhanh hơn đối với các thuật toán xử lý trên từng pixel, và đặc biệt là thuật toán này có thể chống lại sự thay đổi của môi trƣờng và các tín hiệu nhiễu không mong muốn. Để nhận dạng chính xác hơn chúng tôi chụp nhiều mẫu huấn luyện cho mỗi cử chỉ bàn tay ở nhiều điều kiện ánh sáng, khung cảnh khác nhau. Thêm vào đó, tập ảnh negative cũng tƣơng đối nhiều. Chi tiết hơn về thuật toán sẽ đƣợc trình bày trong chƣơng 2. 1.3 Nhiệm vụ luận văn Thiết kế xe lăn điều khiển bằng cử chỉ bàn tay thông qua xử lý ảnh hoặc có thể điều khiển bằng joystick. Sản phẩm phải đảm bảo tính ổn định cao, an toàn cho ngƣời dùng, điều khiển dễ dàng. GVHD: HUỲNH THÁI HOÀNG Trang 5