Tài liệu HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ TSV2014-16

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ TSV2014-16 Thuộc nhóm ngành khoa học: Công nghệ thông tin và Truyền thông. Cần Thơ, 12/2014 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ TSV2014-16 Thuộc nhóm ngành khoa học: Công nghệ thông tin và truyền thông. Sinh viên thực hiện: Huỳnh Ngọc Thái Anh Dân tộc: Kinh Lớp, khoa: DI1097A2 Ngành học: Mạng máy tính và Truyền thông Nam, Nữ: Nam Năm thứ: 4.5 /Số năm đào tạo: 4.5 Người hướng dẫn: Ths. Phạm Nguyên Hoàng Cần Thơ, 12/2014 NHỮNG THÀNH VIÊN THAM GIA NGHIÊN CỨU ĐỀ TÀI Đơn vị công tác và TT Họ và tên lĩnh vực chuyên môn Huỳnh Ngọc Thái Anh DI1097A2 1 2 3 Tạ Long Hải DI1096A1 Tô Thế Duy DI11Y9A1 Nội dung nghiên cứu cụ thể được giao Chủ nhiệm đề tài, Phân tích và thiết kế hệ thống, lập trình, cài đặt, kiểm thử. thiết kế hệ thống, lập trình, cài đặt, kiểm thử. Phân tích và thiết kế hệ thống, cài đặt, kiểm thử. CÁN BỘ HƯỚNG DẪN SINH VIÊN THỰC HIỆN ĐỀ TÀI Họ và tên Đơn vị (Bộ môn/Khoa(Viện,TT)) Nhiệm vụ Ths. Phạm Nguyên Hoàng Bộ môn: Khoa học máy tính Khoa Công nghệ thông tin và Truyền thông Hướng dẫn nội dung khoa học và hướng dẫn lập dự toán kinh phí đề tài. ĐƠN VỊ PHỐI HỢP CHÍNH Tên đơn vị trong và ngoài nước Nội dung phối hợp nghiên cứu Họ và tên người đại diện đơn vị MỤC LỤC DANH MỤC HÌNH ẢNH - BẢNG BIỂU ................................................................... 3 DANH MỤC NHỮNG TỪ VIẾT TẮT ........................................................................ 5 THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI ........................................... 6 MỞ ĐẦU .................................................................... 11 1. Tính cấp thiết của đề tài.....................................................................................12 2. Lý do chọn đề tài ............................................................................................... 13 II. TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU ..................................................13 1. Ngoài nước ...................................................................................................13 2. Trong nước ...................................................................................................14 III. PHƯƠNG PHÁP NGHIÊN CỨU ...................................................................14 IV. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU ................................................15 1. Đối tượng nghiên cứu ...................................................................................15 2. Phạm vi nghiên cứu ......................................................................................15 KẾT QUẢ NGHIÊN CỨU ....................................... 16 Chương 1: CƠ SỞ LÝ THUYẾT ...........................................................................17 1. Tìm hiểu về Kinect .......................................................................................17 2. Thư viện hỗ trợ Kinect .................................................................................21 3. Đặc điểm của Kinect SDK v1.8 ...................................................................22 4. Phương pháp xác định vị trí trong không gian .............................................26 5. Phương pháp xác định độ sâu trong không gianError! Bookmark not defined. Chương 2: CHƯƠNG TRÌNH VÀ GIẢI THUẬT ...............................................34 1. Tổng quan về chương trình...........................................................................34 2. Nguyên lý hoạt động.....................................................................................35 3. Tính năng chuyển slide trình chiếu .............................................................. 55 4. Tính năng phóng to, thu nhỏ slide đang trình chiếu .....................................60 5 Tính năng hiển thị điểm laze trên slide đang trình chiếu .................................65 DANH MỤC HÌNH ẢNH - BẢNG BIỂU 6 Tính năng vẽ, xóa ghi chú trên slide đang trình chiếu .....................................68 7 Tính năng thoát trình chiếu ..............................................................................71 KẾT LUẬN VÀ KIẾN NGHỊ................................... 75 I. KẾT LUẬN ..........................................................................................................76 1. Kết quả đạt được ............................................................................................... 76 2. Hạn chế và khó khăn ........................................................................................76 3. Giải pháp khắc phục .....................................................................................76 II. KIẾN NGHỊ ........................................................................................................77 TÀI LIỆU THAM KHẢO.......................................................................................78 PHỤ LỤC ................................................................... 79 I. KIỂM THỬ PHẦN MỀM ................................................................................80 1. Môi trường kiểm thử ........................................................................................80 2. Kết quả kiểm thử .............................................................................................. 80 II. HƯỚNG DẪN CÀI ĐẶT PHẦN MỀM............................................................ 83 1. CÀI ĐẶT KINECT SDK 1.8 ............................................................................83 2. CÀI ĐẶT KINECT FOR WINDOWS DEVELOPER TOOLKIT ...................85 III. LẤP ĐẶT PHẦN CỨNG VÀ BỐ TRÍ HỆ THỐNG .....................................87 IV. GIAO DIỆN CHƯƠNG CHÌNH .....................................................................89 HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ 2 DANH MỤC HÌNH ẢNH - BẢNG BIỂU DANH MỤC HÌNH ẢNH - BẢNG BIỂU A. Danh mục hình Hình 1. Thiết bị Kinect .................................................................................................. 17 Hình 2. Nhận diện hành động game thủ và điều khiển nhân vật trong game ............... 18 Hình 3. Các chức năng thường dùng của Kinect ........................................................... 19 Hình 4. Những thành phần chính của Kinect ............................................................... 19 Hình 5. Cơ chế hoạt động của bộ cảm biến Prime Sense PS1080-A2 .......................... 21 Hình 6. Các điểm chuyển động trên cơ thể ................................................................... 23 Hình 7. Kiến Trúc Kinect .Net SDK ............................................................................. 25 Hình 8. Phân tích điểm M trong không gian. ................................................................ 26 Hình 9. Giải pháp PrimeSensor ..................................................................................... 27 Hình 10. Các kỹ thuật đo lường chiều sâu .................................................................... 28 Hình 11. Minh họa vị trí 2 thành phần chính trong Triangulation ................................ 29 Hình 12. Mô phỏng kỹ thuật Structured Light .............................................................. 29 Hình 13. Mô phỏng kỹ thuật Time – Of – Flight .......................................................... 30 Hình 14. Cấu tạo bên trong Kinect ................................................................................ 31 Hình 15. Mẫu hình chiếu từ IR camera và Project ........................................................ 32 Hình 16. Tính toán khoảng cách tới một điểm chiếu từ Project.................................... 33 Hình 17 Add Kinect Reference ..................................................................................... 35 Hình 18. Các khớp Kinect có thể nhận dạng ................................................................. 37 Hình 19. Chế độ mặc định và Seated mode ................................................................. 38 Hình 20. cử chỉ Hand_Turn_Right của tay phải............................................................ 40 Hình 21. cử chỉ Hand_Turn_Right của tay trái ............................................................. 40 Hình 22. cử chỉ Hand_Turn_Left của tay trái ............................................................... 40 Hình 23 cử chỉ Hand_Turn_Left của tay trái ................................................................ 40 Hình 24. Cử chỉ Right_Hand_Up của tay phải.............................................................. 41 Hình 25. Cử chỉ Right_Hand_Click của tay phải. ......................................................... 41 Hình 26 Cử chỉ Left_Hand_Click của tay trái............................................................... 41 Hình 27. Cử chỉ Left_Hand_Keep của tay trái .............................................................. 42 Hình 28.Cử chỉ Left_Hand_UnKeep của tay trái. ......................................................... 42 Hình 29.Cử chỉ Two_Hand_Up..................................................................................... 42 Hình 30.Cử chỉ Two_Hand_End. .................................................................................. 42 Hình 31 Số người Kinect có thể nhận dạng................................................................... 43 Hình 32. phạm vi có thể nhận của Kinect .................................................................... 44 Hình 33 giới hạn về chiều cao của người có thể nhận dạng .......................................... 44 Hình 34. Lỗi không nhận được khung xương do ngoài phạm vi. ................................ 45 HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ 3 DANH MỤC HÌNH ẢNH - BẢNG BIỂU Hình 35. lỗi không nhận được khung xương do ngoài phạm vi. .................................. 45 Hình 36. Bàn tay không thể nhận dạng do bị che khuất. ............................................... 46 Hình 37. Điều kiện tay ở phía trên vai (tay phải) .......................................................... 47 Hình 38. điều kiện tay ở phía ngoài vai (tay phải) ........................................................ 47 Hình 39. Điều kiện tay ở phía trong vai (tay trái) ......................................................... 48 Hình 40 Điều kiện tay ở phía trước vai ......................................................................... 48 Hình 41. Điều kiện tay ở phía trước ngực ..................................................................... 49 Hình 42. Điều kiện tốc độ chuyển động của bàn tay..................................................... 50 Hình 43. Điều kiện về thời gian delay ........................................................................... 50 Hình 44 sơ đồ luân chuyển giữa các mode .................................................................... 52 Hình 45 nhận cử chỉ chuyển trang tay phải ................................................................... 58 Hình 46. nhận cử chỉ chuyển trang tay trái. .................................................................. 59 Hình 47. nhận chử chỉ click tay phải ............................................................................. 63 Hình 48. nhận cử chỉ giữ tay phải ................................................................................. 64 Hình 49. Nhận cử chỉ giữ tay phải phía trên ................................................................. 67 Hình 50. Nhận cử chỉ Click tay phải ............................................................................. 71 Hình 51. nhận cử chỉ kết thức trình chiếu ..................................................................... 74 B. Danh mục bảng Bảng Bảng Bảng Bảng Bảng Bảng Bảng Bảng Bảng 1. Các thao tác cử chỉ được nhận dạng. .............................................................. 39 2. Các Module trạng thái của chương trình......................................................... 51 3. Các kết nối điều khiển PowerPoint ................................................................. 54 4. Yêu cầu chức năng chuyển Slide trình chiếu YC01 ....................................... 56 5. Yêu cầu chức năng chuyển Slide trình chiếu YC02 ....................................... 56 6. Yêu cầu chức năng thu phóng trình chiếu YC03. ........................................... 61 7.Yêu cầu chức năng thu phóng trình chiếu YC04. ............................................ 61 8.Yêu cầu chức năng thu phóng trình chiếu YC05 ............................................. 61 9.Yêu cầu chức năng Laser point trình chiếu YC06.. ........................................ 65 Bảng 10.Yêu cầu chức năng ghi chú trình chiếu YC06. .............................................. 69 Bảng 11. Yêu cầu chức năng ghi chú trình chiếu YC07. ............................................ 69 Bảng 12. Yêu cầu chức năng thoát trình chiếu YC08. ................................................. 72 HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ 4 DANH MỤC NHỮNG TỪ VIẾT TẮT DANH MỤC NHỮNG TỪ VIẾT TẮT HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ 5 THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI 1. Thông tin chung: - Tên đề tài: HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ - Sinh viên thực hiện: Huỳnh Ngọc Thái Anh - Lớp: DI1097A2 Khoa: Công nghệ thông tin và Truyền Thông Năm thứ: 4.5 Số năm đào tạo: 4.5 - Người hướng dẫn: Ths. Phạm Nguyên Hoàng 2. Mục tiêu đề tài: Mục tiêu chính của đề tài là “Xây dựng hệ thống ứng dụng nhận dạng cử chỉ nhằm phục vụ trong công tác giảng dạy”. Trong đó cần giải quyết các vấn đề sau: a) Nghiên cứu sử dụng và lập trình cho thiết bị camera cảm biến Kinect for Windows của Microsoft. b) Xây dựng chương trình ứng dụng thực hiện các điều khiển trình chiếu PowerPoint sử dụng thiết bị Kinect trên nền Windows, có khả năng nhận diện các hành vi chuẩn sau: - Hành vi điều khiển tiến đến slide trước. - Hành vi điều khiển lùi đến slide sau. - Hành vi điều khiển chuyển thu phóng nội dung trên màn hình hiển thị. - Hành vi thực hiện ghi chú nội dung trên màn hình hiển thị. - Hành vi thực hiện xóa ghi chú nội dung trên màn hình hiển thị. - Hành vi điều khiển điểm Laser trên màn hình hiển thị. c) Xây dựng thí điểm mô hình thực tế của hệ thống. d) Nghiên cứu phát triển thêm các chức năng tương tác của hệ thống. 3. Tính mới và sáng tạo: a) Ứng dụng công nghệ nhận dạng cử chỉ vào hỗ trợ giảng dạy, cụ thể là điều khiển trình chiếu Powerpoint b) Ứng dụng thiết bị Kinect for Xbox360 thay thế cho thiết bị Kinect for Windows để lập trình trên môi trường windows. c) Phát triển thêm các 3 tính năng điều khiển PowerPoint so với các đề tài đã nghiên cứu trước đó: - Chức năng thu phóng nội dung trên màn hình hiển thị. - Chức năng ghi chú hay đánh dấu nội dung trên màn hình hiển thị. - Chức năng điều khiển điểm Laser trên màn hình hiển thị. d) Dùng phương pháp xác định chuyển động tay bằng tốc độ để tăng độ chính xác. e) Cho phép các tùy chọn kích hoạt các chức năng điều khiển theo nhu cầu của người dùng. HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ 6 THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI f) Phát triển 2 hình thức thông báo cử chỉ đã nhận qua hình ảnh và âm thanh. 4. Kết quả nghiên cứu: 1. Cài đặt môi trường lập trình và kết nối thiết bị Kinect for Xbox360 thay thế cho Kinect for Windows để sử dụng. 2. Xây dựng thành công ứng dựng nhận dạng 7 cử chỉ điều khiển chính bao gồm: Nhấn bằng tay phải. Lướt trái và phải bằng tay phải. Giữ tay phải. Nhấn bằng tay trái. Lướt trái và phải bằng tay trái. Giữ tay trái. Giữ hai tay. 3. Kết nối điều khiển PowerPoint với 4 chức năng chính: Chức năng chuyển trang tới và lui. Chức năng điều khiển điểm Laser. Chức năng thu – phóng nội dung hiển thị. Chức năng tạo ghi chú, đánh dấu nội dung trên màn hình hiển thị. Chức năng thoát trình chiếu 5. Đóng góp về mặt kinh tế - xã hội, giáo dục và đào tạo, an ninh, quốc phòng và khả năng áp dụng của đề tài: Đề tài “Hệ thống hỗ trợ giảng dạy bằng công nghệ nhận dạng cử chỉ” đóng gớp trực tiếp về mặt giáo dục: - Xây dựng được một hệ thống hỗ trợ hiệu quả việc giảng dạy trên lớp của giảng viên - Xây dựng một hệ thống hỗ trợ hiệu quả cho sinh viên trong việc thuyết trình trực quan cũng như báo cáo đề cương, luận văn. - Tăng cường sự hứng thú trong học tập của sinh viên, nâng cao hiệu quả giảng dạy. - Xây dựng nên một môi trường học tập công nghệ cao là tiền đề cho sự đổi mới và nâng cao phương pháp học tập, giảng dạy. Hệ thống có thể đưa vào sử dụng trực tiếp trong môi trường giảng dạy Đại học, cụ thế là áp dụng thí điểm tại khoa Công nghệ thông tin và Truyền thông trường Đại học Cần Thơ. 6. Công bố khoa học của sinh viên từ kết quả nghiên cứu của đề tài: Ngày 14 tháng 12 năm 2014 Sinh viên chịu trách nhiệm chính thực hiện đề tài Huỳnh Ngọc Thái Anh HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ 7 THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Nhận xét của người hướng dẫn về những đóng góp khoa học của sinh viên thực hiện đề tài ……………..…………………………………………………………………………… ………………………………………………………………………………………….. …………………………………………………………………………………………... ……………………………………………………..…………………………………… ……………..…………………………………………………………………………… ………………………………………………………………………………………….. …………………………………………………………………………………………... ……………………………………………………..…………………………………… ……………..…………………………………………………………………………… ………………………………………………………………………………………….. …………………………………………………………………………………………... Ngày Xác nhận của Trường Đại học Cần Thơ HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ 14 tháng 12 năm 2014 Người hướng dẫn 8 THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ THÔNG TIN VỀ SINH VIÊN CHỊU TRÁCH NHIỆM CHÍNH THỰC HIỆN ĐỀ TÀI I. SƠ LƯỢC VỀ SINH VIÊN: Ảnh 4x6 Họ và tên: Huỳnh Ngọc Thái Anh Sinh ngày: 20 tháng 02 năm 1991 Nơi sinh: Phường 2, Thành phố Vĩnh Long, Tỉnh Vĩnh Long Lớp: Mạng máy tính và truyền thông Khóa: 36 Khoa: Công nghệ thông tin và Truyền thông Địa chỉ liên hệ: 172/4, đường Phạm Hùng, Phường 9, Thành Phố Vĩnh Long, Tỉnh Vĩnh Long Điện thoại: 01689-426-949 Email: [email protected] II. QUÁ TRÌNH HỌC TẬP * Năm thứ 1: Ngành học: Mạng máy tính và Truyền thông Khoa: Công nghệ thông tin và Truyền thông Kết quả xếp loại học tập: Khá Sơ lược thành tích: - Học kỳ 1 : trung bình học kì: 3.30 - Học kỳ 2 : trung bình học kì: 2.38 * Năm thứ 2: Ngành học: Mạng máy tính và Truyền thông Khoa: Công nghệ thông tin và Truyền thông Kết quả xếp loại học tập: Khá Sơ lược thành tích: - Học kỳ 1 : trung bình học kì: 3.09 - Học kỳ 2 : trung bình học kì: 2.91 * Năm thứ 3: Ngành học: Mạng máy tính và Truyền thông Khoa: Công nghệ thông tin và Truyền thông Kết quả xếp loại học tập: Khá Sơ lược thành tích: - Học kỳ 1 : trung bình học kì: 3.11 - Học kỳ 2 : trung bình học kì: 3.13 * Năm thứ 4: xếp loại Giỏi xếp loại Khá xếp loại Khá xếp loại Khá xếp loại Khá xếp loại Khá HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ 9 THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Ngành học: Mạng máy tính và Truyền thông Khoa: Công nghệ thông tin và Truyền thông Kết quả xếp loại học tập: Giỏi Sơ lược thành tích: - Học kỳ 1 : trung bình học kì: 3.32 xếp loại Giỏi - Học kỳ 2 : trung bình học kì: 3.10 xếp loại Khá Xác nhận của Trường Đại học Cần Thơ Ngày 14 tháng 12 năm 2014 Sinh viên chịu trách nhiệm chính thực hiện đề tài Huỳnh Ngọc Thái Anh HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ 10 MỞ ĐẦU MỞ ĐẦU I. ĐẶT VẤN ĐỀ 1. Tính cấp thiết của đề tài 2. Lý do chọn đề tài II. TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU 1. Ngoài nước 2. Trong nước III. PHƯƠNG PHÁP NGHIÊN CỨU IV. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU 1. Đối tượng nghiên cứu 2. Phạm vi nghiên cứu HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ 11 MỞ ĐẦU I. ĐẶT VẤN ĐỀ 1. Tính cấp thiết của đề tài Với đặc điểm giảng dạy ở giảng đường Đại học khác nhau ở từng môn học, từng chương, từng bài, thậm chí từng mục, có thể sử dụng các phương pháp dạy học khác nhau. Song để phát triển tư duy trong dạy học và thu hút được sự hứng thú của sinh viên thì phương pháp trực quan là một trong những phương pháp hiệu quả nhất hiện nay. Các nội dung bài giảng được hiển thị trực quan và thu hút được hứng thú của sinh viên. Tuy nhiên chúng ta vẫn có thể tăng cường hiệu quả sử dụng phương tiện trực quan đến một tầm cao mới bằng cách thay đổi phương pháp điều khiển trình chiếu bằng tương tác trực tiếp. Trong đó, nhận diện cử chỉ là một công nghệ đầy hứa hẹn đem đến những đột phá mới trong việc hỗ trợ giảng dạy bằng tương tác trực tiếp. Những khả năng tương tác cao mà công nghệ này mang lại như việc giảng viên có thể đứng thoải mái trình bài nội dung đang được trình chiếu và bất cứ khi nào muốn, giảng viên có thể dễ dàng tiếp tục chuyển đến slide tiếp theo chỉ với động tác lướt tay trong không khí mà không phải sử dụng thiết bị hỗ trợ như chuột, bút trình chiếu. Ngoài ra, giảng viên có thể thực hiện ghi chú bằng cách viết bằng tay không lên màn hình hay thực hiện zoom nội dung bằng cách lướt hai tay… Với những khả năng vượt trội như thế công nghệ này đem đến những cảm nhận trực quan nhất về cách trình bày của người dạy, qua đó tăng cường khả năng tiếp thu và tạo hứng thú mạnh cho người học. Một hệ thống hỗ trợ giảng dạy bằng nhận dạng cử chỉ được xây dựng bao gồm 3 thiết bị chính: thiết bị hiển thị như máy chiếu hoặc màn hình; một máy tính và một thiết bị camera có hỗ trợ cảm biến nhận dạng chuyển động. Hiện nay, hầu hết các phòng học trong hầu hết các giảng đường Đại học đã được đầu tư hệ thống máy tính và máy chiếu để phục vụ cho công tác giảng dạy, vậy để có thể đưa công nghệ nhận dạng cử chỉ vào sử dụng và hoạt động tốt thì chỉ cần kết hợp thêm thiết bị camera. Giá thành của thiết bị chỉ mới phù hợp cho nghiên cứu và phục vụ trong các phòng học hiện đại, nhưng với sự phát triển của công nghệ thì giá thành của thiết bị ngày càng giảm, ứng dụng phổ biến hệ thống này sẽ khả thi hơn trong một tương lai gần. Việc sử dụng một camera có hỗ trợ cảm biến chuyển động sẽ cho hiệu quả cao hơn so với việc xây dựng giải thuật nhận diện chuyển động trên những camera thông thường, nhờ đó hệ thống sẽ có độ nhạy cao và ít bị ảnh hưởng bởi điều kiện môi trường, đem đến những hiệu quả thiết thực. Một camera cảm biến như thiết bị Kinect cho phép hệ thống hoạt động trong một phạm vi rộng, nhờ đó giảng viên có thể tự do thao tác khi đang giảng dạy. HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ 12 MỞ ĐẦU Hệ thống hoạt động bằng cách nhận diện những cử chỉ thông thường và trực quan của giảng viên, chính vì thế sẽ dễ dàng cho người dùng tiếp cận. Đồng thời chương trình thực thi sẽ được xây dựng trên nền tảng Windows nên thuận tiện cho việc cài đặt và sử dụng. Nhận diện cử chỉ trong hỗ trợ giảng dạy tuy là một bài toán mới nhưng nhận được nhiều sự quan tâm, nghiên cứu từ các hãng công nghệ lớn và các cộng đồng lập trình, cụ thể là Microsoft đã hỗ trợ bộ công cụ lập trình Kinect SDK cho thiết bị nhận diện cử chỉ Kinect, thu hút được sự quan tâm và sử dụng của cộng đồng lập trình C#, C++. Chính vì thế việc nghiên cứu công nghệ và lập trình sản phẩm phần mềm nhận diện cử chỉ để phục vụ trong công tác giảng dạy là một bài toán khả thi. 2. Lý do chọn đề tài Thấy được tính khả thi và khả năng đáp ứng cao trong việc ứng dụng thiết Kinect cùng nhu cầu cần thiết của việc xây dựng một hệ thống hỗ trợ giảng dạy bằng cử chỉ, nhóm quyết định thực hiện đề tài : “Hệ thống hỗ trợ giảng dạy bằng công nghệ nhận dạng cử chỉ”. II. TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU 1. Ngoài nước Công nghệ nhận diện cử chỉ đã được tiến hành nghiên cứu và phát triển trên thế giới. Đến đầu năm 2010, các hãng công nghệ lớn trên thế giới như Intel, Omron, Sony, Samsung, Microsoft… bắt đầu đưa ra thị trường công nghệ thử nghiệm các sản phẩm cho phép tương tác với các thiết bị sử dụng cử động tự nhiên của chính con người: camera 3D ( Intel), Hand Gesture V2 (Omron), Vaio Gesture Control (Sony), dòng Smart TV (samsung), thiết bị Leap Motion (Leap Motion) và Kinect (Microsoft) … Những công nghệ này đã được ứng dụng rộng rãi trong nhiều lĩnh vực như điều khiển game, điều khiển máy tính, tivi tương tác… Tuy nhiên về mặt hỗ trợ giảng dạy thì chưa có nhiều nghiên cứu và ứng dụng. Cụ thể hiện nay thì Kinect PowerPoint Control của Microsoft và Vaio Gesture Control của Sony là hai ứng dụng có thể cho phép điều khiển trình chiếu PowerPoint bằng cử chỉ. Những ứng dụng này còn gặp phải nhiều hạn chế nhất định như khả năng nhận dạng chuyển động chưa cao, chỉ cho phép thao tác với những cử chỉ đơn giản: lướt tay để qua trang, giữ tay để chọn … Công nghệ nhận diện cử chỉ đã được các trường Đại học trên thế giới tiến hành nghiên cứu như: Computer Vision for Human-Machine Interaction của trường Đại học Cambridge vào năm 1998, "Perceptual Interfaces" của Đại học California vào năm 2003 HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ 13 MỞ ĐẦU và gần đây là những nghiên cứu của của Đại học Stanford-Hoa Kỳ, Đại học HebrewIsrael, Học viện MIT-Hoa Kỳ, Đại học tổng hợp Moscow-Liên bang Nga xuất hiện nhiều công bố khoa học liên quan đến việc khai thác các thiết bị cảm biến hiện đại để giải quyết bài toán tương tác tự nhiên sử dụng cử chỉ để điều khiển thiết bị. Ví dụ điển hình là hệ thống điều khiển PowerPoint bằng mắt của Đại học Binghampton, hệ thống điều khiển WiSee được nghiên cứu bởi Đại học Washington, ngoài những chức năng điều khiển máy tính, hệ thống này còn hỗ trợ việc chuyển slide PowerPoint khi trình chiếu.Tuy nhiên thì những ứng dụng của bài toán này cho việc hỗ trợ giảng dạy thì vẫn đang trong quá trình nghiên cứu và hoàn thiện. 2. Trong nước Bài toán sử dụng công nghệ nhận dạng cử chỉ đang ở bước đầu được quan tâm nghiên cứu ở một số trường Đại học trong nước như Viện công nghệ thông tin-Viện Khoa học Việt Nam, Đại học Bách khoa Hà Nội… đã thu được một số thành quả cơ bản. Hầu hết những nghiên cứu điều tập trung vào phần lý thuyết và xây dựng những ứng dụng điều khiển máy tính, nhận diện ký tự… như hệ thống “Nhận dạng chữ cái bằng cử chỉ bàn tay cho người khiếm thính trên ứng dụng Matlab” của Đại học Bách Khoa Hà Nội, hệ thống nhận dạng cử chỉ của Học viện Kỹ thuật Quân sự,…. Việc ứng dụng công nghệ nhận diện cử chỉ vào công tác giảng dạy vẫn chưa được quan tâm nghiên cứu ở mức độ phù hợp. III. PHƯƠNG PHÁP NGHIÊN CỨU - Tham khảo ý kiến cán bộ hướng dẫn đề tài và các cán bộ trực tiếp giảng dạy. - Khảo sát các phương pháp điều khiển trình chiếu. - Phân tích, xây dựng yêu cầu chức năng và các đặc điểm cần có của hệ thống. - Thiết kế mô hình xử lý, mô hình hoạt động cho hệ thống. - Lập trình xây dựng các phân hệ, kiểm thử và chỉnh sửa. - Triển khai và đánh giá. - Xây dựng tài liệu phân tích thiết kế. - Phương pháp điều khiển PowePoint: kết nối điều khiển các phím chức năng PowerPoint hỗ trợ. Phương pháp xác định các thông số ràng buộc: thử và đặt lại các thông số. - Phân công nhiệm vụ các thành viên  Huỳnh Ngọc Thái Anh : Chủ nhiệm đề tài, phân tích và thiết kế hệ thống, lập trình, cài đặt, kiểm thử.  Tạ Long Hải: Thiết kế hệ thống, lập trình, cài đặt, kiểm thử, viết tài liệu. HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ 14 MỞ ĐẦU  Tô Thế Duy: Phân tích và thiết kế hệ thống, cài đặt, kiểm thử, viết tài liệu. IV. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU 1. Đối tượng nghiên cứu Công nghệ sử dụng: Thiết bị camera Kinect for Xbox 360 cùng gói thư viện lập trình Kinect SDK Đối tượng sử dụng: Giảng viên và sinh viên tại trường Đại học Cần Thơ, áp dụng thí điểm tại Khoa Công Nghệ Thông Tin & Truyền Thông. 2. Phạm vi nghiên cứu Lĩnh vực chuyên môn của đề tài: Nhận dạng cử chỉ và xử lý ảnh trong công nghệ thông tin. Phạm ứng dụng của đề tài: Trường Đại học Cần Thơ. HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ 15 KẾT QUẢ NGHIÊN CỨU KẾT QUẢ NGHIÊN CỨU Chương 1: CƠ SỞ LÝ THUYẾT 1. Tìm hiểu về Kinect 2. Thư viện hỗ trợ Kinect 3. Đặc điểm của Kinect SDK v1.8 4. Phương pháp xác định vị trí trong không gian 3. Phương pháp xác định độ sâu trong không gian Chương 2: CHƯƠNG TRÌNH VÀ GIẢI THUẬT 1. Tổng quan về chương trình 2. Nguyên lý hoạt động 3. Tính năng chuyển slide trình chiếu 4. Tính năng phóng to, thu nhỏ slide đang trình chiếu 5. Tính năng hiển thị điểm laze trên slide đang trình chiếu 6. Tính năng vẽ, xóa ghi chú trên slide đang trình chiếu 7. Tính năng thoát trình chiếu HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ 16 KẾT QUẢ NGHIÊN CỨU Chương 1: CƠ SỞ LÝ THUYẾT 1. Tìm hiểu về Kinect Sự ra đời và phát triển Hình 1. Thiết bị Kinect Kinect (hay còn được biết với mã là Project Natal) là 1 thiết bị thu nhận các cảm biến chuyển động, được phát triển bởi Microsoft. Thời gian đầu, Kinect là thiết bị chuyên dụng của hệ máy Xbox 360, phục vụ cho việc chơi game. Các mốc thời gian ra đời, phát triển của Kinect và các thành phần liên quan : - 30/5/2007: Tại hội nghị D5, cùng với người đồng sáng lập và là CEO của hãng Apple - Steve Jobs, Chủ tịch tập đoàn Microsoft Bill Gates thảo luận về một phương pháp điều khiển trò chơi dựa trên camera. - 1/6/2009: Microsoft công bố “Project Natal” ở hội nghị thường niên E3. Công ty cung cấp các bản demo đầu tiên của công nghệ này. Microsoft cũng hứa hẹn sẽ phát hành bộ công cụ phát triển dành cho các nhà phát triển game. - 13/6/2010: Trong suốt hội nghị E3, đổi tên “Project Natal” thành Kinect, chính thức là 1 thiết bị hỗ trợ cho Xbox 360. - 4/11/2010: Microsoft chính thức tung ra thị trường Kinect, cũng từ đây, nhưng kế hoạch phát triển Driver nguồn mở cho Kinect của các tổ chức/hacker cũng bắt đầu thực hiện. Adafruit Industries đã treo giải thưởng $1,000 cho người đầu tiên làm được điều này, sau động thái phản ứng của Microsoft cam kết rằng sẽ làm việc chặt chẽ với các nhóm thực thi pháp luật và an toàn sản phẩm để chống giả mạo cho Kinect, số tiền thưởng đã được tăng lên $2,000. HỆ THỐNG HỖ TRỢ GIẢNG DẠY BẰNG CÔNG NGHỆ NHẬN DẠNG CỬ CHỈ 17