Tài liệu Tương tác trực quan giữa người và máy tính bằng cảm biến quang

ĐẠI HỌC LẠC HỒNG KHOA CÔNG NGHỆ THÔNG TIN ---------- BÁO CÁO NGHIÊN CỨU KHOA HỌC ĐỀ TÀI: TƯƠNG TÁC TRỰC QUAN GIỮA NGƯỜI VÀ MÁY TÍNH BẰNG CẢM BIẾN QUANG NGUYỄN THÁI NHÂN NGUYỄN XUÂN THẢO BIÊN HÒA, THÁNG 12/2013 ĐẠI HỌC LẠC HỒNG KHOA CÔNG NGHỆ THÔNG TIN ---------- BÁO CÁO NGHIÊN CỨU KHOA HỌC ĐỀ TÀI: TƯƠNG TÁC TRỰC QUAN GIỮA NGƯỜI VÀ MÁY TÍNH BẰNG CẢM BIẾN QUANG SVTH : NGUYỄN THÁI NHÂN NGUYỄN XUÂN THẢO GVHD: ThS. NGUYỄN PHÁT NHỰT BIÊN HÒA, THÁNG 12/2013 MỤC LỤC Trang phụ bìa Lời cảm ơn Mục lục Danh mục từ viết tắt Danh mục hình ảnh Chương I PHẦN MỞ ĐẦU ...................................................................................... 1 1.1. Dẫn nhập ........................................................................................................ 1 1.2. Tổng quan tình hình nghiên cứu .................................................................... 2 1.3. Mục tiêu nghiên cứu ...................................................................................... 6 1.4. Lựa chọn phương pháp nghiên cứu ............................................................... 6 1.5. Đối tượng và phạm vi nghiên cứu ............................................................... 10 1.6. Những mặt tích cực và hạn chế của đề tài ................................................... 11 1.7. Kết cấu của đề tài......................................................................................... 11 Chương II NỘI DUNG THỰC HIỆN ................................................................... 12 2.1. Quy trình thực hiện ...................................................................................... 12 2.2. Tìm hiểu về thiết bị Camera Kinect ............................................................ 13 2.3. Đồng bộ hóa ảnh .......................................................................................... 24 2.4. Quét vùng tương tác .................................................................................... 25 2.5. Theo dõi khung xương................................................................................. 28 2.6. Theo dõi vùng tương tác và nhận diện thao tác chạm tay ........................... 31 2.7. Chuyển thao tác chạm qua tọa độ màn hình máy tính ................................. 34 2.8. Xử lý con trỏ Windows ............................................................................... 35 2.9. Thiết kế hệ thống ......................................................................................... 37 2.10. Thử nghiệm chương trình ............................................................................ 40 2.11. Tự đánh giá sản phẩm .................................................................................. 45 Chương III KẾT LUẬN ......................................................................................... 48 3.1. Kết quả nghiên cứu ...................................................................................... 48 3.2. Kết luận ........................................................................................................ 49 3.3. Hướng phát triển .......................................................................................... 50 Tài liệu tham khảo DANH MỤC TỪ VIẾT TẮT Từ viết tắt Giải thích API Application Programming Interface CMOS Complementary metal-Oxide-Semiconductor CL Code Laboratories CPU Central Processing Unit IR Infrared NI Nature Interface JNA Java Native Access JNI Java Native Interface NI Natural Interaction OPENNI Open Natural Interaction OPENCV Open Sourse ComPuter Vision RBG Red, Green, Blue SDK Software Development Kit SoC System on chip TOF Time Of Flight 3D 3 Dimensional DANH MỤC HÌNH ẢNH Hình 1.1: Mô hình mô phỏng hệ thống Ubi ................................................................3 Hình 1.2: Sản phẩm Touchless Touch ........................................................................4 Hình 1.3: Sản phẩm tường tương tác của công ty Vntouch ........................................5 Hình 1.4: Nhận diện bàn tay (OpenNI) .......................................................................7 Hình 1.5: Mẫu màu da trên bàn tay .............................................................................8 Hình 1.6: Minh họa về mật độ điểm ảnh trên bàn tay.................................................9 Hình 1.7: Mô phỏng khung xương ............................................................................10 Hình 2.1: Quy trình thực hiện ...................................................................................12 Hình 2.2: Hình camera Kinect ..................................................................................13 Hình 2.3: Hình cấu tạo của Kinect ............................................................................14 Hình 2.4: Cấu tạo bên trong Kinect ..........................................................................15 Hình 2.5: Công nghệ xử lý ảnh của PrimeSense.......................................................16 Hình 2.6: Giải pháp độc quyền Light Coding của PrimeSense ................................17 Hình 2.7: Góc chiếu Kinect .......................................................................................20 Hình 2.8: Ảnh độ sâu ................................................................................................20 Hình 2.9: Thông tin các bit lưu trữ độ sâu ................................................................21 Hình 2.10: Ví dụ về đo độ sâu...................................................................................21 Hình 2.11: Đối tượng cơ thể áp dụng cho học máy ..................................................22 Hình 2.12: Nhận dạng khung xương từ ảnh độ sâu ..................................................23 Hình 2.13: Trục tọa độ khung xương ........................................................................24 Hình 2.14: Ví dụ minh họa Rectangle kích thước 550x400 .....................................26 Hình 2.15: Rectangle trên phần mềm........................................................................27 Hình 2.16: Quá trình nhận diện các khớp xương ......................................................28 Hình 2.17: Khớp xương trên cơ thể được đánh tên...................................................29 Hình 2.18: Khung xương với 20 khớp xương ...........................................................29 Hình 2.19: Khung xương với 10 điểm khớp xương ..................................................30 Hình 2.20: Mô phỏng cách nhận dạng thao tác chạm ...............................................32 Hình 2.21: Kết quả chạm được hiển thị ....................................................................32 Hình 2.22: Lưu đồ giải thuật .....................................................................................34 Hình 2.23: Minh họa hệ tọa độ màn hình .................................................................34 Hình 2.24: Ví dụ minh họa về sự tương phản ...........................................................35 Hình 2.25: Lưu đồ chức năng chuột..........................................................................36 Hình 2.26: Mô hình thiết kế bàn tương tác ...............................................................37 Hình 2.27: Mô hình thiết kế đặt Kinect cố định ở sàn nhà .......................................38 Hình 2.28: Mô hình thiết kế Kinect đặt cố định trên trần nhà ..................................39 Hình 2.29: Màn chiếu che bảng phấn .......................................................................40 Hình 2.30: Kéo màn chiếu lên...................................................................................40 Hình 2.31: Viết chữ trên bảng phấn khi máy chiếu vẫn đang chiếu .........................40 Hình 2.32: Hình nền Windows chiếu lên màn chiếu che bảng phấn ........................41 Hình 2.33: Chạm tay vào shorcut bài giảng và mở bài giảng ...................................41 Hình 2.34: Chạm tay vào shorcut DEV C++ và hình giao diện chương trình ..........41 Hình 2.35: Chạm tay vào shorcut Paint và giao diện Paint ......................................42 Hình 3.36: Thanh Taskbar trên đó có 3 chương trình được kích hoạt ......................42 Hình 2.37: Thao tác chuyển qua Paint ......................................................................42 Hình 2.38: Màn hình Paint ........................................................................................43 Hình 2.39: Viết chữ trên Paint ..................................................................................43 Hình 2.40: Nhấn nút xóa trên Paint ...........................................................................43 Hình 2.41: Xóa chữ vừa viết trên Paint.....................................................................44 Hình 2.42: Xóa hết trên Paint ....................................................................................44 Hình 2.43: Nhấn trở về bài giảng ..............................................................................44 Hình 2.44: Quay lại bài giảng ...................................................................................45 Hình 3.1: Điều khiển game Angry Birds ..................................................................48 Hình 3.2: Chơi game có tính giáo dục dành cho trẻ em............................................49 Hình 3.3: Mô hình bàn tương tác sử dung cảm biến Kinect .....................................50 Hình 3.4: Tường tương tác ........................................................................................50 1 Chương I PHẦN MỞ ĐẦU 1.1. Dẫn nhập Ngày nay các thiết bị cảm ứng đã không còn quá xa lạ, nó ngày càng trở nên đa dạng và phổ biến. Các sản phẩm màn hình cảm ứng đã được áp dụng rộng rãi vào nhiều lĩnh vực: giáo dục, y tế, quảng cáo sản phẩm, hội họp… Giúp người dùng đạt hiệu quả cao trong công việc như giúp giáo viên hướng dẫn trên lớp học đạt kết quả cao so với phương pháp dạy truyền thống, các cửa hàng hiển thị thông tin sản phẩm giúp khách khách hàng dễ dàng lựa chọn, còn trong y tế sẽ giúp các bác sĩ có cái nhìn tổng quát hơn về bệnh nhân. Từ đó mang lại hiệu quả và thu lại nhiều phản hồi tích cực. Ở Việt Nam, các sản phẩm với màn hình cảm ứng cũng dần được áp dụng nhằm nâng cao hiệu quả của công việc. Ví dụ như đã có nhiều trường mầm non tiêu chuẩn quốc tế áp dụng công nghệ thông tin vào giảng dạy, dẫn đến chất lượng trong hiệu quả giảng dạy thay đổi một cách đáng kể. Đặc biệt là việc sử dụng “bảng thông minh” tạo ra sự tương tác hai chiều giữa học sinh và bài giảng, nhằm tối ưu hóa khả năng phát triển nhận thức, tư duy trong quá trình học tập của người học. Điển hình một số trường đã tiên phong trong việc sử dụng “bảng thông minh”: Trường mầm non quốc tế MappleBear Canada, Trường mầm non Hạnh Phúc Tân Bình, Trường mầm non Quốc tế EQ. Hạn chế của“bảng thông minh” là giá thành khá cao.Ví dụ giá thành của các sản phẩm bảng thông minh có thể lên đến hơn vài ngàn USD. Tuy nhiên trước sự phát triển của công nghệ xử lý ảnh đã mở ra một giải pháp mới giúp người dùng tương tác, dùng tay chạm lên màn chiếu không cảm ứng để điều khiển máy tính như màn hình cảm ứng. Và đây cũng là lý do nhóm nghiên cứu “Tương tác trực quan giữa người và máy tính bằng cảm biến quang” nhằm giúp tiết kiệm chi phí lắp đặt bảng thông minh mà vẫn đáp ứng được các tính năng của “bảng thông minh” giúp tương tác điều khiển máy tính trực tiếp trên màn chiếu (Projector). 2 Một số bài toán thực tế như bên dưới cho thấy nếu có một loại màn chiếu thông minh với giá thành rẻ, sẽ giảm thiểu các bất tiện cho giáo viên cũng như giảm kinh phí đầu tư bảng phấn cho các cơ sở đào tạo đồng thời loại trừ nguy cơ bệnh phổi từ việc giáo viên phải hít bụi phấn. Bài toán 1: Sự mất nhiều thời gian của việc di chuyển liên tục của giáo viên từ máy tính đến bảng phấn. Bài toán 2: Sự khó khăn khi bảng phấn bị che khuất bởi màn chiếu. Bài toán 3: Sự bất tiện khi đang cầm phấn mà muốn điều khiển máy tính. 1.2. Tổng quan tình hình nghiên cứu 1.2.1. Trên thế giới Hệ thống “Ubi interactive” Ubi interactive là một công ty thành lập ở Đức đặt trụ sở ở Munich liên kết với Microsoft để phát triển hệ thống điều khiển cử chỉ trong không gian ba chiều bằng cảm biến Kinect. Công nghệ này đã gây chú ý trên thế giới và được Microsoft gọi là tương lai của màn hình kĩ thuật số tại hội nghị Đối Tác Thế Giới năm 2012. Hệ thống hoạt động nhờ sử dụng cảm biến độ sâu được gắn bên trên máy chiếu hoặc đính kèm vào màn hình. Cảm biến sẽ nhận diện các thao tác tay của người dùng, sau đó phần mềm Ubi sẽ phiên dịch hành động của người dùng thành dòng lệnh của máy tính, sau đó đưa chúng vào các ứng dụng để tương tác. Chính vì thế, Ubi có thể dùng với hầu như tất cả ứng dụng đang được hiển thị lên màn hình. Đây là một giải pháp tiết kiệm bởi nó có thể hoạt động với những phần mềm và phần cứng sẵn có mà không cần phải chỉnh sửa gì nhiều. [14]. 3 Hình 1.1: Mô hình mô phỏng hệ thống Ubi Ưu điểm - Nhận diện thao tác chạm ngón tay của người dùng. - Hoạt động ổn định với nhiều ứng dụng trên hệ điều hành. Khuyết điểm - Hệ thống vẫn chưa thật sự nhận diện hết được tất cả các thao tác ngón tay của người dùng. - Do phải nhận diện các thao tác chạm qua cảm biến nêu sự tương tác giữa người và máy vẫn có độ trễ nhất định. - Hệ thống chỉ ổn định trong cự ly gần khi đặt cảm biến Kinect đối diện với màn chiếu ở khoảng cách 80-150cm. - Hệ thống không thể nhận dạng được thao tác chạm khi bàn tay bị che khuất bởi cơ thể người tương tác. Hệ thống “Touchless Touch” Hệ thống có tên “Touchless Touch” là sản phẩm sáng tạo của nhà phát triển ứng dụng RodSmithDev. 4 Hệ thống tương tác với máy tính nhờ thiết bị cảm biến độ sâu được gắn ở góc màn hình chiếu và cách màn hình 40cm, bằng chân đứng hoặc được đính kèm với màn hình. Cảm biến nhận diện các hành vi của người dùng và xử lý ở máy tính[13]. Hình 1.2: Sản phẩm Touchless Touch Ưu điểm - Hỗ trợ 128 điểm cảm ứng chuẩn. - Cảm ứng từ 90 – 200 inch nên không gian tương tác khá rộng. - Hỗ trợ tương tác đa điểm. Khuyết điểm - Cần nhiều Kinect, nếu mặt phẳng lớn cần tới bốn Kinect. - Ứng dụng chỉ chính xác khi Kinect được lắp đúng vị trí, không phù hợp với các phòng có không gian nhỏ hẹp. 1.2.2. Trong nước Hệ thống “Tường tương tác” của công ty Vntouch Phần mềm do kỹ sư Trần Tùng Mậu cùng đội ngũ kỹ sư của công ty Vntouch- Multitouch Technology Việt Nam đã tạo ra sản phẩm “tường tương tác” là phương tiện dành cho giải trí và quảng cáo. Tường tương tác gây cảm giác mới 5 lạ, sống động chân thực, nó biến người tham gia thành một phần của thế giới tương tác. Một camera hồng ngoại phủ lên màn hình một lớp sóng laser, khi người dùng chạm tay vào màn hình thì một cảm biến sẽ thu về ảnh bàn tay và xử lý trên máy tính. Các thông tin thao tác của bàn tay sẽ được chuyển qua các hiệu ứng đồ họa[15]. Hình 1.3: Ưu Sảnđiểm phẩm tường tương tác của công ty Vntouch - Là một sản phẩm phục vụ cho mục đích quảng cáo nên có nhiều hiệu ứng đẹp mắt, kích thước màn hình tương tác rộng. - Tại một thời điểm có thể nhận diện được nhiều thao tác chạm của nhiều người tương tác, tạo ra các hiệu ứng đồ họa đẹp mắt. Khuyết điểm - Vì đây là một sản phẩm phục vụ cho mục đích quảng cáo tiếp thị nên các thao tác chạm vẫn chưa thật sự chính xác và độ trễ vẫn còn cao. - Khâu xử lý còn phức tạp, sử dụng nhiều thiết bị để nhận diện thao chạm của người dùng. - Hệ thống chỉ áp dụng cho một mục đích quảng cáo sản phẩm. - Sản phẩm chưa có nhiều chức năng được xử lý trên máy tính. Cho đến nay, những công trình được đề cập phía trên đều chưa có một công bố chính thức nào về kết quả, chỉ nêu ra những kết quả đạt được không nêu những 6 phần còn hạn chế. Chương trình chỉ có thể thực hiện được những chức năng cơ bản thông qua việc nhận diện thao tác chạm tay lên mặt phẳng tương tác. Bên cạnh đó, hầu hết các dự án trên vẫn đang còn trong quá trình phát triển vẫn chưa hoàn thiện và còn gặp nhiều vấn đề cần phải giải quyết. Qua đó nhóm tác giải muốn nghiên cứu, hướng tới một chương trình có thể khắc phục được những khuyết điểm của các hệ thống trên như: nhận dạng tốt hơn và nhanh hơn, thực hiện được nhiều chức năng... Tìm cách giải quyết bài toán làm cách nào có thể sử dụng màn chiếu thay thế hoàn toàn các thao tác trên bảng phấn như viết bằng tay, bôi xóa bằng tay một cách linh hoạt. 1.3. Mục tiêu nghiên cứu Xây dựng một phần mềm chạy trên máy tính có khả năng thu nhận hình ảnh bàn tay của giáo viên thao tác trên màn chiếu, từ đó thông qua kỹ thuật xử lý ảnh để hiển thị lên màn chiếu những đường nét được tạo ra từ hoạt động của bàn tay. Để thực hiện điều này cần: - Tìm hiểu về cách hoạt động và chức năng của bảng thông minh (SmartBoard). - Tìm hiểu về thiết bị Kinect và các bộ thư viện hỗ trợ lập trình. - Nghiên cứu thuật toán, phương pháp nhận dạng thao tác chạm trên mặt phẳng tương tác. - Khoanh vùng cần tương tác và chuyển sang tọa độ màn hình máy tính. - Chuyển các thao tác chạm thành các sự kiện con trỏ chuột trái và chuột phải trên hệ điều hành Windows. 1.4. Lựa chọn phương pháp nghiên cứu 1.4.1. Nhận diện bàn tay OpenNI(Hand Tracking) Phương pháp này thông qua Kinect sẽ tách ngưỡng người qua ảnh độ sâu rồi từ đó khoanh vùng rồi nhận diện hai bàn tay[5]. 7 Hình 1.4: Nhận diện bàn tay (OpenNI) Ưu điểm - Nhận diện được và lấy giá trị bàn tay. - Sử dụng ở khoảng cách chấp nhận được. Khuyết điểm - Ở khoảng cách xa trên 1.4 mét không nhận diện tốt. - Chỉ hỗ trợ khi bàn tay để đối diện Kinect. - Thời gian nhận diện và theo dõi các thao tác chậm hơn so với thời gian thực. 1.4.2. Phát hiện dựa vào màu da Phát hiện màu da là quá trình của việc tìm kiếm các pixel có thông số trùng với thông số của màu da trong ảnh hoặc video. Quá trình này thường được sử dụng như là một bước tiền xử lý để tìm thấy các khu vực có sự xuất hiện khuôn mặt hoặc tay chân con người trong hình ảnh. Phân loại màu da là xác định một ranh giới quyết định lớp màu da trong không gian màu dựa trên một cơ sở dữ liệu màu da cụ thể. Trong phương pháp, nhóm nghiên cứu xác định màu da dựa vào các thông số R, G, B để tính toán các số liệu cụ thể[3]. Hình 1.5 cho thấy mỗi điều kiện khác nhau thì hình ảnh màu thu được hoàn toàn khác nhau. Ví dụ 1.5(a) môi trường ánh 8 sáng bình thường, 1.5(b) môi trường ánh sáng mạnh, 1.5(c) môi trường ánh sáng yếu. Hình 1.5: Mẫu màu da trên bàn tay được chụp trong 3 môi trường với điều kiện ánh sáng khác nhau Ưu điểm - Phát hiện chạm, theo dõi được cử chỉ của bàn tay. - Đây là một phương phổ biến được áp dụng ở nhiều đề tài nghiên cứu. Khuyết điểm - Đây vẫn còn là xử lý ảnh phức tạp nên phát hiện và xử lý không ổn định. - Vì đây là phương pháp xử lý trên điểm ảnh nên cần có ảnh bàn tay với kích thước đủ lớn để có thể nhận dạng được. - Phụ thuộc rất nhiều vào điều kiện môi trường xung quanh. 1.4.3. Xử lý điểm ảnh trong Kinect Đầu tiên ta sẽ lưu vào mảng giá trị độ sâu của bàn tay thông qua công thức tính khoảng cách của Kinect rồi so sánh các giá trị độ sâu điểm ảnh trên bàn tay so với giá trị vừa được lưu trữ trên toàn mảng đã lưu từ trước nếu thỏa điều kiện thì xác nhận tay đã chạm mặt phẳng[6]. 9 Hình 1.6: Minh họa về mật độ điểm ảnh trên bàn tay Ưu điểm - Nhận diện nhanh, đáp ứng thời gian thực. - Có thể thao tác trước mặt và sau lưng. Khuyết điểm - Do phụ thuộc vào các tia hồng ngoại để đo đạc độ sâu nên cảm biến bị ảnh hưởng bởi môi trường có nhiều tia hồng ngoại (như ánh sáng mặt trời) sẽ dẫn đến thu nhận bản đồ độ sâu không ổn định. 1.4.4. Phương pháp theo dõi khung xương SDK(Skeleton Tracking) Cảm biến Kinect phát hiện ra khung xương hình ảnh toàn bộ cơ thể người. Sau khi có khung xương của toàn thể cơ thể người, chương trình cần thực hiện rút trích phần khớp xương của hình ảnh bàn tay cho các bài toán đã đặt ra ở phần dẫn nhập. Từ đó lấy ra các giá trị độ sâu hình ảnh tay rồi so sánh với giá trị trên toàn mặt phẳng hay các điểm lân cận bàn tay đã thu vào một mảng từ trước, nếu thỏa mãn điều kiện đặt ra là trong hai ngưỡng Max và Min thì ghi nhận tay đã chạm vào mặt phẳng[4]. 10 Hình 1.7: Mô phỏng khung xương Ưu điểm - Phát hiện khung xương rất nhạy và nhanh. - Nhận diện được nhiều người, phù hợp cho đa chạm. - Phù hợp với các ứng dụng liên quan đến nhận diện con người Khuyết điểm - Dễ bị mất các điểm trên bàn tay dẫn đến tọa độ chỉ tương đối chính xác. Qua những phương pháp nghiên cứu trên cho thấy sử dụng cảm biến Kinect có tính khả thi cao trong việc giải quyết vấn đề mà nhóm đặt ra. Với sự phát triển của công nghệ hiện nay thì tốc độ xử lý không còn là vấn đề khi dùng cảm biến Kinect. Và việc lựa chọn, tận dụng sức mạnh của cảm biến Kinect giúp nhóm tác giả sẽ giảm bớt công việc tính toán và xác định các thao tác chạm tay thông việc sử dụng dữ liệu khung xương từ cảm biến. 1.5. Đối tượng và phạm vi nghiên cứu 1.5.1. Đối tượng nghiên cứu Giáo viên giảng dạy và các phòng học có màn chiếu (projector). 1.5.2. Phạm vi nghiên cứu Xây dựng chương trình giúp cho việc tương tác với màn chiếu dễ dàng hơn phù hợp với công việc giảng dạy. 11 1.6. Những mặt tích cực và hạn chế của đề tài 1.6.1. Tích cực Việc gộp các chức năng của một màn chiếu thông thường với các chức năng của bảng phấn thành một loại bảng thông minh là một phương pháp mới biến một màn chiếu cứng nhắc thành một màn hình cảm ứng tiện lợi và an toàn với sự hỗ trợ của cảm biến Kinect. 1.6.2. Hạn chế Do giới hạn của Kinect nên để việc tương tác có độ chính xác cao thì Kinect được đặt cách màn chiếu trong vòng 1,7 mét trở xuống. 1.7. Kết cấu của đề tài Báo cáo gồm ba phần chính: phần mở đầu, phần nội dung và phần kết luận. Chương I: Phần mở đầu - Nêu lý do chọn đề tài, tìm hiểu các đề tài có liên quan ở trong và ngoài nước để xem các ưu và nhược điểm, từ đó đưa ra mục tiêu nghiên cứu và phương pháp. Chương II: Nội dung thực hiện - Tìm hiểu về Kinect, cách cấu tạo, nguyên lý hoạt động, các công nghệ bên trong và thư viện hỗ trợ để đưa ra cách xác định tay chạm mặt phẳng. - Xác định vùng cần tương tác và tính toán chuyển hệ tọa độ sao cho phù hợp với tọa độ trên màn hình máy tính. - Thử nghiệm chương trình và đưa ra số liệu khảo sát. Chương III: Kết luận - So sánh kết quả thực hiện với mục tiêu đề ra. - Kết luận chương trình. 12 Chương II: NỘI DUNG THỰC HIỆN 2.1. Quy trình thực hiện Bước 1: Tìm hiểu về thiết bị Kinect, nguyên lý hoạt động và các công nghệ bên trong Kinect. Bước 2: Đồng bộ hóa ảnh màu và ảnh độ sâu. Việc tính toán được thực hiện ở ảnh độ sâu nhưng ảnh màu cung cấp hình ảnh trực quan hơn giúp người dùng dễ dàng quan sát và chọn vùng tương tác. Bước 3: Quét vùng cần tương tác trên màn chiếu. Hình 2.1: Quy trình thực hiện Bước 4: Theo dõi khung xương con người để thực hiện rút trích khớp xương bàn tay. Bước 5: Theo dõi vùng tương tác và nhận diện các thao tác chạm tay. 13 Bước 6: Chuyển thao tác chạm tay từ tọa độ trong vùng chọn tương tác sang tọa độ màn hình máy tính. Bước 7: Xử lý các sự kiện con trỏ chuột Windows. 2.2. Tìm hiểu về thiết bị Camera Kinect 2.2.1. Sự ra đời và phát triển của Kinect Hình 2.2: Hình camera Kinect Kinect lần đầu tiên được công bố vào ngày 01/06/2009 dưới tên mã “Project Natal” theo tên thành phố của người thực hiện dự án. Ở hội nghị thường niên E3, Kinect ban đầu được Microsoft phát triển dành riêng cho hệ máy Xbox 360 mang đến trải nghiệm game sống động hơn, sau này được phát triển để viết các ứng dụng cần sự tương tác [2]. Sản phẩm này được bán lần đầu tiên tại Bắc Mỹ vào tháng 11 năm 2010, tiếp theo là Úc, New Zealand, Singapore, Nhật Bản và nhanh chóng xuất hiện ở khắp các thị trường trên toàn thế giới. Kinect là một thiết bị giải trí tiên tiến, được Microsoft phát triển và là tiên phong trong lĩnh vực thực tế ảo. Sau đó, còn gây sốt và trở thành một trong những thiết bị bán chạy nhất thế giới vì giá thành khá rẻ (130USD) mà có khả năng cung cấp thông tin 3D với chất lượng chấp nhận được[1]. Kinect là một thành tựu có ứng dụng rộng rãi không chỉ dành riêng cho chơi game mà còn nhiều ứng dụng khác trong xử lý ảnh như: theo dõi cử chỉ con người và viết ứng dụng trả lời các cử chỉ đó, có thể sử dụng để điều khiển robot, sử dụng bản đồ độ sâu để viết các ứng dụng liên quan, xây dựng lên các ứng dụng mô hình