Tài liệu Xây dựng trò chơi oẳn tù tì với robot Nao sử dụng kết hợp công nghệ xử lý ảnh và xử lý tiếng nói

Project n°1 Topic: Kinect và các ứng dụng Xây dựng trò chơi oẳn tù tì với robot Nao sử dụng kết hợp công nghệ xử lý ảnh và xử lý tiếng nói Giới thiệu chung Ngày nay, robot đang ngày càng trở nên phổ biến và góp phần nâng cao chất lượng đời sống và hiệu quả công việc. Robot có thể được sử dụng trong công nghiệp, dịch vụ, hỗ trợ người khuyết tật, giải trí, v.v.. Những robot sử dụng trong đời sống xã hội ngày càng giống con người hơn về hình dạng cũng như cách giao tiếp, các hoạt động có thể thực hiện, ví dụ như robot Nao, Hình 1. Hình 1. Robot Nao. Mục tiêu làm cho robot có thể giao tiếp thân thiện hơn, gần gũi hơn với con người đã đặt ra những bài toán như nhận dạng cử chỉ (thuộc lĩnh vực trong thị giác máy tính – Computer Vision), nhận dạng và tổng hợp tiếng nói. Tại Viện Nghiên cứu quốc tế MICA, chúng tôi đã và đang nghiên cứu về nhận dạng cử chỉ tay phục vụ tương tác người-máy [1–4], nhận dạng và tổng hợp tiếng nói [5–7]. Trong bối cảnh này, chúng tôi đề xuất đề tài “Xây dựng trò chơi oẳn tù tì với robot Nao sử dụng kết hợp công nghệ xử lý ảnh và xử lý tiếng nói”. Nhiệm vụ chính của đề tài này là triển khai ứng dụng trò chơi oẳn tù tì trên robot Nao trên cơ sở các kết quả nghiên cứu về nhận dạng cử chỉ tay, nhận dạng và tổng hợp tiếng nói tại MICA. Mặc dù mục tiêu chính của đề tài là triển khai ứng dụng trên cơ sở những phương pháp có sẵn, chúng tôi vẫn khuyến khích sinh viên đưa ra những cải tiến, đề xuất. Các công việc cần thực hiện Lý thuyết: • Nghiên cứu các phương pháp phát hiện và nhận dạng cử chỉ tĩnh của bàn tay (hình trạng bàn tay) từ ảnh RGB; Đánh giá các phương pháp nhận dạng của chỉ tĩnh của bàn tay đã nghiên cứu trên dữ liệu thu từ camera gắn trên robot Nao. • Tìm hiểu các phương pháp nhận dạng, tổng hợp tiếng nói tiếng Việt. Thực hành: • • • • Tìm hiểu cách lập trình, triển khai ứng dụng trên robot Nao. Thiết kế, triển khai ứng dụng trò chơi oẳn tù tì trên robot Nao với các chức năng, hoạt động như sau: 1. Nao và user thỏa thuận đồng ý chơi. 2. Khi user và Nao đồng ý chơi thì Nao sẽ chủ trì cuộc chơi: Nao có thể hướng dẫn cách chơi. Nao đếm 1, 2, 3. Nao và user cùng đưa ra một trong ba hình trạng bàn tay (Kéo, Giấy, Búa) tại thời điểm Nao đếm đến 3. 3. Dựa trên hình trạng bàn tay user đưa ra, Nao thông báo kết quả. Các mô đun chính cần cài đặt/tích hợp trên robot Nao để xây dựng ứng dụng nêu trên: o Phát hiện mặt người (sử dụng mô đun có sẵn trong OpenCV [8]); o Phát hiện, nhận dạng hình trạng bàn tay (phát triển từ một số mô đun tại MICA); o Nhận dạng, tổng hợp tiếng nói tiếng Việt (sử dụng một số mô đun có sẵn tại MICA). Thử nghiệm và đánh giá hệ thống trong thực tế. Các yêu cầu: • • • Cần 02 sinh viên Có kiến thức về xử lý tín hiệu, xử lý ảnh, kiến thức cơ sở về công nghệ thông tin (cơ sở toán học, lập trình, cấu trúc dữ liệu và giải thuật, v.v..). Có khả năng lập trình C/C++. Đối tượng sinh viên • • Kỹ sư, sinh viên cao học về khoa học máy tính Sinh viên Việt Nam hoặc nước ngoài Liên hệ • • TS. Lê Thị Lan, email : [email protected] TS. Mạc Đăng Khoa, email: [email protected] Tài liệu tham khảo: 1. 2. 3. 4. 5. 6. 7. 8. Nguyen, V.-T., Le, T.-L., Tran, T.-H., Mullot, R., Courboulay, V.: Hand Posture Recognition Using Kernel Descriptor. Procedia Comput. Sci. 39, 154–157 (2014). Nguyen, V.-T., Le, T.-L., Tran, T.-H., Mullot, R., Courboulay, V.: A New Hand Representation Based on Kernels for Hand Posture Recognition. The 11th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2015) (2015). Nguyen, V., Le, T., Tran, T., Mullot, R., Courboulay, V.: A method for hand detection based on Internal Haar-like features and Cascaded AdaBoost Classifier. The International Conference on Communications and Electronics (ICCE). pp. 608–613 (2012). Nguyen, V.-T., Nguyen, T., Mullot, R., Tran, T.-T.-H., Le, H.: A Method For Hand Detection Using Internal Features And Active Boosting-Based Learning. The 4th International Symposium on Information and Communication Technology - SoICT 2013. pp. 213–221 (2013). Van Do, T., Tran, D.-D., Nguyen, T.-T.T.: Non-uniform unit selection in Vietnamese Speech Synthesis. Proceedings of the Second Symposium on Information and Communication Technology. pp. 165–171 (2011). Trang, N.T.T., Rilliard, A., Do Dat, T., D’ALESSANDRO, C.: Prosodic phrasing modeling for Vietnamese TTS using syntactic information. (2014). Quoc-Cuong, N., Yên, P.T.N., Castelli, E.: Shape vector characterization of Vietnamese tones and application to automatic recognition. Automatic Speech Recognition and Understanding, 2001. ASRU’01. IEEE Workshop on. pp. 437–440 (2001). OpenCV, http://opencv.org/. Project n°2 Topic: Kinect và các ứng dụng Xây dựng hệ thống giám sát việc sử dụng trang bị bảo hộ lao động tại công trường sử dụng Kinect Giới thiệu chung Để đảm bảo an toàn cho người lao động tại các công trường, người lao động thường được yêu cầu trang bị bảo hộ như hình dưới. Tuy nhiên, việc giám sát thường được thực hiện thủ công hoặc dựa trên sự tự giác của người dùng. Đề tài hướng tới xây dựng hệ thống giám sát tự động việc sử dụng trang bị bảo hộ dựa trên các kỹ thuật của thị giác máy tính. Hình 1: Các thiết bị bảo hộ cần trang bị trước khi vào công trường Các công việc cần thực hiện Lý thuyết và thực hành: • Tìm hiểu các yêu cầu về thiết bị bảo hộ • Xây dựng cơ sở dữ liệu ảnh RGBD các thiết bị bảo hộ • Xây dựng hệ thống giám sát tự động việc sử dụng các thiết bị bảo hộ ở công trường dựa trên cảm biến Kinect Các yêu cầu • • Có kiến thức về xử lý hình ảnh, thị giác máy tính, học máy Có khả năng lập trình C/C++ Đối tượng sinh viên • 1-2 sinh viên Việt Nam hoặc nước ngoài Liên hệ • TS. Thi-Lan Le, email : [email protected] Project n°3 Topic: Kinect và các ứng dụng Nhận dạng tình huống khó (cửa mở) trợ giúp người khiếm thị trong quá trình di chuyển Giới thiệu chung Trợ giúp người khiếm thị sử dụng các kỹ thuật về thị giác máy tính (computer vision) là một hướng tiếp cận mới mẻ và đầy triển vọng do hiện nay vẫn chưa có một hệ thống hay thiết bị nào linh hoạt, tin cậy và ổn định được áp dụng rộng rãi. Trong khuôn khổ đề tài này, chúng tôi xây dựng một hệ thống xác định các vật cản sử dụng hình ảnh lấy từ các cảm biến 3D của Kinect. Dữ liệu thu về sẽ được dùng để tái tạo lại không gian 3D xung quanh người đeo thiết bị để từ đó xác định các lớp đối tượng khác nhau như cửa, cầu thang, vật cản trên đường đi. Đề tài được xây dựng trên cơ sở kế thừa một số kết quả đã được thực hiện tại viện nghiên cứu quốc tế MICA. Hệ thống đã tồn tại chạy khá tốt trên một số dữ liệu hình ảnh đã có sẵn với điều kiện ánh sáng tốt (không bị bóng, chói, không có nhiều cửa kính), số lượng vật cản hạn chế và nền đơn giản [1]. Tuy nhiên khi áp dụng hệ thống tại môi trường văn phòng như tại viện MICA, kết quả đạt được rất hạn chế, nhất là với việc xác định cửa ra vào do dữ liệu độ sâu bị mất rất nhiều trên các bề mặt bị bóng hay kính. Bài toán đặt ra là làm thể nào xác định cửa ra vào, trạng thái đóng mở cửa một cách hiệu quả, thích nghi với nhiều điều kiện môi trường khác nhau. Hình 1. Hệ thống trợ giúp người khiếm thị sử dung Kinect (giả lập). Hình 2: Các kết quả chạy trên CSDL đã có (trái) và tại MICA( phải) Các công việc cần thực hiện: Lý thuyết: • Tìm hiểu các phương pháp nhận dạng đồ vật đã có • Đánh giá các bộ CSDL, đề xuất giải thuật phù hợp. Thực hành: • Tìm hiểu việc sử dụng cảm biến Kinect, thư viện Point Cloud (PCL) [2] để xây dựng không gian 3D • Lập trình triển khai/ cải thiện thuật toán nhận dạng cửa và các tình huống mở cửa, đóng cửa đột ngột. • Thử nghiệm, đánh giá kết quả Các yêu cầu • • Có hứng thú về xử lý hình ảnh, thị giác máy tính, tư duy lập trình tốt Có khả năng lập trình C/C++ Microsoft Visual Studio, Matlab Đối tượng sinh viên • • Dành cho sinh viên năm cuối các trường kỹ thuật. Ưu tiên các sinh viên đã biết về lập trình C++, có kiến thức cơ bản về xử lý ảnh và thị giác máy tính. Liên hệ • TS. Trần Thị Thanh Hải, email : [email protected] Tài liệu tham khảo Michiel Vlaminck: Obstacle detection for pedestrians with a visual impairment based on 3D imaging - 2013 International Conference on 3D Imaging, Proceedings, At Liege, Belgium PCL – Point Cloud Library http://pointclouds.org/ Project n°04 Topic: Kinect và các ứng dụng Xây dựng hệ thống nhận dạng cử chỉ tĩnh của bàn tay sử dụng cảm biến kinect để điều khiển Tivi. Giới thiệu chung Các thiết bị điện gia dụng trong mỗi gia đình ngày càng nhiều. Việc sử dụng các phương pháp truyền thống như nút bấm, điều khiển từ xa yêu cầu cần phải có thiết bị phụ trợ hoặc người dùng cần phải tiến lại gần thiết bị. Điều đó khiến cho việc điều khiển không thân thiện và không tự nhiên… Việc sử dụng cử chỉ tay để bật tắt thiết bị đem đến nhiều sự thuận lợi cho người sử dụng khi vận hành các thiết bị điện gia dụng. Hình 1. a. Điều khiển tivi b. Điều khiển đèn Hình 1. Sử dụng cử chỉ tay điều khiển tivi, đèn . Mục tiêu của đề tài là sử dụng cảm biến kinect để thu nhận thông tin ảnh màu và ảnh độ sâu. Từ đó sẽ trích trọn vùng bàn tay, nhận dạng và điều khiển sự hoạt động cơ bản của tivi trên cơ sở các phương pháp có sẵn. Tuy nhiên, chúng tôi vẫn khuyến khích sinh viên đưa ra những cải tiến, đề xuất. Các công việc cần thực hiện Lý thuyết: • Nghiên cứu các phương pháp phát hiện và nhận dạng cử chỉ tĩnh của bàn tay (hình trạng bàn tay) từ ảnh RGB-D; Đánh giá các phương pháp nhận dạng của chỉ tĩnh của bàn tay đã nghiên cứu trên dữ liệu thu từ camera kinect. Thực hành: • Tìm hiểu và xây dựng tập CSDL. • Trích trọn vùng bàn tay và nhận dạng • Tìm hiểu cách lập trình, triển khai kết nối điều khiển tivi. • Thiết kế, triển khai ứng dụng với các chức năng, hoạt động như sau: 4. Bật, tắt tivi. 5. Tăng/giảm kênh. • • 6. Tăng/giảm tiếng. Các mô đun chính cần cài đặt/tích hợp để xây dựng ứng dụng nêu trên: o Phát hiện, nhận dạng hình trạng bàn tay (phát triển từ một số mô đun tại MICA, có khuyến khích cải tiến); Thử nghiệm và đánh giá hệ thống trong thực tế. Các yêu cầu: • • • Cần 01 sinh viên Có kiến thức về xử lý tín hiệu, xử lý ảnh, kiến thức cơ sở về công nghệ thông tin (cơ sở toán học, lập trình, cấu trúc dữ liệu và giải thuật, v.v..). Có khả năng lập trình C/C++. Đối tượng sinh viên • • Kỹ sư, sinh viên cao học về khoa học máy tính Sinh viên Việt Nam hoặc nước ngoài Liên hệ • • TS. Vũ Hải, email : [email protected] ThS. Đoàn Thị Hương Giang, email: [email protected] Tài liệu tham khảo: 1. 2. 3. 4. 5. Nguyen, V.-T., Le, T.-L., Tran, T.-H., Mullot, R., Courboulay, V.: Hand Posture Recognition Using Kernel Descriptor. Procedia Comput. Sci. 39, 154–157 (2014). Nguyen, V.-T., Le, T.-L., Tran, T.-H., Mullot, R., Courboulay, V.: A New Hand Representation Based on Kernels for Hand Posture Recognition. The 11th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2015) (2015). Nguyen, V., Le, T., Tran, T., Mullot, R., Courboulay, V.: A method for hand detection based on Internal Haar-like features and Cascaded AdaBoost Classifier. The International Conference on Communications and Electronics (ICCE). pp. 608–613 (2012). Nguyen, V.-T., Nguyen, T., Mullot, R., Tran, T.-T.-H., Le, H.: A Method For Hand Detection Using Internal Features And Active Boosting-Based Learning. The 4th International Symposium on Information and Communication Technology - SoICT 2013. pp. 213–221 (2013). OpenCV, http://opencv.org/. Project n°05 Topic: Kinect và các ứng dụng Xây dựng hệ thống nhận dạng cử chỉ động của bàn tay sử dụng cảm biến kinect để điều khiển quạt. Giới thiệu chung Các thiết bị điện gia dụng trong mỗi gia đình ngày càng nhiều. Việc sử dụng các phương pháp truyền thống như nút bấm, điều khiển từ xa yêu cầu cần phải có thiết bị phụ trợ hoặc người dùng cần phải tiến lại gần thiết bị. Điều đó khiến cho việc điều khiển không thân thiện và không tự nhiên… Việc sử dụng cử chỉ tay để bật tắt thiết bị đem đến nhiều sự thuận lợi cho người sử dụng khi vận hành các thiết bị điện gia dụng. Hình 1. b. Chơi trò chơi b. Điều khiển điều hòa Hình 1. Sử dụng cử chỉ tay điều khiển tivi, điều hòa Mục tiêu của đề tài là sử dụng cảm biến kinect để thu nhận thông tin ảnh màu và ảnh độ sâu. Từ đó sẽ trích trọn vùng cử chỉ động của bàn tay, nhận dạng và điều khiển sự hoạt động cơ bản của quạt cây trên cơ sở các phương pháp có sẵn. Tuy nhiên, chúng tôi vẫn khuyến khích sinh viên đưa ra những cải tiến, đề xuất. Các công việc cần thực hiện Lý thuyết: • Nghiên cứu các phương pháp phát hiện và nhận dạng cử chỉ động của bàn tay (chuỗi liên tiếp các cử chỉ tĩnh của bàn tay) từ ảnh RGB-D; Đánh giá các phương pháp nhận dạng của chỉ động của bàn tay đã nghiên cứu trên dữ liệu thu từ camera kinect. Thực hành: • Tìm hiểu và xây dựng tập CSDL cử chỉ động. • Trích trọn và nhận dạng cử chỉ động từ một chuỗi liên tiếp theo thời gian của các cử chỉ tĩnh • Tìm hiểu cách lập trình, triển khai kết nối điều khiển quạt. • Thiết kế, triển khai ứng dụng với các chức năng, hoạt động như sau: 1. Bật, tắt quạt. 2. Tăng/giảm tốc độ của quạt. 3. Quạt ở chế độ quay. 4. Bật chế độ hẹn giờ tắt (đã được setup chế độ từ trước) • Các mô đun chính cần cài đặt/tích hợp để xây dựng ứng dụng nêu trên: o Phát hiện, nhận dạng cử chỉ động của bàn tay (phát triển từ một số mô đun tại MICA, có khuyến khích cải tiến); • Thử nghiệm và đánh giá hệ thống trong thực tế. Các yêu cầu: • • • Cần 01 sinh viên Có kiến thức về xử lý tín hiệu, xử lý ảnh, kiến thức cơ sở về công nghệ thông tin (cơ sở toán học, lập trình, cấu trúc dữ liệu và giải thuật, v.v..). Có khả năng lập trình C/C++. Đối tượng sinh viên • • Kỹ sư, sinh viên cao học về khoa học máy tính Sinh viên Việt Nam hoặc nước ngoài Liên hệ • • TS. Vũ Hải, email : [email protected] ThS. Đoàn Thị Hương Giang, email: [email protected] Tài liệu tham khảo: 1. 2. 3. 4. 5. Nguyen, V.-T., Le, T.-L., Tran, T.-H., Mullot, R., Courboulay, V.: Hand Posture Recognition Using Kernel Descriptor. Procedia Comput. Sci. 39, 154–157 (2014). Nguyen, V.-T., Le, T.-L., Tran, T.-H., Mullot, R., Courboulay, V.: A New Hand Representation Based on Kernels for Hand Posture Recognition. The 11th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2015) (2015). Nguyen, V., Le, T., Tran, T., Mullot, R., Courboulay, V.: A method for hand detection based on Internal Haar-like features and Cascaded AdaBoost Classifier. The International Conference on Communications and Electronics (ICCE). pp. 608–613 (2012). Nguyen, V.-T., Nguyen, T., Mullot, R., Tran, T.-T.-H., Le, H.: A Method For Hand Detection Using Internal Features And Active Boosting-Based Learning. The 4th International Symposium on Information and Communication Technology - SoICT 2013. pp. 213–221 (2013). OpenCV, http://opencv.org/. Project n°06 Topic: Camera giám sát Định danh lại người trong video Person re-identification in videos Giới thiệu chung Định danh lại người là bài toán nhằm duy trì danh tính (ID) của một người khi người đó di chuyển trong một mạng camera (xem Hình 1). Định danh lại người có nhiều ứng dụng trong việc xây dựng các hệ thống giám sát tự động. Tuy nhiên, đây cũng là bài toán khó, với nhiều thách thức như thay đổi góc nhìn, điều kiện chiếu sáng, che khuất, ...Hơn thế nữa, các nghiên cứu hiện tại thường tập trung vào bài toán so sánh ảnh-ảnh hoặc ảnh-video (tập ảnh) mà chưa quan tâm đến thông tin thời gian của một người [1]. Hình1: Ví dụ bộ dữ liệu đầu vào cho một hệ thống tái định danh trong thế giới đóng. Bên trái là một hình ảnh truy vấn (probe), bên phải là bộ ảnh tìm kiếm (gallery) Mục tiêu của đề tài là nghiên cứu và phát triển các giải thuật định danh lại trên video. Các giải thuật được đề xuất có thể được thử nghiệm trên một bộ cơ sở dữ liệu dùng chung MARS [2]. Các công việc cần thực hiện Lý thuyết: • Tìm hiểu về định danh lại. • Tìm hiểu về định danh lại cho video. Thực hành: • Cài đặt và thử nghiệm giải thuật đề xuất trên cơ sở dữ liệu MARS Các yêu cầu • • Có kiến thức về xử lý hình ảnh, thị giác máy tính, học máy Có khả năng lập trình C/C++ • Kỹ sư, sinh viên cao học về khoa học máy tính Sinh viên Việt Nam hoặc nước ngoài Đối tượng sinh viên • Liên hệ • • TS. Thi-Lan Le, email : [email protected] NCS Hong-Quan Nguyen Tài liệu tham khảo [1] Thi Thanh Thuy Pham, Thi-Lan Le, Trung-Kien Dao, Person Re-Identification for Non-overlapping Cameras in Multimodal Person Localization, International Journal On Advances in Systems and Measurements, v 9 n 1&2 2016. [2] Zheng, Liang and Bie, Zhi and Sun, Yifan and Wang, Jingdong and Su, Chi and Wang, Shengjin and Tian, Qi, MARS: A Video Benchmark for Large-Scale Person Re-identification, European Conference on Computer Vision, 2016 http://www.liangzheng.com.cn/Project/project_mars.html Project n°07 Topic: Camera giám sát Xây dựng hệ thống quản lý và xử lý thông tin cho mạng camera giám sát Giới thiệu chung Camera giám sát ngày càng được sử dụng rộng rãi trong các khu vực công cộng, giao thông và ngay cả trong các hộ gia đình. Tuy nhiên, hầu hết các hệ thống camera hiện tại mới chỉ tập trung vào chức năng ghi lại hình ảnh mà chưa có các chức năng thông minh như giám sát chuyển động, đếm người,….Đề tài hướng tới xây dựng một hệ thống cho phép quản lý và xử lý lý thông tin cho mạng camera giám sát với các chức năng chính như sau: • Hỗ trợ kết nối nhiều camera IP • Cho phép tùy chọn hiển thị giao diện khi xem trực tiếp và xem lại trên nhiều màn hình khác nhau • Hỗ trợ cơ sở dữ liệu định dạng Microsoft SQL và Access database • Tự động tìm kiếm IP camera • Hỗ trợ các chuẩn nén H.264, H.265 và MJPEG • Hỗ trợ nhiều độ phân giải từ CIF đến Megapixels • Hỗ trợ 02 luồng video cho việc giám sát và ghi hình song song nhau • Có chức năng quản lý camera qua giao diện bản đồ • Có chức năng lưu trữ các sự kiện của hệ thống • Hỗ trợ nhiều người dùng có phân quyền • Điều khiển các thiết bị I/O • Có giao diện điều khiển camera PTZ • Ghi hình liên tục theo thời gian, khi có chuyển động, khi có báo động theo thời gian biểu • Cho phép điều chỉnh chất lượng và tốc độ ghi hình cho từng camera • Cho phép tìm kiếm dữ liệu theo thời gian • Có chế độ xem nhanh dữ liệu ghi hình • Cho phép sao chép một đoạn dữ liệu ghi hình trong khoảng thời gian xác định. • Cho phép sao chép đoạn dữ liệu ghi hình của đồng thời nhiều camera trên cùng 01 file AVI duy nhất • Hỗ trợ chức năng Popup camera khi có chuyển động hoặc báo động • Hỗ trợ chức năng phân tích video như đếm người , nhận diện khuân mặt, phát hiện chuyển động, ghép hình Panorama, phát hiện vật thể lạ, phát hiện mất đồ • Hỗ trợ giám sát từ xa qua trình duyệt • Hỗ trợ giám sát từ xa trên điện thoại di động, máy tính bảng • Cho phép điều khiển camera PTZ từ xa • Cho phép điều khiển module I/O từ xa • Phần mềm cảnh báo : giám sát trạng thái hoạt động của máy chủ camera, gửi email hoặc tin nhắn SMS khi có sự kiện bất thường. • Hỗ trợ ghi hình cho IP camera cửa các thương hiệu sau : Arecont vision, Axis, HiKvision, Panasonic, Sony, Vivotek Các công việc cần thực hiện Lý thuyết và thực hành: • Tìm hiểu và xây dựng hệ thống với các chức năng như mô tả ở trên Các yêu cầu • • Có kiến thức về xử lý hình ảnh, thị giác máy tính, học máy Có khả năng lập trình C/C++ Đối tượng sinh viên • 4 sinh viên Việt Nam hoặc nước ngoài Liên hệ • TS. Thi-Lan Le, email : [email protected] Project no8 Topic: Phát hiện và định vị đối tượng Phát hiện và định vị chính xác đối tượng dựa trên hình ảnh và RFID Giới thiệu chung Phát hiện và định vị chính xác đối tượng trong không gian là một bài toán cần thiết cho các ứng dụng tìm kiếm đồ vật cho NKT. Đối với môi trường trong nhà các kỹ thuật thường được sử dụng dựa trên thông tin hình ảnh, wifi, RFID. Việc sử dụng kết hợp nhiều luồng thông tin như hình ảnh, RFID đã được chứng minh là cho kết quả định vị chính xác hơn (sai số định vị giảm từ 1.02m xuống 0.16m), giảm nhiều phát hiện nhầm (Precision tăng từ 72.86% lên 100%) [1]. Tuy vậy một số hạn chế của giải pháp hiện tại là: - Chưa đề xuất được một giải pháp tối ưu cho việc thiết lập các đầu đọc trong môi trường và thẻ tag gắn trên đối tượng - Mới thử nghiệm với 01 đối tượng, chưa tính đến sự che khuất, sự gần sát nhau của các đối tượng. Mục tiêu của đề tài là nâng cao giải thuật định vị đối tượng sử dụng kết hợp RFID và camera thông qua một giải pháp tổng quát hơn, với việc đánh giá thử nghiệm trên nhiều đối tượng khác nhau. Phương pháp tái tạo lại ảnh RSSI đề xuất trong [2] sẽ được nghiên cứu và ứng dụng. Figure 1: Mô hình hệ thống định vị kết hợp hình ảnh – RFID [1] Các công việc cần thực hiện Lý thuyết: • Nghiên cứu mô hình định vị sử dụng RFID • Tái tạo ảnh RFID từ dữ liệu RSSI • Đề xuất phương pháp định vị tối ưu dựa trên RFID và hình ảnh Thực hành: • Cài đặt chương trình định vị • Đánh giá hiệu năng của giải thuật đề xuất với nhiều đối tượng trong môi trường trong nhà Các yêu cầu • • Có kiến thức về xử lý hình ảnh, thị giác máy tính. Có khả năng lập trình C/C++ Microsoft Visual Studio. Đối tượng sinh viên • • Kỹ sư, sinh viên cao học về khoa học máy tính Sinh viên Việt Nam hoặc nước ngoài Liên hệ • TS.Trần Thị Thanh Hải, email : [email protected] Tài liệu tham khảo [1] Son-Nguyen, Thanh-Hai Tran, Hai Vu, Accurate object localization using RFID and Microsoft Kinect Sensor, KSE’2016 [2] Deyle, Travis, et al. "Rf vision: Rfid receive signal strength indicator (rssi) images for sensor fusion and mobile manipulation." 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, 2009. Project n°9 Topic: Kinect và các ứng dụng Phân đoạn video ứng dụng trong nhận dạng chuỗi hoạt động của người từ cảm biến Kinect Giới thiệu chung Nhận dạng hoạt động của người là một chủ đề thu hút sự quan tâm của nhiều nhà nghiên cứu và doanh nghiệp bởi các ứng dụng trong theo dõi giám sát, chăm sóc sức khỏe từ xa, hỗ trợ người cao tuổi hoặc giải trí. Trong các ứng dụng thực tế, các khung hình đến liên tục từ camera. Việc nhận dạng sự kiện / hoạt động đòi hỏi phải phân đoạn video, nghĩa là xác định điểm bắt đầu và kết thúc một hoạt động. Trong một số ngữ cảnh, công việc này cũng khó tương tự như nhận dạng hoạt động. Đa số các hướng tiếp cận hiện tại đều dựa trên việc trượt các cửa số theo thời gian. Việc làm này rất mất thời gian làm, đôi khi không phù hợp với các ứn dụng trong thực tế đòi hỏi thời gian thực. Một số kỹ thuật như sử dụng năng lượng chuyển động [1] chỉ phù hợp với những hoạt động có chuyển động (ngã) phân biệt với các hoạt động không chuyển động (nằm bất động, đứng yên,v.v.) Mục tiêu của đề tài này là đề xuất và triển khai một phương pháp phân đoạn các hoạt động từ một chuỗi video. Phương pháp đề xuất dựa trên sự thay đổi về hình trạng (pose), diện mạo (appearance), sự chuyển động (motion) cho phép phân tách các video thành các đoạn thể hiện một hoạt động (activity), một sự kiện (event) nào đó. Các công việc cần thực hiện Lý thuyết: • Nghiên cứu các phương pháp phân đoạn video • Đề xuất phương pháp dựa trên phân tích đặc tưng Thực hành: • Cài đặt chương trình phân đoạn video • Đánh giá hiệu năng của giải thuật đề xuất với các CSDL dùng chung trong cộng đồng nghiên cứu Các yêu cầu • • Có kiến thức về xử lý hình ảnh, thị giác máy tính. Có khả năng lập trình C/C++ Microsoft Visual Studio. Đối tượng sinh viên • • Kỹ sư, sinh viên cao học về khoa học máy tính Sinh viên Việt Nam hoặc nước ngoài Liên hệ • TS.Trần Thị Thanh Hải, email : [email protected] Tài liệu tham khảo [1] Son-Nguyen, Thanh-Hai Tran, Hai Vu, Accurate object localization using RFID and Microsoft Kinect Sensor, KSE’2016 [2] Deyle, Travis, et al. "Rf vision: Rfid receive signal strength indicator (rssi) images for sensor fusion and mobile manipulation." 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, 2009. Project n°10 Topic: Camera giám sát Nhận dạng hành vi bất thường của người sử dụng mạng cảm biến hình ảnh trong môi trường an ninh có giám sát Giới thiệu chung Trong các môi trường đòi hỏi tính an ninh cao như sân bay, ngân hàng, trụ sở trọng yếu, bộ phận lưu trữ bảo vệ tài liệu của cơ quan an ninh, việc giám sát và phát hiện các hành vi bất thường là một vấn đề quan trọng và thiết yếu. Hiện nay, tại các cơ sở này có nhiều phương pháp nhằm đảm bảo an ninh sử dụng người bảo vệ hay theo dõi hành vi qua hệ thống camera giám sát. Với yêu cầu môi trường an ninh cần giám sát 24/24 h, việc sử dụng con người theo dõi trực tiếp (hoặc qua camera) để phát hiện các hành vi bất thường thường tốn nhiều công sức, không đảm bảo sự chính xác và sự tập trung. Việc triển khai phổ biến của mạng camera dẫn đến nhu cầu cần thiết phải phát triển và xây dựng giải pháp tự động để có thể thay thế hoặc hỗ trợ người giám sát, đảm bảo phát hiện nhanh, chính xác và không đòi hỏi phải can thiệp nhiều của con người vào hệ thống. Figure 2: Các hành vi bất thường cần được phát hiện và cảnh báo tự động Đề tài này hướng đến giải quyết bài toán phân tích hoạt động của người và phát hiện những hành vi bất thường sử dụng mạng cảm biến có khả năng thích nghi với ngữ cảnh và môi trường. Đề xuất nghiên cứu này tập trung vào việc tự động phát hiện 02 nhóm hành vi bất thường đó là: hành vi không được phép trong môi trường hoặc trong ngữ cảnh nhất định (ví dụ: môi trường bảo vệ tài liệu; hành vi bất thường không cho phép sao chép, hoặc di chuyển đồ vật); hành vi hoặc luồng di chuyển bất thường của một người/nhóm người. Từ các kết quả phát hiện hành vi bất thường, xây dựng cơ chế cảnh báo cho người quản lý. Hệ thống có thể hoạt động on-line, hoặc off-line, dựa trên kết quả tìm kiếm các hành vi bất thường từ dữ liệu video thu thập của camera giám sát. Các công việc cần thực hiện: Lý thuyết: • Nghiên cứu tổng quan về bài toán phát hiện hành vi bất thường, qua đó chỉ ra hành vi bất thường cụ thể cần nghiên cứu trong môi trường an ninh có giám sát (tìm hiểu và phân tích và đánh giá những nghiên cứu liên quan trong và ngoài nước). • Nghiên cứu và trích chọn các đặc trưng liên quan đến hành vi bất thường đã lựa chọn nghiên cứu; Biểu diễn và nhận dạng hành vi bất thường đó Thực hành: • Xây dựng thử nghiệm hệ thống trong môi trường an ninh có giám sát như: phòng lưu trữ tài liệu, hành lang toà nhà • Đánh giá trên các bộ CSDL Các yêu cầu • • Có hứng thú về xử lý hình ảnh, thị giác máy tính, tư duy lập trình tốt Có khả năng lập trình C/C++ Microsoft Visual Studio, Matlab Đối tượng sinh viên • • Dành nhóm 02 cho sinh viên năm cuối các trường kỹ thuật. Ưu tiên các sinh viên đã biết về lập trình C++, có kiến thức cơ bản về xử lý ảnh và thị giác máy tính. Liên hệ • • TS. Trần Thị Thanh Hải, email : [email protected] NCS. Phạm Văn Tuấn Tài liệu tham khảo [1] Md. Atiqur Rahman Ahad, J. K. Tan, H. Kim, Motion history image: its variants and applications, Machine Vision and Application. [2] J.K. Aggarwal and Lu Xia, Spatio-Temporal Depth Cuboid Similarity Feature for Activity Recognition Using Depth Camera, 24th IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Portland, Oregon, June 2013. [3]Lu Xia, Chia-Chih Chen and J.K. Aggarwal, View Invariant Human Action Recognition Using Histograms of 3D Joints, International Workshop on Human Activity Understanding from 3D Data in conjunction with 23th IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Providence, RI, June 2012. [4]J.K. Aggarwal and Lu Xia, Human Activity Recognition From 3D Data: A Review, Pattern Recognition Letters Special Issue，2014 http://research.microsoft.com/en-us/um/people/zliu/ActionRecoRsrc/ [5] Ji et al, 3D Convolutional Neural Networks for Human Action Recognition, ICML 2010, http://www.dbs.ifi.lmu.de/~yu_k/icml2010_3dcnn.pdf [6] http://research.microsoft.com/en-us/um/people/zliu/actionrecorsrc/ Project n°11 Topic: Thị giác máy tính trong nông nghiệp Tạo ảnh siêu phổ (Hyperspectral Imaging) độ phân giải cao Giới thiệu chung Một hệ thống ảnh đa phổ (Hyperspectral Imaging) thu nhận cả thông tin về đáp ứng phổ ở các bước sóng khác nhau trong dải ánh sáng nhìn thấy (VIS), và cận hồng ngoại (NIR). Các đáp ứng phổ này được thu nhận ở mức pixel (điểm ảnh). Do giới hạn của thiết bị và việc lưu trữ dữ liệu, trong khi các thông tin về đáp ứng phổ ánh sáng được ghi chi tiết, các hệ thống ảnh HSI thường có độ phân giải ảnh thấp (VGA). Một số nghiên cứu gần đây đã đề xuất kết hợp các hệ thống camera thông thường CCD và HSI để tạo ảnh HSI độ phân giải cao ở cả hai yếu tố: độ phân giải về không gian; và đáp ứng phổ tại các điểm ảnh tại ảnh có độ phân giải cao. Nghiên cứu [1] sử dụng sparse coding để tính toán nội suy thông tin phổ tại những điểm ảnh (trên ảnh CCD – độ phân giải cao) không có thông tin phổ. Vấn đề được chuyển thành tìm tập hàm cơ bản trên ảnh HSI ; và ứng với mỗi pixel trên ảnh RGB (độ phân giải cao), tìm các hệ số kết hợp với các hàm cơ bản để tính giá trị phổ. Kết quả sẽ được ứng dụng trong bài toán phân loại độ thuần chủng của hạt thóc giống. Hướng nghiên cứu này được mong đợi cải thiện kết quả nhận dạng hơn so với phương pháp đã trình bày trong [2] Các yêu cầu: • • • Cần 01 sinh viên Có kiến thức về xử lý tín hiệu, xử lý ảnh, kiến thức cơ sở về công nghệ thông tin (cơ sở toán học, lập trình, cấu trúc dữ liệu và giải thuật, v.v..). Có khả năng lập trình C/C++. Đối tượng sinh viên