Tài liệu Phân tích thông minh tín hiệu video hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG ---------- HOÀNG LÊ UYÊN THỤC PHÂN TÍCH THÔNG MINH TÍN HIỆU VIDEO HỖ TRỢ CHO HỆ THỐNG GIÁM SÁT CHĂM SÓC SỨC KHỎE Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 62 48 01 01 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng 2017 Công trình được hoàn thành tại: TRƯỜNG ĐẠI HỌC BÁCH KHOA - ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: 1) GS. TS. Jenq-Neng Hwang 2) PGS. TS. Phạm Văn Tuấn Phản biện 1: ……………………………………………… Phản biện 2:………………………………………………… Phản biện 3: ………………………………………………… Luận án sẽ được bảo vệ trước Hội đồng chấm luận án cấp Trường họp tại: Đại học Đà Nẵng Vào hồi …..... giờ ......... ngày .......... tháng ……… năm ………. Có thể tìm hiểu luận án tại: - Thư viện Quốc gia - Trung tâm Thông tin – Học liệu, Đại học Đà Nẵng 1 MỞ ĐẦU 1. Đặt vấn đề Già hóa dân số là một trong các xu hướng đang diễn ra trên tất cả các khu vực và quốc gia trên thế giới, trong đó có nước ta. Mặt trái của già hóa là các bệnh tật liên quan đến tuổi tác xuất hiện ngày càng nhiều. Do đó, một yêu cầu cấp bách đặt ra là cần phải tìm các biện pháp phát hiện sớm các chứng bệnh nói trên nhằm can thiệp y khoa kịp thời. Hiện nay, hướng nghiên cứu về hệ thống giám sát chăm sóc sức khỏe HMS (Healthcare Monitoring System) dùng kỹ thuật phân tích thông minh tín hiệu video IVA (Intelligent Video Analytics) đang nhận được rất nhiều sự quan tâm và đã đạt nhiều thành tựu đáng khích lệ. Tuy nhiên, IVA vẫn đang đối mặt với một số thách thức chính như vấn đề góc quay, che khuất, phân vùng đối tượng, mô tả hành động, v.v. Xuất phát từ tình hình trên, bài toán “Phân tích thông minh tín hiệu video hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe” được chọn làm đề tài nghiên cứu của của luận án. 2. Mục đích, đối tượng và phạm vi nghiên cứu + Mục đích nghiên cứu: cải thiện hệ thống sử dụng kỹ thuật IVA (còn gọi là hệ thống IVA) để phù hợp với các ứng dụng: - Phát hiện té ngã và dự đoán nguy cơ té ngã do dáng đi bất thường. - Phát hiện hành động bất thường. + Đối tượng nghiên cứu: - Các khối xử lý tín hiệu trong hệ thống IVA - Các ứng dụng của kỹ thuật IVA vào hỗ trợ hệ thống HMS. + Phạm vi nghiên cứu: - Tiếp cận theo phương pháp truyền thống: hệ thống IVA có hai khâu là trích đặc trưng và nhận dạng. - Sử dụng một camera 2D gắn cố định, môi trường quay trong nhà, nền tĩnh, trong cảnh quay chỉ có một người. - Các kịch bản: (1) người tham gia đang thực hiện các hoạt động thông thường thì bị té, hoặc (2) đi bộ với các kiểu dáng đi bệnh lý khác nhau, 2 hoặc (3) thực hiện một hành động nào đó trong suốt cảnh quay. 2. Phương pháp nghiên cứu Phương pháp kết hợp lý thuyết và thực nghiệm. 3. Cấu trúc của luận án - Mở đầu - Chương 1 trình bày tổng quan về hệ thống HMS, kỹ thuật cảm biến và IVA trong HMS, các bước trích đặc trưng và nhận dạng trong IVA. - Chương 2 trình bày cấu trúc các hệ thống HMS trên nền IVA đề xuất, các tính toán cho các khâu trong hệ thống. - Chương 3 trình bày kết quả thực nghiệm đánh giá hệ thống HMS ứng dụng phát hiện té ngã và dự đoán nguy cơ té ngã do dáng đi bất thường. - Chương 4 trình bày kết quả thực nghiệm đánh giá hệ thống HMS trong ứng dụng phát hiện hành động bất thường. - Kết luận. 4. Đóng góp chính của luận án Đóng góp về mặt khoa học: - Hệ thống hóa các nghiên cứu mới về kỹ thuật IVA, đặc biệt tập trung vào IVA ứng dụng hỗ trợ cho HMS (công trình [1], [2], [6]). - Đề xuất mới bộ mô tả đặc trưng 3D GRF (Geometric Relation Features) có khả năng đối phó với vấn đề góc quay và che khuất (công trình [3]). - Đề xuất mới phương pháp nhận dạng hành động gần tuần hoàn dùng mô hình HMM tuần hoàn (Cyclic HMM) (công trình [5]). Ngoài ra, trong quá trình thực hiện luận án, một số hệ thống được xây dựng gồm: - Hệ thống phát hiện té ngã thực tế (công trình[9]). - Hệ thống phát hiện dáng đi bất thường (công trình [10], [12]). - Hệ thống nhận dạng hành động (công trình [4], [7], [8]). - Hệ thống phát hiện hành động bất thường (công trình [11]). 3 Chương 1: NGHIÊN CỨU TỔNG QUAN Nội dung của chương gồm: tổng quan về hệ thống HMS, kỹ thuật cảm biến và IVA sử dụng trong hệ thống HMS, đặc biệt tập trung vào IVA với hai bước xử lý là trích đặc trưng và nhận dạng. Kết quả nghiên cứu tổng quan đã được công bố ở công trình [1], [2], [6] trong Danh mục công trình của tác giả. 1.1 Hệ thống giám sát chăm sóc sức khỏe HMS Là hệ thống quan sát, theo dõi bệnh nhân từ xa nhằm thu thập thông tin về tình trạng sức khỏe, phát hiện tai nạn hoặc các bất thường sức khỏe. 1.1.1. Ứng dụng của hệ thống HMS 1.1.2. Cấu trúc của hệ thống HMS Một hệ thống HMS tối thiểu có ba thành phần chính như trên Hình 1.1. Dữ liệu thu nhận có thể dựa vào cảm biến hoặc camera (camera cũng là một loại cảm biến nhưng là cảm biến 2 chiều). Hình 1.1. Sơ đồ cấu trúc của hệ thống HMS điển hình. 1.2. Kỹ thuật cảm biến 1.2.1. Cấu trúc của nút mạng cảm biến 1.2.2. Ứng dụng của kỹ thuật cảm biến 1.2.3. Các vấn đề cần quan tâm khi ứng dụng kỹ thuật cảm biến vào hệ thống HMS Số lượng cảm biến lớn dẫn đến vận hành bảo dưỡng mạng phức tạp, việc gắn cảm biến gây khó khăn và phiền phức cho bệnh nhân, v.v. 4 1.3. Kỹ thuật IVA Tín hiệu video ghi hình đối tượng quan tâm được phân tích và đưa ra kết quả là những sự kiện gì đang xảy ra trong đoạn video đó. Mức độ “thông minh” được định lượng dựa vào tỷ lệ nhận dạng chính xác. 1.3.1. Cấu trúc hệ thống sử dụng kỹ thuật IVA Trong phạm vi luận án, xét hệ thống IVA truyền thống gồm hai bước chính là trích đặc trưng và nhận dạng hành động như trên Hình 1.2. Hình 1.2. Sơ đồ cấu trúc của hệ thống sử dụng kỹ thuật IVA điển hình. 1.3.2. Ứng dụng của kỹ thuật IVA 1.3.3. Một số nghiên cứu gần đây về ứng dụng IVA vào hệ thống HMS 1.3.3.1. Giám sát các hoạt động hàng ngày ADL (Activities of Daily Living) 1.3.3.2. Phát hiện tai nạn té ngã 1.3.3.3. Phân tích dáng đi 1.3.3.4. Hỗ trợ phục hồi chức năng 1.3.4. Các vấn đề cần quan tâm khi ứng dụng IVA vào hệ thống HMS Vấn đề góc quay, cảnh nền động, bóng đổ, che khuất, vẻ bề ngoài của đối tượng thay đổi, cách thức thực hiện hành động khác nhau, v.v. 1.4. Quá trình trích đặc trưng trong hệ thống IVA Trích đặc trưng tương đương với biến đổi mỗi khung hình thành một vector đặc trưng. Vector đặc trưng cần phải chứa đựng các đặc tính hữu hiệu và nổi bật nhất của một hành động, bất kể hành động đó được thực hiện bởi ai, thực hiện như thế nào, vào lúc nào và ở góc quay nào. 1.4.1. Phân vùng đối tượng 5 Đối với camera tĩnh, phương pháp phân đoạn đối tượng phổ biến nhất là trừ nền dùng mô hình hợp Gauss GMM1 (Gaussian Mixture Model), tạo ra ảnh mặt nạ chứa đối tượng màu trắng trên nền đen. 1.4.2. Mô tả đặc trưng 1.4.2.1. Đặc trưng số thực Thành phần của vector đặc trưng là số thực. Có thể mô tả đặc trưng dựa vào hình dáng (shape-based) hoặc dòng chuyển động (flow-based). 1.4.2.2. Đặc trưng số nhị phân Dùng các giá trị 0 hoặc 1 để biểu diễn quan hệ hình học nhị phân giữa các điểm khác nhau trong cơ thể. Đặc trưng nhị phân điển hình2 là một tập các số 0, 1 để biểu thị một điểm nào đó trên cơ thể ở trước/sau, bên phải/bên trái, trên/dưới của một mặt phẳng cơ thể, tư thế gập/duỗi của một bộ phận cơ thể, v.v. 1.4.3. Thảo luận về các bộ mô tả đặc trưng Nhìn chung, đặc trưng số thực cho kết quả nhận dạng tốt nhưng vì chủ yếu dựa trên thông tin 2D nên nhạy với nhiễu, với sự che khuất và phụ thuộc vào góc quay của camera. Đặc trưng số nhị phân được tính từ tọa độ 3D gồm cả chiều sâu nên khắc phục được các khuyết điểm của đặc trưng số thực, nhưng do chỉ dùng số 0 và 1 nên không đủ mềm dẻo để mô tả các hành động phức tạp. 1.5. Quá trình nhận dạng hành động trong hệ thống IVA Bước này chính là xác định xem chuỗi vector đặc trưng trích được mô tả đúng nhất cho hành động nào trong số các hành động đã huấn luyện. 1.5.1. Nhận dạng tĩnh Không quan tâm đến thông tin thời gian trong tín hiệu mà thực hiện dựa vào các khung trọng yếu. Tiêu biểu là phương pháp K-NN (KNearest Neighbor) và SVM (Support Vector Machine). 1.5.2. Nhận dạng động 1 2 Stauffer và Grimson (1999) Meinard Muller và cộng sự (2005) 6 1.5.2.1. Phương pháp so khớp mẫu So sánh chuỗi vector đặc trưng trích từ đoạn video kiểm tra và từ đoạn video huấn luyện để xác định chúng có tương tự nhau hay không. Tiêu biểu là phương pháp DTW (Dynamic Time Warping). 1.5.2.2. Phương pháp dùng mô hình không gian trạng thái Mỗi hành động được biểu diễn bằng một mô hình nhiều trạng thái, mỗi trạng thái tương đương với một tư thế. Để nhận dạng, tính xác suất mà mỗi mô hình có thể sinh ra chuỗi vector đặc trưng trích từ đoạn video kiểm tra, để đo khả năng mô hình đó sinh ra chuỗi vector đó. Tiêu biểu là mô hình HMM (Hidden Markov Model). 1.5.3. Thảo luận về các phương pháp nhận dạng hành động Tỷ lệ nhận dạng theo phương pháp nhận dạng tĩnh bị phụ thuộc vào khung trọng yếu. Phương pháp so khớp mẫu đơn giản nhưng nhạy với nhiễu và chịu chi phối bởi thứ tự thời gian của các khung hình. Phương pháp dùng mô hình không gian trạng thái khắc phục được khuyết điểm của phương pháp so khớp mẫu nhưng tính toán phức tạp hơn, đòi hỏi số lượng dữ liệu lớn và hiện chưa có lý thuyết xác định cấu trúc cũng như giá trị tối ưu của các thông số mô hình. 1.6. Định hướng vấn đề nghiên cứu 1.6.1. Bài toán xây dựng hệ thống HMS trên nền IVA 1.6.1.1. Bài toán phát hiện té ngã Yêu cầu phát hiện và cảnh báo té ngã từ đoạn video ghi hình đối tượng quan tâm sống một mình tại nhà và đang thực hiện các hoạt động thông thường thì bị ngã. Góc quay của camera là tùy ý. 1.6.1.2. Bài toán dự đoán nguy cơ té ngã Yêu cầu phát hiện dáng đi bất thường từ đoạn video ghi hình đối tượng quan tâm sống một mình tại nhà và đi bộ theo đường thẳng với góc quay bên hông. Kết quả phát hiện dáng đi bất thường có thể hỗ trợ cho dự đoán nguy cơ té ngã, vì dáng đi bất thường là một trong các yếu tố nguy cơ gây ra té ngã. 7 1.6.1.3. Bài toán dự đoán chứng rối loạn nhận thức Yêu cầu phát hiện hành động bất thường từ đoạn video ghi hình đối tượng quan tâm sống một mình tại nhà và đang thực hiện một hành động nào đó với góc quay tùy ý. Kết quả được dùng để hỗ trợ dự đoán chứng rối loạn nhận thức nhẹ MCI (Mild Cognitive Impairment), vì nghiên cứu cho thấy chứng MCI có gây ra hành động bất thường. 1.6.2. Các vấn đề thiết yếu về hệ thống HMS đề xuất 1.6.2.1. Các khó khăn khi xây dựng hệ thống HMS - Khó khăn về kỹ thuật: như trình bày ở 1.3.4 - Khó khăn phi kỹ thuật: cơ sở dữ liệu video, vấn đề về quyền riêng tư. 1.6.2.2. Trích đặc trưng trong hệ thống HMS đề xuất Do môi trường quay trong nhà, camera gắn cố định và nền tĩnh nên dùng phương pháp trừ nền GMM để phân vùng đối tượng. Các bộ mô tả đặc trưng thay đổi tùy ứng dụng, nhằm khai thác được những đặc điểm nổi bật nhất và khác biệt nhất của từng loại hành động cần nhận dạng. 1.6.2.3. Nhận dạng hành động trong hệ thống HMS đề xuất Từ các phân tích ở mục 1.5.3, mô hình HMM được chọn dùng trong các hệ thống HMS đề xuất, vì lý do: (1) không phụ thuộc tốc độ thực hiện hành động, (2) cho kết quả nhận dạng tốt, (3) có thể mở rộng HMM chuẩn nhằm phục vụ những mục đích đặc biệt. 1.7. Kết luận chương 1 Đóng góp chính của chương là phân tích, đánh giá ưu khuyết điểm của các nghiên cứu về IVA. Đây là cơ sở để định hướng các vấn đề nghiên cứu tiếp theo trong luận án. Chương 2: HỆ THỐNG HMS TRÊN NỀN KỸ THUẬT IVA Chương này trình bày cấu trúc và tính toán trong các hệ thống HMS đề xuất, nhằm hướng đến ba ứng dụng như đã trình bày ở 1.6.1. Các kết quả nghiên cứu về hệ thống HMS đề xuất đã được công bố ở các công trình [9]-[12] trong Danh mục công trình của tác giả. 8 2.1. Phân vùng đối tượng theo phương pháp trừ nền GMM Nguyên lý phân vùng đối tượng là so sánh khung hình hiện tại với mô hình nền, qua đó phân chia khung hình thành vùng chứa đối tượng chuyển động và vùng nền. Mô hình nền được xây dựng dựa trên mô hình GMM cho từng điểm ảnh và liên tục được cập nhật theo thời gian. Sau đó, áp dụng các phép hình thái toán học để làm mịn đường biên và lấp đầy các lỗ nhỏ bên trong vùng chứa đối tượng nhằm tạo nên một ảnh mặt nạ hoàn hảo dùng cho các bước xử lý tiếp theo. Hình 2.1 là một ví dụ về phân đoạn đối tượng bằng trừ nền GMM. Hình 2.1. Kết quả phân đoạn đối tượng bằng trừ nền GMM. 2.2. Mô tả đặc trưng trong hệ thống HMS phát hiện té ngã 2.2.1. Đặc điểm té ngã 2.2.2. Tính toán vector đặc trưng té ngã Sự khác biệt rõ rệt giữa hành động “té ngã” và “không té” thể hiện ở hình dạng và tốc độ chuyển động. Do đó đặc trưng kết hợp hình dạng với tốc độ3 được chọn dùng trong luận án và được tính qua 4 bước sau: Bước 1: Xác định ellipse bao quanh đối tượng trong ảnh mặt nạ. Bước 2: Tính các đặc trưng hình dạng dựa vào hình ellipse để biết tư thế của đối tượng, gồm: - Góc đứng tức thời của khung hiện tại, - Độ thay đổi góc đứng trong 15 khung liên tiếp, - Độ lệch tâm tức thời, - Độ thay đổi trọng tâm đối tượng trong 15 khung liên tiếp. 3 Ngo và cộng sự (2012) 9 Bước 3: Tính đặc trưng tốc độ chuyển động để biết tốc độ chuyển động nhanh hay chậm của đối tượng, dựa vào ảnh lịch sử chuyển động MHI (Motion History Image) được xây dựng từ 15 khung liên tiếp. Bước 4: Kết hợp đặc trưng hình dạng với đặc trưng tốc độ. 2.3. Mô tả đặc trưng trong hệ thống HMS phát hiện dáng đi bất thường 2.3.1. Đặc điểm dáng đi 2.3.2. Tính toán vector đặc trưng dáng đi Do có sự khác biệt giữa hình dạng các ảnh mặt nạ trích từ các loại dáng đi bệnh lý khác nhau nên bộ mô tả đặc trưng hình dạng dựa vào moment Hu4 được chọn để mô tả dáng đi. Vì kết quả tính các giá trị của moment Hu rất bé nên áp dụng phép logarit để chuyển các vector đặc trưng ở rất gần nhau trong không gian gốc sang không gian mới, ở đó chúng cách nhau đủ xa để dễ xử lý hơn. 2.4. Mô tả đặc trưng trong hệ thống HMS phát hiện hành động bất thường Hệ thống phát hiện hành động bất thường đề xuất dựa trên hệ thống nhận dạng hành động như trên Hình 2.2. Hình 2.2. Cấu trúc hệ thống phát hiện hành động bất thường. 2.4.1. Cơ sở xây dựng bộ mô tả đặc trưng hành động 3D GRF Bộ mô tả đặc trưng 3D GRF dựa trên ý tưởng của đặc trưng nhị phân 4 Huang và cộng sự (2010) 10 là mô tả quan hệ hình học giữa các điểm quan tâm trên cơ thể, nhưng dùng số thực có dấu thay cho số 0/1, nhằm khai thác các ưu điểm và hạn chế khuyết điểm của đặc trưng nhị phân như đã phân tích ở 1.4.3. 2.4.2. Xác định dữ liệu vào của bộ mô tả đặc trưng 3D GRF Dữ liệu vào là tọa độ 3D của các điểm trên cơ thể (Hình 2.3), được ước lượng dựa vào vật đánh dấu (marker) hoặc tín hiệu video. (a) (b) (c) Hình 2.3. Mô hình cơ thể (a) Ảnh gốc, (b) Mô hình 13 điểm, (c) Mô hình 3D Phương pháp dựa vào marker chính xác nhưng chi phí cao và phức tạp. Phương pháp dựa vào tín hiệu video có giá thành rẻ hơn và thực hiện đơn giản hơn. Qua tìm hiểu, phương pháp5 được chọn dùng do sai khác ước lượng tốt nhất so với các phương pháp dựa vào video khác. 2.4.3. Tính toán vector đặc trưng 3D GRF Xét 6 hành động “đánh bốc”, “vẫy tay”, “chạy chậm”, “đi bộ”, “đá”, “ném” có sẵn trong các cơ sở dữ liệu công cộng. Phân tích các cử động của cơ thể khi thực hiện 6 hành động này, có thể đề xuất Bảng 2.1 mô tả GRF. 2.4.3.1. Tính đặc trưng khoảng cách Đặc trưng khoảng cách là khoảng cách có dấu giữa các bộ phận quan tâm trong cơ thể và có thay đổi rõ rệt trong khi thực hiện hành động. Đặc trưng 1A là khoảng cách có dấu giữa điểm quan tâm với mặt phẳng đứng (coronal plane), dấu +/- chỉ ra điểm quan tâm ở trước/sau thân. Mặt phẳng đứng xác định bởi 3 điểm {p1, p2, p3} lần lượt là {Hông 5 Shian-Ru Ke và cộng sự (2011) 11 trái, Hông phải, Vai phải}, {Hông trái, Hông phải, Vai trái}, {Vai trái, Vai phải, Hông phải}, và {Vai trái, Vai phải, Hông trái}; điểm quan tâm p4 lần lượt là Tay phải, Tay trái, Chân phải, Chân trái tương ứng với đặc trưng F1, F2, F3, F4. Vậy tính đặc trưng 1A chính là tính khoảng cách có dấu giữa điểm p4 và một mặt phẳng xác định bởi {p1, p2, p3}. Đặc trưng 1B là khoảng cách có dấu giữa Tay với mặt phẳng dọc (saggital plane), dấu +/- chỉ cho biết Tay ở bên phải/trái cơ thể. Bảng 2.1. Tập các đặc trưng 3D GRF 2.4.3.2. Chuẩn hóa đặc trưng khoảng cách Chuẩn hóa nhằm đảm bảo giá trị của đặc trưng khoảng cách F1-F6 không bị phụ thuộc vào khoảng cách giữa camera và đối tượng. 2.4.3.3. Tính đặc trưng góc Đặc trưng góc là góc đo giữa hai đoạn thẳng quan tâm trên cơ thể và có thay đổi rõ rệt trong khi thực hiện hành động. Tính đặc trưng góc chính là tính góc tạo bởi hai vector v1 và v2 có chung điểm gốc là p và có điểm ngọn tương ứng là p1 và p2. 2.4.4. Bộ mô tả đặc trưng 3D GRF cải tiến Trong trường hợp hành động cần nhận dạng gồm “xem giờ”, “vòng tay”, “gãi đầu”, “ngồi xuống”, “đứng dậy”, “xoay người”, “đi bộ”, “vẫy tay”, “đấm”, “đá” và “nhặt đồ”, đặc trưng 3D GRF nên được cải tiến để mô tả hành động hữu hiệu hơn. GRF cải tiến gồm 15 đặc trưng: giữ lại 8 đặc trưng gốc, thay thế 2 đặc trưng gốc và bổ sung 5 đặc trưng mới. 2.5. Nhận dạng hành động dựa trên mô hình HMM 2.5.1. Giới thiệu mô hình HMM 12 Một mô hình HMM được xác định bởi tập λ = {A, B, π} và giá trị N, M; với A là ma trận chuyển tiếp, B là ma trận quan sát, π là xác suất trạng thái khởi đầu, N là số trạng thái ẩn và M là số ký hiệu quan sát. Có nhiều loại mô hình HMM, trong đó loại HMM trái-phải là phù hợp với mô hình hóa hành động trong đoạn video. 2.5.2. Ứng dụng mô hình HMM vào nhận dạng hành động Trong pha huấn luyện, cần huấn luyện một mô hình HMM cho mỗi hành động cần nhận dạng từ chuỗi vector huấn luyện. Trong pha kiểm tra, cần tính likelihood mà mỗi mô hình HMM có thể sinh ra chuỗi vector kiểm tra, từ đây kết luận về hành động cần nhận dạng dựa theo tiêu chuẩn likelihood cực đại. 2.5.3. Mô hình HMM-Kmeans 2.5.3.1. Nguyên lý hoạt động của HMM rời rạc Dữ liệu vào huấn luyện là chuỗi vector huấn luyện được rời rạc hóa bằng cách lượng tử hóa vector (ví dụ dùng Kmeans6) để tạo ra một bảng mã. Dữ liệu vào kiểm tra là chuỗi vector kiểm tra được rời rạc hóa bằng cách mã hóa vector dựa vào bảng mã này. 2.5.3.2. Lượng tử hóa vector dựa vào Kmeans Nhằm hạn chế các khuyết điểm của Kmeans, thực hiện một số thay đổi như: (1) thí nghiệm với K thay đổi, (2) ứng với mỗi K thực hiện Kmeans nhiều lần rồi lấy trung bình cộng của các bảng mã trung gian, (3) thay giá trị trung bình bằng giá trị trung vị khi xác định trọng tâm nhóm. 2.5.4. Mô hình HMM nhận dạng hành động gần tuần hoàn 2.5.4.1. Khái niệm hành động gần tuần hoàn Từ “gần tuần hoàn” được dùng theo nghĩa là các tư thế (hoặc tham số đặc trưng) của hành động lặp lại theo chu kỳ. Tuy nhiên, sự lặp lại này không hoàn toàn giống nhau từ chu kỳ trước đến chu kỳ sau. 2.5.4.2. Mô hình HMM tuần hoàn CHMM Là HMM trái-phải với một chuyển tiếp từ trạng thái cuối về trạng thái đầu như Hình 2.4 để biểu thị sự lặp lại của các tư thế trong hành động. 6 Glenn Fung (2011) 13 ! # # # A =# # # #" a11 a12 0 0 0 a22 a23 0 0 0 a33 a34 0 0 0 a44 a51 0 0 0 0 $ & 0 & & 0 & a45 & & a55 &% Hình 2.4. Mô hình CHMM 5 trạng thái. 2.6. Kết luận chương 2 Tóm lại, chương 2 đã trình bày chi tiết tính toán các khâu xử lý trong các hệ thống HMS đề xuất. Đóng góp chính của chương là đề xuất mô hình giám sát chăm sóc sức khỏe hướng đến 3 ứng dụng khác nhau gồm phát hiện té ngã, dự đoán nguy cơ té ngã và dự đoán nguy cơ chứng MCI. Các đề xuất mới trong mô hình gồm: bộ mô tả đặc trưng 3D GRF và nhận dạng hành động gần tuần hoàn dùng mô hình CHMM. Hiệu quả của mô hình và các đề xuất sẽ được kiểm tra, đánh giá lần lượt qua chương 3 và chương 4. Chương 3: GIÁM SÁT TÉ NGÃ Chương này trình bày thí nghiệm kiểm tra, đánh giá hệ thống HMS ở chương 2 trong ứng dụng giám sát té ngã, với hai kịch bản: (1) phát hiện té ngã và (2) dự đoán nguy cơ té ngã do dáng đi bất thường. Kết quả nghiên cứu thực nghiệm về hệ thống giám sát té ngã được công bố qua các công trình [9], [10], [12] trong Danh mục công trình của tác giả. 3.1. Giới thiệu các cơ sở dữ liệu và tiêu chí đánh giá hệ thống 3.1.1. Cơ sở dữ liệu té ngã HBU HBU do nhóm TRT-3DCS xây dựng, bao gồm 134 đoạn video gồm 65 đoạn “té ngã” và 69 đoạn “không té”, độ phân giải 320x240, tốc độ 30 khung/s. Các tình huống té ngã khác nhau về hướng té (trực diện, chéo, bên hông), nguyên nhân té, tư thế cơ thể khi té và tốc độ té. 14 3.1.2. Cơ sở dữ liệu dáng đi bất thường Đây là cơ sở dữ liệu tự xây dựng, có 56 đoạn video dáng đi Ataxic, 85 đoạn Hemiplegic, 93 đoạn Limping, 97 đoạn Neuropathic, 100 đoạn Parkinson, 100 đoạn bình thường, phân giải 180x144, tốc độ 25 khung/s. Các video được ghi hình với góc quay bên hông. 3.1.3. Cơ sở dữ liệu té ngã Le2i Le2i do phòng thí nghiệm Le2i xây dựng, có 215 đoạn video gồm 147 đoạn “té ngã” và 68 đoạn “không té”, độ phân giải gồm 320x240 và 320x180, tốc độ gồm 25 khung/s và loại 24 khung/s. 3.1.4. Tiêu chí đánh giá hệ thống Dựa vào Recall (RC), Precision (PR) và Accuracy (Acc) được tính từ ma trận nhầm lẫn (confusion matrix) như trong Hình 3.1. RC = TP TP + FN , PR = TP TP + FP , ACC = TP + TN TP + TN + FP + FN (3.1) TP (True Positive): dương tính thật FP (False Positive): dương tính giả FN (False Nagetive): âm tính giả TN (True Negative): âm tính thật Hình 3.1. Ma trận nhầm lẫn. 3.2. Kiểm tra, đánh giá hệ thống phát hiện té ngã Xét hệ thống7 dùng đặc trưng như ở 2.2 và mô hình HMM-Kmeans. 3.2.1. Sự phân chia dữ liệu Toàn bộ cơ sở dữ liệu được chia hai: 31 video huấn luyện và 103 video kiểm tra. Các video kiểm tra được chia thành 3 tập con Test1, Test2 và Test3 ứng với các kịch bản té ngã có độ phức tạp khác nhau. 3.2.2. Quá trình thí nghiệm và kết quả kiểm tra hệ thống phát hiện té ngã 7 Tra và Pham, 2013 15 Hệ thống được kiểm tra theo quy trình ở Hình 3.2, với N=5 và K=M=96 Hình 3.2. Sơ đồ thí nghiệm phát hiện té ngã. 3.2.3. Kết quả thí nghiệm kiểm tra hệ thống phát hiện té ngã Bảng 3.1. Hiệu quả nhận dạng của hệ thống phát hiện té ngã trên HBU 3.2.4. Đánh giá hệ thống phát hiện té ngã 3.2.4.1. Đánh giá hiệu quả nhận dạng của hệ thống - Tỷ lệ nhận dạng phụ thuộc vào mức độ phức tạp của kịch bản kiểm tra. - Hiệu quả phát hiện té ngã bị ảnh hưởng bởi góc quay: té hướng bên hông được phát hiện 100% và hướng trực diện bị bỏ sót nhiều nhất (78.95%). - Tỷ lệ dương tính giả nhiều nhất với các hành động xảy ra trên sàn nhà. 3.2.4.2. Nguyên nhân nhận dạng không chính xác - Ánh sáng yếu, màu quần áo trùng lẫn màu nền, che khuất. - Bộ mô tả đặc trưng té ngã thiếu thông tin chiều sâu. 3.2.4.3. So sánh các hệ thống phát hiện té ngã Kết quả so sánh trong Bảng 3.2 cho thấy hiệu quả rõ rệt của hệ thống đang xét, thể hiện ở sự tăng lên của tất cả các tiêu chí RC, PR và Acc. 16 Bảng 3.2. So sánh các hệ thống phát hiện té ngã Hệ thống RC PR Acc Trừ nền và so khớp ngưỡng 73.01 70 69.9 Trừ nền và mạng neural 81.13 84.31 82.69 Trừ nền GMM và mạng neural 87.38 86.67 86.38 Trừ nền GMM và mô hình HMM 88.46 86.79 87.38 3.3. Triển khai hệ thống phát hiện té ngã thực tế 3.3.1. Kiến trúc hệ thống phát hiện té ngã thực tế 3.3.1.1. Thu nhận tín hiệu video Ghi hình bằng camera IP D-Link DCS-942L, truyền tín hiệu video qua router không dây đến máy tính, giao diện video-máy tính được thiết kế nhờ C++ và OpenCV, thủ tục truyền dữ liệu là RTSP. 3.3.1.2. Phân tích tín hiệu video Truyền tín hiệu video theo từng khung đến máy tính để phân tích theo thuật toán phát hiện té ngã đã trình bày, dùng Matlab 2012a. 3.3.1.3. Thông tin cảnh báo Có hai hình thức cảnh báo được thiết kế là (1) cảnh báo tại chỗ bằng âm thanh và văn bản trên màn hình quan sát và (2) cảnh báo từ xa bằng tin nhắn SMS gởi đến số điện thoại đã định dùng module SIM900A. 3.3.2. Kiểm tra, đánh giá hệ thống với cơ sở dữ liệu Le2i 3.3.2.1. Thí nghiệm kiểm tra hệ thống với cơ sở dữ liệu Le2i Chọn 58 đoạn video có phân giải 320x240 trong tập Home1, Home2 và Lecture có kịch bản khác nhiều so với HBU. Kết quả có 13/22 hành động “té ngã” và 28/36 hành động “không té” được nhận dạng đúng, dẫn đến chỉ số thống kê là RC=59%, PR=62% và Acc=71%. 3.3.2.2. Nhận xét đánh giá hệ thống dựa trên cơ sở dữ liệu Le2i - 100% cảnh nền và 50/58 đoạn video (chiếm 86%) chuỗi hành động trong Le2i khác với HBU nên tỷ lệ nhận dạng giảm đi đáng kể. - Ánh sáng yếu, che khuất ảnh hưởng đến phân đoạn đối tượng (69%). 17 - Tỷ lệ dương tính giả cao do nhiều đối tượng chuyển động (55%), hành động tương tự “té ngã” (62%), đồ vật bị rơi (14%). - Khó áp dụng trừ nền GMM do đối tượng có sẵn trong khung hình (57%), đối tượng bất động (86%). 3.3.3. Kiểm tra, đánh giá hệ thống với tình huống té ngã thực tế Nhằm kiểm tra tính ổn định, khả năng đáp ứng thời gian thực và khả năng phát hiện tai nạn té ngã thực, hệ thống được huấn luyện bởi 134 video HBU, cho chạy thử trước Văn phòng Khoa ĐT-VT và phòng học C217 trường Đại học bách khoa, ĐHĐN, từ 14/04 - 15/05/2014. Kết quả là camera ghi được 674 hành động với 9 hành động “té ngã”. Hệ thống phát hiện và cảnh báo được 8/9 hành động “té ngã”, nhận dạng nhầm 16 hành động “không té”. Vậy tỷ lệ nhận dạng chính xác là Acc = 97.47%. Thời gian trễ xử lý đo được là 1-5 giây. 3.4. Kiểm tra, đánh giá hệ thống dự đoán nguy cơ té ngã do dáng đi bất thường 3.4.1. Kiểm tra, đánh giá hệ thống phát hiện dáng đi bệnh Parkinson 3.4.1.1. Thí nghiệm phát hiện dáng đi bệnh Parkinson Thí nghiệm theo quy trình ở Hình 3.2, với cơ sở dữ liệu 100 đoạn video dáng đi bình thường và 100 đoạn Parkinson, bộ mô tả đặc trưng là moment Hu, mô hình nhận dạng là CHMM N = 7 và M = 64. 3.4.1.2. Kết quả thí nghiệm phát hiện dáng đi bệnh Parkinson Thực hiện đánh giá theo phương pháp đánh giá chéo 1:10, kết quả là 99/100 dáng đi Parkinson và 100/100 dáng đi bình thường được nhận dạng đúng, dẫn đến tỷ lệ nhận dạng chính xác rất tốt - Acc = 99.5%. 3.4.2. Kiểm tra, đánh giá hệ thống phát hiện dáng đi bệnh lý 3.4.2.1. Thí nghiệm phát hiện dáng đi bệnh lý Thí nghiệm tương tự như thí nghiệm phát hiện dáng đi Parkinson ở 3.4.1.1, chỉ khác cơ sở dữ liệu là cơ sở dữ liệu dáng đi bất thường gồm 6 loại dáng đi bệnh lý khác nhau đã trình bày ở 3.1.2. 3.4.2.2. Kết quả thí nghiệm phát hiện dáng đi bệnh lý 18 Thí nghiệm đầu tiên được thực hiện với vector đặc trưng dùng moment Hu không qua logarit đối với dáng đi Ataxic và Hemiplegic cho kết quả nhận dạng đúng rất thấp (<50%). Thí nghiệm thứ hai thực hiện với vector đặc trưng dựa trên moment Hu đã qua phép tính logarit đối với cả 6 loại dáng đi. Kết quả là có 49/56 đoạn Ataxic, 80/85 đoạn Hemiplegic, 92/93 đoạn Limping, 92/97 đoạn Neuropathic, 99/100 đoạn Parkinson được nhận dạng là “bất thường” và 85/100 đoạn đi bình thường được nhận dạng là “bình thường”. Từ đây xây dựng được ma trận nhầm lẫn (tính bằng %), sau đó tính được các chỉ số thống kê RC=95.59%, PR=86.43%, Acc=90.30%. Qua thí nghiệm có thể rút ra các nhận xét về ưu điểm của hệ thống: - Tỷ lệ phát hiện dáng đi bất thường khá cao nên hỗ trợ tốt cho việc dự đoán nguy cơ té ngã do dáng đi bất thường gây ra. - Thời gian quan sát người đi bộ rất ngắn (độ dài đoạn video từ 10-42s). - Có thể ứng dụng hệ thống vào nhận dạng bệnh thông qua dáng đi. - Hệ thống đề xuất đơn giản hơn các hệ thống phân tích dáng đi khác. Các hạn chế của hệ thống gồm: - Hệ thống chỉ áp dụng cho góc quay bên hông. - Tỷ lệ dương tính giả còn cao (15% dáng đi bộ bị nhầm thành bệnh lý). - Tỷ lệ nhận dạng đúng dáng đi Ataxic còn thấp (87.5%). - Cơ sở dữ liệu chưa có sự tham gia của bệnh nhân thật. 3.5. Kết luận chương 3 Tóm lại, các thí nghiệm ở trên cho thấy các hệ thống HMS đề xuất đã cơ bản đáp ứng được mục tiêu đề ra: hệ thống phát hiện té ngã đạt hiệu quả phát hiện té ngã tốt với thời gian trễ rất thấp, hệ thống phát hiện dáng đi bất thường đạt hiệu quả nhận dạng cao nên có thể hỗ trợ tốt cho việc dự đoán nguy cơ té ngã. Chương 4: PHÁT HIỆN HÀNH ĐỘNG BẤT THƯỜNG Chương này trình bày thí nghiệm kiểm tra, đánh giá hệ thống HMS phát hiện hành động bất thường đã trình bày trong chương 2.