Tài liệu Nghiên cứu phương pháp nhận dạng ảnh mặt người và ứng dụng

.. ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ---------------- ĐỖ DUY CỐP NGHIÊN CỨU PHƢƠNG PHÁP NHẬN DẠNG ẢNH MẶT NGƢỜI VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên – 2014 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ---------------- ĐỖ DUY CỐP NGHIÊN CỨU PHƢƠNG PHÁP NHẬN DẠNG ẢNH MẶT NGƢỜI VÀ ỨNG DỤNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC: TS. Vũ Việt Vũ Thái Nguyên - 2014 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ i MỤC LỤC MỤC LỤC .......................................................................................................... i DANH MỤC CÁC TỪ VIẾT TẮT .................................................................. ii DANH MỤC CÁC BẢNG................................................................................ ii DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ .......................................................... iii LỜI CẢM ƠN ................................................................................................... 1 LỜI CAM ĐOAN ............................................................................................. 2 CHƢƠNG 1 TỔNG QUAN VỀ NHẬN DẠNG ẢNH MẶT NGƢỜI ............ 3 1.1 Tổng quan về nhận dạng ảnh mặt ngƣời ................................................. 3 1.2 Các hƣớng tiếp cận trong nhận dạng mặt ngƣời...................................... 4 1.2.1 Phƣơng pháp trích chọn đặc trƣng sử dụng mặt riêng (Eigenface) .. 4 1.2.2 Phƣơng pháp trích chọn đặc trƣng sử dụng mô hình Markov ẩn ..... 5 1.2.3 Phƣơng pháp phân tích thành phần chính ......................................... 5 1.3 Bố cục luận văn ....................................................................................... 6 CHƢƠNG 2 TRÍCH CHỌN ĐẶC TRƢNG ................................................... 7 2.1 Phƣơng pháp phân tích thành phần chính - PCA .................................... 7 2.1.1 Cơ sở toán học ................................................................................... 8 2.1.2 Phƣơng pháp PCA ........................................................................... 17 2.2 Phƣơng pháp phân tách tuyến tính - LDA ............................................. 24 2.3 Phƣơng pháp xử lý hình thái.................................................................. 27 2.3.1 Biến đổi trúng-trƣợt (hit-or-miss) ................................................... 29 2.3.2 Phép dãn ảnh và co ảnh tổng quát ................................................... 33 2.3.3 Dãn và co ảnh đa mức xám ............................................................. 40 CHƢƠNG 3 MẠNG NƠRON ........................................................................ 42 3.1 Giới thiệu mạng nơron ........................................................................... 42 3.1.1 Nơron – đơn vị xử lý cơ bản ........................................................... 42 3.1.2. Liên kết giữa các nơron .................................................................. 43 3.1.3. Hàm kích hoạt và các quy tắc xác định tín hiệu ra ........................ 44 3.1.4 Quy tắc delta.................................................................................... 45 3.2 Thuật toán học lan truyền ngƣợc ........................................................... 46 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ ii CHƢƠNG 4 THIẾT KẾ VÀ ĐÁNH GIÁ ...................................................... 52 4.1 Thiết kế hệ thống ................................................................................... 52 4.1.1 Cơ sở dữ liệu ảnh ............................................................................ 52 4.1.2 Môi trƣờng cài đặt ........................................................................... 53 4.1.3 Cài đặt.............................................................................................. 53 4.2 Kiểm thử và đánh giá ............................................................................. 56 KẾT LUẬN ..................................................................................................... 58 HƢỚNG PHÁT TRIỂN .................................................................................. 59 TÀI LIỆU THAM KHẢO ............................................................................... 60 DANH MỤC CÁC TỪ VIẾT TẮT LDA (Linear Discriminant Analysis): Phƣơng pháp phân tách tuyến tính LMS (Least Mean Square): Phƣơng pháp bình phƣơng trung bình tối thiểu ORL (Olivetti Research Laboratory, Surrey University): Cơ sở dữ liệu ảnh dùng trong luận văn PCA(Principal Components Analysis): Phƣơng pháp phân tích thành phần chính DANH MỤC CÁC BẢNG Bảng 2.1. Tính toán độ lệch chuẩn ................................................................. 10 Bảng 2.2. Tập dữ liệu hai chiều và tính toán hiệp phương sai ....................... 12 Bảng 4.1. Các module chính của chương trình .............................................. 53 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ iii DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 2.1. Ví dụ minh họa PCA .............................................................................................. 8 Hình 2.2. Dữ liệu và đồ thị biểu diễn dữ liệu ...................................................................... 18 Hình 2.3. Đồ thị biểu diễn dữ liệu đã chuẩn hóa với các vector riêng................................ 20 Hình 2.4. Ảnh gốc trong cơ sở dữ liệu ORL ........................................................................ 23 Hình 2.5. Ảnh sau khi biến đổi theo PCA ............................................................................ 23 Hình 2.6. Ví dụ minh họa LDA ............................................................................................ 24 Hình 2.7. Ảnh sau khi biến đổi theo LDA ............................................................................ 27 Hình 2.8. Sự liên thông ........................................................................................................ 28 Hình 2.9. Phép dãn ảnh nhị phân ........................................................................................ 31 Hình 2.10. Phép co ảnh nhị phân ........................................................................................ 32 Hình 2.11. Các toán tử đại số ảnh trên các mảng nhị phân ................................................ 34 Hình 2.12. Lật và dịch một mảng nhị phân ......................................................................... 34 Hình 2.13. Phép dãn ảnh tổng quát dựa theo phép cộng Minkowski .................................. 37 Hình 2.14. So sánh các kết quả của hai phép co ảnh .......................................................... 39 Hình 2.15. Phép dãn ảnh và co ảnh tổng quát với phần tử cấu trúc 55 ............................ 40 Hình 2.16. Ảnh sau khi xử lý hình thái ................................................................................ 41 Hình 3.1. Các thành phần cơ bản của mạng nơron nhân tạo.............................................. 43 Hình 3.2. Một số dạng hàm kích hoạt của nơron ................................................................ 44 Hình 3.3. Mạng nơron l lớp ................................................................................................. 47 Hình 4.1. Ảnh gốc trong bộ ảnh ORL .................................................................................. 52 Hình 4.2. Ảnh gốc được bổ sung ảnh gương ....................................................................... 54 Hình 4.3. Giao diện chính của chương trình ....................................................................... 56 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 1 LỜI CẢM ƠN Lời đầu tiên tôi xin bày tỏ lòng biết ơn sâu sắc tới TS. Vũ Việt Vũ, công tác tại trƣờng Đại học Kỹ thuật Công nghiệp - Đại học Thái Nguyên, ngƣời đã tận tình hƣớng dẫn và giúp tôi hoàn thành luận văn tốt nghiệp này. Tôicũng xin gửi lời cảm ơn chân thành đến các thầy cô giáo của trƣờng Đại học Công nghệ thông tin và truyền thông - Đại học Thái Nguyên, cùng các thầy cô giáo của Viện Công nghệ thông tin - Viện khoa học Việt Nam đã nhiệt tình giảng dạy, truyền đạt kiến thức cho tôi trong suốt 2 năm học qua. Tôi xin cảmơn sự động viên và giúp đỡ của tất cả những ngƣời thân trong gia đình, của các bạn bè, đồng nghiệp trong quá trìnhthực hiện luận văn này. Thái Nguyên, ngày 20 tháng 05 năm 2014 Học viên Đỗ Duy Cốp Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 2 LỜI CAM ĐOAN Tôi là: Đỗ Duy Cốp Lớp: CK11A Khoá học: 2012 - 2014 Chuyên ngành: Khoa học máy tính Mã số chuyên ngành: 60 48 01 Cơ sở đào tạo: Trƣờng Đại học Công nghệ thông tin và Truyền thông Thái Nguyên. Giáo viên hƣớng dẫn: TS. Vũ Việt Vũ Cơ quan công tác: Trƣờng Đại học Kỹ thuật Công nghiệp - Đại học Thái Nguyên Tôi xin cam đoan luận văn “Nghiên cứu phương pháp nhận dạng ảnh mặt người và ứng dụng” này là công trình nghiên cứu của riêng tôi. Các số liệu sử dụng trong luận văn là trung thực. Các kết quả nghiên cứu đƣợc trình bày trong luận văn chƣa từng đƣợc công bố tại bất kỳ công trình nào khác. Thái Nguyên, ngày 20 tháng 05 năm 2014 Học viên Đỗ Duy Cốp Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 3 CHƢƠNG 1. TỔNG QUAN VỀ NHẬN DẠNG ẢNH MẶT NGƢỜI 1.1 Tổng quan về nhận dạng ảnh mặt ngƣời Xử lý ảnh là một lĩnh vực đƣợc quan tâm rất nhiều trong khoảng 10 năm trở lại đây. Bài toán nhận dạng ảnh nhằm mục đích phát hiện và nhận dạng đối tƣợng trong ảnh. Bài toán nhận dạng ảnh đƣợc ứng dụng trong nhiều lĩnh vực, đặc biệt là nhận dạng mặt ngƣời đã đƣợc ứng dụng trong các hệ thống bảo mật, nhận dạng ngƣời trên các bằng lái xe, hộ chiếu, nhận dạng ngƣời trong các hệ thống tƣơng tác ngƣời-máy, trong lĩnh vực giải trí,… Đặc biệt sau thảm họa ngày 11/9, các chính phủ trên toàn thế giới đã bắt đầu chú ý hơn tới các mức an ninh ở sân bay và biên giới. Ngân sách hằng năm của các nƣớc đã tăng lên nhiều cho các kỹ thuật hiện đại để xác định, nhận dạng và lần theo các đối tƣợng nghi vấn. Nhu cầu tăng lên trong các ứng dụng này đã giúp các nhà khoa học có thêm quỹ để phát triển các dự án nghiên cứu. Mặc dù việc nhận dạng mặt ngƣời không thể chính xác đƣợc nhƣ các phƣơng pháp nhận dạng khác nhƣ nhận dạng vân tay, nhƣng nó vẫn nhận đƣợc sự quan tâm lớn của các nhà nghiên cứu trong lĩnh vực thị giác máy. Lý do chủ yếu là trên thực tế, mặt ngƣời vẫn là cách truyền thống để con ngƣời nhận ra nhau. Một hệ thống nhận dạng mặt ngƣời điển hình bao gồm các thành phần chính nhƣ hình1.1. Ảnh mặt ngƣời Trích chọn đặc trƣng Nhận dạng mặt ngƣời Thông tin ngƣời đƣợc nhận dạng Hình 1.1. Mô hình hệ thống nhận dạng mặt người Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 4 1.2 Các hƣớng tiếp cận trong nhận dạng mặt ngƣời Có hai hƣớng tiếp cận chính làm hạt nhân của các kỹ thuật phân tích đặc trƣng mặt ngƣời: hƣớng tiếp cận hình học và hƣớng tiếp cận hình ảnh.  Hướng tiếp cận hình học sử dụng việc ánh xạ không gian các đặc trƣng mặt ngƣời. Mặt ngƣời đƣợc phân loại theo khoảng cách hình học, theo đƣờng bao và theo các góc giữa các điểm.  Hướng tiếp cận hình ảnh bao gồm việc xây dựng các mẫu từ những đặc trƣng mặt ngƣời. Mẫucủa các đặc trƣng nổi bật, hoặc thậm chí là toàn khuôn mặt đƣợc thiết lập, việc nhận dạng đƣợc thực hiệnbằng cách duyệt các khuôn mặt rồi tìm mặt nào khớp nhất với mẫu. Hiện nay các hệ thống nhận dạng mặt ngƣời vẫn đang tiếp tục đƣợc phát triển. Dƣới đây là một số phƣơng pháp trích chọn đặc trƣng: - Mặt riêng (Eigenface) - Mô hình Markov ẩn - Phân tích thành phầnchính(PCA) 1.2.1 Phƣơng pháp trích chọn đặc trƣng sử dụng mặt riêng (Eigenface) Thuật toán Eigenface rất phổ biến và đƣợc sử dụng rộng rãi do sựđơn giản và hiệu quả tính toán. Thuật toán sử dụng cáchtiếp cận lý thuyết thông tin trong việc mã hóa các ảnh mặt ngƣời và xác địnhcác vector riêng tƣơng ứng với giá trị riêng lớnnhất của ma trận hiệp phƣơng sai của ảnh. Sau đó, đối với mỗi nhómảnh của một ngƣời, ta tính vector trung bình, một ngƣỡng sẽ đƣợc chọnđể xác định khoảng cách chấp nhận đƣợc cựcđạitừ một ảnh đến nhómảnhgiúp nhận dạng những ảnh mới. Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 5 1.2.2 Phƣơng pháp trích chọn đặc trƣng sử dụng mô hình Markov ẩn Mô hình Markov ẩn phân loại một đặc trƣng mặt ngƣời bằng tính chất của chuỗi Markov. Một dãy ngẫu nhiên các biến lấy trên các giá trị điểmảnh tƣơng ứng tạo nên chuỗi Markov, nếu xác suất để hệ thống đạt trạng thái xn+1 tại thời điểm n+1 chỉ phụ thuộc vào xác suất để hệ thống đạt trạng thái xn tại thời điểm n. Trong một chuỗi Markov, việc chuyển hệ thống từ trạng thái này sang trạng thái khác tƣơng ứng với một xác suất nàođó, nhƣng kết quả của một ký hiệu ra lại xác định đƣợc trƣớc. Nhƣ vậy, kết quả là một phân bố xác suất của tất cả các ký hiệu ra tại mỗi trạng thái và kết quả này đƣợc dùngđể so sánh giữa hai khuôn mặt. 1.2.3 Phƣơng pháp phân tích thành phần chính Trong phương pháp phân tích thành phần chính(PCA  còn gọi là biến đổi Karhunen-Loeve), tập dữ liệu đƣợc biểu diễn lại với số đặc trƣngít hơn đồng thời giữ đƣợc hầu hết các thông tin quan trọng nhất của dữ liệu. PCA thƣờngđƣợc sử dụng cùng phƣơng pháp mặt riêng. Tập con các vector riêng đƣợc dùng làm các vector cơ sở của một không gian con, trong đó ta có thể so sánh vớicác ảnh trong cơ sở dữ liệuđểnhận dạng các ảnh mới. Các vector cơ sở này còn đƣợc gọi là các thành phần chínhcủa cơ sở dữ liệu ảnh. Mạng nơron đƣợc sử dụng rộng rãi trong các hệ thống nhận dạng mặt ngƣời. Kỹ thuật mạng nơron mô phỏnghoạt động của các nơron trong bộnão ngƣời. Mạng nơron có khả năng điều chỉnh các trọng số dựa trên các mẫu họctrong quá trình huấn luyện. Kết quả là mạng đạt đƣợc hiệu quả cao trong việc phân loại các lớp, dựa trên dữ liệu mẫu khả tách tuyến tính hoặc phi tuyến. Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 6 1.3Bố cục luận văn Mặc dù các hệ thống nhận dạng mặt ngƣời hiện tạiđã đạt đƣợc hiệu quả khá cao, tuy nhiên chúngvẫn còn hạn chế là chỉ tập trung vào một hay một vài phƣơng pháp trích chọn đặc trƣng. Có hệ thống chỉ thực hiện nhận dạng dựa trên các đặcđiểm về hình học của mặt ngƣời hoặc có hệ thống chỉ dựa trên các đặcđiểm thống kê. Trong luận văn này, việc trích chọn đặc trƣng sẽ đƣợc thực hiệndựa trên những đặcđiểm thống kê của khuôn mặt (cụ thể là phƣơng pháp phân tích thành phầnchính– PCA và phƣơng pháp phân tách tuyến tính – LDA) và những đặcđiểm về hình thái của khuôn mặt. Chƣơng 2 trình bàychi tiết về các phƣơng pháp trích chọn đặc trƣng đƣợc lựa chọn để xây dựng chƣơng trình. Chƣơng 3 trình bày về mạng noron với thuật toán họclan truyền ngƣợc lỗi, đƣợc dùng để phân loạiảnh. Chƣơng 4 trình bày cụ thểviệc thiết kế hệ thống và đánh giáhiệu quả thực hiện. Cuối cùng làphầnkết luận. Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 7 CHƢƠNG 2. TRÍCH CHỌN ĐẶC TRƢNG Chương này sẽ trình bày về các phương pháp trích chọn đặc trưng được sử dụng trong luận văn. Mục đích thứ nhất của việc trích chọn đặc trưng là giảm số chiều của dữ liệu. Dữ liệu ảnh mặt người có số điểm ảnh lớn (cỡ vài nghìn đến vài chục nghìn điểm ảnh), do đócần có một phép biến đổi để giảm lượng thông tin sử dụng để biểu diễn,đồng thời không làm mất quá nhiều thông tin quan trọng. Mục đích thứ hai của việc trích chọn đặc trưng là giúp phân biệt tốt hơn đối với các mẫu dữ liệu. Các ảnh mặt người sẽ được biểu diễn trong một không gian mới sao cho có thể làm nổi bật được sự khác biệt giữa các ảnh với nhau.Các phần sau sẽ trình bày về phương pháp phân tích thành phần chính, phương pháp phân tách tuyến tính và phương pháp xử lý hình thái ảnh mặt người. 2.1 Phƣơng pháp phân tích thành phầnchính - PCA Phƣơng pháp phân tích thành phầnchính [4](PCA – Principal Components Analysis) là một kỹ thuật thống kê hữu ích trong các ứng dụng nhận dạng mặt ngƣời và nénảnh, đồng thờiđây cũng là một kỹ thuật phổ biến cho việc tìm kiếmcác mẫutrong không gian dữ liệu có số chiều lớn. Mụcđích của phƣơng pháp phân tích này có thể diễnđạt ngắn gọn nhƣ sau:Ảnh gốc có kích thƣớc 112×92 (10304 điểmảnh).Nhữngảnh này cầnđƣợcrút gọn sao cho lƣợng thông tin dùng để biểu diễnảnhđó giảmđi,đồng thờikhông làm mất những đặcđiểm quan trọng nhất của khuôn mặt. Kết quảcủa việc phân tích này sẽđạt đƣợcnhƣ hình 2.1. Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 8 Hình 2.1. Ví dụ minh họa PCA Ảnh gốc cần 10304 giá trị để biểu diễn trong khi ảnh biến đổi chỉ cần49 giá trị. 2.1.1 Cơ sở toán học a. Lý thuyết thống kê Các nhà thống kê thƣờng quan tâm đến việc lấy mẫutrên một tập dữ liệu. Ví dụ vềcuộc bầu cử, tập dữ liệu là toàn bộ dân số trong một đất nƣớc, trong khi đó mẫu là một tập con của dân số nhà thống kê muốn đánh giá. Một vấn đề lớn của thống kê học là thông qua phƣơng pháp đánh giá một mẫu của dân số, kết quả thống kê cho phép đánh giá đƣợc xu hƣớng chính của toàn bộdân số. Xét một tập ví dụ X = [1 2 4 6 12 15 25 45 68 67 65 98]. Chỉ số dƣới của ký hiệuX đƣợc dùng để trỏ tới một số cụ thể trong tập. Ví dụ X3 trỏ tới số thứ ba trong Xvới giá trị là 4. Lƣu ý rằng X1 là số đầu tiên trong X. Ngoài ra ký hiệu ncòn đƣợc sử dụngđể chỉ tổng số các phần tử trong tập X. Giá trị trung bình của mẫu là: Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 9 Giá trị trung bình không thể hiệnđƣợcnhiều về dữ liệu ngoại trừ điểm trung bình. Ví dụ, hai tập sau có cùng một giá trị trung bình là 10, nhƣng chúng hoàn toànkhác nhau: [0 8 12 20] và [8 9 11 12] Sự khác nhau đó là sự trải rộng của dữ liệu. Độ lệch chuẩncủa tập dữ liệu sẽ đánh giá đƣợc sự trải rộng của dữ liệu.Độ lệch chuẩnkí hiệu là s trong công thức (2.2) làkhoảng cách trung bình từ điểm trung bình của dữ liệu đến các điểm. Công thức tínhnhƣ sau: Câu hỏi đặt ra: “Vì sao lại sử dụng giá trị (n1) mà không phải là n?” Nguyên nhân là, nếu mẫu của tập dữ liệu đƣợc lấy là tập con của thế giới thực thì phải sử dụng (n1) vì giá trị nhận đƣợc gần với độ lệch chuẩn hơn so với sử dụngn. Tuy nhiên, nếu tính độ lệch chuẩncho toàn bộ dân số, giá trị cần dùng làn chứ không phải (n1). Với hai tập dữ liệu trên, việc tính độ lệch chuẩnđƣợc thực hiện nhƣ bảng 2.1. Tập thứ nhất có độ lệch chuẩnlớn hơn do dữ liệu trải ra xa hơn so vớiđiểm trung bình. Một ví dụ khác, tập [10 10 10 10] cũng có điểm trung bình là 10, nhƣng độ lệch chuẩnlại bằng 0, bởi vì tất cả các số là giống nhau. Không số nào chệch ra khỏi điểm trung bình. Phƣơng sailà một hàm đo khác về sự trải rộng của dữ liệu trong một tập. Thực tế nó gầnnhƣ giống hoàn toànvới độ lệch chuẩn: Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 10 Bảng 2.1. Ví dụ về tính độ lệch chuẩn Tập 1: Xi 0 10 100 8 2 4 12 2 4 20 10 100 Tổng 208 Chia cho (n-1) 69.333 Khai căn 8.3266 Tập 2: Xi 8 2 4 9 1 1 11 1 1 12 2 4 Tổng 10 Chia cho (n-1) 3.333 Khai căn 1.8257 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 11 Nhƣ vậy đây chỉ là bình phƣơng của độ lệch chuẩn. s2 là ký hiệu thƣờng dùng cho phƣơng sai của một mẫu. Cả hai phƣơng pháp này đều đánh giá độ trải rộng của dữ liệu. Độ lệch chuẩnlà phƣơng pháp thông dụng hơn, bên cạnhđóphƣơng sai cũng đƣợc sử dụng. Hai phƣơng pháp trên chỉ sử dụng đƣợc cho dữ liệu một chiều. Tuy nhiên, nhiều tập dữ liệu lại có nhiều hơn một chiều và mục đích của việc phân tích thống kê các tập dữ liệu này là nhằm tìm hiểu mối quan hệ giữa các chiều. Ví dụ, xét tập dữ liệu về chiều cao của các sinh viên trong một lớp và điểm số của họ về một môn học nào đó. Ta có thể tiến hành phân tích thống kê xem ảnh hƣởng của chiều cao sinh viên đếnđiểm số nhƣ thế nào. Độ lệch chuẩn và phƣơng sai chỉ thực hiện trên một chiều, do đó chúng cũng chỉ có thể tính toán đƣợccho mỗi chiều của tập dữ liệu một cách độc lập với các chiều khác. Tuy nhiên, nếu có một phƣơng pháp đánh giá đƣợc sự biến đổi của các chiều từ giá trị trung bình của mỗi chiều khác, khi đósẽ rất hữu ích đối với việc thống kê dữ liệu. Hiệp phƣơng sailà một phƣơng pháp nhƣ vậy. Hiệp phƣơng sai luôn đánh giá giữa hai chiều. Để tính hiệp phƣơng sai giữa một chiều với chính nó, có thể sử dụng phƣơng sai. Vớimột tập dữ liệu ba chiều (x, y, z), ta có thể đánh giá hiệp phƣơng sai giữa các chiều x và y, giữa y và z, giữa z và x. Công thức tính hiệp phƣơng sai gầngiống với công thức tính phƣơng sai. Công thức tính phƣơng sai có thể đƣợc viết lại nhƣ sau: Tƣơng tự, công thức tính hiệp phƣơng saiđƣợc viếtnhƣ sau: Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 12 Công thức (2.5) tƣơng tựcông thức (2.4), ngoại trừ ở nhân tử thứ hai, giá trị của X đƣợc thay bằng giá trị của Y. Việc nàycó thể đƣợcdiễn đạt nhƣ sau: “Với mỗi điểm dữ liệu, tính tích của độ sai khác giữa giá trị x và giá trị trung bình của x, với độ sai khác giữa giá trịy và giá trị trung bình của y. Cộng tất cả vào rồi chia cho (n1)”. Ví dụvới một nhóm sinh viên, xét tổng số giờ họ dành cho môn học A và điểm số họ đạt đƣợc ở môn đó. Khi đó bài toán có hai chiều, chiều thứ nhất là H, số giờ học, chiều thứ hai là M, điểm số. Bảng 2.2 là các số liệu và việc tính toán cov(H,M), hiệp phƣơng sai giữa thời gian học và điểm số. Bảng 2.2. Tập dữ liệu hai chiều và tính toán hiệp phương sai Số giờ (H) Điểm (M) 9 39 15 56 25 93 14 61 10 50 18 75 0 32 16 85 5 42 Tổng 112 533 Trung bình 12.44 59.22 Dữ liệu Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 13 H M 9 39 4.92 23.42 115.23 15 56 1.08 6.42 6.93 25 93 11.08 30.58 338.83 14 61 0.08 1.42 0.11 10 50 3.92 12.42 48.69 18 75 4.08 12.58 51.33 0 32 13.92 30.42 423.45 16 85 2.08 22.58 46.97 5 42 8.92 20.42 182.15 Tổng 1199.61 Trung bình 133.29 Giá trị chính xác không quan trọng bằng dấu của nó (dƣơng hay âm). Nếu giá trị là dƣơng, nóchỉ ra rằng cả hai chiều cùng nhau tăng, nghĩa là một cách tổng quát, khi số giờ học tăng lên thì điểm số cũng tăng lên. Nếu giá trị là âm, khi đó một chiều tăng lên, một chiều giảm đi. Giá trị hiệp phƣơng sai âm cho thấy rằng chúng đối lập nhau, khi số giờ học tăng lên thì điểm số giảm đi. Trƣờng hợp cuối cùng, nếu giá trị hiệp phƣơng sai bằng 0, khi đó hai chiều độc lập với nhau. Kết quả điểm số tăng lên khi số giờ học tăng có thể dễ dàng nhận thấy bằng đồ thị. Tuy nhiên, việc minh họa trực quan nhƣ vậy chỉ có thể thực hiện đƣợc khi dữ liệu cóhai hoặc ba chiều. Vì giá trị hiệp phƣơng sai có thể đƣợc Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 14 tính giữa hai chiều bất kỳ trong một tập dữ liệu, nên kỹ thuật này thƣờng đƣợc sử dụng để tìm mối liên hệ giữa các chiều trong các tập dữ liệu nhiều chiều mà việc biểu diễn trực quan gặp khó khăn. Từ công thức tính cov(X,Y) trên, bằng cáchđổi chỗ hai nhân tử − ta suy ra cov(X,Y) = cov(Y,X). Hiệp phƣơng sai chỉ đánh giá đƣợc quan hệ giữa hai chiều. Nếu dữ liệu cónhiều hơn hai chiều, có thể có nhiều hơn một giá trị hiệp phƣơng sai đƣợc tính. Ví dụ, từ một tập dữ liệu ba chiều (x, y, z) ta có thể tính cov(x,y), cov(y,z) và cov(z,x). Với một tập dữ liệu n chiều, sẽcó giá trị hiệp phƣơng sai khác nhau. Các giá trị hiệp phƣơng sai giữa tất cả các chiều khác nhau đƣợc tính toánrồi đƣa vào một ma trận. Ma trận hiệp phƣơng sai của một tập dữ liệu n chiều là: ở đây Cnn là ma trận n hàng,n cột và Dimi là chiều thứi. Toàn bộ công thức trên có nghĩa là với một tập dữ liệu n chiều, ma trận hiệp phƣơng sai của dữ liệu làma trận n hàng,n cột (ma trận vuông) với phần tử tại hàngi, cột jlà giá trị hiệp phƣơng sai giữa hai chiều thứi và thứj. Ví dụ: Ma trận hiệp phƣơng sai của một tập dữ liệu ba chiều, với các chiều là x, y và z là ma trậncó 3 hàng, 3 cột với các giá trị nhƣ sau: Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 15 Một số điểm chú ý: Trên đƣờng chéo chính, các giá trị chính là hiệp phƣơng sai giữa một chiều và chính nó, đó là phƣơng sai của chiều đó. Điểm thứ hai là, vì cov(a,b) = cov(b,a) nên ma trận hiệp phƣơng sai là ma trận đối xứng qua đƣờng chéo chính. b. Đại số ma trận Phần này trình bàymột số kiến thức cơ bản về đại số ma trận đƣợcdùng trong PCA. Đặc biệt trong đó sẽ xét các vector riêng vàgiá trị riêngcủa một ma trận cho trƣớc. Hai ma trận có thể đƣợc nhân với nhau, vớiđiều kiệnchúng có kích thƣớc phù hợp. Vector riênglà một trƣờng hợp đặc biệt của việc này. Xét hai phép nhân giữa một ma trận và một vector nhƣsau: Ví dụ vector thường và vetor riêng Trong trƣờng hợp thứ nhất, vector kết quả không phải là một bội số của vector gốc, trong khi đó ở trƣờng hợp thứ hai, vector kết quả bằng đúng 4 lần vector gốc.Vector (trƣờng hợp thứ hai) biểu diễn một mũi tên từ gốc (0,0) đến điểm (3,2). Ma trận bênh cạnh là ma trận vuông, có thể coi nhƣ một ma trận biến đổi. Nếu nhân ma trận này vào phía trái của vector, kết quả sẽ là một vector khác đã đƣợc biến đổi từ vị trí gốc của nó.Vector này (và tất cả các bội số của nó, vì chiều dài của vector không ảnh hƣởng đến kết quả) là một vector riêngcủa ma trận biến đổi đó. Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/