Tài liệu Bảo vệ mẫu đặc trưng sinh trắc gương mặt trong xác thực trên thiết bị di động thông minh

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH THỰC TẬP TỐT NGHIỆP BẢO VỆ MẪU ĐẶC TRƯNG SINH TRẮC GƯƠNG MẶT TRONG XÁC THỰC TRÊN THIẾT BỊ DI ĐỘNG THÔNG MINH GVHD: Lê Thị Bảo Thu SVTH: Trần Minh Tâm 51002869 Nguyễn Duy Linh 51001714 Nguyễn Nam Hùng 51001326 TP.Hồ Chí Minh 12/2014 Thực Tập Tốốt Nghiệp 2014 LỜI CẢM ƠN Lời đầu tiên, chúng tôi xin được gừi lời cảm ơn tới Khoa Khoa Học & Kỹ Thuật Máy Tính – Trường Đại Học Bách Khoa TPHCM đã tạo điều kiện cho chúng tôi trong suốt quá trình nghiên cứu và thực hiện đề tài này. Chúng tôi cũng xin được cảm tới tới các thầy cô đã giảng dạy, truyền đạt nhiều kiến thức bổ ích trong suốt các năm học vừa qua, tạo tiền đề vững chắc để chúng tôi có thể có được nền tảng kiến thức vững vàng, phục vụ và hỗ trợ đắc lực cho quá trình nghiên cứu đề tài thành công tốt đẹp. Đặc biệt, chúng tôi xin gửi lời cảm ơn sâu sắc tới cô Lê Thị Bảo Thu, giảng viên đã trực tiếp hướng dẫn, chỉ bảo, giúp đỡ chúng tôi trong quá trình thực hiện đề tài này. Mặc dù đã rất cố gằng trong quá trình thực hiện đề tài, song vẫn không thể tránh khỏi những sai sót, rất mong được sự góp ý, chỉ bảo của các thầy cô. Xin chân thành cảm ơn ! 1 Thực Tập Tốốt Nghiệp 2014 TÓM TẮT NỘI DUNG Trong phạm vi thực tập tốt nghiệp, đề tài sẽ bao gồm các nội dung chính như sau: giới thiệu tổng quan về dề tài, các cơ sở lý thuyết ( rút trích đặc trưng PCA, Secure Sketch, Fuzzy Etractor), hiện thực Demo trên nền tảng Android, hướng phát triển đề tài trong giai đoan tiếp theo. 2 Thực Tập Tốốt Nghiệp 2014 Mục Lục LỜI CẢM ƠN..............................................................................................................................................i TÓM TẮT NỘI DUNG...............................................................................................................................ii MỤC LỤC HÌNH........................................................................................................................................v CÁC THUẬT NGỮ CHÍNH......................................................................................................................vi Chương 1: 1.1. TỔNG QUAN ĐỀ TÀI.....................................................................................................1 Giới thiệu:....................................................................................................................................1 1.1.1. Tình hình sử dụng Smartphones tại Việt Nam......................................................................1 1.1.2. Tổng quan về hệ thống bảo mật dữ liệu trên Smartphones...................................................1 1.1.3. Tổng quan về sinh trắc học..................................................................................................2 1.1.4. Vai trò quan trọng của sinh trắc học.....................................................................................2 1.2. Mục tiêu của bài toán...................................................................................................................3 Chương 2: CƠ SỞ LÝ THUYẾT..................................................................................................4 2.1. Các phương pháp trích chọn đặc trưng.............................................................................................4 2.1.1. Khái quát về các đặc tính sinh trắc học của con người...............................................................4 2.1.2. Tổng quan về hệ thống nhận dạng mặt người cơ bản.................................................................5 2.1.3. Eigenfaces – PCA......................................................................................................................7 Quá trình rút trích................................................................................................................................9 2.1.4. Fisherfaces – LDA...................................................................................................................13 2.1.5. So sánh PCA và LDA..............................................................................................................14 2.2. Secure Sketch và Fuzzy Extractor..................................................................................................15 2.2.1. Secure Sketch..........................................................................................................................15 2.2.2. Fuzzy Extractor........................................................................................................................16 Chương 3 CÁC NGHIÊN CỨU BỔ SUNG....................................................................................17 3.1. Mô hình Small – Secure Sketch của Ee-Chien Chang và Qiming Li..............................................17 3.1.1. Giải thuật.................................................................................................................................17 3.1.2. Đánh giá và kết luận................................................................................................................18 3 Thực Tập Tốốt Nghiệp 2014 3.2. Mô hình Codebook Secure Sketch của D-STAR Lab.....................................................................18 3.2.1. Giải thuật.................................................................................................................................18 3.2.2. Đánh giá và kếết luận................................................................................................................19 Chương 4 HIỆN THỰC DEMO......................................................................................................21 4.1. Tổng quan về Android....................................................................................................................21 4.2. Các thư viện sử dụng......................................................................................................................22 4.2.1. OpenCV...................................................................................................................................22 4.2.2. JavaCV....................................................................................................................................23 4.2.3. Apache Commons Library.......................................................................................................23 4.2.4. Goole ZXing (Zebra Crossing)................................................................................................23 4.3. Chương trình Demo........................................................................................................................24 Chương 5: TỔNG KẾT....................................................................................................................42 5.1. Đánh giá.........................................................................................................................................42 5.2. Hướng phát triển luận văn.............................................................................................................42 TÀI LIỆU THAM KHẢO.........................................................................................................................43 4 Thực Tập Tốốt Nghiệp 2014 MỤC LỤC HÌNH Figure 1. Các đặc trừng sinh trăếc của con người.........................................................................4 Figure 2. Hệ thốếng nhận dạng mặt người cơ bản......................................................................5 Figure 3. Sơ đốồ khốếi trích chọn đặc trưng sử dụng Eigenfaces....................................................7 Figure 4. Chuẩn hóa ảnh........................................................................................................... 10 Figure 5. Trung bỉnh ảnh của tập dữ liệu.................................................................................. 11 Figure 6. Kiếến trúc của nếồn tảng Android.................................................................................. 21 Figure 7. Các phiến bản Android................................................................................................ 22 Figure 8. Cấếu trúc chương trình................................................................................................. 24 Figure 9. Icon demo................................................................................................................... 25 Figure 10. Màn hình chính của Demo........................................................................................ 26 Figure 11. Màn hình training...................................................................................................... 27 Figure 12. Giao diện chụp ảnh.................................................................................................. 28 Figure 13. Giao diện sau khi chụp ảnh...................................................................................... 29 Figure 14. Giao diện khi train..................................................................................................... 30 Figure 15. Một phấồn của data.................................................................................................... 31 Figure 16. Cửa sổ logcat khi train............................................................................................... 32 Figure 17. Ảnh chụp thư mục train........................................................................................... 33 Figure 18. Ảnh trung bình.......................................................................................................... 33 Figure 19. Ảnh đặc trưng của từng khuốn mặt......................................................................... 34 Figure 20. Giao diện đăng ký...................................................................................................... 35 Figure 21. Giao diện sau khi chụp ảnh cấồn đăng ký...................................................................36 Figure 22. Giá trị đặc trưng của khuốn mặt đăng ký.................................................................37 Figure 23. Đăng ký thành cống................................................................................................... 38 Figure 24. Màn hình xác thực..................................................................................................... 39 Figure 25. Chụp ảnh khuốn mặt cấồn xác thực........................................................................... 40 Figure 26. Xác thực thành cống.................................................................................................. 41 5 Thực Tập Tốốt Nghiệp 2014 CÁC THUẬT NGỮ CHÍNH AES Advanced Encryption Standard DES Data Encryption Standard JDK Java Development Kit LDA Linear Discriminant Analysis PCA Principal component analysis 6 Chương 1: 1.1. TỔNG QUAN ĐỀ TÀI Giới thiệu: 1.1.1. Tình hình sử dụng Smartphones tại Việt Nam Ngày nay Smartphones đang dần trở nên phổ biến, với việc các hãng di động lớn như Apple, Samsung, LG, Sony…liện tục cho ra đời nhiều sản phẩm đa dạng với giá cả tầm trung, thì việc sở hữu 1 chiếc Smartphones đã không còn là giấc mơ xa vời với nhiều người nữa. Giờ đây chỉ với 1 người có thu nhập trung bình cũng có thể sở hữu trong tay 1 chiếc Smartphones với đầy đủ các tính năng nghe gọi, giải trí đa phương tiện. Có thể nói Smartphones đã thâm nhập vào mọi tầng lớp của xã hội, giờ đây nhắc tới điện thoại di động thì người ta đã tưởng tượng ngay đến 1 công cụ phục vụ học tập, công việc, giải trí cho con người chứ không còn là thiết bị chỉ để nghe và gọi. Tuy nhiên, bên cạnh những tiện ích thiết thực thì việc sử dụng Smartphones cũng mang đến những rắc rối,rủi ro tiềm ẩn cho người dùng. Nếu như lúc trước, khi mất đi một chiếc điện thoại, người dùng đơn thuần chỉ mất đi số tiền để mua chiếc điện thoại đó, thì ngày nay, giá trị mà người dùng mất đi sẽ rất lớn khi chiếc Smartphone của mình lọt vào tay kẻ gian. Chính thói quen làm việc và lưu trữ các thông tin cá nhân như mật khẩu máy chủ công ty, mật khẩu ATM, thông tin tài khoản ngân hàng, thư điện tử,… trên Smartphones của người dùng đã gây ra điều này. Khi những thông tin cá nhân này rơi vào tay kẻ xấu, người dùng có nguy cơ mất tài sản lớn, các vấn đề công việc của người dùng cũng bị ảnh hưởng, và thậm chí có nguy cơ bị mạo danh người dùng trong các dịch vụ khác ngoài đời. Tất cả các điều trên đã chứng tỏ được tầm quan trọng và cấp bách của việc bảo vệ dữ liệu người dùng trên Smartphones. 1.1.2. Tổng quan về hệ thống bảo mật dữ liệu trên Smartphones Có hai phương pháp cơ bản thường được sử dụng trong một hệ thống bảo vệ dữ liệu: xác thực người dùng và mã hóa dữ liệu. Phương pháp xác thực người dùng là phương pháp hệ thống kiểm tra người đang truy xuất và tương tác với hệ thống của phải là người dùng thực và chủ nhân không. Đa số các hệ thống hiện giờ có phương pháp xác thực người dùng là sử dụng một chuỗi kí tự làm mật khẩu. Xét về khía cạnh kỹ thuật, phương pháp này tương đối đơn giản. Tuy nhiên, phương pháp này có bất lợi là người dùng phải nhớ tên tài khoản định danh của mình và mật khẩu tương ứng để cung cấp cho hệ thống mỗi lần muốn truy cập hệ thống dữ liệu lưu trữ. Thêm nữa, việc tấn công một hệ thống sử dụng mật khẩu là một chuỗi kí tự đơn giản sẽ không quá khó khăn cho kẻ gian. Phương pháp mã hóa dữ liệu là phương pháp bảo vệ dữ liệu, chỉ người dùng nắm được khóa (key) giải mã mới có thể đọc được dữ liệu. Có khá nhiều giải thuật mã hóa dữ liệu được các nhà khoa học, các tổ chức lớn nghiên cứu và phát triển như DES, Triple DES, AES,… Đa số các hệ thống mã hóa dữ liệu sử dụng khóa là một chuỗi kí tự tương tự như mật khẩu trong xác thực. Tuy nhiên, việc bắt người dùng phải nhớ được khóa tương ứng với dữ liệu là một bất lợi cho phương pháp này. 1.1.3. Tổng quan về sinh trắc học Sinh trắc học hay Công nghệ sinh trắc học (tiếng Anh: Biometric) là công nghệ sử dụng những thuộc tính vật lý, đặc điểm sinh học riêng của mỗi cá nhân như vân tay, mống mắt, khuôn mặt... để nhận diện. Đây được coi là công cụ xác thực nhân thân hữu hiệu nhất mà người ta sử dụng phổ biến vẫn là nhận dạng vân tay bởi đặc tính ổn định và độc nhất của nó và cho đến nay, nhận dạng dấu vân tay vẫn được xem là một trong những phương pháp sinh trắc tin cậy nhất. Mỗi người có một đặc điểm sinh học duy nhất. Dữ liệu sinh trắc học của từng cá nhân với đặc điểm khuôn mặt, ảnh chụp võng mạc, giọng nói sẽ được kết hợp với nhau bằng phần mềm để tạo ra mật khẩu dành cho những giao dịch điện tử, phương thức đó là "công nghệ sinh trắc đa nhân tố" Sự phát triển của công nghệ đã thay đổi từ việc lăn tay trên mực và lưu trữ trên giấy sang quét trên máy và lưu trữ kỹ thuật số. 1.1.4. Vai trò quan trọng của sinh trắc học. Sử dụng sinh trắc học trong phương pháp xác thực người dùng và mã hóa dữ liệu là một giải pháp rất hứa hẹn cho vấn đề bất tiện của người dùng được nêu ở mục trên (1.1.2). Sự tiện lợi và hiệu quả của việc sử dụng sinh trắc học được thể hiện qua các đặc điểm dưới đây của sinh trắc học con người:  Duy nhất: mỗi người đều có các sinh trắc học khác nhau. Hai người tuy có giống nhau như sinh đôi, nhưng vẫn khác nhau ở một số đặc điểm như vân tay. Vấn đề kẻ xấu đoán mật khẩu sẽ trở nên khó khăn hơn khi dùng sinh trắc học.  Phổ biến: tất cả mọi người đều sở hữu các đặc điểm sinh trắc học. Điều này khiến phương pháp sinh trắc học không giới hạn người dùng.  Tiện lợi: người dùng không cần phải nhớ mật khẩu hay khóa của mình khi sử dụng hệ thống vì chính bản thân con người họ cùng các đặc điểm sinh trắc học đã là mật khẩu và khóa. Tuy nhiên, việc sử dụng sinh trắc học cũng gặp phải một số vấn đề cần lưu ý. Việc bảo vệ sinh trắc học cũng như việc dữ liệu đặc trưng sinh trắc học có thể bị nhiễu do điều kiện ngoại cảnh (ánh sáng trong hình ảnh, tiếng ồn khi thu âm giọng nói, các hệ thống hỗ trợ việc rút trích sinh trắc học (sensors) có thể không chính xác) là những vấn đề cần có giải pháp khắc phục. Do đó, hệ thống bảo vệ dữ liệu trên Smartphones sử dụng sinh trắc học cần phải có phương pháp sử dụng sinh trắc học con người một cách hợp lý. 1.2. Mục tiêu của bài toán  Tìm hiểu và trình bày cách thức rút trích dữ liệu sinh trắc học. Đề tài sử dụng hình ảnh khuôn mặt (hai chiều 2D) làm đặc trưng sinh trắc học người dùng trong xác thực và mã hóa dữ liệu vì hầu hết thiết bị di động Smartphones ngày nay đều có thiết bị chụp ảnh.  Nghiên cứu 2 mô hình sửa lỗi và bảo vệ (template protection) là Secure Sketch và Fuzzy Extractor.  Xây dựng Demo ứng dụng trên thiết bị di động chạy hệ điều hành Android. Việc chọn Android làm nền tảng xây dựng Demo xuất phát từ sự phát triển bùng nổ của nền tảng này, hiện tại đa số Smartphones trên thị trường đều chạy hệ điều hành Android, ngoài ra Android là nền tảng mã nguồn mở, có thể dễ dàng phát triển hệ thống và tùy chỉnh trong tương lai Chương 2: CƠ SỞ LÝ THUYẾT 2.1. Các phương pháp trích chọn đặc trưng 2.1.1. Khái quát về các đặc tính sinh trắc học của con người Đặc tính sinh trắc của con người là đặc tính đo được các nét hành vi riêng của con người. Nhận diện người được thực hiện trong quá trình kiểm tra tính đồng nhất của đặc tính sinh trắc giữa người cần kiểm tra với đặc tính tương tự của người đã được lưu sẵn trong CSDL. Có thể nhận diện người dựa trên các đặc điểm sinh trắc tĩnh trên người như khuôn mặt, mắt, vân tay, bàn tay, gen…hay các đặc trưng hành vi như dáng đi, chữ viết, giọng nói… Figure 1. Các đặc trừng sinh trắắc của con người Dữ liệu sinh trắc lý tưởng của người cần phải có những đặc tính cơ bản như:     Tính tổng quát: Mỗi người đều được thể hiện bởi đặc tính này. Tính duy nhất: Không thể tồn tại hai người có đặc tính giống nhau. Tính thường xuyên: Là sự độc lập của đặc tính đối với thời gian. Tính thu thập được: Là đặc tính được thu thập một cách tương đối đơn giản và nhanh chóng từ mỗi cá nhân và có thể được chi tiết hóa. 2.1.2. Tổng quan về hệ thống nhận dạng mặt người cơ bản Figure 2. Hệ thốắng nhận dạng mặt người cơ bản  Tiền xử lý Tiền xử lý khuôn mặt là bước xử lý hình ảnh khuôn mặt hai chiều trước khi đưa vào quá trình xác thực làm tăng độ chính xác của việc xác thực người dùng. Ngoài ra tiền xử lý còn đảm bảo dữ liệu đưa vào luôn đồng nhất về kích thước và định dạng. Một số kỹ thuật trong bước tiền xử lý khuôn mặt là chuyển về dạng bitmap, chuyển về ảnh trắng đen (grayscale), nhận dạng khuôn mặt (face detection).  Chuyển về dạng bitmap: Hình ảnh thường được chụp và ghi lại bằng nhiều kích thước và định dạng khác nhau. Phần lớn các thư viện xử lý hình ảnh hiện nay đều chỉ hoạt động được khi hình ảnh đưa vào cùng kích thước và định dạng. Thực hiên bước này giúp cho hình ảnh đưa vào có cùng một dạng chuẩn bitmap (.bmp).  Chuyển về ảnh trắng đen (Gray-scaling): Để đảm bảo việc xử lý hình ảnh được chính xác, ta cần phải loại bỏ những tác nhân gây nhiễu trong hình ảnh khuôn mặt và màu sắc là một trong những tác nhân đó. Do đặc trưng khuôn mặt của con người thường ít phụ thuộc vào màu sắc và các giá trị màu sắc RGB thường ảnh hưởng đến các giải thuật nhận dạng khuôn mặt (ảnh hướng tới độ sáng tối, đặc trưng khuôn mặt) nên cần phải chuyển ảnh về dạng trắng đen trước khi xử lý.  Nhận dạng khuôn mặt (Face detection): Hình ảnh đưa vào trong quá trình nhận dạng thường không phải chỉ là hình ảnh khuôn mặt mà thường có thêm những chi tiết xung quang như khung cảnh, phông nền … Những chi tiết này tuy không lớn nhưng sẽ ảnh hưởng phần nào đến kết quả của quá trình rút trích đặc trưng từ khuôn mặt. Bước nhận dạng khuôn mặt sẽ xử lý vấn đề này bằng cách loại bỏ các yếu tố xung quanh và chỉ xử lý trên khuôn mặt của người dùng. Ngoài ra các đặc trưng không quan trọng và dễ thay đổi trên khuôn mặt như tóc đều sẽ được loại bỏ. Quá trình xử lý khuôn mặt sẽ chỉ tập trung vào các đặc trưng chính của khuôn mặt như mắt, mũi, miệng. Quá trình nhận dạng khuôn mặt sẽ bao gồm các bước sau: o Chuẩn bị một tập các ảnh huấn luyện (training set), o Tính toán các eigenfaces từ tập huấn luyện và giữ lại M eigenfaces có eigenvalue lớn nhất, M eigenfaces này định nghĩa “face space” cho việc nhận dạng o Chiếu các ảnh khuôn mặt vào trong “face space” ta được các vector đặc trưng cho mỗi khuôn mặt là các vector của các hệ số. o Chiếu khuôn mặt cần được nhận dạng vào “face space” và xác định xem nó phù hợp nhất với khuôn mặt đã biết nào bằng cách so sánh vector hệ số của nó với các vector trong tập huấn luyện  Trích rút đặc trưng: Trích rút đặc trưng là kỹ thuật sử dụng các thuật toán để lấy ra những thông tin mang những đặc điểm riêng biệt của một người. Có 3 phương pháp: phương pháp tiếp cận toàn cục (global, ví dụ điển hình là Eigenfaces - PCA, Fisherfaces - LDA), phương pháp tiếp cận dựa trên các đặc điểm cục bộ (local feature based, như LBP, Gabor wavelets) và phương pháp lai (hybrid, là sự kết hợp của hai phương pháp toàn cục và local feature). Đề tài này sẽ sử dụng phương pháp tiếp cận toàn cục – một phương pháp đơn giản và được sử dụng khá phổ biến. Các khâu trong quá trình trích chọn đặc trưng: o Đầu vào: Ảnh đã được chuẩn hóa. o Đầu ra: vector đặc trưng của ảnh đầu vào. Quá trình trích rút đặc trưng được thể hiện qua lưu đồ sau: Figure 3. Sơ đốồ khốắi trích chọn đặc trưng sử dụng Eigenfaces 2.1.3. Eigenfaces – PCA  Giới thiệu: Phương pháp này được phát minh năm 1901 bởi Karl Pearson và hiện nay nó được sử dụng như công cụ để phân tích dữ liệu nghiên cứu và thực hiện các mô hình dự đoán. PCA còn bao gồm cả việc tính toán phân tích các giá trị đặc trưng của một ma trận tuơng quan dữ liệu hay phân tính các giá trị đơn của ma trận dữ liệu thường sau khi tính trung bình dữ liệu của mỗi thuộc tính. PCA là phương pháp đơn giản nhất phân tích đa biến dựa trên các vector đặc trưng. Thông thường hoạt động của nó có thể được hiểu nhằm khám phá ra cấu trúc bên trong của dữ liệu. Nếu một tập dữ liệu đa biến được xem xét như tập các tọa độ trong một không gian dữ liệu nhiều chiều (mỗi trục biểu diễn một biến) thì phương pháp PCA cung cấp cho chúng ta một bức ảnh ít chiều, một cái bong của vật thể khi quan sát từ chính những đặc trưng cơ bản nhất của vật thể đó. Đối với các ảnh khuôn mặt, dù có khác nhau như thế nào đi nữa thì chúng vẫn có chung các “mẫu” (pattern) thông tin nhất định, gọi là các eigenfaces. Các mẫu thông tin này có đóng góp vào các khuôn mặt khác nhau với tỉ lệ khác nhau, mỗi khuôn mặt có thể xấp xỉ thành một tổ hợp tuyến tính các eigenfaces và vector các hệ số là đặc trưng cho khuôn mặt đó trong tập hợp các khuôn mặt hiện tại. Các eigenfaces là tập các eigenvector của ma trận hiệp phương sai xây dựng từ tập ảnh huấn luyện. Mục tiêu của phương pháp PCA là “giảm số chiều” của 1 tập vector sao cho vẫn đảm bảo được “tối đa thông tin quan trọng nhất”. Phương pháp PCA sẽ giữ lại K thuộc tính “mới” từ M các thuộc tính ban đầu (K - Xem thêm -