Tài liệu Nghiên cứu phương pháp phân lớp nhị phân trong nhận dạng giới tính qua ảnh

TRƯỜNG ĐẠI HỌC VINH VIỆN KỸỸ THUẬT VÀ CÔNG NGHỆ -------------------------- ĐINH THỊ NHUNG NGHIÊN CỨU PHƯƠNG PHÁP PHÂN LỚP NHỊ PHÂN TRONG NHẬN DẠNG GIỚI TÍNH QUA ẢNH ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH CÔNG NGHỆ THÔNG TIN Nghệ An, 05 năm 2019 TRƯỜNG ĐẠI HỌC VINH VIỆN KỸỸ THUẬT VÀ CÔNG NGHỆ -------------------------- NGHIÊN CỨU PHƯƠNG PHÁP PHÂN LỚP NHỊ PHÂN TRONG NHẬN DẠNG GIỚI TÍNH QUA ẢNH ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH CÔNG NGHỆ THÔNG TIN Sinh viên thực hiện: Đinh Thị Nhung Mã sinh viên: 145D4802010033 Lớp: 55k1-CNTT Giảng viên hướng dẫn: Võ Đức Quang Nghệ An, 05/ 2019 LỜI CAM ĐOAN Đồ án này là công trình nghiên cứu của cá nhân em, được thực hiện dưới sự hướng dẫn của Ths. Võ Đức Quang. Các số liệu, những kết luận nghiên cứu được trình bày trong đồ án này hoàn toàn trung thực. Em xin hoàn toàn chịu trách nhiệm về lời cam đoan này. Nghệ An, ngày…. tháng…..năm 2019 Sinh viên thực hiện Đinh Thị Nhung 1 MỤC LỤC DANH MỤC TỪ VIẾT TẮT............................................................................4 DANH MỤC BẢNG BIỂU..............................................................................5 LỜI CẢM ƠN...................................................................................................6 MỞ ĐẦU..........................................................................................................7 1. Lý do chọn đề tài........................................................................................7 2. Mục đích nghiên cứu.................................................................................7 3. Phạm vi thực hiện......................................................................................7 5. Cấu trúc đồ án...........................................................................................8 CHƯƠNG I: CƠ SỞ LÝ THUYẾT..................................................................9 1. Học máy (Machine Learning)...................................................................9 1.1 Giới thiệu................................................................................................9 1.2 Bài toán phân cụm.................................................................................................10 1.3 Bài toán phân lớp.................................................................................................. 10 2. Bài toán nhận dạng và xử lý ảnh..............................................................15 3. Bài toán nhận dạng giới tính qua ảnh khuôn mặt....................................17 3.1. Giới thiệu................................................................................................................. 17 3.2. Mô hình bài toán nhận dạng giới tính........................................................17 CHƯƠNG II: THUẬT TOÁN PHÂN LỚP NHỊ PHÂN LOGISTIC REGRESSION................................................................................................19 1.Giới thiệu.................................................................................................19 2. Ví dụ mô hình LogisticRegreession........................................................19 3. Mô hình Logistic Regression..................................................................22 2 CHƯƠNG III: THỬ NGHIỆM NHẬN DẠNG GIỚI TÍNH QUA ẢNH SỬ DỤNG BỘ DỮ LIỆU AR FACE DATABASE..............................................27 1. Môi trường thử nghiệm...........................................................................27 1.1 Cài đặt python........................................................................................................27 1.2 Cài đặt Pycharm..................................................................................................... 29 1.3 Cài đặt bộ thư viện..............................................................................................33 2. Thử Nghiệm............................................................................................33 2.3 Bộ dữ liệu................................................................................................................. 33 2.2 Cách thử nghiệm...................................................................................................34 2.3 Các thủ tục............................................................................................................... 35 3. Đánh giá.................................................................................................40 CHƯƠNG IV: KẾT LUẬN............................................................................42 TÀI LIỆU THAM KHẢO...............................................................................43 3 DANH MỤC TỪ VIẾẾT TẮẾT TT Từ viết tắt Ý nghĩa 1 AI Trí tuệ nhân tạo 2 PLA Perceptron Learning Algorithm. 3 SVM Support Vector Machine 4 DANH MỤC BẢNG BIỂU Hình 1: Ví dụ về bài toán phân lớp Hình 2: Mô hình bài toán phân lớp Hình 3: Bài toán Perceptron. Hình 4: Bài toán SVM. Hình 5: Sơ đồ tổng quan hệ thồng nhận dạng ảnh. Hình 6: Mô hình nhận dạng giới tính qua ảnh. Hình 7: Ví dụ về logistic regression. Hình 8: Bảng dữ liệu hoạt động của chim cánh cụt. Hình 9: Đôồ thị sigmoid function. Hình 10: Các ví dụ mâẫu trong AR face database. Hình 11: Ví dụ về kết quả tìm được bằng Logistic Regression 5 LỜI CẢM ƠN Để hoàn thành đôồ án tôốt nghiệp, lời đâồu tiên em xin chân thành c ảm ơn đêốn toàn thể thâồy cô trong trường Đại Học Vinh và các thâồy cô trong Vi ện Kyẫ Thuật và Công Nghệ, đặc biệt hơn là các thâồy cô trong ngành công nghệ thông tin, bộ môn hệ thôống thông tin nói riêng, nh ững ng ười đã t ận tình hướng dâẫn dạy dôẫ và trang bị cho em những kiêốn th ức b ổ ích trong năm năm vừa qua. Đặc biệt em xin chân thành gửi lời cảm ơn sâu săốc đêốn thâồy giáo Ths. Võ Đức Quang, người đã tận tình hướng dâẫn, trực tiêốp chỉ bảo và t ạo m ọi điêồu kiện giúp đỡ em trong suôốt quá trình làm đôồ án tôốt nghi ệp. Sau cùng em xin gửi lời cảm ơn chân thành tới gia đình, b ạn bè, anh ch ị khóa trên đã động viên, cổ vũ và đóng góp ý kiêốn trong quá trình h ọc t ập, nghiên cứu cũng như quá trình làm đôồ án tôốt nghi ệp. Em xin chân thành cảm ơn! Nghệ An, tháng 05 năm 2019 Sinh viên thực hiện Đinh Thị Nhung 6 MỞ ĐẦẦU 1. Lý do chọn đềề tài Ngày nay, trí tuệ nhân tạo đang phát triển mạnh meẫ và xâm nhập vào râốt nhiêồu lĩnh vực trong cuộc sôống như tự động dịch thuật, nhận dạng giọng nói, điêồu khiển tự động, nhận dạng khuôn mặt, nhận dạng chữ viêốt tay. v.v. Nó giờ được coi là xu hướng công nghệ thêố giới và nhiêồu người cho răồng đó là cuộc cách mạng công nghiệp lâồn thứ 4. Trong lĩnh vực AI, học máy (machine learning) là một lĩnh vực liên quan đêốn việc nghiên cứu các kyẫ thuật và xây dựng các hệ thôống có th ể “h ọc”tự động từ dữ liệu, từ đó giải quyêốt các vâốn đêồ bài toán cụ thể. Hay nói cách khác học máy phâồn nào đó giúp cho máy tính có thể xử lý d ữ liệu và đưa ra quyêốt định như con người. Ví dụ khi đưa một bức ảnh vào thì máy tính có thể xử lý bức ảnh xem ảnh đó là nam hay là nữ. Trong các bài toán Machine learning có hai loại bài toán đặc trưng đó là bài toán phân lớp và phân cụm. Môẫi bài toán có những đặc trưng riêng và phạm vi áp dụng vào các loại bài toán thực têố khác nhau. Bên cạnh đó, bài toán nhận dạng và xử lý ảnh là m ột bài toán hâốp dâẫn và có tính ứng dụng cao. Trong khuôn khổ đôồ này, em seẫ đi sâu vào nghiên cứu bài toán phân lớp và cụ hơn là thuật toán Logistic Regession để áp dụng vào nhận dạng giới tính qua dữ liệu ảnh đâồu vào, xem ảnh đó là nam hay là nữ. Hơn nữa, đôồ án cũng seẫ thử nghiệm đánh giá hiệu quả phân lớp của thuật toán trên một bộ dữ liệu cụ thể AR face database. 2. Mục đích nghiền cứu Mục đích của đề tài là nghiên cứu bài toán phân lớp nhị phân để khi ta đưa một bức ảnh vào thì ta có thể dùng thuật toán trong bài toán phân lớp nhị phân để đưa ra giới tính của một bức ảnh là nam hay nữ. 3. Phạm vi thực hiện Thực hiện đánh giá trên bộ dữ liệu AR face database. 7 4. Nội dung thực hiện Để nghiên cứu phương pháp phân lớp nhị phân trong nhận dạng giới tính qua ảnh thì ta cần thực hiện các bước sau đây:  Tìm hiểu bài toán phân lớp nhị phân, bài toán nhận dạng và xử lý ảnh, bài toán nhận dạng giới tính qua ảnh.  Tìm hiểu thuật toán Logistic Regression để nhận dạng giới tính của mỗi bức ảnh.  Cuối cùng là đưa bộ dữ liệu vào thử nghiệm và đánh giá. 5. Cấấu trúc đồề án - Mở đầu. - Chương 1: Cơ sở lý thuyết - Chương 2: Nghiên cứu thuật toán Logistic Regression - Chương 3: Thử nghiệm nhận dạng giới tính qua ảnh sử dụng bộ cơ sở dữ liệu AR face data base. - Chương 4: Kết luận 8 CHƯƠNG I: CƠ SỞ LÝ THUỸẾẾT 1. Học máy (Machine Learning) 1.1 Giới thiệu Những năm gâồn đây, Trí tuệ nhân tạo (AI - Artificial Intelligence) đang phát triển mạnh meẫ và xâm nhập và tr ơ thành nh ững công ngh ệ côốt lõi trên nhiêồu lĩnh vực của đời sôống con người. Ta có th ể băốt g ặp sự hi ện diện của AI ơ khăốp n ơi. Ví d ụ: Xe tự hành của Google và Tesla, hệ thôống tự tag khuôn mặt trong ảnh của Facebook, trợ lý ảo Siri của Apple, hệ thôống gợi ý sản phẩm của Amazon, hệ thôống gợi ý phim c ủa Netflix, máy chơi cờ vây AlphaGo của Google DeepMind, …, chỉ là m ột vài trong vô vàn những ứng dụng của AI/Machine Learning. Machine Learning là một lĩnh vực của AI, nó có khả năng tự học hỏi dựa trên dữ liệu đưa vào mà không cần phải được lập trình cụ thể. Machine learning còn cung câốp một phương pháp hiệu quả để học hỏi dữ liệu thay vì dựa vào con người để phân tích và dự đoán. Nhờ vào học máy, các máy tính có thể xử lý ảnh và đưa ra giới tính cho môẫi bức ảnh xem bức ảnh đưa vào là nam hay là nữ. Các loại học máy:  Học có giám sát (Supervised Learning): Là phương pháp sử dụng những dữ liệu đã được gán nhãn từ trước để đưa ra các dự đoán giữa đâồu vào và đâồu ra. Các dữ liệu này được gọi là dữ liệu huâốn luyện và chúng là cặp các đâồu vào-đâồu ra. Học có giám sát seẫ xem xét các tập huâốn luyện này để từ đó có thể đưa ra dự đoán đâồu ra cho 1 đâồu vào mới chưa gặp bao giờ. Ví dụ một “email”có thể được gán nhãn “thứ rác” hoặc “không thư rác” và đưa vào mô hình Supervised Learing để phân loại.  Học không giám sát (Unsupervised Learning): Khác với học có giám sát, học không giám sát sử dụng những dữ liệu chưa được gán nhãn từ trước để suy luận. Phương pháp này thường được sử dụng để tìm câốu trúc của tập dữ liệu. Tuy nhiên lại không có phương pháp đánh giá 9 được câốu trúc tìm ra được là đúng hay sai. Ví dụ như phân cụm dữ liệu, triêốt xuâốt thành phâồn chính của một châốt nào đó.  Học nửa giám sát là một lớp của kỹ thuật học máy, sử dụng cả dữ liệu đã gán nhãn và chưa gán nhãn để huấn luyện - điển hình là một lượng nhỏ dữ liệu có gán nhãn cùng với lượng lớn dữ liệu chưa gán nhãn. Học nửa giám sát đứng giữa học không giám sát (không có bất kì dữ liệu có nhãn nào) và có giám sát (toàn bộ dữ liệu đều được gán nhãn). Nhiều nhà nghiên cứu nhận thấy dữ liệu không gán nhãn, khi được sử dụng kết hợp với một chút dữ liệu có gán nhãn, có thể cải thiện đáng kể độ chính xác. Để gán nhãn dữ liệu cho một bài toán học máy thường đòi hỏi một chuyên viên có kĩ năng để phân loại bằng tay các ví dụ huấn luyện. Trong học máy thì có hai bài toán đặc trưng:  Bài toán phân cụm.  Bài toán phân lớp. 1.2 Bài toán phân cụm Bài toán phân cụm là 1 trong những bài toán của lĩnh vực Unsupervised Learning (Học không giám sát), dữ liệu được mô tả trong bài toán không được dán nhãn hay nói cách khác thì bài toán này không có đầu ra. Trong trường hợp này, thuật toán sẽ tìm cách phân cụm - chia dữ liệu thành từng nhóm có đặc điểm tương tự nhau, nhưng đồng thời đặc tính giữa các nhóm đó lại phải càng khác biệt càng tốt. Ví dụ: Dữ liệu của chúng ta có thể là bâốt cứ thứ gì, chẳng hạn như dữ liệu vêồ khách hàng: Thuật toán phân cụm seẫ râốt hữu ích trong việc đánh giá và chia thành các nhóm người dùng khác nhau, rôồi từ đó ta có th ể đ ưa ra những chiêốn lược marketing phù hợp trên từng nhóm người dùng đó. 1.3 Bài toán phân lớp Bài toán phân lớp thuộc một nhánh ứng dụng chính của lĩnh vực Supervised Learning. Và bài toán là quá trình phân lớp một đối tượng dữ liệu vào hay nhiều lớp đã cho trước nhờ một mô hình phân lớp (model). Mô hình này được xây dựng dựa trên một tập dữ liệu được xây dựng trước đó có gián nhãn (hay 10 còn gọi là huấn luyện). Quá trình phân lớp là quá trình gián nhãn cho đối tượng dữ liệu. Hình 1: Ví dụ về bài toán phân lớp Như vậy, nhiệm vụ của bài toán phân lớp là cần tìm một mô hình phân lớp để khi có dữ liệu mới thì có thể xác định được dữ liệu đó thuộc vào phân lớp nào. Ví dụ: Ta có bộ dữ liệu traning bao gồm có hạt đậu, hạt lạc, hạt lúa sau đó ta xây dựng mô hình phân lớp để gán nhãn cho bộ dữ liệu đó là hạt đậu được gán nhãn là A, hạt lúa có gán nhãn là B, hạt lạc gán nhãn là C. tiếp theo nhiệm vụ của bài toán phân lớp là tìm mô hình phân lớp để khi ta đưa 1 dữ liệu bị che nhãn vào mô hình phân lớp để phân lớp xem dữ liệu đó thuộc vào hạt nào trong 3 hạt đã được gán nhãn. 11 Mô hình bài toán phân lớp: Hình 2: Mô hình bài toán phân lớp - Trong bài toán phân lớp dữ liệu thì có các bài toán sau đây:  Bài toán phân lớp đa lớp (multiclass).  Bài toán phân lớp đa trị.  Bài toán phân lớp nhị phân (binary). 12 -Bài toán phân lớp nhị phân là bài toán găốn nhãn d ữ li ệu cho đôối t ượng vào một trong hai lớp khác nhau dựa vào việc dữ li ệu đó có hay không có các đặc trưng (feature) của bộ phân lớp. -Một số thuật toán phổ biến:  Thuật toán Perceptron Learning Algorithm.  Thuật toán Support Vecto Machine  Thuật toán Naive Bayes  Thuật toán Logistic Regression. 1.3.1 Thuật toán Perceptron Learning Algorithm. PLA là thuật toán classification nêồn tảng của các model Neuron Network và deeplearning. Ý tương của thuật toán đó là v ới các classes khác nhau, hãy tìm các đường biên để phân chia các classes này thành nh ững vùng diện tích tách biệt. Trường hợp đơn giản nhâốt của thu ật toán này là phân chia nhị phân (binary classification) băồng những đ ường biên tuyêốn tính. Bài toán được phát biểu như sau: Cho 2 class được dán nhãn khác nhau, tìm một đường thẳng sao cho toàn bộ các điểm thuộc class 1 năồm vêồ 1 phía của đường thăồng và toàn bộ các điểm thuộc class 2 seẫ năồm vêồ phía còn lại với giả định luôn tôồn tại 1 đường thẳng như thêố (không r ơi vào trường hợp 2 class năồm chôồng lâốn lên nhau dâẫn t ới không tôồn t ại đ ường biên). Ví dụ: Giả sử chúng ta có hai tập hợp dữ liệu đã được gán nhãn được minh hoạ trong hình 3 bên trái dưới đây. Hai class của chúng ta là tập các điểm màu xanh và tập các điểm màu đỏ. Bài toán đặt ra là: từ dữ liệu của hai tập được gán nhãn cho trước, hãy xây dựng một classifier (bộ phân lớp) để khi có một điểm dữ liệu hình tam giác màu xám mới, ta có thể dự đoán được màu (nhãn) của nó. 13 Hình 3: Bài toán Perceptron. Chúng ta cần tìm lãnh thổ của mỗi class sao cho, với mỗi một điểm mới, ta chỉ cần xác định xem nó nằm vào lãnh thổ của class nào rồi quyết định nó thuộc class đó. Để tìm lãnh thổcủa mỗi class, chúng ta cần đi tìm biên giới (boundary) giữa hai lãnh thổ này. Hình 3 bên phải minh họa một đường thẳng phân chia hai class trong mặt phẳng. Phần có nền màu xanh được coi là lãnh thổ của lớp xanh, phần có nên màu đỏ được coi là lãnh thổ của lớp đỏ. Trong trường hợp này, điểm dữ liệu mới hình tam giác được phân vào class đỏ. 1.3.2 Bài toán Logistic Regression Phương pháp hồi quy logistic là một thuật toán với mô hình dự đoán được sử dụng khi biến y là phân loại nhị phân. Nghĩa là chỉ lấy giá trị 1 và 0. Hiểu theo một cách khác nữa đó là mô hình này nhằm dự đoán đầu ra rời rạc y tương ứng với một vecto đâu vào X. Việc này tương đương với chuyện phân loại đầu vào X vào các nhóm y tương ứng. 1.3.3 Bài toán Support Vecto Machine. Support Vector Machine - SVM là một phương pháp học có giám sát trong các mô hình nhận dạng mâẫu. Nó không chỉ hoạt động tôốt với các dữ liệu được phân tách tuyêốn tính mà còn tôốt với cả dữ liệu phân tách phi tuyêốn. Với nhiêồu bài toán, SVM mang lại kêốt quả tôốt như mạng nơ-ron với hiệu quả sử dụng tài nguyên tôốt hơn hẳn. 14 Hình 4: Bài toán SVM 1.3.4 Thuật toán Naive Bayes. Naive Bayes là một thuật toán phân loại cho các vâốn đêồ phân loại nhị phân (hai lớp) và đa lớp. Kyẫ thuật này dêẫ hiểu nhâốt khi đ ược mô t ả băồng các giá trị đâồu vào nhị phân hoặc phân loại. Có một thuật toán hay trong phân lớp nhị phân là thu ật toán Logistic Regression áp dụng nhiêồu trong nhiêồu bài toán phân lớp. Chương tiêốp theo em seẫ trình bày kyẫ hơn vêồ thuật toán này. 2. Bài toán nhận dạng và xử lý ảnh Nhận dạng là quá trình phân loại các đôối tượng được biểu diêẫn m ột mô hình nào đó và gán chúng một tên (gán cho đôối t ượng m ột tên g ọi, t ức là một dạng) dựa theo những quy luật và mâu thuâẫn. Quá trình nh ận d ạng dựa vào những mâu thuâẫn học biêốt trước gọi là nhận dạng có thâồy hay học có thâồy, trong những trường hợp ngược lại gọi là học không có thâồy. Nhận dạng ảnh là giai đoạn cuôối của các hệ thôống x ử lý ảnh. Nh ận d ạng ảnh dựa trên lý thuyêốt nhận dạng đã được đêồ cập trọng nhiêồu sách vêồ 15 nhận dạng. Trong lý thuyêốt vêồ nhận dạng nói chung và nh ận d ạng ảnh nói riêng có ba cách tiêốp cận khác nhau: - Nhận dạng dựa trên phân hoạch không gian. - Nhận dạng dựa trên câốu trúc. - Nhận dạng dựa vào kyẫ thuật mạng nơ-ron. Hai cách tiêốp cận đâồu là cách tiêốp cận kinh điển các đôối t ượng ảnh quan sát và thu nhận được phải trải qua giai đoạn tiêồn xử lý ảnh nhăồm tăng cường châốt lượng, làm nổi các chi tiêốt, tiêốp theo là trích ch ọn và bi ểu diêẫn đặc trưng. Cuôối cùng mới là giai đoạn nhận dạng. Cách tiêốp cận th ứ 3 là hoàn toàn khác. Nó dựa vào cơ chêố đoán nhận, lưu trữ và phân bi ệt đôối tượng mô phỏng theo hoạt động của hệ thâồn kinh con ng ười. Do c ơ chêố đặc biệt, các đôối tượng thu nhận bơi thị giác người không câồn giai đo ạn cải thiện mà chuyển ngay sang giai đoạn tổng hợp, đôối sách v ới các mâẫu lưu trữ đêồ nhận dạng. Ảnh gốc Tiền xử lý Trích chọn ảnh đặc trưng Đánh giá Phân lớp Hình 5. Sơ đồ tổng quan hệ thống nhận dạng ảnh Các bài toán nhận dạng ảnh:      Nhận dạng chữ viết Nhận dạng khuôn mặt. Nhận dạng khuôn mặt để gắn thẻ trên facebook Phân biệt hai chữ số viết tay. Nhận dạng giới tính qua ảnh của khuôn mặt 16 Để ứng dụng thực tế cho bài toán nhận dạng và xử lý ảnh thì trong đồ án này em áp dụng bài toán phân lớp nhị phân để nhận dạng giới tính qua ảnh là nam hay là nữ. 3. Bài toán nhận dạng giới tính qua ảnh khuồn mặt. 3.1. Giới thiệu Việc phân tích và trích xuâốt các thông tin của khuôn mặt đ ược các nhà khoa học nghiên cứu từ những năm 90 của thêố k ỉ tr ước. Điêồu này là do có râốt nhiêồu thông tin bổ ích được khai thác t ừ m ột bức ảnh khuôn m ặt, ví d ụ như danh tính, giới tính, cảm xúc của con ng ười, tình tr ạng s ức kh ỏe. Trong sôố các thông tin được khai thác từ ảnh mặt ng ười thì gi ới tính là một thuộc tính quan trong vì nó có khá nhiêồu ứng d ụng trong th ực têố nh ư điêồu tra dân sôố và thôống kê dân sôố. Hệ thống nhận dạng giới tính còn được gọi là một hệ thồng phân lớp giới tính, về bản chất thì nó là một bài toán phân lớp nhị phân thường có nhiều bước và mỗi bước có một chức năng khác nhau và kết quả output của bước này sẽ là input của bước tiếp theo. 3.2. Mô hình bài toán nhận dạng giới tính Dữ liệu Huấn luyện huấn luyện Mô hình huấn luyện Trích chọn đặc trưng Dữ liệu Nhận dạng Kết quả nhận nhận dạng dạng Hình 6: Mô hình nhận dạng giới tính qua ảnh. 17 Phần này em sẽ trình bày mô hình nhận dạng giới tính qua ảnh xem ảnh đó là nam hay nữ. Thì đầu tiên là ta đưa bộ dữ liệu vào và chia bộ dữ liệu ra làm hai phần train và test. Quá trình phân lớp được thực hiện theo các bước sau. Bước 1: Huấn luyện mô hình phân lớp dữ liệu Ta đưa dữ liệu là các bức ảnh đã được gán nhãn vào quá trình phân lớp. Trích chọn đặc trưng cho mỗi bức ảnh. Sau đó ta đưa các bức ảnh vào mô hình phân lớp. Sau khi kết thúc cái quá trình huấn luyện, hệ thống sẽ lưu lại các tham số để phục vụ cho quá trình phân lớp tiếp theo. Bước 2: Phân lớp dữ liệu – thử nghiệm mô hình. Sau khi xây dựng mô hình huấn luyện dữ liệu ở bước 1: Ta tiến hành phân lớp với một bức ảnh đưa vào bị che nhãn. Ta trích chọn đặc trưng của bức ảnh vừa mới đưa vào. Sau đó đưa bức ảnh bị che nhãn vào tính toán các tham số của hàm quyết định (các tham số của mô hình huấn luyện) để xác lớp cho bức ảnh đó. 18