Tài liệu Nhận dạng biển báo nguy hiểm

TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KH & KT MÁY TÍNH CỘNG HÒA Xà HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc ---------------------------Ngày 11 tháng 08 năm 2021 PHIẾU CHẤM BẢO VỆ LVTN (Dành cho người phản biện) 1. Họ và tên SV: TRẦN ĐĂNG KHOA MSSV: 1620031 Ngành (chuyên ngành): 2. Đề tài: NHẬN DẠNG BIỂN BÁO NGUY HIỂM 3. Họ tên người phản biện: TRẦN GIANG SƠN 4. Tổng quát về bản thuyết minh: Số trang: 49 Số chương: 6 Số bảng số liệu: 6 Số hình vẽ: 35 Số tài liệu tham khảo: 6 Phần mềm tính toán: Hiện vật (sản phẩm) 5. Tổng quát về các bản vẽ: - Số bản vẽ: Bản A1: Bản A2: Khổ khác: - Số bản vẽ vẽ tay Số bản vẽ trên máy tính: 6. Những ưu điểm chính của LVTN: - Sinh viên đã tìm hiểu những kiến thức cơ sở để thực hiện luận văn như mạng nơ-ron (ANN), mạng nơ-ron tích chập (CNN), mạng EfficientNet. - Sinh viên đã tìm hiểu một số công nghệ phục vụ cho việc hiện thực luận văn như ngôn ngữ lập trình Python cùng với các Framework và thư viện như TensorFlow, Keras, OpenCV. - Đã đề xuất mô hình giải quyết bài toán nhận dạng biển báo nguy hiểm là mô hình học sâu sử dụng Fine-tuning với EfficientNet. - Tạo và làm giàu tập dữ liệu các loại biển báo nguy hiểm thông dụng. Kết quả nhận dạng tương đối khả quan. 7. Những thiếu sót chính của LVTN: - Kết quả chưa đủ tốt để có thể ứng dụng trong thực tế. - Thu thập nhiều dữ liệu hơn, nên tiền xử lý dữ liệu đầu vào. - Có thể cải tiến mô hình hoặc lựa chọn một mô hình khác, để nâng cao độ chính xác. 8. Đề nghị: Được bảo vệ  Bổ sung thêm để bảo vệ  Không được bảo vệ  9. 3 câu hỏi SV phải trả lời trước Hội đồng: - Em hãy đề xuất phương án để làm tăng độ chính xác khi nhận dạng biển báo. 10. Đánh giá chung (bằng chữ: giỏi, khá, TB): Điểm : 8.5 /10 Ký tên (ghi rõ họ tên) Trần Giang Sơn ĈҤ,+Ӑ&48Ӕ&*,$73+&0 ---------75ѬӠ1*ĈҤ,+Ӑ&%È&+.+2$ KHOA:KH & KT Máy tính ____ %Ӝ0Ð1 KHMT ___________ &Ӝ1*+Ñ$;­+Ӝ,&+Ӫ1*+Ƭ$9,ӊ71$0 ĈӝFOұS- 7ӵGR- +ҥQKSK~F 1+,ӊ09Ө/8Ұ1È17Ӕ71*+,ӊ3 +Ӑ9¬7Ç1 7UҫQĈăQJ.KRD _______________________ MSSV: 1620031 ______ NGÀNH: .KRDKӑFPi\Wính ___________________ /Ӟ3 _____________________ ĈҫXÿӅOXұQiQ 1KұQGҥQJELӇQEiRQJX\KLӇP 1KLӋPYө\rXFҫXYӅQӝLGXQJYjVӕOLӋXEDQÿҫX - 7uPKLӇXFiFSKѭѫQJSKiSQKұQGLӋQELӇQEiRQJX\KLӇP - 7uPKLӇXFiFF{QJQJKӋKӑFVkXÿѭӧFVӱGөQJWURQJEjL toiQQKұQGLӋQELӇQEiRQJX\KLӇP - Xây GӵQJYjÿӅ[XҩWKӋWKӕQJ - 7KXWKұSGӳOLӋXWăQJFѭӡQJGӳOLӋX - +LӋQWKӵFKӋWKӕQJQKұQGLӋQ - 3KkQWtFKYjÿiQKJLiFiFNӃWTXҧÿҥWÿѭӧFFӫDKӋWKӕQJQKұQGLӋQ 1Jj\JLDRQKLӋPYөOXұQiQ 01/02/2021 1Jj\KRjQWKjQKQKLӋPYө 30/07/2021 +ӑWrQJLҧQJYLrQKѭӟQJGүQ 3KҫQKѭӟQJGүQ 1) 9ѭѫQJ%i7KӏQK 1ӝLGXQJYj\rXFҫX/971ÿmÿѭӧFWK{QJTXD%ӝP{Q 1Jj\WKiQJQăP &+Ӫ1+,ӊ0%Ӝ0Ð1 *,Ҧ1*9,Ç1+ѬӞ1*'Ү1&+Ë1+ (Ký YjJKLU}K͕WrQ .êYjJKLU}K͕WrQ 3*676+XǤQK7ѭӡQJ1JX\rQ 3+̮1'¬1+&+2.+2$%͠0Ð1 1JѭӡLGX\ӋWFKҩPVѫEӝ________________________ ĈѫQYӏ _______________________________________ 1Jj\EҧRYӋ __________________________________ ĈLӇPWәQJNӃW _________________________________ 1ѫLOѭXWUӳOXұQiQ _____________________________ 9ѭѫQJ%i7KӏQK 75ѬӠ1*ĈҤ,+Ӑ&%È&+.+2$ KHOA KH & KT MÁY TÍNH &Ӝ1*+Ñ$;­+Ӝ,&+Ӫ1*+Ƭ$9,ӊ71$0 ĈӝFOұS- 7ӵGR- +ҥQKSK~F ---------------------------Ngày 10 tháng 08 QăP 2021 3+,ӂ8&+Ҩ0%Ҧ29ӊ/971 'jQKFKRQJ˱ͥLK˱ͣQJG̳Q) +ӑYjWrQ69 7UҫQĈăQJ.KRD (MSSV: 1620031) Ngành (chuyên ngành): .KRDKӑFPi\WtQK ĈӅWjL 1KұQGҥQJELӇQEiRQJX\KLӇP +ӑWrQQJѭӡLKѭӟQJGүQ: 9ѭѫQJ%i7KӏQK 7әQJTXiWYӅEҧQWKX\ӃWPLQK 6ӕWUDQJ 6ӕFKѭѫQJ 6ӕEҧQJVӕOLӋX 6ӕKuQKYӁ 6ӕWjLOLӋXWKDPNKҧR 3KҫQPӅPWtQKtoán: +LӋQYұWVҧQSKҭP 7әQJTXiWYӅFiFEҧQYӁ - 6ӕEҧQYӁ %ҧQ$ %ҧQ$ .KәNKiF - 6ӕEҧQYӁYӁWD\ 6ӕEҧQYӁWUrQPi\WtQK 1KӳQJѭXÿLӇPFKtQKFӫD/971 - 6LQKYLrQÿmWuPKLӇXYӅKӑFPi\KӑFVkX[ӱOêҧQK - SLQKYLrQÿmWuPKLӇXFiFF{Qg trình liên quan - 7KXWKұSGӳOLӋXYjWăQJFѭӡQJGӳOLӋX - *LҧLSKiSÿѭDUDFyWtQKӭQJGөQJWKӵFWӃ - 7LӃQKjQKKXҩQOX\ӋQYjÿiQKJLiFiFP{KuQK 1KӳQJWKLӃXVyWFKtQKFӫD/971 - ĈӝFKtQK[iFOӡLJLҧLFKѭDFDR - &KѭDiSGөQJWKӵFWӃ ĈӅQJKӏĈѭӧFEҧRYӋ† %әVXQJWKrPÿӇEҧRYӋ† 9. 0 FkXKӓL69SKҧLWUҧOӡLWUѭӟF+ӝLÿӗQJ ĈiQKJLiFKXQJEҵQJFKӳJLӓLNKi7% .K{QJÿѭӧFEҧRYӋ† ĈLӇP8.5 /10 .êWrQJKLU}KӑWrQ 9ѭѫQJ%i7KӏQK ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KHOA HỌC & KỸ THUẬT MÁY TÍNH ——————– * ——————— LUẬN VĂN TỐT NGHIỆP NHẬN DẠNG BIỂN BÁO NGUY HIỂM Hội đồng : Khoa học Máy Tính Giảng viên hướng dẫn : ThS. Vương Bá Thịnh Giảng viên phản biện : ThS. Trần Giang Sơn Sinh viên thực hiện : Trần Đăng Khoa - 1620031 Ngày 26 tháng 07 năm 2021 Lời cam đoan Em cam đoan mọi điều được trình bày trong báo cáo, cũng như mã nguồn là do tự bản thân thực hiện - trừ các kiến thức tham khảo có trích dẫn cũng như mã nguồn mẫu do chính nhà sản xuất cung cấp, hoàn toàn không sao chép từ bất cứ nguồn nào khác. Nếu lời cam đoan trái với sự thật, em xin chịu mọi trách nhiệm trước Ban Chủ Nhiệm Khoa và Ban Giám Hiệu Nhà Trường. Sinh viên thực hiện đề tài Lời cảm ơn Lời đầu tiên em xin gửi lời cảm ơn đến tập thể thầy cô giáo trường Đại Học Bách Khoa TP.HCM đã giảng dạy và cung cấp các tri thức cũng như kinh nghiệm trong quá trình học tập. Đặc biệt, em muốn gửi lời cảm ơn chân thành đến người thầy hướng dẫn trực tiếp cho em là ThS.Vương Bá Thịnh. Người đã dìu dắt và mang đến những kiến thức, định hướng và tài liệu hướng dẫn trong suốt quá trình em làm đề tài. Ngoài ra, em xin cám ơn đến gia đình, người thân và bạn bè luôn giúp đỡ và cổ vũ tinh thần để em đủ nghị lực và sức khỏe để hoàn thành tốt giai đoạn cuối cùng của luận văn. Mặc dù đã hoàn thành luận văn tốt nghiệp nhưng chắc chắn còn nhiều thiếu sót,em rất mong nhận được ý kiến đóng góp của thầy, cô để hoàn thiện và phát triển đề tài. Để có thể làm tài liệu tham khảo có ích cho thế hệ sinh viên sau. Lời cuối cùng, em xin gửi lời cảm ơn, lời chúc sức khỏe tốt đẹp và cảm ơn chân thành đến thầy Vương Bá Thịnh, những người đồng hành cùng em trong suốt những năm học tại trường Đại Học Bách Khoa TP.HCM. Trận trọng. Sinh viên thực hiện đề tài i Tóm tắt Việc lưu kho các hóa chất độc hại, các sản phẩm nguy hiểm cần được đặt ở khu vực riêng biệt tránh nhầm lẫn với các sản phẩm thông dụng trong kho là một việc làm cần thiết và tuân thủ nghiêm ngặt. Vì thế nhận diện các biển cảnh báo trên các container hay các nhãn cảnh báo trên các sản phẩm một cách tự động là một nhu cầu cần thiết của các doanh nghiệp kho bãi, đặc biệt là các doanh nghiệp có kho Fulfillment. Đề tài sử dụng mã nguồn Python và các thư viện như Keras, Numpy, OpenCV, EfficientNet. Cũng như các máy tính được cung cấp bởi Google Colab giúp phát triển và train model. ii Mục lục Lời cam đoan Lời cảm ơn i Tóm tắt ii Danh Sách Hình Vẽ vii Danh Sách Bảng viii Thuật ngữ & từ viết tắt 1 Mục tiêu đề tài ix 1 1.1 Về kiến thức . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Về sản phẩm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3 Giai đoạn thực hiện . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.4 Giới hạn đề tài . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 Cơ sở lý thuyết 2.1 3 Artificial neural network (ANN) . . . . . . . . . . . . . . . . . . . . 3 2.1.1 Nguyên lý hoạt động . . . . . . . . . . . . . . . . . . . . . . 3 2.1.2 Kiến trúc tổng quát của mạng neuron nhân tạo (ANN) . . . 5 2.1.3 Các công thứ toán học . . . . . . . . . . . . . . . . . . . . . 6 iii Mục lục 2.2 2.3 2.4 2.1.4 Các hàm kích hoạt phi tuyến tính phổ biến . . . . . . . . . . 7 2.1.5 Hàm phân số xác suất Softmax . . . . . . . . . . . . . . . . 10 2.1.6 Hàm mất mát Categorical Cross-entropy . . . . . . . . . . . 10 2.1.7 Các kỹ thuật tránh Overfiting . . . . . . . . . . . . . . . . . 10 Convolutional Neural Network (CNN) . . . . . . . . . . . . . . . . . 12 2.2.1 Convolution trong xử lý ảnh . . . . . . . . . . . . . . . . . . 12 2.2.2 Định nghĩa Convolutional Neural Network (CNN) . . . . . . 13 2.2.3 Các khái niệm của mạng CNN . . . . . . . . . . . . . . . . . 14 2.2.4 Cấu trúc của mạng CNN . . . . . . . . . . . . . . . . . . . . 16 2.2.5 Convolutional Layer . . . . . . . . . . . . . . . . . . . . . . 18 2.2.6 Pooling Layer . . . . . . . . . . . . . . . . . . . . . . . . . . 21 Các mạng CNN nổi tiếng . . . . . . . . . . . . . . . . . . . . . . . . 21 2.3.1 EfficientNet . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.3.2 Kiến trúc mô hình EfficientNet-B0 . . . . . . . . . . . . . . 27 Transfer Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.4.1 Fine tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3 Công trình liên quan 36 3.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.2 Các nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . . . . 36 3.2.1 Plant leaf disease classification using EfficientNet deep learning model [? ] . . . . . . . . . . . . . . . . . . . . . . . . . . 36 4 Mô hình đề xuất cho bài toán 4.1 41 Kiến trúc mô hình . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.1.1 Mô hình học sâu sử dụng Fine-tuning với EfficientNet . . . . 41 4.1.2 Tập dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.1.3 Tiến hành thực nghiệm . . . . . . . . . . . . . . . . . . . . . 42 iv Mục lục 4.1.4 Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . . . 43 5 Công nghệ sử dụng 44 5.1 Ngôn ngữ lập trình Python . . . . . . . . . . . . . . . . . . . . . . . 44 5.2 Framework và Thư viện . . . . . . . . . . . . . . . . . . . . . . . . 45 5.3 5.2.1 Tensorflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 5.2.2 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 5.2.3 OpenCV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 Công cụ Jupyter NoteBook 6 Tổng kết . . . . . . . . . . . . . . . . . . . . . . 46 47 6.1 Kết quả đạt được . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 6.2 Hạn chế và cải tiến trong tương lai . . . . . . . . . . . . . . . . . . 47 6.2.1 Hạn chế . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 6.2.2 Cải tiến trong tương lai . . . . . . . . . . . . . . . . . . . . 48 Tài liệu tham khảo 49 v Danh sách hình vẽ 2.1 Mạng neuron não bộ con người [4] . . . . . . . . . . . . . . . . . . 3 2.2 Mạng neuron nhân tạo [1] . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 Kiến trúc mạng neuron nhân tạo . . . . . . . . . . . . . . . . . . . 5 2.4 Mô hình tính toán trong một neuron . . . . . . . . . . . . . . . . . 6 2.5 Hàm kích hoạt phi tuyến Sigmoid [1] . . . . . . . . . . . . . . . . . 8 2.6 Hàm kích hoạt phi tuyến Tanh [1] . . . . . . . . . . . . . . . . . . 9 2.7 Hàm kích hoạt phi tuyến ReLU [1] . . . . . . . . . . . . . . . . . . 9 2.8 Mạng neuron ban đầu và Mạng neuron sau khi Dropout . . . . . . 12 2.9 Convolutional trong xử lý ảnh . . . . . . . . . . . . . . . . . . . . 13 2.10 Minh họa kiến trúc của một CNN . . . . . . . . . . . . . . . . . . 14 2.11 Minh họa Vanishing Gradient . . . . . . . . . . . . . . . . . . . . . 16 2.12 Cấu trúc một mạng CNN đơn giản . . . . . . . . . . . . . . . . . . 17 2.13 Tính chất liên kết cục bộ của tầng Convolutionl . . . . . . . . . . 19 2.14 Ví dụ cách tính kích thước output volume . . . . . . . . . . . . . . 20 2.15 Mô phỏng tính toán của Pooling layer với MaxPooling . . . . . . . 21 2.16 Mô tả mở rộng mạng CNN theo 3 hướng [5] 2.17 Mở rộng theo 3 hướng: Độ rộng, độ sâu và độ phân giải . . . . . . 24 2.18 Mở rộng tổ hợp - Compound Scaling . . . . . . . . . . . . . . . . . 26 2.19 Một phần kiến trúc EfficientNet-B0 . . . . . . . . . . . . . . . . . 28 2.20 Stem module trong EfficientNet-B0 . . . . . . . . . . . . 23 . . . . . . . . . . . . . . . . . 28 vi Danh sách hình vẽ 2.21 Final module trong EfficientNet-B0 . . . . . . . . . . . . . . . . . 29 2.22 Sub module 1 trong EfficientNet-B0 . . . . . . . . . . . . . . . . . 29 2.23 Sub module 2 trong EfficientNet-B0 . . . . . . . . . . . . . . . . . 29 2.24 Sub module 3 trong EfficientNet-B0 . . . . . . . . . . . . . . . . . 29 2.25 Sub module 4 trong EfficientNet-B0 . . . . . . . . . . . . . . . . . 30 2.26 Sub module 5 trong EfficientNet-B0 . . . . . . . . . . . . . . . . . 30 2.27 Module 1, Module 2 và Module 3 trong EfficientNet-B0 . . . . . . 31 2.28 Mô hình kiến trúc EfficientNet-B0 . . . . . . . . . . . . . . . . . . 31 2.29 Mô tả kỹ thuật Fine-tuning . . . . . . . . . . . . . . . . . . . . . . 33 2.30 Mô tả kỹ thuật Fine-tuning giai đoạn 1 . . . . . . . . . . . . . . . 34 2.31 Mô tả kỹ thuật Fine-tuning giai đoạn 2 . . . . . . . . . . . . . . . 35 3.1 Tập dữ liệu được sử dụng trong mô hình phân loại lá cây . . . . . 37 3.2 Mô hình EfficientNet trong phân loại lá cây 4.1 Mô hình học sâu sử dụng Fine-tuning với EfficientB2 . . . . . . . . 41 4.2 Tập dữ liệu cho mô hình fine-tuning với EfficientNetB2 . . . . . . 42 . . . . . . . . . . . . 38 vii Danh sách bảng 2.1 EfficientNet-B0 baseline network . . . . . . . . . . . . . . . . . . . 27 3.1 Bảng chia tỷ lệ Train - Validation - Test trong phân loại lá cây . . . 37 3.2 Các HyperParameters trong mô hình phân loại lá cây . . . . . . . . 38 3.3 Kết quả trung bình 12 mô hình với tập dữ liệu gốc . . . . . . . . . 39 3.4 Kết quả trung bình 12 mô hình với tập dữ liệu đã làm giàu . . . . . 40 4.1 Chia tập dữ liệu cho mô hình fine-tuning với EfficientNet . . . . . . 42 4.2 Kết quả thực nghiệm giữa các mô hìnhh . . . . . . . . . . . . . . . 43 viii Thuật ngữ & từ viết tắt ANN - Artificial Neural Network CNN - Convolutional Neural Network ConvNets - Convolutional Neural Networks 1 Mục tiêu đề tài 1.1 Về kiến thức • Nghiên cứu các phương pháp nhận biết và phân loại các nhãn cảnh báo từ tập dữ liệu có sẵn. • Học tập, nghiên cứu về các mô hình phân loại cơ bản đến mô hình deep learning trong CNN, bộ thư viện Keras trong việc xây dựng mô hình. 1.2 Về sản phẩm • Phân tích và đánh giá các mô hình nhận biết và phân loại nhằm đạt hiệu quả cao nhất • Xây dựng bộ dữ liệu từ tập dữ liệu có sẵn. 1.3 Giai đoạn thực hiện • Nghiên cứu mô hình phân loại với EfficientNetB0, EfficientNetB1, EfficientNetB2, EfficientNetB3, EfficientNetB4, EfficientNetB5. 1.4 Giới hạn đề tài Do giới hạn về thời gian và nhân lực, em chỉ mới nghiên cứu – khảo sát những vấn đề cốt lõi trong việc nhận diện các biển cảnh báo. Các vấn đề hiệu năng tính toán 1 1.4. Giới hạn đề tài hay áp dụng thực thế ở doanh nghiệp còn cần nhiều điều chỉnh và thay đổi cho phù hợp trong giai đoạn tiếp theo. 2 2 Cơ sở lý thuyết 2.1 2.1.1 Artificial neural network (ANN) Nguyên lý hoạt động Mạng neuron nhân tạo (ANN) là mô hình hoạt động được lấy cảm hứng từ hệ thống xử lý thông tin trong thần kinh của con người với một lượng lớn các neuron được liên kết để xử lý tính toán.Hệ thống thần kinh của con ngườiluôn được học hỏi và trao dồi kinh nghiệm thông qua huấn luyện, có khả năng lưu giữ những kinh nghiệm – tri thức đã hiểu biết, và sử dụng những kinh nghiệm – tri thức để dự đoán các dữ liệu chưa biết. Hình 2.1: Mạng neuron não bộ con người [4] 3 2.1. Artificial neural network (ANN) Cũng như cấu trúc não bộ con người, mạng neuron nhân tạo xem mỗi neuron là một đơn vị tính toán có đầu vào và đầu ra, một neuron có thể nhận nhiều đầu vào và cho ra một kết quả duy nhất. Trong đó, mỗi đầu vào sẽ một trọng số tương ứng để tính toán, sau đó cộng tất cả các tích của đầu vào và trọng số, đem kết quả đó qua hàm phi tuyến tính để đầu ra là một đại lượng vô hướng. Và cứ tiếp tục như thế sẽ thu được một mạng lưới với đầu ra của neuron sẽ trở thành đầu vào của nhiều neuron khác. Từ đó, mạng neuron nhân tạo có thể tính toán gần chính xác bất cứ hàm toán học nào. Hình 2.2: Mạng neuron nhân tạo [1] 4 2.1. Artificial neural network (ANN) 2.1.2 Kiến trúc tổng quát của mạng neuron nhân tạo (ANN) Hình 2.3: Kiến trúc mạng neuron nhân tạo Kiến trúc tổng quát của mạng neuron nhân tạo được hình thành gồm 3 thành phần chính là Input Layer, Hidden Layer, Output Layer. Trong đó mỗi phần tử được xem như là một neuron, các mũi tên đi vào và đi ra lần lượt là đầu vào và đầu ra của neuron đó. Các neuron được sắp xép thành các tầng, biểu diễn luồng thông tin đi qua mạng từ trái qua phải. Trong đó Input layer thể hiện đầu vào của mạng, Output Layer thể hiện đầu ra của mạng – là kết quả thu được qua quá trình học hỏi. 5 2.1. Artificial neural network (ANN) Hình 2.4: Mô hình tính toán trong một neuron Mỗi phép tính bên trong neron được thể hiện như hình trên, trong đó hàm g(x) là một hàm phi tuyến. Mỗi neuron của lớp bên phải kết nối tất cả các neuron của lớp bên trái thì được gọi là “kết nối đầy đủ” (fully-connected - FC). 2.1.3 Các công thứ toán học Như đã nói ở trên, một tầng fully-connected (FC) được xem như một phép biến đổi vector từ chiều không gian này sang chiều không gian khác. Gọi x là vector đầy đủ của 1 tầng FC và o là vector giá trị đầu ra của tầng đó, din là số chiều của x, dout là số chiều của o. Công thức như sau: o = g (xW + b) x ∈ Rdin , o ∈ Rdout , W ∈ Rdin ×dout , b ∈ Rdout Trong đó: • W là ma trận trọng số. • b là bias. • g là hàm kích hoạt (activation function), nó là một hàm phi tuyến nhầm loại bỏ tính chất tuyến tính của tầng FC. Hàm g rất quan trọng vì nếu không có hàm g thì neuron chỉ có thể biểu diễn được các hàm tuyến tính của đầu vào. 6