Tài liệu Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện về hành vi vi phạm luật giao thông đường bộ

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA - VŨNG TÀU ĐỖ HỮU HIỀN NGHIÊN CỨU ỨNG DỤNG KỸ THUẬT MÁY HỌC ĐỂ PHÂN TÍCH HÌNH ẢNH VÀ NHẬN DẠNG PHƯƠNG TIỆN VỀ HÀNH VI VI PHẠM LUẬT GIAO THÔNG ĐƯỜNG BỘ LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN Bà Rịa - Vũng Tàu, tháng 4 năm 2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA - VŨNG TÀU ĐỖ HỮU HIỀN NGHIÊN CỨU ỨNG DỤNG KỸ THUẬT MÁY HỌC ĐỂ PHÂN TÍCH HÌNH ẢNH VÀ NHẬN DẠNG PHƯƠNG TIỆN VỀ HÀNH VI VI PHẠM LUẬT GIAO THÔNG ĐƯỜNG BỘ LUẬN VĂN THẠC SỸ Chuyên ngành: Công nghệ thông tin Mã số ngành: 8480201 CÁN BỘ HƯỚNG DẪN KHOA HỌC TS. PHAN NGỌC HOÀNG Bà Rịa - Vũng Tàu, tháng 4 năm 2021 2 LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi dưới sự hướng dẫn của TS. Phan Ngọc Hoàng. Các số liệu, kết quả nêu và trình bày trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Qua đây, tôi cũng xin cam đoan rằng trong thời gian hoàn thành Luận văn tôi đã được một vài đồng nghiệp hỗ trợ, giúp đỡ để hoàn thành đến thời điểm này và cũng đã được tôi chân thành cảm ơn. Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Học viên thực hiện Luận văn Đỗ Hữu Hiền 3 LỜI CẢM ƠN Trước tiên, tôi xin chân thành gửi lời tri ân sâu sắc đến Ban giám hiệu Trường Đại học Bà Rịa – Vũng Tàu, Ban lãnh đạo Viện Đào tạo Quốc tế và Sau đại học, cùng quý thầy, quý cô thuộc khoa Công nghệ Thông tin – Trường Đại học Bà Rịa – Vũng Tàu đã tận tình quan tâm hỗ trợ, khuyến khích, truyền đạt cho tôi nhiều kiến thức quý báu và đã tạo mọi điều kiện thuận lợi trong suốt quá trình học tập và nghiên cứu tại Trường. Tôi xin tỏ lòng biết ơn sâu sắc đến thầy TS. Phan Ngọc Hoàng, người đã quan tâm, trách nhiệm, tận tình giúp đỡ và truyền đạt nhiều kinh nghiệm để tôi sớm có thể thực hiện và hoàn thành được đề tài. Xin chân thành ghi ơn người thân trong gia đình, đồng nghiệp trong cơ quan, đơn vị và các bạn đã thông cảm, tận tình, giúp đỡ, hỗ trợ và động viên tôi rất nhiều trong quá trình thực hiện đề tài. Một lần nữa, tôi thành thật xin chân thành cảm ơn! Học viên thực hiện Luận văn Đỗ Hữu Hiền 4 MỤC LỤC LỜI CAM ĐOAN ....................................................................................................... 3 LỜI CẢM ƠN ............................................................................................................ 4 MỤC LỤC .................................................................................................................. 5 DANH MỤC CÁC TỪ VIẾT TẮT............................................................................ 9 DANH MỤC CÁC HÌNH ........................................................................................ 10 DANH MỤC BẢNG................................................................................................. 13 1. GIỚI THIỆU ........................................................................................................ 14 1.1. Đặt vấn đề:.......................................................................................................... 14 1.2. Tính cấp thiết của đề tài: ..................................................................................... 18 2. MỤC TIÊU, ĐỐI TƯỢNG, PHẠM VI, NỘI DUNG VÀ HƯỚNG NGHIÊN CỨU.......................................................................................................................... 22 2.1. Mục tiêu của đề tài .............................................................................................. 22 2.2 Đối tượng............................................................................................................. 22 2.3 Phạm vi................................................................................................................ 23 2.4. Nội dung nghiên cứu ........................................................................................... 23 2.4.1. Về nội dung .............................................................................................. 23 2.4.2. Về mặt lý thuyết ....................................................................................... 23 2.4.3. Về mặt thực nghiệm ................................................................................. 24 2.5. Phương pháp luận và phương pháp nghiên cứu ................................................... 24 3. TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU .................................................. 25 3.1. Những hướng nghiên cứu đã được thực hiện ....................................................... 25 3.2. Những kết quả nghiên cứu đã áp dụng vào thực tế .............................................. 26 3.3. Những phương pháp nghiên cứu đã được áp dụng trên thế giới và Việt Nam ...... 28 3.4. Một số vấn đề còn hạn chế của những nghiên cứu trước và những vấn đề cần được tiếp tục nghiên cứu hoàn thiện ................................................................................... 30 3.4.1. Một số vấn đề còn hạn chế của những nghiên cứu trước ........................... 30 3.4.2. Những vấn đề cần được tiếp tục nghiên cứu hoàn thiện ............................ 30 4. CẤU TRÚC LUẬN VĂN ..................................................................................... 31 5. NGHIÊN CỨU TỔNG QUAN VÀ PHÂN TÍCH BÀI TOÁN............................ 33 Chương 1. Các khái niệm, tổng quan về trí tuệ nhân tạo, học máy, các giải thuật về học máy và kỹ thuật áp dụng cho phát hiện, nhận dạng đối tượng ................... 33 5 1. Khái niệm chung [6-9, 16, 17, 31] ........................................................................ 33 1.1. Xử lý ảnh ............................................................................................................ 33 1.2. Trí tuệ nhận tạo (AI-Artificial Intelligence)......................................................... 33 1.3. Học máy (Machine Learning) ............................................................................. 33 1.4. Học sâu (Deep Learning) .................................................................................... 33 1.5. Mạng nơ-ron nhân tạo (Artificial Neural Network) ............................................. 33 2. Tổng quan về trí tuệ nhân tạo [6-9, 21] ............................................................... 33 2.1. Trí tuệ nhân tạo ................................................................................................... 33 2.2. Ứng dụng trí tuệ nhân tạo trong hiện tại và tương lai .......................................... 35 3. Tổng quan về máy học [6-9, 16-17, 21-23] ........................................................... 38 3.1. Học máy (Machine Learning) ............................................................................. 38 3.2. Ứng dụng học máy .............................................................................................. 38 3.3. Các phương thức về máy học .............................................................................. 38 4. Các giải thuật về máy học [16-17, 21-23] ............................................................. 41 4.1. Giải thuật Mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) ................. 41 4.2. Giải thuật dựa vào thể thức (K-nearest neighbors - KNN) ................................... 42 4.3. Giải thuật cây quyết định (Decision tree) ............................................................ 43 4.4. Giải thuật Random forest (RF) ............................................................................ 45 4.5. Giải thuật máy hỗ trợ vector (Support vector machine - SVM) ........................... 46 4.6. Giải thuật Naive Bayes (NB)............................................................................... 47 4.7. Giải thuật phân cụm K-means clustering ............................................................. 48 5. Kỹ thuật áp dụng cho phát hiện, nhận dạng đối tượng [16-17, 21-23, 26-27] .... 49 5.1. Kỹ thuật phát hiện đối tượng kết hợp nhận dạng khuôn mặt (Viola Jones – Haar) .................................................................................................................................. 49 5.2. Kỹ thuật biến đổi đặc trưng bất biến theo tỷ lệ (Scale-invariant feature transform SIFT) ......................................................................................................................... 52 5.3. Kỹ thuật biểu đồ độ dốc định hướng (Histogram of oriented gradients -HOG) ... 56 5.4. Kỹ thuật học sâu để nhận dạng và phân loại đối tượng [16-21] ........................... 60 5.4.1 Kỹ thuật mạng nơ-ron tích chập ................................................................ 60 5.4.2. Kỹ thuật tìm kiếm xác định vị trí vật thể trong ảnh sử dụng mạng CNN [3536] ..................................................................................................................... 65 6 5.4.3. Nhận xét, đánh giá và lựa chọn kỹ thuật áp dụng cho bài toán nhận dạng phân loại đối tượng ............................................................................................ 75 Chương 2. Tổng quan về giao thông........................................................................ 78 1. Các khái niệm ....................................................................................................... 78 1.1. Giao thông .......................................................................................................... 78 1.2. Đối tượng tham gia giao thông ............................................................................ 78 2. Tổng quan về thực trạng giao thông.................................................................... 78 3. Phương pháp phát hiện, nhận dạng đối tượng tham gia giao thông [1, 29-30] .. 81 3.1. Nhận dạng phân loại đối tượng tham gia giao thông............................................ 81 3.2 Khái niệm về hệ thống nhận dạng biển số xe........................................................ 82 3.2.1 Khái niệm.................................................................................................. 82 3.2.2 Lịch sử và phát triển .................................................................................. 82 3.2.3. Cách thức hoạt động của hệ thống nhận dạng biển số xe .......................... 83 3.2.4. Phân loại các ứng dụng nhận dạng biển số xe ........................................... 84 3.2.5. Ứng dụng thực tiễn tại Việt Nam .............................................................. 85 3.2.6. Phân loại biển số xe.................................................................................. 85 3.3. Phương pháp nhận dạng biển số xe từ ảnh chụp của thiết bị ghi hình .................. 87 3.3.1. Phương pháp chuyển đổi Hough ............................................................... 88 3.3.2. Phương pháp hình thái học ....................................................................... 88 3.4. Phương pháp nhận dạng ký tự trong biển số xe ................................................... 89 3.5. Một số đặc điểm để nhận dạng biển số xe tại Việt Nam ...................................... 89 Chương 3. Áp dụng Yolov3 cho bài toán phát hiện, nhận dạng đối tượng tham gia giao thông vi phạm luật giao thông đường bộ ......................................................... 92 1. Kỹ thuật đề xuất áp dụng cho bài toán................................................................ 92 1.1. Kỹ thuật áp dụng mạng nơ-ron tích chập (Faster R-CNN) .................................. 92 1.2. Kỹ thuật áp dụng nhìn một lần [32-34]................................................................ 92 3. Mô hình và chức năng hệ thống đề xuất áp dụng cho bài toán .......................... 97 3.1 Địa điểm áp dụng thử nghiệm mô hình cho bài toán............................................. 97 3.2. Thiết kế mô hình lắp đặt hệ thống cho bài toán ................................................... 98 3.3. Thiết kế hệ thống trụ đỡ ...................................................................................... 98 3.4. Hệ thống Camera ................................................................................................ 98 7 3.5. Thiết kế mô hình kết nối hệ thống xử lý bài toán................................................. 99 3.6. Sơ đồ tổng quan hệ thống áp dụng cho bài toán .................................................. 99 3.7. Hệ thống xử lý ảnh, phát hiện và nhận diện đối tượng ....................................... 101 3.7.1. Quy trình xử lý ảnh áp dụng cho bài toán ............................................... 101 3.7.2. Quy trình phát hiện, nhận dạng và phân loại đối tượng ........................... 102 3.7.3. Quy trình phát hiện, nhận dạng biển số xe: ............................................. 104 Chương 4. Xây dựng chương trình thực nghiệm và đánh giá kết quả ................. 108 1. Xây dựng chương trình thực nghiệm ................................................................ 108 1.1. Cài đặt chương trình chạy [35] .......................................................................... 108 1.1.1 Cài đặt thư viện mã nguồn mở Opencv .................................................... 108 1.1.2. Cài đặt thư viện CUDA .......................................................................... 108 1.1.3. Cài đặt thư viện cuDNN ......................................................................... 108 1.1.4. Mô tả cài đặt thư viện ............................................................................. 108 1.2. Chạy chương trình ............................................................................................ 109 1.3. Quy trình huấn luyện và nhận dạng đối tượng vật thể........................................ 110 1.4. Quy trình huấn luyện và nhận dạng hành vi vi phạm chở quá số người quy định ................................................................................................................................ 117 1.5. Quy trình huấn luyện và nhận dạng hành vi vi phạm không đội mũ bảo hiểm ... 120 1.6. Quy trình huấn luyện và nhận diện biển số xe của đối tượng tham gia giao thông: ................................................................................................................................ 127 6. KẾT LUẬN VÀ KIẾN NGHỊ ............................................................................ 135 6.1. Kết luận ........................................................................................................... 135 6.2. Kiến nghị và hướng phát triển ........................................................................ 136 TÀI LIỆU THAM KHẢO: .................................................................................... 138 8 DANH MỤC CÁC TỪ VIẾT TẮT STT Từ viết tắt Từ đầy đủ 1 AI Artificial Intelligence 2 AR Augmented Reality 3 ANN Artificial Neural Network 4 BBF Best Bin First 5 CNN Convolutional Neural Network 6 CV Cross Validation 7 ICT Information and Communication Technology 8 ITS Intelligent Transport Systems 9 KNN K-Nearest Neighbors 10 MAE Mean Absolute Error 11 MAP Maximum A Posteriori 12 ML Machine Learning 13 DL Deep Learning 14 MLE Maximum Likelihood Estimation 15 MSE Mean Square Error 16 RF Random Forest 17 RPN Region Proposal Network 18 SMAC Social, Mobile, Analytics & Cloud 19 SVM Support Vector Machine 20 VR Virtual Reality 21 YOLO You Only Look Once 22 CNTT Công nghệ thông tin 23 SXTN Sản xuất thử nghiệm 9 DANH MỤC CÁC HÌNH Hình 1: Mô hình nút giao lộ (ngã tư) triển khai xây dựng mô hình nghiên cứu ...... 22 Hình 2: Sơ đồ nhận dạng biển số xe ......................................................................... 25 Hình 3: Nhận dạng khuôn mặt người trong ảnh ...................................................... 26 Hình 4: Ứng dụng công nghệ trí tuệ nhân tạo với bộ nhớ hạn chế .......................... 35 Hình 5: Ứng dụng công nghệ trí tuệ nhân tạo tự nhận thức .................................... 35 Hình 6: Ứng dụng công nghệ trí tuệ nhân tạoxe tự lái ............................................. 36 Hình 7: Ứng dụng công nghệ trí tuệ nhân tạo cho thiết bị bay không người lái ...... 37 Hình 8: Ứng dụng công nghệ trí tuệ nhân tạo ROBOT trong day học ..................... 37 Hình 9: Phương thức học có giám sát ...................................................................... 39 Hình 10: Hình mô tả chữ viết tay.............................................................................. 40 Hình 11: Phương thức học không giám sát về bài toán phân cụm ........................... 40 Hình 12: Phương thức học bán giám sát .................................................................. 40 Hình 13: Minh họa mạng nơ-ron nhân tạo 3 lớp ..................................................... 41 Hình 14: Bản đồ 1NN ............................................................................................... 43 Hình 15: Quá trình phát triển cây (bên trái) và rừng ngẫu nhiên (bên phải) ........... 45 Hình 16: Bốn loại đặc trưng khu vực hình chữ nhật dùng trong kỹ thuật phát hiện .................................................................................................................................. 51 Hình 17: Đặc trưng Haar tương ứng ảnh thực tế..................................................... 51 Hình 18: Kết quả của thuật toán SIFT ..................................................................... 53 Hình 19: Các bước hiện thực giải thuật HOG .......................................................... 59 Hình 20: Kết quả phát hiện người thông qua giải thuật HOG ................................. 60 Hình 21: Convolved feature khác nhau với ma trận lọc khác nhau ......................... 62 Hình 22: Cấu trúc của mạng CNN ........................................................................... 63 Hình 23: Trường tiếp nhận cục bộ ........................................................................... 63 Hình 24: Các bước tạo ra 1 hidden layer .................................................................. 65 Hình 25: Xây dựng lớp max pooling ......................................................................... 65 Hình 26: Xác định vị trí nhiều đối tượng trong ảnh ................................................. 65 10 Hình 27: Output sau khi thực hiện Graph Based Image Segmentation [1] .............. 66 Hình 28: Các bước của thuật toán R-CNN [2] ......................................................... 66 Hình 29: Các bước của thuật toán Fast R-CNN [3] ................................................. 67 Hình 30: Kiến trúc Faster R-CNN [4]....................................................................... 68 Hình 31: Hình chữ nhật region proposal ................................................................. 69 Hình 32: Hệ số IoU đánh giá bounding box dự đoán đối tượng khớp với ảnh thật.. 69 Hình 33: So sánh thời gian phát hiện đối tượng so với các kỹ thuật khác ................ 70 Hình 34: Mô hình sử dụng mạng VGG16 ................................................................ 71 Hình 35: Kết quả mô hình sử dụng mạng VGG16.................................................... 71 Hình 36: Sơ đồ số chiều của các feature maps ......................................................... 71 Hình 37: Sơ đồ áp dụng thuật toán SSD ................................................................... 72 Hình 38: Chia ảnh thành ma trận ô vuông............................................................... 73 Hình 39: Sai số phân loại ......................................................................................... 75 Hình 40: Hình ảnh mô tả phương tiện và người tham gia giao thông ..................... 78 Hình 41: Hình ảnh mô tả tình trạng không tuân thủ Luật ....................................... 79 Hình 42: Ảnh xám và lược đồ xám của ảnh ............................................................. 80 Hình 43: Kiến trúc Darknet-53 ................................................................................. 94 Hình 44: Khung ranh giới xác định đối tượng chim ................................................ 95 Hình 45: Phát hiện, định vị và phân loại nhiều đối tượng........................................ 95 Hình 46: YOLO phiên bản 1 có những hạn chế đối với phát hiện đối tượng nhỏ .... 95 Hình 47: Kiến trúc Darknet-19 ................................................................................ 97 Hình 48: Bản vẽ thiết kế mô hình lắp đặt hệ thống .................................................. 98 Hình 49: Mô hình kết nối-truy xuất hệ thống ........................................................... 99 Hình 50: Cấu trúc phần cứng cho hệ thống ............................................................. 99 Hình 51: Cấu trúc phần mềm xử lý hệ thống ........................................................... 99 Hình 52: Phát hiện đối tượng áp dụng giải thuật YOLOv3 .................................... 104 Hình 53: Các bước dự đoán áp dụng theo giải thuật YOLOv3 ............................... 104 Hình 54: Sơ đồ mô hình theo kến trúc áp dụng YOLOv3 theo tỷ lệ ........................ 105 Hình 55: Kết quả dự đoán áp dụng giải thuật YOLOv3 .......................................... 105 Hình 56: Bộ dữ liệu gồm 22 hình ảnh trích xuất từ bộ dữ liệu mẫu....................... 112 Hình 57: Kết quả nhận dạng đối tượng tham gia giao thông được gán nhãn (tracking) .................................................................. 115Error! Bookmark not defined. 11 Hình 58: Bộ dữ liệu gồm 10 hình ảnh trích xuất từ bộ dữ liệu mẫu....................... 118 Hình 59: Kết quả nhận dạng đối tượng về hành vi vi phạm giao thông được gán nhãn (tracking)về chở quá số người ....................................................................... 119 Hình 60: Bộ dữ liệu gồm 22 hình ảnh trích xuất từ bộ dữ liệu mẫu....................... 123 Hình 61: Kết quả nhận dạng đối tượng về hành vi vi phạm giao thông được gán nhãn (tracking) về không đội mũ bảo hiểm ............................................................ 126 12 DANH MỤC BẢNG Bảng 1: Kết quả nhận dạng các đối tượng, vật thể tham gia giao thông ................ 116 Bảng 2: Kết quả nhận dạng đối tượng tham gia giao thông về hành vi vi phạm chở quá số người theo quy định ..................................................................................... 120 Bảng 3: Kết quả nhận dạng đối tượng tham gia giao thông về hành vi vi phạm chở quá số người theo quy định ..................................................................................... 127 13 1. GIỚI THIỆU 1.1. Đặt vấn đề Ngày nay, công nghệ thông tin là một trong những lĩnh vực quan trọng góp phần thúc đẩy sự phát triển kinh tế của đất nước. Ứng dụng của công nghệ thông tin (CNTT) xuất hiện ở rất nhiều lĩnh vực, là nền tảng của các nghiên cứu về công nghệ cao như khoa học vũ trụ, công nghệ điện tử và tự động hóa, các hệ thống thông minh,... Khi Internet ra đời vào những năm 90, nó đã kết nối thông tin trên toàn thế giới lại với nhau. Chúng ta chỉ cần ngồi bất cứ nơi đâu với máy tính được kết nối mạng là có thể truy nhập thông tin về bất cứ lĩnh vực gì trên thế giới. Tại Việt Nam, từ những năm 70 của thế kỷ 20 đã bắt đầu có các nghiên cứu về máy tính cũng như những ứng dụng về CNTT. Hiện nay CNTT luôn được xác định là lĩnh vực then chốt được đầu tư không những hiện đại hóa cơ sở hạ tầng mà còn là việc ứng dụng sâu rộng vào các lĩnh vực khác của đời sống xã hội [1]. Nghị quyết số 36-NQ/TW ngày 01/7/2014 của Bộ Chính trị về đẩy mạnh ứng dụng, phát triển CNTT đáp ứng yêu cầu phát triển bền vững và hội nhập quốc tế tiếp tục khẳng định sự quan tâm chỉ đạo sát sao của Đảng đối với công tác ứng dụng, phát triển CNTT, khẳng định vị trí, vai trò của CNTT trong sự nghiệp xây dựng và bảo vệ Tổ quốc thời kỳ mới. Và là một văn bản rất quan trọng, là định hướng xuyên suốt cho chiến lược ứng dụng và phát triển CNTT và truyền thông từ nay đến năm 2030, là tiền đề quan trọng để CNTT Việt Nam phát triển mạnh mẽ, sâu rộng hơn, đề ra những định hướng lớn cho sự phát triển ngành CNTT nước nhà trong khoảng 10 - 20 năm tới. Đến năm 2030, đưa năng lực nghiên cứu, ứng dụng, phát triển, sản xuất và cung ứng sản phẩm, dịch vụ CNTT đạt trình độ tiên tiến thế giới; Việt Nam trở thành quốc gia mạnh về CNTT trong khu vực. Ngày 27/09/2019 Bộ Chính trị ban hành Nghị quyết số 52-NQ/TW về một số chủ trương, chính sách chủ động tham gia cuộc Cách mạng công nghiệp lần thứ tư (CMCN 4.0) với quan điểm chủ động, tích cực tham gia cuộc Cách mạng công nghiệp lần thứ tư là yêu cầu tất yếu khách quan; là nhiệm vụ có ý nghĩa chiến lược đặc biệt quan trọng, vừa cấp bách vừa lâu dài của cả hệ thống chính trị và toàn xã hội, gắn chặt với quá trình hội nhập quốc tế sâu rộng; đồng thời nhận thức đầy đủ, đúng đắn về nội hàm, bản chất của cuộc Cách mạng công nghiệp lần thứ tư để quyết tâm đổi mới tư 14 duy và hành động, coi đó là giải pháp đột phá với bước đi và lộ trình phù hợp là cơ hội để Việt Nam bứt phá trong phát triển kinh tế - xã hội. Xác định mục tiêu đến năm 2030, Việt Nam chúng ta duy trì xếp hạng về chỉ số Đổi mới sáng tạo toàn cầu (GII) thuộc nhóm 40 nước dẫn đầu thế giới. Mạng di động 5G phủ sóng toàn quốc; mọi người dân được truy cập Internet băng thông rộng với chi phí thấp. Kinh tế số chiếm trên 30% GDP; năng suất lao động tăng bình quân khoảng 7,5%/năm. Hoàn thành xây dựng Chính phủ số. Hình thành một số chuỗi đô thị thông minh tại các khu vực kinh tế trọng điểm phía Bắc, phía Nam và miền Trung; từng bước kết nối với mạng lưới đô thị thông minh trong khu vực và thế giới và tầm nhìn đến năm 2045, Việt Nam trở thành một trong những trung tâm sản xuất và dịch vụ thông minh, trung tâm khởi nghiệp, đổi mới sáng tạo thuộc nhóm dẫn đầu khu vực Châu Á; có năng suất lao động cao, có đủ năng lực làm chủ và áp dụng công nghệ hiện đại trong tất cả các lĩnh vực kinh tế - xã hội, môi trường, quốc phòng, an ninh [2-3]. Bản chất của cuộc cách mạng công nghiệp lần thứ tư (CMCN 4.0) là cuộc cách mạng thể chế. Với sự phát triển mạnh mẽ của công nghệ số tạo ra mô hình mới, lực lượng lao động mới, nhanh chóng, bùng nổ… khiến khuôn khổ thể chế truyền thống không còn phù hợp, mà nếu duy trì sẽ kìm hãm sự phát triển của đất nước và ngày 04/7/2017, Thủ tướng chính phủ Ban hành Chỉ thị số 16/CT-TTg về tăng cường năng lực tiếp cận cuộc cách mạng công nghiệp lần thứ 4. Trên cở sở đó, ngày 03/12/2018 Bộ Khoa học và Công nghệ ban hành Quyết định số 3685/QĐ-BKHCN về danh mục các công nghệ chủ chốt của công nghiệp 4.0 (Trí tuệ nhân tạo - Artificial Intelligence, Chuỗi khối- Blockchain, Dữ liệu lớn - Big Data, Khai phá dữ liệu và Phân tích dữ liệu - Data Mining and Data Analytics, Internet vạn vật- Internet of Things, Điện toán đám mây- Cloud computing, Robot tự hành - Autonomous Robots, Robot cộng tác Collaborative robotics, In 3D và chế tạo cộng - 3D printing and Additive manufacturing, Thực tại ảo - Virtual Reality, Công nghệ chế tạo vật liệu nano - Nano materials, Công nghệ vật liệu mới - New material technnology, Sinh học tổng hợp Synthetic biology, Mạng di động thế hệ 5 - 5th Generation Mobile Network, ...). Đặc biệt, cuộc cách mạng công nghiệp lần thư 4 có nhiều tác động đến đời sống kinh tế - xã hội trên nhiều lĩnh vực. Nền kinh tế toàn cầu đang đứng trước một giai đoạn chuyển đổi không thể đảo ngược. Cuộc cách mạng này thông qua các công nghệ như trí tuệ nhân tạo (AI), Internet vạn vật (IoT), thực tế ảo (VR), tương tác thực tại ảo 15 (AR), mạng xã hội, điện toán đám mây, di động, phân tích dữ liệu lớn (SMAC)... để chuyển hóa toàn bộ thế giới thực thành thế giới số. Các công nghệ thông minh sẽ được tích hợp vào mọi khía cạnh của xã hội, xóa bỏ các ranh giới công nghệ thông thường, thay đổi hình dạng mạng lưới công nghệ và sản xuất, thúc đẩy sự phát triển của thời đại. Những phát triển này hứa hẹn sẽ mở ra cơ hội cho Chính phủ, vùng miền các quốc gia thúc đẩy nền kinh tế mở, linh hoạt, nâng cao hiệu quả của nền kinh tế - xã hội và mang lại lợi thế “đi đầu” cho những quốc gia, vùng miền tận dụng tốt các công nghệ mới nhất. Cách mạng công nghiệp lần thứ 4 dựa trên nền tảng công nghệ số và tích hợp tất cả các công nghệ thông minh để tối ưu hóa quy trình, phương thức sản xuất; với những công nghệ đang và sẽ có tác động lớn như (Trí tuệ nhân tạo - Artificial Intelligence, Chuỗi khối- Blockchain, Dữ liệu lớn - Big Data, Khai phá dữ liệu và Phân tích dữ liệu - Data Mining and Data Analytics, Internet vạn vật- Internet of Things, Điện toán đám mây- Cloud computing, Robot tự hành Autonomous Robots,… Trong lĩnh vực sản xuất công nghiệp, viễn cảnh các nhà máy thông minh trong đó các máy móc được kết nối Internet và liên kết với nhau qua một hệ thống có thể tự hình dung toàn bộ quy trình sản xuất rồi đưa ra quyết định sẽ không còn xa. Có thể thấy, Cách mạng công nghiệp lần thứ 4 tác động đến tất cả các lĩnh vực kinh tế - xã hội như: công nghiệp, nông nghiệp, tài chính ngân hàng, lao động, việc làm, giao thông vận tải, dệt may, du lịch, y tế, giáo dục và đào tạo. Điều đó có nghĩa nó sẽ ảnh hưởng trực tiếp đến các tổ chức, cá nhân và các địa phương trong cả nước [4-5]. Theo các nhà nghiên cứu, ứng dụng trí tuệ nhân tạo được huấn luyện tốt có thể thực hiện một số công việc với kỹ năng tương đương như con người. Tuy nhiên, trí tuệ nhân tạo có lợi thế hơn con người nhờ khả năng mở rộng bằng việc học liên tục không nghỉ, thậm chí là tự học mà không cần sự hướng dẫn của con người. Trí tuệ nhân tạo có thể phát hiện ra mẫu trong những dữ liệu phức tạp đến mức các chuyên gia cũng không nhận ra. Trong đó, đối với một số ứng dụng đặc thù như xử lý hình ảnh, trí tuệ nhân tạo đã bằng hoặc vượt khả năng của con người. Chính vì lẽ đó, khi được ứng dụng vào quá trình điều tiết giao thông, trí tuệ nhân tạo sẽ giúp giảm bớt nhân công nhưng lại tăng cường khả năng xử lý dữ liệu của hệ thống. Vì vậy có thể nói, trí tuệ nhân tạo (Artificial Intelligence - AI) là một hướng nghiên cứu của lĩnh vực CNTT và Khoa học máy tính nhằm phát triển các hệ thống 16 thông minh để giải quyết các bài toán trong thực tế giống như hoạt động của bộ não người. Trí tuệ nhân tạo được bắt đầu nghiên cứu từ những năm 50 của thế kỷ 20 và trong khoảng 30 năm trở lại đây đã được cộng đồng các nhà khoa học quan tâm mạnh mẽ. Rất nhiều các hội thảo lớn về lĩnh vực này được tổ chức hàng năm trên thế giới. Các ứng dụng tiêu biểu của trí tuệ nhân tạo vào đời sống xã hội bào gồm: người máy, robot, xử lý ngôn ngữ tự nhiên, nhận dạng, phát hiện dị thường, an ninh quốc phòng, tin sinh học, khoa học vũ trụ và trái đất,… Những năm gần đây, chúng ta đã chứng kiến được nhiều thành tựu vựợt bậc trong lĩnh vực thị giác máy tính (Computer Vision). Các hệ thống xử lý ảnh lớn của Facebook, Google hay Amazon đã đưa vào sản phẩm của mình những chức năng thông minh như nhận dạng khuôn mặt người dùng, phát triển xe hơi tự lái hay drone giao hàng tự động. Bên cạnh đó, sự phát triển của mạng nơ-ron đang dần hiện thực hoá khái niệm chúng ta vẫn thường gọi là (Computer Vision) thị giác máy tính. Tuy nhiên, việc sử dụng thuật toán mạng nơ-ron vẫn còn gặp nhiều khó khăn. Chẳng hạn như: Khi bạn muốn phát hiện nhận dạng một đối tượng trong một bức ảnh và đánh nhãn cho đối tượng đó thì các phương pháp lúc bấy giờ quá chậm để xử lý theo thời gian thực hoặc là đòi hỏi cần phải đầu tư trang thiết bị rất mạnh dẫn đến chi phí rất tốn kém,.... Chính vì lẻ đó, cho đến khi giải thuật nhìn một lần (You Only Look Once YOLO) ra đời. You Only Look Once lần lượt có các phiên bản 1, 2 (YOLO Version 1, 2) và hiện nay là You Only Look Once phiên bản 3 (YOLO Version 3) có khả năng gán nhãn cho toàn bộ đối tượng trong khung hình với chỉ duy nhất một hoạt động. Có thể nói, You Only Look Once đã xây dựng một hướng tiếp cận đầu tiên giúp đưa nhận dạng đối tượng theo thời gian thực (Real-Time Object Detection) thực sự khả thi áp dụng thực tế trong cuộc sống. Đối với mạng nơ-ron tích chập (Convolutional Neural Network - CNN) là một trong những mô hình học sâu (Deep Learning) tiên tiến giúp cho chúng ta xây dựng được những hệ thống thông minh với độ chính xác cao như hiện nay và còn là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơ-ron sinh học. Nó được tạo nên từ một số lượng lớn các phần tử (nơ-ron) kết nối với nhau thông qua các liên kết (trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đó. Một mạng nơ-ron nhân tạo được cấu hình cho một ứng dụng 17 cụ thể (nhận dạng mẫu, phân loại dữ liệu,...) thông qua một quá trình học từ tập các mẫu huấn luyện. Về bản chất học chính là quá trình hiệu chỉnh trọng số liên kết giữa các nơ-ron. Trong khuôn khổ luận văn Thạc sỹ của cá nhân, qua việc được trang bị các môn học lý thuyết như thuật toán, xử lý ảnh, trí tuệ nhân tạo, tìm kiếm,… tôi đã lựa chọn đề tài “Nghiên cứu ứng dụng kỹ thuật máy học để phân tích hình ảnh và nhận dạng phương tiện vi phạm Luật giao thông đường bộ”. Chủ đề phân lớp dữ liệu là một nhánh quan trọng trong lĩnh vực máy học (machine learning) của trí tuệ nhân tạo. Chúng ta có thể kể đến các ứng dụng của máy học trong thực tế như người máy, robot, nhận dạng đối tượng, nhận dạng mặt người, nhận dạng tiếng nói và chữ viết,…Trong đó, học sâu (Deep learning) với mô hình mạng nơ-ron tích chập theo phương pháp nhìn một lần (Convolutional Neural Network for You Only Look Once - CNNs for YOLO Object Detection) là một trong những giải thuật của mô hình hệ thống máy học tiên tiến giúp cho chúng ta xây dựng đựợc những hệ thống thông minh với độ chính xác cao như hiện nay. Trong khuôn khổ luận văn cao học này, cá nhân tập trung nghiên cứu về mạng nơ-ron (neural network) cũng như mạng tích chập (Convolution network) theo giải thuật của mô hình mạng nơ-ron tích chập (CNNs) nhằm phân tích lớp ảnh (Image Classification) và áp dụng trong việc xây dựng hệ thống nhận dạng phương tiện với phương pháp nhận dạng đối tượng (You Only Look Once) các hành vi vi phạm Luật giao thông đường bộ [6-9]. 1.2. Tính cấp thiết của đề tài Theo một báo cáo của Liên Hợp Quốc, hơn nửa dân số trái đất hôm nay đã là dân đô thị, với 54,6% dân số thế giới tương đương 3,6 tỷ người đang sống ở các đô thị, nghiên cứu cho thấy đến năm 2050, tỉ lệ dân cư thành thị sẽ chiếm hơn 70% dân số thế giới, với 64,1% ở các nước đang phát triển và 85,9% ở các nước phát triển sẽ sống ở các khu vực thành thị. Sự tập trung dân số, tốc độ gia tăng của đô thị hóa đã mang lại cho các thành phố và quốc gia một số thách thức trong việc đáp ứng nhu cầu ngày càng tăng của người dân, như: cơ sở hạ tầng, giao thông, các yêu cầu về nhà ở, năng lượng, an ninh, y tế, giáo dục, môi trường và ứng phó với biến đổi khí hậu, thiên tai cũng như các vấn đề như truyền thông và giải trí. Do đó việc phát triển đô thị trong tương lai có ảnh 18 hưởng lớn tới môi trường, tới việc quản lý và cải thiện chất lượng đô thị, điều này chỉ có thể nắm bắt được thông qua việc thay đổi phương thức điều hành của chính quyền, sự tham gia của người dân, cũng như sự tham gia của các bên liên quan chịu trách nhiệm quản lý chung. Vì vậy, việc định hướng cho phát triển "đô thị truyền thống" hiện nay thành “đô thị thông minh” hơn là một nhu cầu tất yếu mà trong đó bao gồm các ứng dụng về chính quyền điện tử, giao thông thông minh, y tế thông minh, giáo dục thông minh, du lịch thông minh, môi trường thông minh,…việc triển khai, áp dụng các hệ thống tự động và kết hợp với Cuộc cách mạng công nghiệp lần thứ 4 (CMCN 4.0) bởi các công nghệ chủ chốt của công nghiệp 4.0 (Trí tuệ nhân tạo - Artificial Intelligence, Chuỗi khối- Blockchain, Dữ liệu lớn - Big Data, Khai phá dữ liệu và Phân tích dữ liệu - Data Mining and Data Analytics, Internet vạn vật- Internet of Things, Điện toán đám mây- Cloud computing, ...) [10]. Xét một cách tổng quan, việc triển khai giao thông thông minh sẽ có 3 giai đoạn. Trong đó bao gồm việc thu thập dữ liệu, xử lý dữ liệu và phân phối lại chúng cho người tham gia giao thông. Để hoạt động của hệ thống được trơn tru, sẽ cần phải có một trung tâm xử lý nhằm tổng hợp thông tin và tiến hành điều tiết. Ở giai đoạn ban đầu, những trung tâm này được điều hành chủ yếu bởi con người. Tuy vậy, với các tiến bộ của trí tuệ nhân tạo (AI) sẽ được ứng dụng nhằm thay thế con người trong tương lai. Hệ thống giao thông thông minh (Intelligent Transport Systems – ITS) không phải là điều gì quá mới mẻ. Ý tưởng về hệ thống này đã được khởi xướng từ những năm 60, 70 của thế kỷ trước tại Mỹ và các nước Châu Âu. Đến nay, mô hình này đã được áp dụng thành công tại nhiều thành phố lớn trên thế giới [11]. Tại các nước châu Á, Hàn Quốc chính là quốc gia đi tiên phong trong việc ứng dụng công nghệ nhằm phát triển Hệ thống giao thông thông minh. Seoul (Hàn Quốc) được nhận định là thành phố có hệ thống giao thông thông minh tốt nhất thế giới. Tại thành phố Seoul – Hàn Quốc, chính phủ thiết lập một hệ thống vận hành giao thông có tên TOPIS. Khi truy nhập vào hệ thống này, người dân sẽ được cung cấp các thông tin liên quan đến tình trạng giao thông. Với những người đang chờ xe buýt, thông tin này bao gồm cả vị trí cụ thể của chuyến xe đang tới, thời gian dự kiến sẽ tới bến và lượng ghế còn trống trên xe là bao nhiêu. 19 Tại Việt Nam, cùng với các kinh nghiệm đã triển khai trên thực tế trong các năm vừa qua của các địa phương trong cả nước như thành phố Hà Nội, thành phố Hồ Chí Minh, Đồng Nai, Kiên Giang, Quảng Nam, Đà Nẵng, Thừa Thiên Huế, Quảng Ninh… việc trang bị hệ thống Camera giám sát giao thông thông minh nhằm mục đích nâng cao năng lực giám sát, kiểm soát và xử lý các vi phạm trật tự an toàn giao thông đường bộ đã mang lại những hiệu quả tích cực. Bên cạnh việc giảm thiểu các tai nạn giao thông, tình hình an ninh trật tự được đảm bảo, ý thức tự giác chấp hành pháp luật của người tham gia giao thông được nâng cao. Tỉnh Bà Rịa – Vũng Tàu là một tỉnh ven biển thuộc vùng Đông Nam Bộ, nằm trong vùng kinh tế trọng điểm phía Nam, có tổng diện tích tự nhiên là 1.980,98 km2, dân số khoảng trên 1,3 triệu người, cũng nằm trong xu thế xây dựng đô thị hướng đến thông minh đang được quan tâm và thúc đẩy. Có thể nói, đô thị thông minh được coi là lựa chọn tất yếu, phù hợp với xu thế phát triển chung của thế giới cũng như khả năng tiếp cận của Việt Nam. Bà Rịa – Vũng Tàu được đánh giá là một trong những địa phương có hệ thống giao thông đường biển, đường hàng không và đường bộ với kết cấu hạ tầng giao thông khá hiện đại. Trong đó, đường bộ là đầu mối giao thông quan trọng với 3 tuyến quốc lộ chính gồm QL51, QL55, QL56. Quốc lộ 51 và là trục giao thông chính của vùng Kinh tế trọng điểm phía Nam, nối liền với phố TP. Hồ Chí Minh, Tp. Biên Hòa và Tp. Vũng Tàu. Quốc lộ 55, chạy từ Tp. Bà Rịa đi Tp. Phan Thiết nối với các tỉnh duyên hải Đông Nam Bộ, có giá trị giao thông liên vùng, nối vùng Nam Trung Bộ với miền Đông. Quốc lộ 56 là trục đường giao thông nối Tp. Bà Rịa tỉnh Bà Rịa – Vũng Tàu và vùng kinh tế trọng điểm phía Nam với Tây Nguyên. Từ QL56 có thể đi thẳng qua TX. Long Khánh đi Tp. Đà Lạt (Lâm Đồng). Ngoài ra tỉnh Bà Rịa – Vũng Tàu có rất nhiều tuyến đường tỉnh kết nối đi các huyện, thị xã và thành phố. Theo số liệu tổng hợp, đến cuối tháng 9/2020 trên địa bàn tỉnh đã xảy ra 285 vụ tai nạn giao thông, hậu quả làm 120 người chết và 213 người bị thương. Trong đó có 28 vụ tai nạn giao thông tự gây, làm 31 người chết và 04 người bị thương. So với cùng kỳ năm 2018, số vụ tai nạn giao thông giảm 02 vụ, số người chết giảm 06 người, số người bị thương giảm 55 người. Tuy số vụ TNGT, số người chết và bị thương đều giảm so với cùng kỳ nhưng con số thống kê cho thấy vẫn ở mức cao và tiềm ẩn diễn biến phức tạp. Nguyên nhân chủ yếu là do một bộ phận người tham gia giao thông 20