Tài liệu Ứng dụng mạng nơ-ron trong nhận dạng biển số ô tô

  • Số trang: 26 |
  • Loại file: PDF |
  • Lượt xem: 116 |
  • Lượt tải: 0
thuvientrithuc1102

Đã đăng 15893 tài liệu

Mô tả:

1 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG NGUYỄN VĂN LÂM ỨNG DỤNG MẠNG NƠ-RON TRONG NHẬN DẠNG BIỂN SỐ Ô TÔ Chuyên ngành: KỸ THUẬT ĐIỆN TỬ Mã số: 60.52.70 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2011 2 Công trình ñược hoàn thành tại ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: TS. Phạm Văn Tuấn Phản biện 1: ............................................................................. Phản biện 2: ............................................................................. Luận văn sẽ ñược bảo vệ trước Hội ñồng chấm Luận văn tốt nghiệp thạc sĩ Kỹ Thuật ñiện tử họp tại Đại học Đà Nẵng vào ngày …...… tháng …...… năm …...…. Có thể tìm hiểu luận văn tại: - Trung tâm Thông tin-Học liệu, Đại học Đà Nẵng - Trung tâm Học liệu, Đại học Đà Nẵng 3 MỞ ĐẦU Với sự phát triển nhanh công nghiệp sản xuất phương tiện ñã làm cho số lượng các phương tiện giao thông phát triển nhanh chóng về số lượng. Tại Việt Nam theo thống kê từ TRUNG TÂM ĐĂNG KIỂM 50-07V. Số lượng ô tô ñang lưu hành tại Việt nam tính ñến hết 31/01/2010 là 1.147.765 chiếc. Một con số ñáng kể nếu so với tình hình giao thông phức tạp như hiện nay của nước ta. Điều này ñòi hỏi nhiều hơn nguồn nhân lực từ các cơ quan quản lý ñể ñảm bảo quá trình giao thông diễn ra an toàn và thuận lợi. Xuất phát từ nhu cầu trên có rất nhiều giải pháp ñã ñược ñưa ra ñể kiểm soát các phương tiện giao thông như sử dụng Chip chuyên dụng ñể gắn lên phương tiện, sử dụng ñịnh vị toàn cầu GPS... Nhưng các giải pháp này lại khá tốn kém, khó triển khai và nâng cấp, ñòi hỏi các thiết bị và kỹ thuật phức tạp. Khi kỹ thuật Xử Lý Ảnh ra ñời và phát triển mạnh mẽ thì việc sử dụng kỹ thuật này vào hệ thống kiểm soát phương tiện dựa trên cơ sở nhận dạng biển số phương tiện tỏ ra nhiều ưu ñiểm vượt trội như chi phí triển khai thấp. Các thiết bị ñơn giản dễ lắp ñặt, dễ mở rộng cho nhiều ứng dụng khác nhau như xây dựng trạm thu thuế, nhà giữ xe tự ñộng, kiểm soát vi phạm tại các nút giao thông phức tạp. Cùng với sự phát triển của trí tuệ nhân tạo, việc ứng dụng mạng nơ-ron vào việc nhận dạng mẫu ký tự trong kỹ thuật xử lý ảnh trở nên hiệu quả và nhanh chóng. Như vậy việc kết hợp kỹ thuật xử lý ảnh và ứng dụng mạng Nơ-ron ñể xây dựng hệ quyết ñịnh trong nhận dạng biển số phương tiện mà cụ thể ở ñây là biển số Ô tô là giải pháp tối ưu nhất hiện nay. Với sự phát triển nhanh về tốc ñộ chụp, ñộ 4 phân giải của các thiết bị thu nhận ảnh, tốc ñộ tính toán các bộ vi xử lý cũng như giá thành làm cho việc triển khai các ứng dụng xử lý ảnh trở nên dễ dàng, tin cậy chi phí thấp và tốc ñộ nhanh. 1. Mục ñích nghiên cứu : • Nghiên cứu giải pháp nhận dạng biển số ô tô bằng mạng nơ-ron 2. Nội dung nghiên cứu • Nghiên cứu các kỹ thuật nhận dạng biển số ô tô dùng kỹ thuật xử lý ảnh và mạng nơ-ron. Đặt tiền ñề nghiên cứu sâu hơn ñể ñưa ra các ứng dụng cụ thể. • Xây dựng phương pháp và thuật toán ñể thực hiện nhận dạng, qua ñó nghiên cứu các hạn chế và nhược ñiểm của hệ thống ñể tiến hành tối ưu. • Viết phần mềm mô phỏng quá trình nhận dạng biển số trên các ảnh ñược thu thập trên thực tế ñể tạo tiền ñề cho việc xây dựng phần mềm nhận dạng trực tiếp qua Camera. 3. Đối tượng nghiên cứu Tập trung chính vào ñối tượng nghiên cứu là kỹ thuật xử lý ảnh và mạng nơ-ron trên cơ sở nghiên cứu: • Thuật Toán nhận dạng biển số 4. Phạm vi nghiên cứu Do các hạn chế về thời gian cũng như thiết bị, ñề tài sẽ tập trung nghiên cứu trên một tập các ảnh số ñược thu thập theo nguyên tắc sau : Các ảnh ñược thu thập theo 3 thể loại : 5 - Tập 1 gồm các ảnh xe Ô tô có biển số rõ nét, ảnh chất lượng cao và vùng biển số không bị nhiễu hay che khuất. - Tập 2 gồm các xe ñược chụp với góc lệnh ±200 so với máy ảnh. - Tập 3 gồm các ảnh xe có biển số bị nhòe do ñược chụp ở khoảng cách xa hay bị mờ do quá trình di chuyển. - Đề tài sẽ tiến hành nghiên cứu xây dựng thuật toán dựa trên các tiêu chí ảnh ñầu vào ñược thu thập qua ba tập ảnh như trên. 5. Phương pháp nghiên cứu • Thu thập một số lượng hữu hạn các ảnh xe ô tô từ máy ảnh. • Tiến hành phân tích, xây dựng giải pháp nhận dạng gồm có : - Tiền xử lý - Trích ñặc trưng - Huấn luyện mô hình - Kiểm thử trên cơ sở dữ liệu thu thập ñược gồm cơ sở dữ liệu chuẩn và ảnh tự chụp trong thực tế. 6. Ý nghĩa khoa học của ñề tài Kiểm chứng tính khả thi và khả năng ứng dụng kỹ thuật xử lý ảnh và mạng nơ-ron vào bài toán nhận dạng biển số. Đặt nền tảng nghiên cứu sâu hơn nhằm phát triển các ứng dụng thực tiễn. 7. Ý nghĩa thực tiễn của ñề tài 6 Kỹ thuật xử lý ảnh ñã và ñang ñược ứng dụng rộng rãi trong các thiết bị từ dân dụng ñến chuyên dụng. Việc sử dụng xử lý ảnh ñể nhận dạng biển số Ô tô sẽ góp phần giải quyết ñược một phần của bài toán tắt nghẽn giao thông như hiện nay và tự ñộng hóa một số công việc liên quan ñến quản lý Ô tô. Tạo tiền ñề cho việc phát triển và triển khai các giải pháp nhận dạng khác như biển số xe máy, nhận dạng tài liệu.. CHƯƠNG 1. TỔNG QUAN VỀ CÁC HƯỚNG NHẬN DẠNG DỰA TRÊN KỸ THUẬT XỬ LÝ ẢNH. Như chúng ta ñã biết về các hệ thống nhận dạng biển số xe ô tô trong thực tế. Chương này sẽ tiến hành phân tích sâu hơn về các hệ thống này, quá trình phát triển nghiên cứu, các ưu nhược ñiểm của hệ thống nhận dạng biển số xe ô tô. 1.1 Sơ lượt về hệ thống nhận dạng biển số 1.2 Kiến trúc tổng quan của một hệ thống nhận dạng biển số ô tô Hệ thống nhận dạng biển số thường có các bước sau : - Thu nhận ảnh ( Có thể chụp từ Camera thường hay camera hồng ngoại). - Tách biển số có trong ảnh, chỉnh sửa góc lệnh. - Phân ñoạn các ký tự [10]. - Nhận dạng - Kiểm tra cú pháp. 7 1.3 Các ứng dụng liên quan ñến hệ thống nhận dạng biển số Ô tô. Bài toán nhận dạng biển số ô tô có thể ñược áp dụng rộng rãi trong nhiều ứng dụng thực tế khác nhau như : - Hệ thống tự ñộng thu thuế xe - Hệ thống bãi giữ xe thông minh - Kiểm soát và quản lý xe trên các ñiểm giao thông - Nhiều ứng dụng khác... 1.4 Những khó khăn trong nhận dạng biển số ô tô - Độ phân giải ảnh quá thấp - Ảnh quá tối hay bị che khuất bởi các vật khác, do sự chói sáng hay phản chiếu ñối với ánh sáng của biển số. Biển số bị dính bẩn hay biến dạng - Các kiểu Font khác nhau của các ký tự khác nhau. 8 Các giải pháp công nghệ 1.5 CHƯƠNG 2. NGHIÊN CỨU PHƯƠNG PHÁP TIỀN XỬ LÝ, TÁCH VÙNG VÀ KÝ TỰ CỦA BIỂN SỐ. 2.1 Sơ ñồ khối hệ thống 2.2 Tách vùng biển số Ở bước này ta ñịnh nghĩa một khu vực biển số dựa trên ñặc tính của sự xuất hiện nhiều các cạnh ngang và cạnh dọc do biên của các ký tự trên biển số gây ra trên một diện tích nhỏ quanh biển số. 2.2.1 Các phép biến ñổi cơ bản dùng ñể tách vùng biển số a. Ma trận tích chập phát hiện biên theo chiều ngang và chiều dọc b. Ma trận tích − 1 0 1  0 1 0 1    − 1 − 1 − 1    mhe =  0 0 0  mve =  − 1 −1  1  1 1Sobel   ; chập tìm biên  − 1 − 2 − 1   0 0 Gx =  0 1 2 1   ;  − 1 0 1   G ve =  − 2 0 2   − 1 0 1   c. Bộ Phép lọc làm trơn theo chiều ngang và chiều dọc Bộ lọc này dùng ñể làm trơn các cụm ñiểm ảnh có ñộ sáng cao giống biển số ñể chúng ta có thể nhóm chúng lại ñược với nhau ñể thực hiện bước tiếp theo trong phát hiện vùng biển số. 9 (a) Ảnh Gốc (d) Ảnh phát hiện biên Sobel 2.2.2 (b) Ảnh làm trơn phương x (c) Ảnh làm trơn phương y (e) Ảnh phát hiện biên theo phương y (f) Ảnh phát hiện biên theo phương x Tìm biển số dựa vào ñồ thị hình chiếu theo chiều ngang và chiều dọc Khi chiếu theo chiều ngang, chúng ta sẽ có một ñồ thị biểu diễn cường ñộ tổng thể của bức ảnh như ta thấy ở hình bên dưới. Hình 2.1 Hình chiếu theo phương y của ảnh 10 Phương pháp tìm khu vực biển số dựa trên phương pháp thông kê này gồm có 2 giai ñoạn: - Giai ñoạn ñầu ta phải tìm ñược “dải ngang chứa biển số” có kích thước lớn hơn kích thước của biển số thật. Sau ñó vùng này sẽ ñược tìm góc lệch do vị trí của Camera gây ra. Chỉnh sửa góc lệch. Kết quả của bước này cho ta ñược một vùng chứa biển số nhưng có kích thước lớn hơn kích thước biển số thật ở trên vùng ñó. - Giai ñoạn hai của quá trình này là ta phải tinh chỉnh vị trí của biển số, ñể vùng ảnh ta nhận ñược là chỉ có vùng giới hạn trong ñường biên của biển số với các ký tự mà thôi. a. Tìm dải ngang chứa biển số. Hình 2.3 Phân tích hình chiếu tìm dải ngang chứa biển số Giá trị lớn nhất của py(y) có thể cho ta vị trí của “dải chứa biển số” và nó ñược tính như sau: ybm = arg max {p y ( y )} y0 ≤ y≤ y1 Ta gọi yb0 và yb1 là tọa ñộ trên và tọa ñộ dưới của “dải ngang chứa biển số”. thì yb0 và yb1 sẽ ñược tính như sau: 11 yb 0 = max {y | p y ( y ) ≤ c y . p y ( ybm )} y 0 ≤ y ≤ y bm yb1 = max {y | p y ( y ) ≤ c y . p y ( ybm )} y bm ≤ y ≤ y1 Với cy là hệ số ñể tìm chân của ñỉnh py(y). cy là hệ số quan trọng trong việc tìm chiều cao của biển số. Ở ñây với tọa trên của dải ta chọn c1=0.55, c2=0.44 (việc chọn này ñược dựa vào thực tế và ñược ñiều chỉnh ñể thích nghi với nhiều kích thước biển số khác nhau). b. Tìm biển số dựa vào dải ngang chứa biển số Ta dựa vào sự thay ñổi từ ñen thành trắng và từ trắng thành ñen trên các biên của biển số. Hình vẽ biểu thị ñồ thị hình chiếu dọc của ảnh ñược mô tả như hình bên dưới. Và ñể phát hiện tọa ñộ biên, ở ñây ta phải tìm cách sao cho các ñặc tính này ñược hiển thị rõ. Giải pháp ñưa ra ở ñây là ta tìm vi phân của p(x, y) ta ñược p’(x,y). Vì ñồ thị hình chiếu là không liên tục và số lượng mẫu không tiến ñến vô cùng, vì vậy ta ñưa ra một hàm rời rạc với h là bước lấy vi phân (ví dụ ta chọn h = 4). Thì hàm rời rạc ñể tìm p’ ñược tính: p x' ( x ) = p x ( x ) − p x ( x − h) h Với h = 4 thì ta có ví dụ hình cụ thể như bên dưới. Biên trái và biên phải của biển số có thể ñược phát hiện bằng cách phân tích vi phân của p’ như sau: 12 Hình 2.4 Phân tích hình chiếu tìm biển số c. Phân tích ñặc tính ñể trích chọn biển số. Để lựa chọn ñược ñối tượng ảnh biển số ta phải xác ñịnh các trọng số mô tả ñặc tính của nó. Và ñể làm ñiều này ta phải xác ñịnh ñược biểu thức ñể tính toán trọng số mô tả ñặc tính của từng ñối tượng. Có rất nhiều ñặc tính ràng buộc ñể ñánh giá. Nhưng ta chỉ dựa và một số ñặc tính ñược tính như sau: α = 0.15.α1 + 0.25.α2 + 0.4.α + 0.4.α4 3 13 Bảng 2.3. Bảng thông tin trích chọn ñặc tính Đặc tính Ảnh minh họa Mô tả α1 = yb0 − yb1 Chiều cao của dải. Các dải có chiều cao nhỏ hơn sẽ ñược xem xét tiếp α2 = 1 p y ( ybm ) py(ybm): Giá trị ñỉnh của ñồ thị hình chiếu theo trục y. Các dải có giá trị lớn nhất lớn hơn giá trị này sẽ ñược xem xét. α3 = 1 Đặc tính này tương tự ñặc tính trên. Tuy nhiên ở ñây không chỉ xét giá trị ñỉnh mà còn xét cả vùng ñược giới hạn bỏi yb0 và yb1. yb1 ∑p y = yb 0 y ( y) ` α4 = x p 0 − x p1 yb 0 − yb1 − Trên hầu hết các quốc gia thì biển số một hàng này có tỉ số chiều rộng và chiều cao là 5. Nên ta sẽ lấy tỉ số này làm ñặc tính ñể ñánh giá. 14 2.3 Giải thuật tìm góc lệnh 2.3.1 Phát hiện góc lệch Thực hiện tách biên ảnh, sau ñó dùng biến ñổi Hough ñể tìm ñường thẳng có mật ñộ cao nhất : Hình 2.11. Tìm góc lệnh cho biển số 2.3.2 Chỉnh góc lệch Dùng ma trận tích chập Shear ñể chỉnh góc lệch 1 A = S x  0 Sy 1 0 0 1 − tan(θ ) 0 0 = 0 1 0 1  0 0 1  Hình 2.13. Ảnh biển số ñược xoay 15 2.4 Phân ñoạn các ñối tượng trên biển số 2.4.1 Phân ñoạn dùng hình chiếu dọc 2.4.2 Tách các ñối tượng ký tự bằng phân ñoạn theo chiều dọc Dựa vào ñồ thị hình chiếu của biển số và khoảng cách trống giữa các ký tự giúp ta có thể phân ñoạn các ký tự một cách dễ dàng. Hình 2.14. Phân ñoạn biển số Sau khi biển số ñược phân ñoạn dựa vào ñồ thị hình chiếu thì các phân ñoạn ta thu ñược luôn chứa thêm các phần tử không mong muốn như nhiễu hay biên biển số, các phân ñoạn không chứa ký tự…Vì vậy ta phải tiền hành loại bỏ các ñối tượng này. Bước 1. Tách khối dùng thuật toán kết nối nhãn 16 Mẫu 0 Mẫu 1 Mẫu 2 Mẫu 3 Hình 2.15 Phân ñoạn ký tự 2.4.3 Phân tích ñặc tính của các ñối tượng ñược tách ñể tìm ký tự chính. Nếu chúng ta giả thiết rằng các mẫu ký tự không có sự khác biệt về ñộ chói và ñộ tương phản quá nhiều thì ta có thể loại bỏ các ñối tượng có ñộ chói và ñộ tương phản quá giá trị trong dải cho phép. Với f(x,y) là ñối tượng thứ i trong các mẫu ñược phân ñoạn thì chúng ta sẽ ñịnh nghĩa các ñặc tính tĩnh như sau: Độ sáng toàn cục: wi hi pb(i ) = ∑∑ f ( x, y ) x =0 y =0 Độ tương phản toàn cục có thể ñược tính như ñộ lệch chuẩn của ñộ sáng toàn cục: wi hi ∑∑ ( p pc( i ) = x =0 y =o (i) b − f ( x, y )) 2 wi .h i 17 Thường ảnh ñược chụp và lưu trữ ở không gian màu RGB vì vậy ta sẽ chuyển RGB sang không gian HSV[13] và xem Hue như một ñặc tính ñể lựa chọn. Chúng ta tính Hue, Saturation toàn cục bằng công thức: wi hi ph( i ) = ∑∑ h( x, y ) x =0 y =0 wi hi ps(i ) = ∑∑ s( x, y ) x =0 y = 0 Để xác ñịnh các giá trị ngưỡng hợp lệ của các ñối tượng ta phải tiến hành tính trung bình các giá trị tìm ñược trên tập các mẫu _ thực tế. Ví dụ pb = n −1 ∑p (i ) b i =0 , với n là số mẫu. Một ñối tượng không ñược có sai số quá 16% so với giá trị pb trung bình. Theo ñó ta có các giá trị ngưỡng ñể loại bỏ ñối tượng là: _ - Độ sáng: pb(i ) − pb < 0.16 _ pb - Tương phản (CON): _ pc(i ) − pc _ < 0.1 pc _ - HUE: ph(i ) − ph < 0.1 45 _ ph - Saturation(SAT): _ ps( i ) − ps _ < 0.24 ps - Chiều Cao (HEI): _ hi( i ) − h _ h < 0.2 18 - Tỉ số Chiều Rộng vào Cao(WHR): 0.1 < wi < 0.92 hi Nếu ñối tượng ñược tách không thỏa một trong các ñiều kiện trên thì sẽ ñược xem là không hợp lệ. 2.5 Phân ngưỡng thích nghi và chuẩn hóa ký tự\ 2.5.1 Chuẩn hóa ñộ sáng và ñộ tương phản 2.5.2 Chuẩn hóa kích thước và phương pháp thay ñổi kích thước ảnh 2.5.3 Phân Tích ñặc tính ñể tiến hành lựa chọn ký tự CHƯƠNG 3. ỨNG DỤNG MẠNG NƠ-RON ĐỂ NHẬN DẠNG KÝ TỰ 3.1 Trích chọn ñặc tính ảnh ký tự ñể ñưa vào mạng Nơ-ron. 3.1.1 Trích chọn trực tiếp Cách ñơn giản nhất ñể trích chọn các ñặc tính từ ảnh bitmap là dựa vào ñộ sáng của ảnh. Ta sẽ biến ma trận các ñiểm ảnh thành vectơ mô tả ảnh ñể ñưa vào mạng nơ-ron. Hình 3.1. Trích chọn trực tiếp 19 3.1.2 Hình thành vectơ ñầu vào bằng phát hiện kiểu biên của ký tự Cấu trúc của vectơ ñặc tính ñược mô tả bởi biểu thức sau: x = ( h0 @ r0 , h1 @ r0 ,...hη −1 @ r0 , h0 @ r1 , h1 @ r1 ,...hη −1 @ r1 ,....h0 @ rρ −1 , h1 @ rρ −1 ,...hη −1 @ rρ −1 ) 14444244443 1444424444 3 1444442444443 vùng r0 vùng r1 vùng rρ −1 h j @ ri có nghĩa là số lần xảy ra của kiểu biên hj trên vùng ri 3.2 Tìm xương ảnh ký tự và phân loại ảnh ký tự dựa vào cấu trúc xưng. 3.2.1 Khái niệm xương ảnh 3.2.2 Thuật toán tìm xương 3.2.3 Hình thành vectơ ñặc tính dựa vào phân tích cấu trúc xương của các ký tự Bảng 3.1. Bảng thống kê cấu trúc ký tự dựa trên ñặc tính xương SL Điểm cuối 0 BDO08 1 PQ69 ADOPQR09 EFKPQTXY469 2 ACGIJLMNRSUV WZ123457 B8 ABHR8 Vòng kép kín Điểm giao CEFGHIJKLMNSTUVWX CDGIJLMNOSUVWZ YZ123457 012357 20 3 EFTY 4 HKX 3.3 Mạng Nơ-ron 3.4 Thuật toán Lan truyền ngược (Back-propagation) 3.5 Cách tổ chức mạng và thông tin huấn luyện. 3.5.1 Số lớp của mạng Mạng nơ-ron ñược chọn ở ñây gồm có 3 lớp: Lớp 1: Với ảnh 8*13 thì số nơ-ron ñầu vào ( Lớp 1) là 8*13=104 nơ-ron. Lớp 3: Ta thấy bài toán nhận dạng của ta gồm có các ký tự: 0123456789abcdefghijklmnopqrstuvwxyz. Ta thiết kế sao cho 1 nơ-ron ñầu ra sẽ mang giá trị của một ký tự. Vì vậy ta có 36 nơ-ron ở ñầu ra. Khi huấn luyện mạng, ñầu ra mong muốn cho một ký tự sẽ có giá trị là 1. 3.5.2 Chọn các thông số mạng Tại số Nơ-ron ẩn là 20 thì cho lỗi phản hồi thấp nhất so với các vùng lân cận. Vì vậy ta chọn số lớp ẩn là 20 lớp. Ta lựa chọn mức ngưỡng của lớp ñầu ra là 1. Với ñầu vào ta thấy ảnh là ảnh nhị phân nên ñầu vào của nó là 0 hoặc 1. Mạng ñược huấn luyện với các thông số:
- Xem thêm -