Tài liệu đề tài nhận dạng, phân loại, xử lý ảnh biển số xe bằng phần mềm

MỤC LỤC MỤC LỤC............................................................................................................1 DANH MỤC HÌNH VẼẼ.................................................................................................5 DANH MỤC BẢNG BIỂU...........................................................................................7 DANH MỤC CÁC TỪ VIẾẾT TẮẾT...............................................................................8 LỜI CẢM ƠN................................................................................................................9 LỜI MỞ ĐẦẦU..............................................................................................................10 CHƯƠNG I: GIỚI THIỆU VẾẦ ĐẾẦ TÀI...................................................................11 1.1 Lý do chon đềề tài:............................................................................................................... 11 1.2 Lịch sử nghiền cứu:.......................................................................................................... 11 1.3 Mục đích nghiền cứu, đốối tượng và phạm vi nghiền cứu của đốề án:...............12 1.3.1 Mục đích nghiền cứu:............................................................................................... 12 1.3.2 Đốối tượng nghiền cứu:............................................................................................. 12 1.3.3 Phạm vi nghiền cứu:................................................................................................. 12 CHƯƠNG II: TỔNG QUAN VẾẦ HỆ THỐẾNG XỬ LÝ ẢNH................................14 2.1 Tổng quan vềề xử lý ảnh:.................................................................................................. 14 2.1.1 Một sốố khái niệm và các vấốn đềề cơ bản trong xử lý ảnh...............................15 2.1.1.1 Một sốố khái niệm cơ bản:.................................................................................... 15 2.1.1.2 Biểu diềễn ảnh:..................................................................................................... 17 2.1.1.5 Phấn tích ảnh:...................................................................................................... 18 2.2 Thu nhận ảnh:.................................................................................................................... 19 2.2.1 Các thiềốt bị thu nhận ảnh:....................................................................................... 19 2.2.1.1 Lý thuyềốt vềề camera:.......................................................................................... 19 2.2.1.2 Bộ cảm biềốn ảnh:............................................................................................... 20 2.2.2 Hệ tọa độ màu:........................................................................................................... 22 2.2.2.1 Khái niệm:............................................................................................................. 22 2.2.2.2 Biềốn đổi hệ tọa độ màu:................................................................................... 23 2.2.3 Lấốy mấễu và lượng tử hóa:........................................................................................ 23 2.2.3.1 Giới thiệu:............................................................................................................. 23 2.2.3.2 Lấốy Mấễu:................................................................................................................. 23 2.2.3.3 Lượng tử hóa:...................................................................................................... 25 2.2.4 Một sốố phương pháp biểu diềễn ảnh:...................................................................26 SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 1 2.2.4.1 Biểu diềễn mã loạt dài:....................................................................................... 26 2.2.4.2 Biểu diềễn mã xích:.............................................................................................. 27 2.2.4.3 Biểu diềễn mã tứ phấn:...................................................................................... 27 2.2.5 Các định dạng ảnh cơ bản:..................................................................................... 28 2.2.5.1 Khái niệm chung:................................................................................................ 28 2.2.5.2 Quy trình đọc một tệp ảnh:............................................................................28 2.2.6 Khái niệm ảnh đen trắống và ảnh màu:...............................................................29 2.2.6.1 Ảnh đen trắống:..................................................................................................... 30 2.2.6.2 Ảnh màu:............................................................................................................... 30 2.3 Các phương pháp phát hiện ảnh:................................................................................. 31 2.3.1 Giới thiệu biền và kyễ thuật phát hiện biền.......................................................31 2.3.1.1 Một sốố khái niệm:................................................................................................... 31 2.3.1.2 Phấn loại các kyễ thuật phát hiện biền:......................................................32 2.3.2 Phương pháp phát hiện biền cục bộ:..................................................................33 2.3.2.1 Phương pháp Gradient:.................................................................................... 33 2.3.2.2 Kyễ thuật Laplace:................................................................................................ 34 2.3.2.3 Một sốố phương pháp khác:.............................................................................. 34 2.4 Phấn vùng ảnh:................................................................................................................... 34 2.4.1 Giới thiệu:..................................................................................................................... 34 2.4.2 Phấn vùng ảnh theo ngưỡng biền độ:.................................................................35 2.4.3 Phấn vùng ảnh theo miềền đốềng nhấốt:..................................................................36 2.4.3.1 Phương pháp tách cấy tứ phấn:.....................................................................36 2.4.3.2 Phương pháp cục bộ:........................................................................................ 38 2.4.3.3 Phương pháp tổng hợp:...................................................................................39 2.4.3.1 Phương pháp cấốu trúc:.....................................................................................39 2.4.4.2 Tiềốp cận theo tính kềốt cấốu:..............................................................................40 2.5 Nhận dạng ảnh:................................................................................................................. 40 2.5.1 Giới thiệu:..................................................................................................................... 40 2.5.2 Khái niệm nhận dạng:.............................................................................................. 41 2.5.3 Mố hình và bản chấốt của quá trình nhận dạng:...............................................41 2.5.3.1 Mố hình:................................................................................................................. 41 2.5.3.2 Bản chấốt của quá trình nhận dạng:.............................................................42 2.5.4 Nhận dạng theo cấốu trúc:........................................................................................ 44 2.5.4.1 Biểu diềễn định tính:........................................................................................... 44 SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 2 2.5.4.2 Phương pháp nhận dạng theo cấốu trúc:.....................................................46 2.5.5 Nhận dạng dựa theo mạng Nơron:......................................................................46 2.5.5.1 Giới thiệu mạng nơron:....................................................................................... 46 2.5.5.2 Nơron sinh học và Nơron Nhấn tạo:............................................................48 2.5.5.2.2 Cấốu trúc nơron nhấn tạo:.........................................................................50 CHƯƠNG III: TỔNG QUAN VẾẦ HỆ THỐẾNG NHẬN DẠNG BIỂN SỐẾ XẼ MÁY...............................................................................................................................52 3.1 Khái quát chung vềề hệ thốống nhận dạng biển sốố xe máy:...................................52 3.2 Chụp hình bắềng camera:................................................................................................. 53 3.3. Tách biển sốố:...................................................................................................................... 55 3.3.1 Tổng quan vềề tách biển sốố:..................................................................................... 55 3.3.2 Tìm vùng màu trắống:................................................................................................. 57 3.3.3 Xác định vùng chứa biển sốố:.................................................................................. 58 3.3.4 Cắốt vùng chứa biển sốố:............................................................................................. 59 3.3.5 Tìm góc nghiềng và xoay:......................................................................................... 60 3.3.5.1 Biềốn đổi Radon:................................................................................................... 60 3.3.5.1.1 Tổng quan vềề biềốn đổi Radon:................................................................60 3.3.5.1.2 Các bước thực hiện:...................................................................................61 3.3.5.2 Tìm góc nghiềng và xoay:.................................................................................62 3.3.6 Cắốt biển sốố chính xác:............................................................................................... 64 3.4 Phấn đoạn ký tự:............................................................................................................... 64 3.4.1 Tổng quan vềề phấn đoạn ký tự:............................................................................64 3.4.2 Nhị phấn biển sốố xe:.................................................................................................. 65 3.4.3 Chuẩn hóa biển sốố:.................................................................................................... 65 3.4.4 Phấn đoạn ký tự:........................................................................................................ 66 3.4.4.2 Chương trình phấn vùng từng ký tự:...........................................................68 3.5 Nhận dạng ký tự:............................................................................................................... 69 3.5.1 Tổng quát nhận dạng ký tự:.................................................................................. 69 3.5.2 Lựa chọn phương pháp:.......................................................................................... 69 3.5.2.1 Phương pháp nhận dạng cổ điển:................................................................69 3.5.2.2 Phương pháp ứng dụng mạng Nơron:........................................................70 3.5.3 Giới thiệu vềề mạng Nơron ( neural networks):...............................................70 3.5.3.1 Khái niệm vềề mạng Nơron:.............................................................................70 3.5.3.2 Mố hình của một mạng nơron nhấn tạo:...................................................70 SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 3 3.5.3.3 Thiềốt kềố 1 mạng Nơron:...................................................................................71 3.5.3.3.1 Thu thập dữ liệu:........................................................................................ 71 3.5.3.3.2 Các bước thực hiện:...................................................................................71 3.5.3.4 Cơ sở ký thuyềốt và giải thuật cho huấốn luyện mạng lan truyềền ngược: 71 3.5.3.4.1 Cấốu trúc mạng lan tryềền ngược:............................................................71 3.5.3.4.2 Huấốn luyện mạng lan truyềền ngược:...................................................74 3.5.4 Ứng dụng mạng lan truyềền ngược vào nhận dạng ký tự :..........................75 3.5.4.1 Thiềốt kềố mạng lan truyềền ngược:..................................................................76 3.5.4.2 Quá trình nhận dạng:........................................................................................ 76 3.5.4.3 Phương pháp tắng khả nắng tổng quát của mạng:................................77 3.5.4.4 Huấốn luyện mạng lan truyềền ngược:...........................................................78 CHƯƠNG IV: KẾẾT QUẢ MỐ PHỎNG CHẠY BẮẦNG PHẦẦN MẾẦM..................80 MATLAB VÀ CODẼ CỦA CHƯƠNG TRÌNH.......................................................80 4.1 Kềốt quả mố phỏng chạy bắềng phấền mềềm matlab:..................................................80 4.1.1 Giao diện giới thiệu của chương trình:.................................................................80 4.1.2 Giao diện chính của chương trình:......................................................................80 4.1.3 Hướng dấễn sử dụng chương trình:......................................................................81 4.1.3.1 Test bắềng ảnh trong thư viện:.......................................................................81 4.1.3.1 Test ảnh bắềng camera:...................................................................................... 83 4.2 Code chương trình:........................................................................................................... 84 4.2.1 Code hiển thị giao diện của chương trình:.......................................................84 4.2.2 Code chương trình chính:........................................................................................ 84 4.2.2.1 Chương trình test bắềng camera:....................................................................84 4.2.2.2 Chương trình test bắềng ảnh trong thư viện:.............................................91 KẾẾT LUẬN...................................................................................................................94 TÀI LIỆU THAM KHẢO...........................................................................................95 SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 4 DANH MỤC HÌNH VẼẼ Hình 2.1: Sơ đốề tổng quát một hệ thốống xử lý ảnh...............................................14 Hình 2.1.1.1a: Hình ảnh thể hiện một điểm ảnh..................................................15 Hình 2.1.1.1b: ảnh màu RGB..........................................................................................16 Hình 2.1.1.1c:: Hình ảnh được chuyển sang mức xám........................................16 Hình 2.1.1.1d: Ảnh được nhị phấn..............................................................................17 Hình 2.1.1.1e:: Lượt đốề mức xám của ảnh xám tương ứng...............................17 Hình 2.2.1.1: Hình ảnh CCD camera............................................................................19 Hình 2.2.1.2b: Hình ảnh màn hình video..................................................................21 Hình 2.2.1.2c: Hình ảnh máy tính................................................................................21 Hình 2.22.1: Hệ tọa độ RGB...........................................................................................22 Hình 2.2.3.2c: Các dạng mấễu điểm ảnh.....................................................................25 Hình 2.2.3.3: Khuống lượng tử theo L mức xám....................................................26 Hình 2.2.4.2: Hướng các điểm biền và mã tương ứng A11070110764545432...................................................................................................27 Hình 2.2.6: Biểu diềễn mức xám của ảnh sốố.............................................................29 Hình 2.3.1.1: Đường biền của ảnh..............................................................................31 Hình 2.3.1.2: Các bước xử lý và phấn tích ảnh........................................................32 Hình 3.2.1: Tính đạo hàm theo Gradient...................................................................33 Hình 2.4.2: Lược đốề rắốn lượn và cách chọn ngưỡng............................................36 Hình 2.4.3.2: Khái niệm 4 liền thống và 8 liền thống............................................38 Hình 2.5.3.1b: Mố hình cấốu trúc của đốối tượng nhà..............................................42 Hình 2.5.3.2b: Sơ đốề tổng quát một hệ thốống nhận dạng..................................43 Hình 2.5.5.2.2a: Mố hình nơron nhấn tạo.................................................................50 Hình 3.1: Sơ đốề quá trình nhận dạng biển sốố xe máy..........................................52 Hình 3.2.1: Hình ảnh chụp từ camera.......................................................................53 Hình 3.2.2: Sốố điểm ảnh (pixel)...................................................................................54 Hình 3.3.1a: Sơ đốề tổng quát của khốối tách biển sốố..............................................55 Hình 3.3.1b: Sơ đốề chi tiềốt của khốối tách biển sốố...................................................56 Hình 3.3.2a: Ảnh tốối và ảnh sáng.................................................................................57 Hình 3.3.2b: Ảnh sau khi nhị phấn..............................................................................57 Hình 3.3.3a: Hình dạng biển sốố khi bị nghiềng......................................................58 Hình 3.3.3b: Biển sốố sau khi nhị phấn.......................................................................59 Hình 3.3.4a: Hình thể hiện vùng ảnh cấền tách ra với biền an toàn .................59 Hình 3.3.4b: Ảnh chụp ban đấều....................................................................................59 Hình 3.3.4c: Ảnh sau khi cắốt thố..................................................................................60 Hình 3.3.5.1.1a: Phương pháp biềốn đổi Radon.......................................................60 SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 5 Hình 3.3.5.1.1b: Hình chiềốu đơn giản theo góc θ....................................................61 Hình 3.3.5.1.1c: Phương pháp biềốn đổi Radon dưới dạng hình học..............61 Hình 3.3.5.1.2a: Biềốn đổi ảnh vềề ảnh nhị phấn......................................................61 Hình 3.3.5.1.2b: Thực hiện biềốn đổi Radon trền ảnh biền.................................62 Hình 3.3.5.2a: Ảnh được tách biền biền nhị phấn.................................................62 Hình 3.3.5.2b: Ảnh biển sốố sau khi xoay vềề phương thẳng đứng....................63 Hình 3.3.5.2c: Giải thuật tìm góc nghiềng biển sốố.................................................63 Hình 3.3.6: Biển sốố sau khi cắốt hoàn chỉnh..............................................................64 Hình 3.4.1: Sơ đốề khốối phấn đoạn ký tự....................................................................64 Hình 3.4.2: Ảnh sau khi được nhị phấn....................................................................65 Hình 3.4.3a: Ảnh biển sốố sau khi được chuẩn hóa...............................................65 Hình 3.4.3b: Thuật giải chuẩn hóa biển sốố..............................................................65 Hình 3.4.4a: Tổng sốố các bít theo 1 hàng của biển sốố...........................................66 Hình 3.4.4b: Hình thể hiện thống sốố Min_area.......................................................67 Hình 3.4.4c: Hình thể hiện thống sốố Digit_width...................................................67 Hình 3.4.4d: Các ký tự được cắốt khỏi biển sốố.........................................................67 Hình 3.4.4e: Giải thuật phấn vùng ký tự...................................................................68 Hình 3.5.3.1: Mố tả toán học tổng quát của mạng Nơron..................................70 Hình 3.5.3.2a: Nơron 1 ngõ vào....................................................................................71 Hình 3.5.3.2b: Nơron nhiềều ngõ vào...........................................................................71 Hình 3.5.3.4.1a: Cấốu tạo 1 nơron.................................................................................72 Hình 3.5.3.4.1b: Hàm truyềền logsig.............................................................................72 Hình 3.5.3.4.1c: Hàm truyềền tansig.............................................................................72 Hình 3.5.3.4.1d: Hàm truyềền purelin (tuyềốn tính).................................................73 Hình 3.5.3.4.1e: Cấốu trúc mạng 1 lớp.........................................................................73 Hình 3.5.3.4.1f: Cấốu trúc mạng 2 lớp..........................................................................74 Hình 3.5.4.1: Cấốu trúc mạng dùng để nhận dạng ký tự sốố.................................76 Hình 3.5.4.2: Hình minh họa hoạt động của mạng trong nhận dạng............77 Hình 3.5.4.3a: Trường hợp quá khớp........................................................................77 Hình 3.5.4.3b: Hàm xấốp xỉ khi mạng ngừng học sớm..........................................78 Hình 3.5.4.4: Hàm lốễi khi ngừng học sớm để huấốn luyện mạng......................79 Hình 4.1.1: Giao diện giới thiệu của chương trình chạy bắềng matlab ...........80 Hình 4.1.2: Giao diện chính của chương trình chạy bắềng matlab...................80 Hình 4.1.3: Hướng dấễn bật giao diện chính.............................................................81 Hình 4.1.3.1a: Hướng dấễn chọn ảnh trong thư viện............................................81 Hình 4.1.3.1b: Chọn một ảnh trong thư viện..........................................................82 Hình 4.1.3.1c: Kềốt quả nhận dạng...............................................................................82 Hình 4.1.3.1d: Kềốt quả khi xuấốt ra file Ẽxcel............................................................82 Hình 4.1.3.2a: Chọn camera...........................................................................................83 Hình 4.1.3.2b: Chọn mở camera...................................................................................83 Hình 4.1.3.2c: Chọn chạy để nhận dạng biển sốố...................................................84 SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 6 Hình 1.3.2d: Kềốt quả xuấốt ra Ẽxcel..............................................................................84 DANH MỤC BẢNG BIỂU Bảng 2.5.4.1a: Các từ vựng cơ bản trong ngôn ngữ PLD......................................45 Bảng 2.5.4.1b. Các phép toán bằng ngôn ngữ PLD.................................................46 Bảng 2.5.5.2.1: So sánh khả năng làm việc của bộ não và máy tính......................50 Bảng 2.5.5.2.2b: Các hàm truyền H(s) thường dùng...............................................51 SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 7 DANH MỤC CÁC TỪ VIẾẾT TẮẾT Từ viềốt tắốt Viềốt đấềy đủ Ý nghĩa VGA Video Graphics Array Card màn hình hay còn có thể gọi là card đồồ họa SXGA Super Extended Graphics Array Độ phân giải màn hình RGB Red-Green-Blue Đỏ- xanh lục- xanh lam CCD Charge Coupled Device Linh kiện tích điện kép VCR Videocassette recorder Thiếết bị ghi hình SVGA Super Video Graphics Array Độ phân giải màn hình NTSC NationalTelevisionSystemCommittee Ủy ban quồếc gia vếồ các hệ thồếng truyếồn hình CMY Cyan- Magenta- Yellow Xanh- hồồng- vàng IMG Imagine Định dạng ảnh BMP Bitmap Định dạngtập tinhình ảnh GIF Graphics Interchange Format Định dạng Trao đổi Hình ảnh JPEG Joint Photographic Experts Group Nén hình ảnh SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 8 LỜI CẢM ƠN Trong thờ g̀an là đô an tôt ngh̀ê ̣p, è đa nhâ ̣n đượ nh̀ề sư g̀up đơ, đong gop y k̀ến va ̣h̉ bảo nh̀ê ̣t t̀nh ̣ua th̀y ̣ô va bạn bè. È x̀n gừ lờ ̣ả̀ ơn ̣hân thanh đến th̀y Th.s Nguyễn Tường Thành, g̀ảng v̀ên bô ̣ ̀ôn ky th̀â ̣t đ̀ê ̣n tư tr̀yên thông khoa Ky th̀â ̣t va ̣ông nghê ̣ trương Đạ̀ họ Q̀y Nhơn, ngườ đa tâ ̣n t̀nh hương dân, ̣h̉ bảo è trong s̀ôt q̀a tr̀nh è là đô an. È ̣ung x̀n ̣hân thanh ̣ả̀ ơn ̣ạ th̀y ̣ô trong trương Đạ̀ họ Q̀y Nhơn nò ̣h̀ng va Khoa ky th̀â ̣t va ̣ông nghê ̣ nò r̀êng đa dạy dô ̣ho è k̀ến thự vê ̣ạ ̀ôn đạ̀ ̣ương ̣ung như ̣ạ ̀ôn ̣h̀yên nganh, g̀up è ̣o đượ ̣ơ sơ ly th̀yết vững vang va tạo đ̀ề k̀ê ̣n ̣ho è hoan thanh đô an tôt ngh̀ệp nay. C̀ồ ̣ung, è x̀n ̣hân thanh ̣ả̀ ơn g̀a đ̀nh va bạn bè, đa l̀ôn tạo đ̀ề k̀ê ̣n, q̀an tầ, g̀up đơ, đô ̣ng v̀ên è trong s̀ôt q̀a tr̀nh họ tâ ̣p va hoan thanh đô an tôt ngh̀ê ̣p. È x̀n ̣hân thanh ̣ả̀ ơn!! S̀nh v̀ên thự h̀ện Hồ Xuân Hiền SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 9 LỜI MỞ ĐẦẦU Xử lý và nhận dạng ảnh là một lĩnh vực từ lâu được nhiếồu người quan tâm. Nó đã được ứng dụng vào nhiếồu lĩnh vực như: - Trong y học, cải thiện ảnh X- quang và nhận dạng đường biến mạch máu từ ảnh chụp bằồng tia X , ứng dụng vào các xét nghiệm lâm sang nh ư phát hi ện và nhận dạng u não, nội soi cằết lớp… - Trong thiến vằn học, hệ thồếng chụp hình gằến trến tàu vũ tr ụ hạn chếế vếồ kích thước và trọng lượng, do đó châết lượng hình ảnh nhận được bị giảm châết lượng như bị mờ, méo hình học và nhiếễu nếồn. Các hình ảnh đó đ ược xử lý bằồng máy tính. - Trong các lĩnh vực cồng nghiệp, người máy ngày càng đóng vai trò quan trọng. Chúng thực hiện các cồng việc nguy hi ểm, đòi h ỏi có tồếc đ ộ và đ ộ chính xác cao vượt quá khả nằng con người. Người máy seễ trở nến tinh vi h ơn và th ị giác máy tính đóng vai trò quan trọng hơn. Ng ười ta seễ khồng ch ỉ đòi h ỏi ng ười máy phát hiện và nhận dạng các bộ phận cồng nghiệp mà còn ph ải “hi ểu ” được những gì chúng “ thâếy ” và đưa ra hành động phù hợp. Xử lý ảnh seễ tác đ ộng đếến th ị giác của máy tính. - Ngoài ra, xử lý và nhận dạng còn được ứng dụng trong lĩnh v ực khác ít được nói đếến hơn. Cồng an giao thồng th ường hay ch ụp ảnh trong mồi tr ường khồng thuận lợi, ảnh thường bị nhòe nến câồn được xử lý và nhận dạng đ ể có th ể nhìn thâếy biển sồế xe. Trong đồồ án tồết nghiệp này em xin trình bày một đếồ tài là Nhận dạng, phân loại, xử lý ảnh biển sồế xe bằồng phâồn mếồm. Em xin chân thành cảm ơn Th.s Nguyếễn Tường Thành đã tận tình hướng dâễn em trong suồết thời gian làm đồồ án và quý thâồy cồ khoa Kyễ thuật và cồng nghệ trường Đại học Quy Nhơn đã truyếồn dạy những kiếến thức quý báu trong chương trình đào tạo đại học chính quy và giúp đỡ kinh nghiệm cho đồồ án hoàn thành được thuận lợi. SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 10 CHƯƠNG I: GIỚI THIỆU VẾẦ ĐẾẦ TÀI 1.1 Lý do chon đềề tài: Lĩnh vực xử lí ảnh sồế, bao gồồm xử lí, phân tích và nhận biếết t ự đ ộng bằồng máy tính, đã và đang có sự phát triển mạnh meễ trong cả lý thuyếết và các ứng d ụng th ực tếế. Xử lí ảnh được ứng dụng trong nhiếồu lĩnh vực quan tr ọng nh ư: viếễn thồng, truyếồn thồng, chụp ảnh y tếế, sinh học, khoa học vật liệu, rồ-bồết, s ản xuâết, các h ệ thồếng cảm biếến thồng minh, tự động diếồu khi ển, đồồ ho ạ, in âến…S ự phát tri ển m ạnh này có thể được thâếy rõ qua sồế lượng các bài báo, báo cáo khoa h ọc vếồ x ử lí ảnh hàng nằm cũng như qua sồế lượng các đâồu sách viếết vếồ xử lí ảnh sồế. Như chúng ta đã biếết, ngày nay xe máy là ph ương ti ện giao thồng chính và sồế lượng ngày càng tằng. Vì vậy vâến đếồ quản lý giao thồng, b ảo đ ảm an ninh, thu phí giao thồng…đòi hỏi và câồn thiếết có sự hồễ trợ của khoa h ọc kyễ thu ật. M ột trong những sự hồễ trợ đâồy hiệu quả đó là làm sao giúp nh ững ng ười qu ản lý nh ận d ạng biển sồế xe được dếễ dàng, nhanh chóng và thuận lợi nhâết. Nhận dạng biển sồế xe trở thành một ứng dụng hữu ích, được đ ưa vào trong những lĩnh vực như: quản lí giao thồng, kiểm tra an ninh, thu phí giao thồng, tr ạm gác cổng, quản lý các bãi giữ xe một cách tự động…Nó khồng chỉ giúp những người quản lý có khả nằng bao quát được tâết cả khách hàng, đồếi tượng theo dõi của mình mà còn giúp tiếết kiệm thời gian làm việc đáng kể. Ngoài ra v ới ph ương pháp này seễ giúp giảm được nhiếồu người trồng giữ xe để phân cồng h ọ vào vi ệc khác. Từ những lý do trến em quyếết định lựa chọn đếồ tài Nhận dạng, phân loại, xử lý ảnh biển sồế xe bằồng phâồn mếồm. 1.2 Lịch sử nghiền cứu: Cạ phương phap xư ly ảnh bắt đ̀̀ từ ̣ạ ưng dụng ̣hính: nâng ̣ao ̣hất lương ảnh va phân tị́h ảnh. Ứng dụng đ̀̀ t̀ên đượ b̀ết đến la nâng ̣ao ̣hất lương ảnh bao đượ tr̀yên q̀a ̣ap từ L̀ân đôn đến New York từ những nằ 1920. Vấn đê nâng ̣ao ̣hất lương ảnh ̣o l̀ên q̀an tờ phân bô ̀ự sang va độ phân g̀ả̀ ̣ua ảnh. V̀ệ̣ nâng ̣ao ̣hất lương ảnh đượ phat tr̀ển vao khoảng những nằ 1955. Đ̀ề nay ̣o thể g̀ả̀ SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 11 thị́h đượ v̀ sà thế ̣h̀ến thư hà, ̀ay tính phat tr̀ển nhanh tạo đ̀ề k̀ện ̣ho q̀a tr̀nh xư ly ảnh sô th̀ận lờ. Nằ 1964, ̀ay tính đa ̣o khả nằng xử lý và nâng cao châết lượng ảnh từ mặt trằng và vệ tinh Ranger 7 của Myễ bao gồồm: làm nổi đường biến, lưu ảnh. Từ nằm 1964 đếến nay, các phương tiện xử lý, nâng cao châết lượng, nhận dạng ảnh phát triển khồng ngừng. Các phương pháp tri thức nhân tạo như mạng nơron nhân tạo, các thuật toán xử lý hiện đại và cải tiếến, các cồng cụ nén ảnh ngày càng được áp dụng rộng rãi và thu nhiếồu kếết qu ả khả quan. Để dếễ tưởng tượng, xét các bước câồn thiếết trong xử lý ảnh. Đâồu tiến, ảnh t ự nhiến từ thếế giới ngoài được thu nhận qua các thiếết bị thu (như Camera, máy ch ụp ảnh). Trước đây, ảnh thu qua Camera là các ảnh tương tự (lo ại Camera ồếng ki ểu CCIR). Gâồn đây, với sự phát triển của cồng nghệ, ảnh màu hoặc đen trằếng được lâếy ra từ Camera, sau đó nó được chuyển trực tiếếp thành ảnh sồế t ạo thu ận l ợi cho x ử lý tiếếp theo. (Máy ảnh sồế hiện nay là một thí dụ gâồn gũi). Mặt khác, ảnh cũng có thể tiếếp nhận từ vệ tinh; có thể quét từ ảnh chụp bằồng máy quét ảnh. 1.3 Mục đích nghiền cứu, đốối tượng và phạm vi nghiền c ứu của đốề án: 1.3.1 Mục đích nghiền cứu: Hệ thồếng nhận dạng biển sồế xe là m ột ứng d ụng d ựa trến kyễ thu ật x ử lí ảnh sồế. Mục đích của nhận dạng biển sồế xe là thực hiện các b ước xử lí đ ể t ừ m ột ảnh đâồu vào, máy tính có thể nhận ra chính xác biển sồế xe trến ảnh. Nh ận dạng bi ển sồế xe trở thành một ứng dụng hữu ích, được đưa vào trong những lĩnh vực như: quản lí giao thồng, kiểm tra an ninh, thu phí giao thồng, trạm gác c ổng, qu ản lý các bãi giữ xe một cách tự động. 1.3.2 Đối tượng nghiên cứu: Đây là một trong những ứng dụng xử lí ảnh nhận được nhiếồu s ự quan tâm nghiến cứu vếồ cả hai mặt lý thuyếết và thực hiện chương trình. Đếồ tài của em bao gồồm các quá trình xử lí: phân vùng biển sồế, tách các ký t ự, nhận biếết các kí tự, phâồn mếồm quản lý cơ sở dữ liệu biển sồế xe máy. Mục đích của phâồn mếồm qu ản lý cơ sở dữ liệu biển sồế xe máy là thu nhận chuồễi biển sồế sau khi đã đ ược nh ận dạng, lưu vào cơ sở dữ liệu để người dùng dếễ dàng quản lý và theo dõi thồng qua các báo cáo chi tiếết các lượt xe vào - ra. Mục đích của phâồn mếồm quản lý cơ sở dữ liệu là theo dõi sồế lượt vào - ra, tính tiếồn lưu bãi. SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 12 1.3.3 Phạm vi nghiên cứu: Chủ yếếu dựa vào các tài liệu và chạy mồ phỏng nhận dạng biển sồế xe máy trến máy tính bằồng phâồn mếồm matlab, chưa có mồ hình thực tếế. Việc có nhiếồu biển sồế xe với định dạng và độ sáng khác nhau gây khó khằn cho việc nhận dạng. Do quá trình nhận dạng dựa vào phương pháp xử lý ảnh và trích xuâết biển sồế từ ảnh chụp nến độ sáng khác nhau làm tằng đ ộ ph ức tạp trong quá trình nhận dạng. Do thời gian thực hiện đếồ tài khồng cho phép nến người th ực hi ện gi ới h ạn các biển sồế và điếồu kiện như sau:  Biển sồế có chữ đen, nếồn trằếng, có 2 hàng, sồế ký t ự là 9.  Biển sồế phải còn nguyến vẹn, khồng bị tróc s ơn hay rỉ sét, khồng b ị che khuâết.  Góc nghiếng của biển sồế khồng quá 45˚ so v ới ph ương ngang.  Hình chụp biển sồế khồng bị mờ, ký tự biển sồế còn phân bi ệt, nh ận d ạng được bằồng trực quan.  Khồng bị nhiếễu bởi ánh sáng làm ảnh chụp bị chói . SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 13 CHƯƠNG II: TỔNG QUAN VẾẦ HỆ THỐẾNG XỬ LÝ ẢNH 2.1 Tổng quan vềề xử lý ảnh: Ngày nay kyễ thuật xử lí ảnh đã được ứng dụng r ộng rãi ở râết nhiếồu lĩnh v ực, trong sản xuâết cũng như trong đời sồếng. Ví dụ các hệ thồếng xử lí ảnh v ệ tinh đ ể phân tích khồng gian vũ trụ, hệ thồếng thằm dò đ ịa châết, h ệ thồếng phân tích tếế bào sinh học và gâồn gũi nhâết với chúng ta là các phâồn mếồm hi ển th ị và x ử lí ảnh chuyến dụng như Photoshop, ACD See… Một hệ thồếng xử lý ảnh là hệ thồếng thực hiện các chức nằng thu nh ận ảnh đâồu vào, thực hiện phép xử lý để tạo ảnh hoặc kếết quả phân tích, nh ận dạng ở đâồu ra đáp ứng các yếu câồu và các ứng dụng cụ thể. Trong phạm vi đồồ án, Em xin giới hạn trong việc giới thiệu một hệ thồếng x ử lý ảnh ứng dụng nhận dạng và ra quyếết định trến thực tếế. Phân tích ảnh Thu nhận ảnh Camera Nhận dạng ảnh Lưu trữ Hình 2.1: Sơ đồ tổng quát một hệ thống xử lý ảnh Sơ đồồ khồếi tổng quát của hệ thồếng này được thể hiện trong hình 2.1, trong đó gồồm ba khồếi chức nằng cơ bản:  Khồối thu nhận ảnh: thực hiện chức nằng thu nhận ảnh và thực hiện quá trình sồế hóa (lưu giữ theo định dạng yếu câồu).  Khồối phân tích ảnh: trước hếết hệ thồếng tiếến hành bước tiếồn xử lý ảnh với mục đích tằng cường, cải thiện châết lượng ảnh, làm nổi các đặc tr ưng c ơ b ản c ủa ảnh hay làm cho ảnh gâồn giồếng nhâết với trạng thái gồếc. Sau đó, là quá trình phân tích ảnh và trích chọn đặc trưng của ảnh ví dụ như biến, điểm gâếp khúc, điểm kếết thúc, điểm chữ thập… SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 14  Khồối nhận dạng: dựa vào các đặc trưng đã thu nhận từ quá trình phân tích ảnh trước đó thực hiện quá trình nhận dạng, đ ưa ra các quyếết đ ịnh ứng v ới các ứng dụng cụ thể. 2.1.1 Một sốố khái niệm và các vấốn đềề cơ bản trong xử lý ảnh 2.1.1.1 Một sốố khái niệm cơ bản: a) Phâồn tử ảnh (Pixel – Picture Element): Ảnh trong thực tếế là một ảnh liến tục vếồ khồng gian và giá tr ị đ ộ sáng. Đ ể có thể xử lý ảnh bằồng máy tính câồn thiếết phải sồế hóa ảnh. Trong quá trình sồế hóa, người ta biếến đổi tín hiệu liến tục sang tín hiệu rời rạc thồng qua quá trình lâếy mâễu (rời rạc hóa vếồ khồng gian) và lượng hóa thành phâồn giá tr ị. Trong quá trình này người ta sử dụng khái niệm Pixel để biểu diếễn các phâồn tử của b ức ảnh. Ở đây, cũng câồn phân biệt khái niệm pixel hay đếồ cập đếến trong các h ệ thồếng đồồ h ọa máy tính. Để tránh nhâồm lâễn ta tạm thời gọi khái niệm pixel này là pixel thiếết b ị. Khái niệm pixel thiếết bị có thể xem xét như sau: khi ta quan sát màn hình (trong chếế độ đồồ họa), màn hình khồng liến tục mà gồồm nhiếồu đi ểm nh ỏ, g ọi là pixel. Mồễi pixel bao gồồm một cặp tọa độ x, y và màu. Cặp t ọa đ ộ x, y t ạo nến đ ộ phân giải (resolution). Như màn hình máy tính có nhiếồu đ ộ phân gi ải khác nhau, hiện tại phổ biếến là màn hình VGA có độ phân giải 640x480 hay XSGA đ ộ phân gi ải 1024x768. Hình 2.1.1.1a: Hình ảnh thể hiện một điểm ảnh b) Ảnh màu (Color Image): Ảnh màu chứa thồng tin màu cho mồễi phâồn tử ảnh. Thồng th ường giá tr ị màu này dựa trến các khồng gian màu (color space) trong đó khồng gian màu SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 15 thườngđược dùng là RGB tương ứng với ba kếnh màu đ ỏ (Red) – xanh lá cây (Green) – xanh da trời (Blue). Tùy thuộc vào sồế bit, được sử dụng để l ưư tr ữ màu ta có sồế lượng màu khác nhau, ví dụ 8 bit, 16 bit, 24 bit (True Color). Nếếu ta s ử dụng nhỏ hơn 24 bit để lưu trữ màu thì ta phải có 1 bảng Palette màu, nó t ương tự như một bảng Lookup Table cho phép ánh xạ giữa một vị trí trong b ảng v ới một tổ hợp của khồng gian màu RGB. Ví dụ như sử dụng 8 bit tương ứng v ới 256 màu thì ta phải có bảng ánh xạ 256 màu đó tương ứng với 256 tổ hợp Red – Green – Blue. Hình 2.1.1.1b: ảnh màu RGB c) Mức xám của ảnh: Mức xám (Gray level) là kếết quả sự mã hóa t ương ứng m ột c ường đ ộ sáng của mồễi điểm ảnh với một giá trị sồế - kếết quả của quá trình l ượng t ử hóa. Ảnh đa mức xám là ảnh có sự chuyển dâồn mức xám từ trằếng sang đen. Th ực tếế, m ột giá tr ị mức xám chính là sự tổ hợp của ba giá trị RGB (Red- Green – Blue). Thồng th ường mồễi điểm ảnh trong bức ảnh đa xám thường được mã hóa 8 bit, tương ứng v ới 256 mức xám. SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 16 Hình 2.1.1.1c:: Hình ảnh được chuyển sang mức xám d) Ảnh nhị phân: Ảnh nhị phân chỉ có 2 mức đen trằếng phân biệt tức là dùng 1 bit mồ tả 21 mức khác nhau. Nói cách khác: mồễi điểm ảnh của ảnh nhị phân chỉ có th ể là 0 hoặc 1. Hình 2.1.1.1d: Ảnh được nhị phân e) Lược đồồ mức xám: Lược đồồ này (Hình 2.1.1.1e) đơn giản cho ta biếết tâồn suâết xuâết hiện của mồễi điểm ảnh ( pixel ) trong một bức ảnh ứng với mức xám tương ứng. Ví d ụ, m ột ảnh đa mức xám sử dụng 8 bit, có 256 mức xám từ o tới 255. Lược đồồ mức xám seễ có trục hoành chạy từ 0 tới 255 và trục tung chính là tổng sồế đi ểm ảnh có m ức xám tương ứng. Biểu đồồ này tuy đơn giản nhưng có nhiếồu ứng d ụng trong các bài toán giãn độ tương phản và phân ngưỡng ảnh ( biếến từ ảnh mức xám sang ảnh nhị phân). SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 17 Hình 2.1.1.1e:: Lượt đồ mức xám của ảnh xám tương ứng 2.1.1.2 Biểu diễn ảnh: Trong biểu diếễn ảnh, người ta thường dùng các phâồn tử đặc trưng của ảnh là pixel. Nhìn chung có thể xem một hàm hai biếến chứa thồng tin nh ư bi ểu diếễn một ảnh. Các mồ hình biểu diếễn ảnh cho ta một mồ tả logic hay đ ịnh l ượng các tính châết của hàm này. Trong biểu diếễn ảnh câồn chú ý tới đ ặc tính trung th ực c ủa ảnh hoặc các tiếu chuẩn “thồng minh” để đo châết lượng của ảnh hoặc tính hiệu quả của các kyễ thuật xử lý. Một sồế mồ hình thường được dùng để biểu diếễn ảnh như: mồ hình toán h ọc, mồ hình thồếng kế,v.v.... Trong mồ hình toán h ọc, ảnh hai chiếồu bi ểu diếễn nh ờ các hàm hai biếến trực giao gọi là hàm cơ sở. Với mồ hình thồếng kế, m ột ảnh đ ược coi như một phâồn tử của một tập hợp đặc trưng bởi các đại lượng như: kỳ v ọng toán học, hiệp biếến, phương sai và mồmen. 2.1.1.3 Tăng cường ảnh - Khôi phục ảnh: Tằng cường ảnh là bước quan trọng, tạo tiếồn đếồ cho xử lý ảnh. Nó gồồm m ột loạt các kyễ thuật như: lọc độ tương phản, khử nhiếễu, nổi màu… Khồi phục ảnh nhằồm loại bỏ các suy giảm trong ảnh. 2.1.1.4 Biến đổi ảnh: Trong xử lý ảnh do sồế điểm ảnh lớn các tính toán nhiếồu (độ phức t ạp tính toán cao) đòi hỏi dung lượng bộ nhớ lớn, thời gian tính toán lâu. Các ph ương pháp khoa học kinh điển áp dụng cho xử lý ảnh hâồu hếết khó khả thi. Ng ười ta s ử d ụng các phép toán tương đương hoặc biếến đổi sang miếồn xử lý khác đ ể dếễ tính toán. Sau khi xử lý dếễ dàng hơn được thực hiện, dùng biếến đổi ng ược đ ể đ ưa vếồ miếồn xác định ban đâồu, các biếến đổi thường gặp trong xử lý ảnh gồồm:  Biếến đổi Fourier, Cosin, Sin  Biếến đổi (mồ tả) ảnh bằồng tích chập, tích Kronecker  Các biếến đổi khác như KL (Karhumen Loeve), Hadamard 2.1.1.5 Phân tích ảnh: Phân tích ảnh liến quan đếến việc xác định các độ đo định lượng c ủa ảnh đ ể đưa ra một mồ tả đâồy đủ vếồ ảnh. Một sồế kyễ thuật hay dùng là dò biến, dán nhãn vùng liến thồng, phân vùng ảnh… SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 18 2.1.1.6 Nhận dạng ảnh: Nhận dạng là quá trình liến quan đếến các mồ tả đồếi tượng mà ng ười ta muồến đặc tả nó. Quá trình nhận dạng thường đi sau quá trình trích ch ọn các đ ặc tính chủ yếếu của đồếi tượng. Có hai kiểu mồ tả đồếi tượng :  Mồ tả tham sồế (Nhận dạng theo tham sồế)  Mồ tả theo câếu trúc (Nhận dạng theo câếu trúc) Trến thực tếế, người ta đã áp dụng kyễ thuật này để nh ận d ạng khá thành cồng nhiếồu đồếi tượng khác nhau như: nhận dạng vân tay, nhân dạng ch ữ (ch ữ cái, ch ữ sồễ có dâếu…). 2.2 Thu nhận ảnh: 2.2.1 Các thiết bị thu nhận ảnh: Hai thành phâồn cho cồng đoạn này là linh kiện nhạy v ới phổ nằng l ượng đi ện từ trường, loại thứ nhâết tạo tín hiệu điện ở đâồu ra tỷ lệ với mức nằng l ượng mà bộ cảm biếến (đại diện là camera); loại thứ hai là bộ sồế hoá. 2.2.1.1 Lý thuyết về camera: Hình 2.2.1.1: Hình ảnh CCD camera Tổng quát có hai kiểu camera: kiểu camera dùng đèn chân khồng và ki ểu camera chỉ dùng bán dâễn. Đặc biệt là trong lĩnh v ực này, camera bán dâễn th ường hay được dùng hơn camera đèn chân khồng. Camera bán dâễn cũng được g ọi là CCD camera do dùng các thanh ghi dịch đặc biệt gọi là thiếết b ị g ộp (Charge-Coupled Devices- CCDs). Các CCD này chuyển các tín hiệu ảnh sang từ b ộ cảm nhận ánh sáng bổ trợ ở phía trước camera thành các tín hiệu điện mà sau đó đ ược mã hóa thành tín hiệu TV. Loại camera châết lượng cao cho tín hi ệu ít nhiếễu và có đ ộ nh ậy cao với ánh sáng. Khi chọn camera câồn chú ý đếến các thâếu kính t ừ 18 đếến 108 mm. Sau đây là danh sách các nhà sản xuâết: SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 19 - Pulnix America Inc, 770 Lucerne Drive, Sunnyvale, CA 84086. Tel. 408-7731550; fax 408-737-2966. - Sony Corp. of America, Component Products Co., 10833 Valley View St., Cypress, CA 90630. Fax 714-737-4285. - Parasonic, industrial camera division: 201-329-6674. - JVC Professional: 1-800-JVC-5825. 2.2.1.2 Bộ cảm biến ảnh: Máy chụp ảnh, camera có thể ghi lại hình ảnh (phim trong máy ch ụp, vidicon trong camera truyếồn hình). Có nhiếồu loại máy cảm biếến (Sensor) làm vi ệc v ới ánh sáng nhìn thâếy và hồồng ngoại như: Micro Densitometers, Image Dissector, Camera Divicon, linh kiện quang điện bằồng bán dâễn. Các lo ại c ảm biếến bằồng ch ụp ảnh ph ải sồế hoá là phim âm bản hoặc chụp ảnh. Camera divicon và linh ki ện bán dâễn quang điện có thể cho ảnh ghi trến bằng từ có thể sồế hoá. Trong Micro Densitometer phim và ảnh chụp được gằến trến mặt phẳng hoặc cuồến quang trồếng. Vi ệc quét ảnh thồng qua tia sáng (ví dụ tia Laser) trến ảnh đồồng th ời d ịch chuy ển m ặt phim ho ặc quang trồếng tương đồếi theo tia sáng. Trường hợp dùng phim, tia sáng đi qua phim. Bây giờ chúng ta đếồ cập đếến tâết cả các khồếi trong hệ thồếng : a) Thiềốt bị nhận ảnh: Chức nằng của thiếết bị này là sồế hóa m ột bằng tâồn sồế c ơ b ản c ủa t ớn hi ệu truyếồn hình cung câếp từ một camera, hoặc từ một đâồu máy VCR. Ảnh sồế sau đó được lưu trữ trong bộ đệm chính. Bộ đệm này có khả nằng đ ược đ ịa ch ỉ hóa (nh ờ một PC) đếến từng điểm bằồng phâồn mếồm. Thồng thường thiếết b ị này có nhiếồu chương trình con điếồu khiển để có thể lập trình được thồng qua ngồn ng ữ C. Khi mua một thiếết câồn chú ý cácc điểm sau:  Thiếết bị có khả nằng sồế hóa ảnh ít nhâết 8 bit (256 m ức x ỏm) và ảnh thu đ ược phải có kích thước ít nhâết là 512×512 điểm hoặc hơn.  Thiếết bị phải chứa một bộ đệm ảnh để lưu trữ một hoặc nhiếồu ảnh có độ phân giải 512×512 điểm ảnh.  Thiếết bị phải được kèm một bộ đâồy đủ thư viện các chương trình con có kh ả nằng giao diện với các chương trình C viếết bằồng Turbo C ho ặc Microsoft C. SVTH: Hồồ Xuân Hiềồn Lớp: KT ĐT-TT K37A Page 20