Tài liệu Nhận dạng xe trên cơ sở thị giác máy tính

I H C QU C GIA TP H TR NG CHÍ MINH I H C BÁCH KHOA ----- ----- VÕ H NG PHONG NH N D NG XE TRÊN C TH GIÁC MÁY TÍNH Chuyên Ngành : T ng Hóa Mã ngành : 605260 LU N V N TH C S TP H Chí Minh, tháng 12 n m 2008 S LU N V N T T NGHI P CAO H C CÔNG TRÌNH TR Cán b h NG C HOÀN THÀNH T I I H C BÁCH KHOA TP. H ng d n khoa h c: TS. TR CHÍ MINH NG ÌNH CHÂU .................................................................................................................................. .................................................................................................................................. .................................................................................................................................. .................................................................................................................................. .................................................................................................................................. Cán b ch m nh n xét 1: .................................................................................................................................. .................................................................................................................................. .................................................................................................................................. .................................................................................................................................. .................................................................................................................................. Cán b ch m nh n xét 2: .................................................................................................................................. .................................................................................................................................. .................................................................................................................................. .................................................................................................................................. .................................................................................................................................. Lu n v n th c s cb ov t i H I NG CH M B O V LU N V N TH C S Tr ng i H c Bách Khoa, ngày ..… tháng … n m ….. LU N V N T T NGHI P CAO H C i H c Qu c Gia Tp. H Chí Minh TR NG C NG HOÀ XÃ H I CH NGH A VI T NAM I H C BÁCH KHOA c L p – T Do – H nh Phúc --------oOo-------- NHI M V LU N V N TH C S H và tên h c viên : VÕ H NG PHONG Ngày tháng n m sinh : 22/02/1982 Chuyên ngành T" : Phái : Nam N!i sinh : Khánh Hòa NG HOÁ Mã s HV : 01506364 I. TÊN # TÀI: NH N D NG XE TRÊN C S TH GIÁC MÁY TÍNH II. NHI M V$: - Phân tích và t%ng h p các ph !ng pháp nh n d ng xe. - Xây d ng ch !ng trình nh n d ng xe d a trên công c& Th' giác máy tính. III. NGÀY GIAO NHI M V$: ngày 30 tháng 01 n m 2008 IV. NGÀY HOÀN THÀNH NHI M V$: ngày 30 tháng 11 n m 2008 V. CÁN B H (NG D)N: Giáo Viên H ng D n TS. TR NG ÌNH CHÂU Ch* Nhi m Ngành N i dung và + c !ng Lu n v n Th c s ã cH i B Môn ng Chuyên Ngành thông qua. Ngày ….. tháng ….. n m 200… PHÒNG ÀO T O SAU IH C KHOA QU N LÝ NGÀNH LU N V N T T NGHI P CAO H C L IC M Tr N c tiên, xin c m !n th,y TS Tr !ng ình Châu vì ã g i m-, quan tâm, giúp . cho h c viên trong su t th i gian th c hi n + tài t t nghi p này. Bên c nh ó, h c viên c/ng xin g-i l i c m !n 0n t t c nh1ng th,y cô ã tr c ti0p gi ng d y trong su t khóa h c; nh1ng ng i b n ã quan tâm, ng viên và chia s2 ki0n th3c c/ng nh kinh nghi m chuyên ngành trong quá trình h c t p và rèn luy n v4a qua c*a h c viên. C/ng xin chân thành c m !n s quan tâm h5 tr , t o i+u ki n và h0t lòng ng viên v+ tinh th,n l n v t ch t c*a các thành viên trong gia ình trong su t th i gian qua. Sau cùng, h c viên g-i l i chúc s3c kh6e, h nh phúc 0n quý th,y cô, gia ình và b n bè. Tr ng i h c Bách Khoa Tp. H Chí Minh Tháng 11 n m 2008 H c viên Võ H ng Phong M CL C LI T KÊ CÁC HÌNH..........................................................................................................3 LI T KÊ CÁC B NG.........................................................................................................4 CH NG 1 ........................................................................................................................12 1.1 GI I THI U............................................................................................................12 1.2 M C ÍCH NGHIÊN C U...................................................................................13 1.3 CÁC TÀI Ã NGHIÊN C U VÀ H NG NGHIÊN C U NGH .....13 1.4 T NG QUAN V PHÁT HI N VÀ NH N D NG XE......................................14 1.4.1 Phát hi n xe ........................................................................................................14 1.4.2 Nh n d ng xe......................................................................................................15 1.5 LÝ DO TH C HI N 1.6 M C TIÊU TÀI................................................................................15 TÀI ................................................................................................15 1.7 NHI M V LU N V N ........................................................................................16 1.7.1 Ph m vi th c hi n...............................................................................................16 1.7.2 D ki n các l nh v c ng d ng c a CH tài..........................................................16 NG 2 ........................................................................................................................17 2.1 CÁC PH NG PHÁP PHÁT HI N HÌNH NH XE ........................................17 2.1.1 Phát hi n d a trên nh........................................................................................18 2.1.2 Phát hi n d a trên d ng hình h c .......................................................................19 2.2 PH NG PHÁP 2.2.1 Các 2.2.2 Vùng CS D NG TRONG LU N V N ...............................20 c tr ng Haar-like .....................................................................................21 c tr ng và S l ng c tr ng ..............................................................23 2.2.3 Thu t toán t ng t c AdaBoost............................................................................25 2.2.4 Giai o n hu n luy n c a b phân lo i (stage) ..................................................31 2.2.5 T ng phân lo i (cascade)....................................................................................32 2.2.6 CH c tính co giãn vùng c tr ng it ng........................................................34 NG 3 ........................................................................................................................36 3.1 Ý T NG XÂY D NG VÀ HO T 3.2 TI N HÀNH XÂY D NG C S D NG C A H TH NG.........................36 LI U NH XE......................................36 Võ H ng Phong Lu n v n t t nghi p 3.2.1 Xây d ng c s d li u ......................................................................................36 3.2.2 Ghi nh n và th m u c s d li u k t qu ........................................................44 3.3 TI N HÀNH XÂY D NG THU T TOÁN..........................................................58 3.3.1 Thu t toán phát hi n xe ......................................................................................58 3.3.2 Thu t toán nh n d ng ki u xe ............................................................................58 3.3.3 Thu t toán cl ng kho ng cách ....................................................................61 3.3.4 Thu t toán ms l ng it ng ...................................................................65 3.4 TI N HÀNH XÂY D NG PH N M M ..............................................................67 3.4.1 Chu n b h th ng và các công c l p trình thích h p .......................................67 3.4.2 T ch c ch ng trình ph n m m h th ng ........................................................67 3.4.3 S d ng thu t toán Haar-like ph i h p v i các mã l nh trên Visual C++ .........69 3.4.4 Ho t ng c a ph n m m...................................................................................69 3.4.5 Giao di n c a ch ng trình ph n m m h th ng ...............................................72 3.5 H TH NG PH N C NG VÀ CÁC CÔNG C LIÊN QUAN ........................73 3.5.1 Camera ...............................................................................................................73 3.5.2 Máy tính cá nhân và các công c ph n m m .....................................................74 CH NG 4 ........................................................................................................................75 4.1 K T QU .................................................................................................................75 4.2 NH N XÉT ..............................................................................................................93 4.2.1 !u i m..............................................................................................................93 4.2.2 Khuy t i m .......................................................................................................93 4.3 PHÂN TÍCH K T QU CH T C...................................................................98 NG 5 ........................................................................................................................99 5.1 K T QU 5.1.1 K t qu T t C VÀ Ý NGH A .................................................................99 c ................................................................................................99 5.1.2 Ý ngh a .............................................................................................................100 5.2 H NG PHÁT TRI N ........................................................................................100 TÀI LI U THAM KH O & TRÍCH D N Võ H ng Phong Lu n v n t t nghi p LI T KÊ CÁC HÌNH Hình 2.1a, b, c, d: Các c tr ng c nh, "ng, bao quanh tâm, "ng chéo Hình 2.2 : #nh chia nh$ t i t a (x,y) Hình 2.3 : T ng các giá tr pixel n%m trong vùng A Hình 2.4 : Ví d v các t th c a hình ch nh t c tr ng Hình 2.5 : L c & c b n c a AdaBoost Hình 2.6 : Thu t toán h c AdaBoost Hình 2.7 : Mô hình minh h a tác v phát hi n v t th dùng chu'i cascade Hình 2.8 : Dùng chu'i cascade ã c hu n luy n phát hi n c a s con phù h p Hình 2.9 : C u trúc các chu'i cascade song song Hình 2.10 : C u trúc các chu'i cascade n i ti p, v i N giai o n h c hu n luy n Hình 3.1 : Hình 3.2 : Hình 3.3 : Hình 3.4 : Hình 3.5 : Hình 3.6 : Hình 3.7 : Hình 3.8 : Hình 3.9 : Hình 3.10 : Hình 3.11 : Hình 3.12 : Hình 3.13 : Hình 3.14 : Hình 3.15 : Minh h a quá trình l y m u Minh h a quá trình h c hu n luy n Minh h a quá trình ki m th c s d li u “car_back.xml” Minh h a quá trình ki m th c s d li u “bus_vn_full_22112008.xml” Minh h a quá trình ki m th c s d li u “truck_vn_26112008.xml” S & kh i c a quá trình nh n d ng xe Mô hình hóa thu t toán c l ng kho ng cách Mô hình camera quan sát trong không gian 3-D Minh h a k t qu c l ng kho ng cách Minh h a k t qu m s l ng xe có trong hình S & kh i t ch c ph n m m h th ng S & kh i h th ng hoàn ch(nh t ch c ph n m m h th ng Mô t h th ng phát hi n xe dùng thu t toán Haar Giao di n ch ng trình nh n d ng xe M u camera c s d ng trong lu n v n Võ H ng Phong Lu n v n t t nghi p LI T KÊ CÁC B NG B ng 2.1 : Các d ng thu t toán h c hu n luy n AdaBoost B ng 2.2 : Thu t toán phát hi n &ng th"i co giãn vùng c tr ng it ng B ng 3.1 B ng 3.1a : M u xe h i du l ch cá nhân B ng 3.1b : M u xe buýt B ng 3.1c : M u xe t i B ng 3.2 : C u trúc file c s d li u c tr ng c a i t ng xe h i cá nhân B ng 3.3 : K t qu ki m th c s d li u c tr ng xe h i cá nhân B ng 3.4 : K t qu ki m th c s d li u c tr ng xe buýt B ng 3.5 : K t qu ki m th c s d li u c tr ng xe t i B ng 3.6 : T ng k t các k t qu ki m th c s d li u B ng 3.7 : Mã l nh i n hình c a thu t toán phát hi n và nh n d ng xe h i B ng 3.8 : Mã l nh th c hi n thu t toán c l ng kho ng cách B ng 3.9 : Mã l nh th c hi n thu t toán m xe B ng 4.1 : Các k t qu x lý nh n d ng B ng 4.1a : K t qu x lý nh n d ng xe buýt B ng 4.1b : K t qu x lý nh n d ng xe h i cá nhân B ng 4.1c : K t qu x lý nh n d ng t i B ng 4.2 : K t qu x lý nh n d ng xe t ng h p B ng 4.3 : ánh giá chính xác trong nh n d ng c a ph n m m lu n v n Võ H ng Phong Lu n v n t t nghi p PH N A GI I THI U Võ H ng Phong Lu n v n t t nghi p i H c Qu c Gia Tp. H& Chí Minh C)NG HOÀ XÃ H)I CH* NGH+A VI,T NAM TR!-NG .I H/C BÁCH KHOA c L p – T Do – H nh Phúc --------oOo-------- NHI M V LU N V N TH C S H và tên h c viên : VÕ H NG PHONG Ngày tháng n m sinh : 22/02/1982 Chuyên ngành T0 )NG HOÁ : Phái : Nam N i sinh : Khánh Hòa Mã s HV : 01506364 I. TÊN 1 TÀI: NH N D NG XE TRÊN C S TH GIÁC MÁY TÍNH II. NHI,M V2: - Phân tích và t ng h p các ph - Xây d ng ch ng pháp nh n d ng xe. ng trình nh n d ng xe d a trên công c Th giác máy tính. III. NGÀY GIAO NHI,M V2: ngày 30 tháng 01 n m 2008 IV. NGÀY HOÀN THÀNH NHI,M V2: ngày 30 tháng 11 n m 2008 V. CÁN B) H!3NG D4N: Giáo Viên H N i dung và c ng D n TS. TR NG ÌNH CHÂU Ch Nhi m Ngành ng Lu n v n Th c s ã cH i B Môn &ng Chuyên Ngành thông qua. Ngày ….. tháng ….. n m 200… PHÒNG ÀO T.O SAU .I H/C KHOA QU#N LÝ NGÀNH Võ H ng Phong Lu n v n t t nghi p L IC M Tr c tiên, xin c m n th y TS Tr N ng ình Châu vì ã g i m , quan tâm, giúp 5 cho h c viên trong su t th"i gian th c hi n Bên c nh ó, h c viên c6ng xin g i l"i c m n tài t t nghi p này. n t t c nh ng th y cô ã tr c ti p gi ng d y trong su t khóa h c; nh ng ng "i b n ã quan tâm, ng viên và chia s7 ki n th c c6ng nh kinh nghi m chuyên ngành trong quá trình h c t p và rèn luy n v8a qua c a h c viên. C6ng xin chân thành c m n s quan tâm h' tr , t o i u ki n và h t lòng ng viên v tinh th n l n v t ch t c a các thành viên trong gia ình trong su t th"i gian qua. Sau cùng, h c viên g i l"i chúc s c kh$e, h nh phúc n quý th y cô, gia ình và b n bè. Tr "ng i h c Bách Khoa Tp. H& Chí Minh Tháng 11 n m 2008 H c viên Võ H ng Phong Võ H ng Phong Lu n v n t t nghi p LÝ L CH TRÍCH NGANG H và tên : VÕ H NG PHONG Phái : Nam Ngày sinh : 22-02-1982 N i sinh : Tp Nha Trang – t(nh Khánh Hòa H kh u TT : 8/C3 Âu C – ph "ng 10 – qu n Tân Bình – Tp HCM a ch( email : [email protected] ho c [email protected] QUÁ TRÌNH ÀO T O: 9/2000 – 4/2005 : Sinh viên khoa i n - i n t , b môn K9 thu t i nt -h chính quy - tr "ng H SPKT Tp HCM. 9/2006 n nay : h c viên cao h c Khoa i n – i n t , chuyên ngành T ng hóa - h chính quy – tr "ng H Bách Khoa Tp HCM. QUÁ TRÌNH CÔNG TÁC: 2005 – 11/2006 : Qu n tr m ng t i Công ty Ph n m m Sài gòn (SSP – Saigon Software Park). Võ H ng Phong Lu n v n t t nghi p ABSTRACT Now, in the age of the 21st century, thanks for the high speed development of Science and Technology, human is inventing and processing many scientific projects with theirs mega-structures. From the alternatives of machines and engines instead of human in works which required a high-level of decision and concentrating, the results, facts and effects is being trusted. These things are really huge meaning, thus increases values of lives ‘s quality days by days. In this thesis, issues named “Vehicles Detection and Recognition Based on Computer Vision”, also have same ways of thinking above. This is one of the most amazing applications and projects which is resrearched and approached by many scientists who working in fields of “Computer Vision” and “Digital Image Processing” cause of demands in real lives and diversified approaching methods. This project shows some problems which related to the basic knowledge that being built on contents within. The author used tools called “OpenCV” to apply Haar-like features that ran on Visual C++.NET environment and AdaBoost (Adaptive Boost) algorithms to speed up the detection and recognition processing on all perspectives and types of vehicles. Results have got a feature called “realtime effects” in detection and recognition. This is importance for modifying traffics, controlling lanes, extracting information of vehicles, … Võ H ng Phong Lu n v n t t nghi p TÓM T T LU N V N TH C S Trong th"i i c a th k: 21, v i s phát tri n nh y v t c a trình Khoa h c k9 thu t, con ng "i ã t o nên và phát tri n nhi u công trình khoa h c mang tính t m c5. V i s thay th d n c a máy móc cho con ng "i trong các nhi m v mang tính chính xác và t p trung cao thì k t qu ánh giá cao. ch t l t c ã hoàn toàn c tin c y và i u này th c s có ý ngh a to l n và góp ph n t ng thêm giá tr và ng cu c s ng. tài lu n v n này, nh n d ng xe trên c s th giác máy tính, c6ng không n%m ngoài ý ngh a ó. ây là m t d ng ng d ng thú v mà nhi u nhà khoa h c ã, ang và s; không ng8ng nghiên c u vì nhu c u th c ti v ng hay không. N u có xe thì ngay l p t c ch( ra v trí và ph m vi chi m ch' c a it ng xe ó có trong nh. ây là b c quan tr ng u tiên trong h u h t các ng d ng phân tích v t th nói chung và xe tham gia giao thông nói riêng (ví d : nh n d ng ki u dáng xe, v trí và t th c a xe có trong nh,…). nh v xe trong nh, bám theo xe, nh n bi t Võ H ng Phong Lu n v n t t nghi p 1.4.2 Nh#n d$ng xe V i k t qu phát hi n xe xây d ng s?n b c trên, t8 ó so sánh v i c s d li u ã ti n hành nh n d ng c c ki u dáng xe ó là lo i xe nào. T th quan sát xe t8 camera, v trí c a xe so v i camera và các thông tin liên quan luôn c c p nh t t c th"i b i máy tính. 1.5 LÝ DO TH C HI N N=m TÀI c ý ngh a quan tr ng c a kênh thông tin thu tình hu ng d c trong h u h t các i d ng hình nh. S phát tri n m nh m; và a d ng c a xã h i v i nhi u nghiên c u và ng d ng thu c l nh v c này luôn c ti n hành và áp d ng r ng rãi trong nhi u ngành ngh và l nh v c khoa h c k9 thu t khác nhau trên th gi i, c bi t là phát hi n và nh n d ng xe h i. Bài toán phát hi n và nh n d ng xe tâm và th c hi n nh ng v n t ng áp ng c nhi u nhóm các nhà khoa h c quan cv n x lý trong th"i gian th c là m t i khó. Th c t cho th y các k t qu còn h n ch , t c quá trình x lý nhi u nhóm l nh trên máy tính ch khi n cho t c x lý ch m, b trì hoãn m c dù không nhi u. Vì v y, nghiên c u ng d ng tài phát hi n và nh n d ng xe x lý trên c s th giác máy tính trong th"i gian th c mang tính c p thi t. 1.6 M C TIÊU TÀI Nghiên c u ng d ng phát hi n nh n d ng xe trên c s th giác máy tính, áp ng trong th"i gian th c. Võ H ng Phong Lu n v n t t nghi p 1.7 NHI M V LU N V N Phân tích và t ng h p các ph Xây d ng ch ng pháp nh n d ng xe. ng trình nh n d ng xe d a trên công c Th giác máy tính. 1.7.1 Ph$m vi th%c hi"n V lý thuy t: ph ng pháp phù h p phát hi n và nh n d ng xe. V ng trình ph n m m phát hi n và nh n d ng xe. ng d ng: ch Các i u ki n th c hi n: camera ghi hình tr c di n t8 phía sau uôi c a xe, c "ng ánh sáng là 300 ÷ 500 lux ( sáng tiêu chu n bình th "ng) ho c ánh sáng ngoài tr"i ban ngày bình th "ng. it ng là các lo i xe v i các hình dáng khác nhau (xe h i cá nhân, xe buýt, xe t i container). Vi c nh n d ng xe. 1.7.2 D% ki&n các l'nh v%c (ng d)ng c*a +, tài Giám sát an ninh Quan sát và i u ti t giao thông c th c hi n t8 phía sau uôi c a