Tài liệu Nghiên cứu và phát triển thuật toán dò tìm oto trên đường cao tốc

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ----------------------------------------- NGUYỄN VĂN VIỆT NGHIÊN CỨU VÀ PHÁT TRIỂN THUẬT TOÁN DÒ TÌM OTO TRÊN ĐƯỜNG CAO TỐC LUẬN VĂN THẠC SĨ KỸ THUẬT CHUYÊN NGÀNH: KỸ THUẬT VIỄN THÔNG Hà Nội – 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI --------------------------------------- NGUYỄN VĂN VIỆT NGHIÊN CỨU VÀ PHÁT TRIỂN THUẬN TOÁN DÒ TÌM OTO TRÊN ĐƯỜNG CAO TỐC LUẬN VĂN THẠC SĨ KỸ THUẬT CHUYÊN NGÀNH: KỸ THUẬT VIỄN THÔNG NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS Nguyễn Tiến Dũng Hà Nội – Năm 2017 MỤC LỤC CHƢƠNG I: CƠ SỞ LÝ THUYẾT ............................................... 1 1.1 TỔNG QUAN VỀ ĐỀ TÀI .................................................................. 1 1.2 CÁC ĐỀ TÀI ĐÃ NGHIÊN CỨU ....................................................... 2 1.2.1 Nghiên cứu ngoài nƣớc ...................................................................... 2 1.2.2 Nghiên cứu trong nƣớc ...................................................................... 3 1.3 LÝ DO THỰC HIỆN ĐỀ TÀI ............................................................. 3 1.4 MỤC TIÊU LUẬN VĂN ..................................................................... 4 1.4.1 Nhiệm vụ ........................................................................................ 4 1.4.2 Lĩnh vực ứng dụng ......................................................................... 5 1.5 TỔNG QUAN VỀ PHÁT HIỆN HÌNH ẢNH XE ................................. 5 1.5.1 Phƣơng pháp dựa trên ảnh ................................................................. 6 1.5.2 Phƣơng pháp dựa trên dạng hình học ................................................ 7 1.5.3 Phƣơng pháp sử dụng trong luận văn. ............................................... 8 1.6 HISTOGRAM OF GRADIENT (HOG) ................................................. 8 1.6.1 Giới thiệu ........................................................................................... 8 1.6.2 Rút trích đặc trƣng HOG trong ảnh .................................................. 9 1.6.3 Chuẩn hóa vector đặc trƣng cho từng block ................................... 13 1.6.4 Intergral Image ................................................................................. 14 1.6.5 Công thức đệ quy tính Intergral Image ............................................ 15 1.7 SUPPORT VECTOR MACHINES (SVM).......................................... 16 1.7.1 Giới thiệu ......................................................................................... 16 1.7.2 Các khái niệm cơ bản ....................................................................... 16 1.7.3 Phân lớp dữ liệu ............................................................................... 23 1.7.4 Nhận xét ........................................................................................... 26 CHƢƠNG II : XÂY DỰNG HỆ THỐNG................................... 27 2.1 TỔNG QUAN VỀ HỆ THỐNG ........................................................... 27 2.2 SƠ ĐỒ KHỐI HOẠT ĐỘNG CỦA HỆ THỐNG ................................. 28 2.2.1 Chức năng phát hiện và nhận dạng xe ............................................. 28 2.2.2 Chức năng phát hiện và cảnh báo đi sai làn đƣờng. ........................ 30 2.3 CÔNG CỤ THỰC HIỆN ....................................................................... 31 2.3.1 Camera ............................................................................................. 31 2.3.2 Công cụ phần mềm .......................................................................... 31 2.4 XÂY DỰNG PHẦN MỀM .................................................................... 31 2.4.1 Xây dựng cơ sở dữ liệu và huấn luyện ............................................ 31 2.4.2 Thuật toán phát hiện xe.................................................................... 38 2.4.3 Thuật toán nhận dạng và đánh dấu làn đƣờng ................................. 41 CHƢƠNG III : THỰC HIỆN MÔ PHỎNG VÀ ĐÁNH GIÁ .. 51 3.1 MÔ PHỎNG HỆ THỐNG ..................................................................... 51 3.1.1 Thiết lập kịch bản ............................................................................ 51 3.1.2 Kết quả thực thi hệ thống ............................................................. 52 3.2 ĐÁNH GIÁ ............................................................................................ 60 3.2.1 Kết quả đạt đƣợc .............................................................................. 60 3.2.2 Những hạn chế ................................................................................. 60 3.3 KẾT LUẬN ........................................................................................... 63 TÀI LIỆU THAM KHẢO VÀ TRÍCH DẪN.............................. 65 CÁC WEBSITE THAM KHẢO .................................................. 67 DANH MỤC HÌNH VẼ Hình 1.1: R-HOG và C-HOG [5] Hình 1.2: Mỗi khối (block) gồm nhiều ô (cell) [5] Hình 1.3: Các khối đƣợc xếp chồng lên nhau [5] Hình 1.4: Tính góc và biên độ theo X-gradient và Y-gradient Hình 1.5: Các bƣớc rút trích đặc trƣng HOG [6] Hình 1.6: Integral Image [7] Hình 1.7: Đƣờng phân chia đối với tập dữ liệu gồm hai thuộc tính [11] Hình 1.8: Một bộ dữ liệu hai chiều đƣợc phân chia tuyến tính. [10] Hình 1.9: Các siêu phẳng phân chia tuyến tính cùng với biên độ [10] Hình 1.10: Các đƣờng biểu diễn H1 và H2, khoảng cách Euclidean giữa chúng Hình 1.11: Các support vector là những hình có viền dày hơn. [10] Hình 1.12: Một trƣờng hợp trên không gian 2 chiều với ranh giới không thể là tuyến tính. [10] Hình 2.1: Sơ đồ tổng quan hệ thống phát hiện và theo vết xe ô tô Hình 2.2: Sơ đồ khối của chƣơng trình nhận dạng xe ô tô Hình 2.3: Sơ đồ khối nhận dạng làn đƣờng Hình 2.4: Các chiều gradient đơn lẻ trong trích xuất đặc trƣng HOG [12] Hình 2.5: Giá trị của các chiều gradient trong từng cell [13] Hình 2.6: Trích xuất đặc trƣng HOG với không gian màu YUV Hình 2.7: Trích xuất đặc trƣng HOG với không gian màu HSL Hình 2.8: Cửa sổ trƣợt và phạm vi tìm kiếm trên ảnh Hình 2.9: Kết quả khi thực hiện tìm kiếm bằng cửa sổ trƣợt Hình 2.10: Kết quả khoanh vùng đối tƣợng dựa trên heatmaps Hình 2.11: Frame ảnh đầu vào có chứa vạch kẻ đƣờng Hình 2.12: Ảnh kết quả sau khi thực hiện dò biên Canny Hình 2.13: Khoanh vùng ảnh chứa làn đƣờng cần nhận dạng Hình 2.14: Nhận dạng đƣờng thẳng bằng biến đổi HOUGH [14] Hình 2.15: Kết quả nhận dạng vạch kẻ đƣờng Hình 2.16: Những loại biến dạng camera tác động lên ảnh chụp [15] Hình 2.17: Ảnh kết quả sau khi hiệu chỉnh các biến dạng camera [15] Hình 2.18: Hiệu chỉnh camera trên ảnh chứa quang cảnh giao thông Hình 2.19: Kết quả ảnh lọc nhị phân Hình 2.20: Kết quả ảnh trong chuyển đổi phối cảnh Hình 2.21: Ảnh nhị phân làn đƣờng sau khi đƣợc hiệu chỉnh Hình 2.22: Biểu đồ giá trị các điểm ảnh khi quét theo phƣơng ngang Hình 2.23: Cửa sổ trƣợt xác định các vạch phân làn Hình 2.24: Bán kính của đƣờng cong và đƣờng tròn nội tiếp Hình 3.1: Ảnh đầu vào quang cảnh giao thông Hình 3.2: Kết quả đầu ra của chức năng nhận dạng Hình 3.3: Nhận dạng phƣơng tiện trong điều kiện ánh sáng mạnh Hình 3.4: Nhận dạng phƣơng tiện trong điều kiện ánh sáng yếu Hình 3.5: Làn đƣờng có các vạch phân làn là màu trắng Hình 3.6: Vạch phân làn đƣợc đánh dấu bằng các đƣờng thẳng màu tím Hình 3.7: Làn đƣờng có các vạch phân làn là màu vàng Hình 3.8: Kết quả nhận dạng các vạch phân làn màu vàng Hình 3.9: Làn đƣờng có màu xanh khi phƣơng tiện đi đúng làn Hình 3.10: Làn đƣờng có màu tím để cảnh báo phƣơng tiện đi sai làn Hình 3.11: Hệ thống nhận diện và bám vết ô tô trên đƣờng cao tốc DANH MỤC BẢNG BIỂU Bảng 2.1: Tham số trích xuất đặc trƣng HOG với không gian màu YUV Bảng 2.2: Tham số trích xuất đặc trƣng HOG với không gian màu HSL Bảng 2.3: Mã lệnh xử lý và huấn luyện dữ liệu Bảng 2.4: Mã lệnh thực hiện tìm kiếm bằng cửa sổ trƣợt Bảng 2.5: Mã lệnh thực hiện vẽ heatmaps Bảng 2.6: Các đỉnh đa giác trƣớc và sau chuyển đổi phối cảnh DANH SÁCH CÁC TỪ VIẾT TẮT STT Từ viết tắt Tên đầy đủ 1 SVM Support Vector Machine 2 HOG Histogram of Oriented Gradients 3 SnoW Sparse Network of Winnows 4 AVI Audio Video Interleave 5 MMH Maximum Marginal Hyperlane 6 OpenCV Open Source Computer Vision 7 SIFT Scale Invariant Feature Transform 8 BSI Back-illuminated Sensor 9 SoC System on Chip LỜI CẢM ƠN Trƣớc tiên, xin cảm ơn thầy PGS.TS Nguyễn Tiến Dũng và Th.S Nguyễn Việt Hƣng vì đã gợi mở, quan tâm, giúp đỡ cho học viên trong suốt thời gian thực hiện đề tài tốt nghiệp này. Bên cạnh đó, học viên cũng xin gởi lời cảm ơn đến tất cả những thầy cô đã trực tiếp giảng dạy trong suốt khóa học; những ngƣời bạn đã quan tâm, động viên và chia sẻ kiến thức cũng nhƣ kinh nghiệm chuyên ngành trong quá trình học tập và rèn luyện vừa qua của học viên. Cũng xin chân thành cảm ơn sự quan tâm hỗ trợ, tạo điều kiện và hết lòng động viên về tinh thần lẫn vật chất của các thành viên trong gia đình trong suốt thời gian qua. Sau cùng, học viên gởi lời chúc sức khỏe, hạnh phúc đến quý thầy cô, gia đình và bạn bè. Trƣờng Đại học Bách Khoa Hà Nội Tháng 8 năm 2017 Học Viên Nguyễn Văn Việt ABSTRACT The third industrial revolution took place in the 1970s with the advent of automated production based on computers, electronics, and the internet. The fourth technology revolution is supposed begin in the last few years, generally it is a smart manufacturing revolution based on breakthrough achievements in the areas of information technology, biotechnology, nanotechnology, etc... basing on breakthroughs of digital technology. It is expected to create new turning points in enhancing the value and quality of human life. In this thesis, issues named “Research and development of vehicle tracking on a highway network”, also have same ways of thinking above. This is one of the most amazing applications and projects which is resrearched and approached by many scientists who working in fields of “Computer Vision” and “Digital Image Processing” cause of demands in real lives and diversified approaching methods. This project shows some problems which related to the basic knowledge that being built on contents within. The author used the OpenCV tool, the HOG characteristic extraction method and the SVM classifier algorithm to detect and identify the lanes and vehicles in traffic. Results have got a feature called “realtime effects” in detection and recognition.This is importance for modifying traffics, controlling lanes, extracting information of vehicles, .. TÓM TẮT LUẬN VĂN THẠC SĨ Sau cuộc cách mạng công nghiệp lần thứ ba diễn ra từ những năm 1970 với sự ra đời của sản xuất tự động dựa vào máy tính, thiết bị điện tử, và internet. Cuộc cách mạng công nghệ thứ tƣ đƣợc cho là đã bắt đầu từ vài năm gần đây, nhìn chung đó là cuộc cách mạng về sản xuất thông minh dựa trên các thành tựu đột phá trong các lĩnh vực công nghệ thông tin, công nghệ sinh học, công nghệ nano, vv …với nền tảng là các đột phá của công nghệ số. Nó đƣợc kỳ vọng tạo nên những bƣớc ngoặt mới trong việc nâng cao giá trị và chất lƣợng cuộc sống con ngƣời.. Đề tài luận văn này, “ Nghiên cứu và phát triển thuật toán dò tìm ô tô trên đường cao tốc ”, cũng không nằm ngoài ý nghĩa đó. Đây là một dạng ứng dụng thú vị mà nhiều nhà khoa học đã, đang và sẽ không ngừng nghiên cứu vì nhu cầu thực tiễn và đa dạng phƣơng pháp tiếp cận. Trong đề tài này sẽ trình bày trong đó các vấn đề liên quan tới kiến thức nền tảng xây dựng nên luận văn. Học viên đã sử dụng công cụ OpenCV, phƣơng pháp trích xuất đặc trƣng HOG và thuật toán phân lớp SVM nhằm phát hiện và nhận dạng các làn đƣờng, các phƣơng tiện ô tô đang lƣu thông. Kết quả thu đƣợc có đặc tính thời gian thực các diễn tiến của quá trình phát hiện và nhận dạng xe. CHƢƠNG I: CƠ SỞ LÝ THUYẾT 1.1 TỔNG QUAN VỀ ĐỀ TÀI Thị giác máy là một lĩnh vực đã và đang phát triển mạnh mẽ trên thế giới hiện nay. Khái niệm về thị giác máy – Computer Vision có liên quan tới nhiều ngành học và có nhiều hƣớng nghiên cứu khác nhau. Kể từ những năm 70 của thế kỷ 20 khi mà khả năng tính toán của các máy tính trở nên mạnh mẽ, nó có thể giải quyết đƣợc những công việc cần tới tốc độ cao nhƣ xử lý các tập ảnh hay các đoạn video thì thị giác máy đƣợc nhắc đến , nghiên cứu và phát triển cho đến ngày nay. Thị giác máy bao gồm lý thuyết và các kỹ thuật liên quan nhằm mục đích tạo ra một hệ thống nhân tạo có thể nhận thông tin từ các hình ảnh thu đƣợc hoặc các tập dữ liệu đa chiều. Máy móc càng ngày càng thông minh, nó không chỉ thay con ngƣời làm những công việc nặng nhọc và nhàm chán mà nó còn có một số khả năng bắt chƣớc động vật và con ngƣời. Một trong số những khả năng đó là nhận biết đƣợc thế giới qua “mắt” của nó. Bằng việc kết hợp với các mô hình khác nữa nhƣ máy học, mạng nơron ... giúp cho chúng dần tiến tới một hệ thống nhân tạo có những quyết định linh hoạt và chính xác hơn. Lĩnh vực nghiên cứu của thị giác máy rất rộng, và đặc điểm chung là các bài toán về thị giác máy đều không có một đề bài chung và cách giải quyết duy nhất. Mỗi giải pháp giải quyết vấn đề đƣợc một kết quả nhất định cho những trƣờng hợp cụ thể. Ở đây chúng ta sẽ đề cập tới bài toán khá quen thuộc đó là sử dụng các kỹ thuật xử lý ảnh, thị giác máy để phát hiện và nhận dạng xe ô tô . Thông thƣờng, các đặc tính của xử lý và phân tích ảnh chủ yếu bị ảnh hƣởng bởi đặc tính của ảnh tĩnh và ảnh động (video). Các lý do có thể đƣa ra là: vị trí tƣơng quan giữa máy ảnh và đối tƣợng, xe bị che khuất một phần hoặc toàn phần; sự kết hợp của các đặc điểm xe cộ, kích thƣớc, màu sắc, ảnh hƣởng của cảnh nền (độ sáng chói, độ tƣơng phản, nhiễu giống đối tƣợng, …) là rất khác nhau, và nó ảnh hƣởng đến chất lƣợng của quá trình phát hiện và nhận dạng xe. Còn ảnh hƣởng Trang 1 | 67 về mặt chủ quan cũng có thể kể đến nhƣ hƣớng quan sát ghi hình của camera, hƣớng ánh sáng, đặc tính kỹ thuật của máy ảnh, camera, tốc độ hệ thống máy xử lý chủ (máy tính PC hoặc laptop) cũng gây ra ảnh hƣởng không nhỏ đến đề tài. Hệ thống nhận dạng xe dùng trong quan sát giao thông là một ứng dụng quan trọng trong cuộc sống hiện đại hàng ngày. Với hệ thống nhƣ vậy thì một thuật toán phát hiện và nhận dạng theo thời gian thực là cần thiết khi đầu vào của hệ thống là một chuỗi hình ảnh video. Việc ứng dụng một thuật toán để giải quyết vấn đề phát hiện xe là một trong những khâu quan trọng trong hệ thống quan trắc giao thông. Với đề tài “ Nghiên cứu và phát triển thuật toán dò tìm ô tô trên đường cao tốc” sẽ phát hiện tất cả các loại xe ô tô đang lƣu thông trên cao tốc. 1.2 CÁC ĐỀ TÀI ĐÃ NGHIÊN CỨU 1.2.1 Nghiên cứu ngoài nƣớc Cho đến nay, có rất nhiều các đề tài nghiên cứu về hệ thống phát hiện và nhận dạng xe mà chủ yếu là thực hiện trong các phòng thí nghiệm Khoa học máy tính của các trƣờng Đại học trên thế giới [1][2]. Các nghiên cứu này chủ yếu xoay quanh vấn đề tìm hƣớng tiếp cận và xây dựng mô hình thuật toán phát hiện và nhận dạng xe trong việc quan sát giao thông nói chung. Các đề tài này, phần lớn đã nêu bật đƣợc phƣơng pháp “Lƣu lƣợng quang”, đây là phƣơng pháp điển hình cho việc quan trắc hệ thống các vật thể chuyển động có quỹ đạo nói chung hoặc hệ thống xe tham gia giao thông nói riêng [1][2][3] . Ngoài ra, còn có phƣơng pháp xử lý trên pixel đặc trƣng đối tƣợng, chủ yếu là phân tích diện tích và chu vi đƣờng bao điểm ảnh của đối tƣợng, coi đó là đặc trƣng của loại xe quan sát. Trang 2 | 67 1.2.2 Nghiên cứu trong nƣớc Nhận dạng và theo dõi phƣơng tiện giao thông trên đƣờng cao tốc cũng là một đề tài khá đƣợc quan tâm nghiên cứu trong nƣớc. Chúng đƣợc ứng dụng vào các hệ thống quan trắc giao thông thời gian thực với các tính năng nhận dạng biển số xe , bám vết, đếm số lƣợng phƣơng tiện. Theo nhƣ [15] để phát hiện đƣợc vùng ảnh chứa biển số xe, bài báo có đề xuất các phƣơng pháp khớp mẫu, mạng Nơ-ron, hoặc đơn giản hơn là sử dụng phƣơng pháp hình học, dựa trên tỷ lệ kích thƣớc chiều dài trên chiều rộng, tỉ lệ điểm ảnh đen trên trắng, tuy nhiên phƣơng pháp này cho độ chính xác không cao. Đối với việc nhận dạng xe sẽ dựa trên phƣơng pháp trích xuất đặc trƣng Haar-like, đồng thời sử dụng phƣơng pháp “bộ dò ảo” một phƣơng pháp dựa trên phƣơng pháp Kalman để theo dõi và đếm số lƣợng xe lƣu thông. Một hƣớng nghiên cứu mới cũng ngày một đƣợc chú ý đó là phát triển các giải pháp kỹ thuật hỗ trợ xe tự hành. Bài báo [16] có đề cập đến bài toán phát hiên làn đƣờng đƣợc thực hiện bởi phƣơng pháp dò biên Canny, rút trích đặc trƣng đƣờng biên, tính đoán độ cong làn dựa trên đƣờng B-Spline, và xác định vị trí tƣơng đối của xe trong làn bằng cách tính góc lệch giữa hƣớng chuyển động so với vector tiếp tuyến của làn. 1.3 LÝ DO THỰC HIỆN ĐỀ TÀI Bài toán phát hiện và nhận dạng xe hơi cụ thể gồm qua 2 bƣớc là phát hiên xe và nhận dạng xe. Phát hiện xe là thuật toán chuyên biệt xuất phát từ thuật toán phát hiện vật thể. Khi cho một nguồn ảnh đầu vào (có thể là tín hiệu hình từ camera hoặc từ một file video định dạng AVI), thuật toán xác định xem trong khung hình nhận đƣợc đó có xe đang đƣợc kỳ vọng hay không. Nếu có xe thì ngay lập tức chỉ ra vị trí và phạm vi chiếm chỗ của đối tƣợng xe đó có trong ảnh. Đây là bƣớc quan trọng đầu tiên trong hầu hết các ứng dụng phân tích vật thể nói chung và xe tham gia giao thông nói Trang 3 | 67 riêng (ví dụ: nhận dạng kiểu dáng xe, định vị xe trong ảnh, bám theo xe, nhận biết vị trí và tƣ thế của xe có trong ảnh,…). Với kết quả phát hiện xe ở bƣớc trên, từ đó so sánh với cơ sở dữ liệu đã đƣợc xây dựng sẵn để tiến hành nhận dạng đƣợc kiểu dáng xe đó là loại xe nào (trong trƣờng hợp nhận dạng nhiều loại xe khác nhau). Tƣ thế quan sát xe từ camera, vị trí của xe so với camera và các thông tin liên quan luôn đƣợc cập nhật tức thời bởi máy tính. Nắm đƣợc ý nghĩa quan trọng của kênh thông tin thu đƣợc trong hầu hết các tình huống dƣới dạng hình ảnh. Sự phát triển mạnh mẽ và đa dạng của xã hội với nhiều nghiên cứu và ứng dụng thuộc lĩnh vực này luôn đƣợc tiến hành và áp dụng rộng rãi trong nhiều ngành nghề và lĩnh vực khoa học kỹ thuật khác nhau trên thế giới, đặc biệt là phát hiện và nhận dạng xe ô tô. Bài toán phát hiện và nhận dạng xe đƣợc nhiều nhóm các nhà khoa học quan tâm và thực hiện nhƣng để đáp ứng đƣợc vấn đề xử lý trong thời gian thực là một vấn đề tƣơng đối khó.Thực tế cho thấy các kết quả còn hạn chế, tốc độ xử lý chậm, quá trình xử lý nhiều nhóm lệnh trên máy tính chủ khiến cho tốc độ bị trì hoãn mặc dù không nhiều. Vì vậy, nghiên cứu ứng dụng đề tài phát hiện và nhận dạng xe xử lý trên cơ sở thị giác máy tính trong thời gian thực mang tính cấp thiết. 1.4 MỤC TIÊU LUẬN VĂN Mục tiêu chính của đề tài là nghiên cứu ứng dụng phát hiện nhận dạng xe trên cơ sở thị giác máy tính, đáp ứng trong thời gian thực, với các lĩnh vực ứng dụng và nhiệm vụ đƣợc đề ra nhƣ sau: 1.4.1 Nhiệm vụ  Phân tích và tổng hợp các phƣơng pháp nhận dạng xe.  Xây dựng chƣơng trình nhận dạng xe dựa trên công cụ Thị giác máy tính. Trang 4 | 67 1.4.2 Lĩnh vực ứng dụng Phạm vi thực hiện của đề tài dựa trên các cơ sở:  Về lý thuyết: phƣơng pháp phù hợp phát hiện và nhận dạng xe.  Về ứng dụng: chƣơng trình phần mềm phát hiện và nhận dạng xe.  Các điều kiện thực hiện: camera ghi hình trực diện từ phía sau đuôi của xe hoặc phía trƣớc xe, cƣờng độ ánh sáng là 300 ÷ 500 lux (độ sáng tiêu chuẩn bình thƣờng) hoặc ánh sáng ngoài trời ban ngày bình thƣờng.  Đối tƣợng nhận dạng ngoài các phƣơng tiện đang lƣu thông mà còn nhận dạng các làn đƣờng, vi trí tƣơng đối hiện tại của xe so với là Dự kiến các lĩnh vực ứng dụng thực tế của đề tài.  Hỗ trợ lái xe tự động.  Hệ thống giám sát giao thông thông minh. 1.5 TỔNG QUAN VỀ PHÁT HIỆN HÌNH ẢNH XE Phát hiện hay phát hiện đối tƣợng chuyên biệt, ví dụ nhƣ xe ô tô trong cảnh quang giao thông, liệu có xuất hiện trong ảnh thu đƣợc từ camera (hình động) hay những tấm hình tĩnh dựa trên sự trợ giúp của máy tính từ lâu đã đƣợc con ngƣời nghiên cứu và phát triển bởi nó đóng vai trò là cơ sở chung và là nền tảng để nghiên cứu và ứng dụng trong các lĩnh vực và các hệ thống khác. Trong quá trình nghiên cứu và phát triển, thì yêu cầu đƣợc đặt lên hàng đầu là yếu tố chính xác và phải thực hiện nhanh chóng trong thời gian thực. Do vậy, việc này cần có sự phối hợp và bổ sung chặt chẽ cho nhau của hai lĩnh vực là Xử lý ảnh (Image Processing) và Thị giác máy tính (Computer Vision). Có rất nhiều phƣơng pháp và hƣớng tiếp cận của vấn đề phát hiện xe ô tô. Định vị xe trong một cảnh quang giao thông là phƣơng pháp đơn giản, bởi vì nó chỉ xác định vị trí hay tọa độ của chiếc xe có trong ảnh đó mà thôi. Việc tiếp theo là Trang 5 | 67 nhận dạng (vehicle recognition) là công việc phức tạp hơn. Tác vụ này sẽ so sánh một ảnh của xe hơi trong ảnh đầu vào với tất cả các ảnh có trong cơ sở dữ liệu đã đƣợc huấn luyện trƣớc đó và đƣa ra ảnh gần nhất. Có hai hƣớng tiếp cận chính thƣờng đƣợc sử dụng để phát hiện xe: các phƣơng pháp dựa trên ảnh và các phƣơng pháp dựa trên dạng hình học. Các phƣơng pháp có thể đƣợc liệt kê ra nhƣ sau: [4, trang 17÷ 25] 1.5.1 Phƣơng pháp dựa trên ảnh Các phƣơng pháp thuộc nhóm này dựa trên một tập hợp các hình mẫu của đối tƣợng và sử dụng cửa sổ trƣợt để phát hiện xe. Cách làm này khác biệt so với các phƣơng pháp dựa trên khuôn mẫu (cần thiết phải có sẵn mô hình xe, hình thái xe). Để trích đặc trƣng từ các mẫu ví dụ, cần phải thực hiện việc cho học huấn luyện dƣới dạng thống kê hoặc các thuật toán học máy (machine learning) với đủ nhiều các mẫu ảnh có chứa đối tƣợng xe và không chứa đối tƣợng xe. Do sự xuất hiện của xe trong ảnh là ngẫu nhiên với nhiều góc quan sát khác nhau nên thƣờng phải xấp xỉ chúng để tạo nên sự phân biệt của hai đối tƣợng. Tùy theo cách tiếp cận xác suất nào mà sẽ xuất hiện các phƣơng pháp phát hiện tƣơng ứng. Liệt kê dƣới đây là một số các phƣơng pháp thuộc nhóm này:  Phƣơng pháp EigenObjects (PCA)  Phƣơng pháp Fisher „s Linear Discriminant  Các phƣơng pháp dựa trên Eigen-space  Các phƣơng pháp dựa trên mang nơ-ron nhân tạo  Support Vector Machine – SVM  Phƣơng pháp Mô hình Markov ẩn (Hidden Markov Model – HMM)  Phƣơng pháp Sparse Network of Winnows (SNoW) Do nhóm phƣơng pháp này dựa trên việc huấn luyện sao cho thu đƣợc mô hình đối tƣợng xe từ một tập dữ liệu tích cực (positive - ảnh có chứa hình xe hơi) và một tập dữ liệu không tích cực (negative - ảnh không chứa hình đối tƣợng) nên Trang 6 | 67 chúng có sự tƣơng quan so sánh trực tiếp đến các đặc điểm hình học của một kiểu xe điển hình. Nhƣợc điểm của phƣơng pháp này đòi hòi phải luôn có sẵn cơ sở dữ liệu hình xe rất lớn. Để có thể phát hiện và nhận dạng đƣợc xe, máy tính phải luôn dò trong cơ sở dữ liệu hình này rồi mới đƣa ra kết quả. 1.5.2 Phƣơng pháp dựa trên dạng hình học Khác với nhóm phƣơng pháp vừa nêu ở trên, các phƣơng pháp thuộc nhóm này quan tâm đến các đặc điểm cấu trúc hình học của xe.Vì vậy chúng còn đƣợc gọi là nhóm tiếp cận dựa trên đặc trƣng (feature - based). Tùy theo cách triển khai vấn đề mà chúng đƣợc chia thành hai phân nhóm:  Các phƣơng pháp Bottom – Up  Phƣơng pháp dựa trên luồng ánh sáng (hay lƣu lƣợng quang - optical flow) Nhóm phƣơng pháp Bottom – Up chủ yếu dùng các đặc điểm hình dáng bất biến của xe đối với ngoại cảnh và nền ảnh để phát hiện ra xe. Rồi tùy vào mối liên hệ của chúng với nhau mà thiết lập các liên kết giữa các đặc điểm bất biến này ngay trong ảnh đầu tiên, tiếp theo sẽ dựa vào đó mà tìm chúng trên các ảnh kế tiếp. Phƣơng pháp của phân nhóm thứ hai, luồng ánh sáng, là phƣơng pháp xử lý tổng quan ánh sáng theo tuần tự các bƣớc. Thứ nhất, thuật toán tìm đặc trƣng quan trọng của đối tƣợng (ví dụ nhƣ góc của xe) trong hai khung hình liên tiếp nhau. Thứ hai, dùng thuật toán để hợp nhất tính liên quan đồng nhất giữa các đặc trƣng đó (trong trƣờng hợp này là góc của xe). Bƣớc cuối cùng, các luồng đặc trƣng đối tƣợng đã đƣợc trích xuất khỏi ảnh đƣợc tập hợp lại thành một nhóm nếu các khoảng cách Euclide của các luồng (vị trí đối tƣợng và hƣớng chuyển động của đối tƣợng) là nhỏ. [1, phần 2.1] Cụ thể, phƣơng pháp này không chỉ sử dụng các thuật toán học (learning algorithm) để huấn luyện tạo các bộ phân lớp (cascade) bằng các hình mẫu ví dụ tích cực (có chứa hình ảnh xe) và các hình mẫu không tích cực (không chứa hình Trang 7 | 67 ảnh xe hơi) đƣợc lựa chọn cẩn thận (đây là phƣơng pháp dựa trên ảnh). Các hình ảnh sau khi đƣợc chọn lọc cẩn thận sẽ đƣợc quyết định đặc trƣng cho từng loại xe bởi thuật toán học hầu hết có liên quan trực tiếp đến các đặc trƣng riêng biệt trên hình ảnh xe hơi (đặc điểm các chi tiết trên xe, gƣơng, đầu xe, đuôi xe, dàn đèn, các gờ nổi, …). Kỹ thuật tăng tốc cải thiện tốc độ tìm kiếm dựa trên các bộ phân loại bằng cách lấy ra các trọng số cho các mẫu ví dụ dùng trong huấn luyện. [1, phần 2.2] 1.5.3 Phƣơng pháp sử dụng trong luận văn. Trong luận văn này, việc phát hiện xe bằng phƣơng pháp trích đặc trƣng ảnh HOG và phân lớp sử dụng SVM, đây là phƣơng pháp dựa trên ảnh đã đề cập ở trên. Để thực hiện chức năng phát hiện và nhận dạng xe, học viên đã triển khai trích rút đặc trƣng ảnh HOG trên các tập dữ liệu: positive chứa hình ảnh và negative không chứa hình ảnh các phƣơng tiện cần nhận dạng, từ đó huấn luyện cho bộ phân lớp SVM. Trong quá trình vận hành hệ thống, đầu vào dữ liệu là các frame ảnh thu đƣợc từ nguồn tín hiệu ảnh( camera hoặc file video) sẽ đƣợc trích rút đặc trƣng sau đó đƣa qua bộ phân loại để phát hiện và nhận dạng các đối tƣợng phƣơng tiện, hoặc theo dõi quá trình chuyển động của chúng kết hợp với nhận dạng làn đƣờng nhằm cảnh báo đi sai làn vv…Sau đây là phần trình bày về phƣơng pháp trích rút đặc trƣng HOG và phân loại SVM. 1.6 HISTOGRAM OF GRADIENT (HOG) 1.6.1 Giới thiệu Histogram of gradient (HOG) là đặc trƣng đƣợc dùng nhiều trong lĩnh vực phát hiện đối tƣợng. Kỹ thuật này đƣợc đề xuất bởi Bill Triggs và Navel Dalal vào năm 2005 tại viện nghiên cứu INRIA. Ý tƣởng chính trong đặc trƣng HOG là hình dạng và trạng thái của vật có thể đƣợc đặc trƣng bằng sự phân bố về gradient và hƣớng của cạnh. Đặc trƣng này đƣợc phát triển dựa trên SIFT, đặc trƣng HOG đƣợc tính trên cả một vùng. Do sự Trang 8 | 67