Tài liệu Hệ thống quản lý bãi xe ô tô dựa vào video giám sát

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP. HCM --------------------------- BÙI THỊ THU THỦY HỆ THỐNG QUẢN LÝ BÃI XE Ô TÔ DỰA VÀO VIDEO GIÁM SÁT LUẬN VĂN THẠC SĨ Chuyên ngành : Công Nghệ Thông Tin Mã số ngành: 60480201 TP. HỒ CHÍ MINH, tháng 10 năm 2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP. HCM --------------------------- BÙI THỊ THU THỦY HỆ THỐNG QUẢN LÝ BÃI XE Ô TÔ DỰA VÀO VIDEO GIÁM SÁT LUẬN VĂN THẠC SĨ Chuyên ngành : Công Nghệ Thông Tin Mã số ngành: 60480201 CÁN BỘ HƯỚNG DẪN KHOA HỌC: TS TÂN HẠNH TP. HỒ CHÍ MINH, tháng 10 năm 2015 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP. HCM Cán bộ hướng dẫn khoa học : TS. Tân Hạnh (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Luận văn Thạc sĩ được bảo vệ tại Trường Đại học Công nghệ TP. HCM ngày 17 tháng 10 năm 2015 Thành phần Hội đồng đánh giá Luận văn Thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ Luận văn Thạc sĩ) Họ và tên TT Chức danh Hội đồng 1 GS. TSKH. Hoàng Văn Kiếm Chủ tịch 2 PGS.TS. Lê Hoài Bắc Phản biện 1 3 TS.Vũ Thanh Hiền Phản biện 2 4 TS. Hồ Đắc Nghĩa Ủy viên 5 TS. Cao Tùng Anh Ủy viên, Thư ký Xác nhận của Chủ tịch Hội đồng đánh giá Luận sau khi Luận văn đã được sửa chữa (nếu có). Chủ tịch Hội đồng đánh giá LV TRƯỜNG ĐH CÔNG NGHỆ TP. HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM PHÒNG QLKH – ĐTSĐH Độc lập – Tự do – Hạnh phúc TP. HCM, ngày 03 tháng 04 năm 2015 NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Bùi Thị Thu Thủy Giới tính: Nữ Ngày, tháng, năm sinh: 27/11/1988 Nơi sinh: Bình Thuận Chuyên ngành: Công Nghệ Thông Tin MSHV: 1341860054 I- Tên đề tài: HỆ THỐNG QUẢN LÝ BÃI XE Ô TÔ DỰA VÀO VIDEO GIÁM SÁT II- Nhiệm vụ và nội dung:  Nghiên cứu lĩnh vực thị giác máy tính (computer vision) trên cơ sở dữ liệu đa phương tiện (database multimedia).  Nghiên cứu kỹ thuật xử lý video: Tách shot, phát hiện key frame.  Nghiên cứu thuật toán SIFT (SCALE-INVARIANT FEATURE TRANSFORM) trích xuất các điểm đặc biệt và các đặc trưng của ảnh  Nghiên cứu thuật toán SURF (SPEED UP ROBUST FEATURE) thuật toán cải tiến về thời gian tính toán của SIFT.  Nghiên cứu FLANN (Fast Library for Approximate Nearest Neighbors) phương pháp hỗ trợ cho việc tìm kiếm nhanh các điểm lân cận trong không gian 3D.  Tìm hiểu thư viện phát triển về thị giác máy tính mã nguồn mở OpenCV để xây dựng ứng dụng xử lý ảnh.  Xây dựng demo “Hệ Thống Quản Lý Bãi Xe Ô Tô Dựa Vào Video Giám Sát”. III- Ngày giao nhiệm vụ: 03/04/2015 IV- Ngày hoàn thành nhiệm vụ: 17/09/2015 V- Cán bộ hướng dẫn: TS. Tân Hạnh CÁN BỘ HƯỚNG DẪN (Họ tên và chữ ký) KHOA QUẢN LÝ CHUYÊN NGÀNH (Họ tên và chữ ký) i LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Tôi xin cam đoan rằng mọi sự giúp đỡ cho việc thực hiện Luận văn này đã được cảm ơn và các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Học viên thực hiện Luận văn (Ký và ghi rõ họ tên) ii LỜI CÁM ƠN chân thành đỡ tận tình của TS. Tân Hạnh. Cảm ơn Thầy đã sát cánh và cung cấp những kiến thức quí báu trong suốt thời gian nghiên cứu thực hiện luận văn. /Cô, các đồng nghiệp Khoa Công Nghệ Thông Tin, Phòng QLKH-ĐTSĐH thông tin . luôn quan tâm và giúp đỡ tôi trong suốt thời gian học tập và nghiên cứu hoàn thành luận văn này. Luận văn không thể tránh khỏi những sai sót, rất mong nhận được ý kiến đóng góp của mọi người cho luận văn được hoàn thiện hơn. Tôi xin chân thành cảm ơn. TP. Hồ Chí Minh, 2015 BÙI THỊ THU THỦY iii TÓM TẮT Ngày nay thị giác máy tính là lĩnh vực phát triển mạnh mẽ của hệ thống máy tính, các thuật toán, công trình nghiên cứu, ứng dụng về xử lý ảnh được triển khai trên một số lĩnh vực như lắp đặt hệ thống nhận dạng biển số xe ở các bãi đổ xe, hệ thống nhận dạng vân tay chấm công ở các công sở... môn học xử lý ảnh ở các trường đại học được xem là môn học bắt buộc ở một số nghành như công nghệ thông tin, điện tử viễn thông...Tuy nhiên nhìn một cách khách quan thì số lượng các ứng dụng được triển khai trên thực tế là quá ít ỏi, lĩnh vực này sẽ còn phát triển mạnh mẽ trong tương lai nếu được quan tâm một cách nghiêm túc. Xuất phát từ thực tế đó, đề tài nhằm mục đích tìm hiểu, nghiên cứu và ứng dụng vào nhu cầu thực tế trong việc quản lý và giám sát. “Hệ Thống Quản Lý Bãi Xe Ôtô Dựa Vào Video Giám Sát”, đáp ứng nhu cầu truy vấn đối tượng bằng 1 hình ảnh cho sẵn so sánh tìm kiếm đối tượng tồn tại trong Video, Cụ thể ở đây là đối tượng xe trong bãi. Quản lý an toàn bãi xe, tìm kiếm đối tượng, truy xuất thông tin. Luận văn ứng dụng kỹ thuật so trùng histogram để xử lý video. Kỹ thuật SURF (Speed Up Robust Feature) tối ưu về tốc độ, thời gian tính toán từ kỹ thuật SIFT (Scale-Invariant Feature Transform) trích xuất các điểm đặc biệt và các đặc trưng của ảnh. Kỹ Thuật FLANN (Fast Library for Approximate Nearest Neighbors) so khớp đối tượng cần tìm và đối tượng trong video. Kết quả thực nghiệm của luận văn giảm thiểu việc tiêu tốn nhiều thời gian và công sức trong việc tìm kiếm và giám sát đối tượng. Ứng dụng lĩnh vực thị giác máy tính vào nhu cầu đời sống. iv ABSTRACT Today,computer vision is a strong sector development of computer systems, algorithms, research, application of image processing to bedeployed in some majorssuch asinstalling automatic number plate recognition system in car parks,automated fingerprint identification and timekeepingsystem in the workplace...At the university, image processing is considered to be a compulsory subject in some sectors such as information technology, electronics and telecommunications, etc. However, an objective look thatthe reality is very little number of applications have been deployed, if this sector has a serious interest it will continue developing strongly in the future. Based on that fact, thistheme aims to explore, to study and to apply these applications from real demand in the management and supervision. “Car Park Management System Based On Monitoring Video”, it meets the need that query image - object uses an available image and compares with object exists in the video, specifically here is the object in the parking lot. Parking lot security management, searching for object, information retrieval. The theme technical applications “histogram matching to handle video”, SURF Technology “Speed Up Robust Feature” because it is optimized for speed, calculation time from SIFT Technology “Scale-Invariant Feature Transform” extract features and image characteristics. Flann Technology (Fast Approximate Nearest Neighbors Library for) matching objects with objects in video. The experimental result of the theme minimize time-consuming and effort into finding and monitoring objects. Application areas of computer vision in life needs. v MỤC LỤC CHƯƠNG 1: GIỚI THIỆU ......................................................................................... 1 1.1: GIỚI THIỆU ĐỀ TÀI....................................................................................... 1 1.2: TỔNG QUAN VỀ THỊ GIÁC MÁY TÍNH _ COMPUTER VISION ............ 2 CHƯƠNG 2: TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU CỦA ĐỀ TÀI .......... 5 2.1: MỘT SỐ KHÁI NIỆM .................................................................................... 5 2.1.1 Cấu Trúc Video........................................................................................... 5 2.1.2 Key – Frame............................................................................................... 6 2.2: XÂY DỰNG CƠ SỞ DỮ LIỆU ....................................................................... 6 2.3: XỬ LÝ VIDEO ................................................................................................ 6 2.3.1 Tách shot .................................................................................................... 6 2.3.1.1 Phát hiện shot .......................................................................................... 6 2.3.1.2 Phân loại ................................................................................................. 6 2.3.2 Kỹ thuật tách shot .......................................................................................... 7 2.3.2.1 Sự khác biệt giữa các histogram ............................................................. 7 2.3.2.2 Phát hiện biên ......................................................................................... 9 2.3.2.3 Tách shot ............................................................................................... 10 2.3.3 Phát hiện frame chính (key frame) .............................................................. 10 2.4: TRÍCH XUẤT CÁC ĐIỂM ĐẶC BIỆT VÀ CÁC ĐẶC TRƯNG CỦA ẢNH BẰNG THUẬT TOÁN SIFT (SCALE-INVARIANT FEATURE TRANSFORM) ..................................................................................................... 11 2.4.1 Tổng quan về SIFT................................................................................... 11 2.4.2 Biểu diễn ảnh bằng đặc trưng SIFT ......................................................... 14 2.4.2.1 Phát hiện các điểm cực trị trong không gian đo ................................ 14 vi 2.4.2.2 Định vị các điểm đặc trưng ............................................................... 18 2.4.2.3 Xác định hướng cho các điểm đặc trưng ........................................... 21 2.4.2.4 Mô tả hướng cho các điểm đặc trưng ................................................ 22 2.5: KỸ THUẬT SURF (SPEED UP ROBUST FEATURE) .............................. 23 2.5.1 Phát hiện đặc trưng ....................................................................................... 23 2.5.2 Mô tả đặc trưng ............................................................................................ 25 2.5.3 So khớp đặc trưng......................................................................................... 27 2.6: THƯ VIỆN MÃ NGUỒN MỞ OPENCV TRÊN NỀN VISUAL C++ ........ 28 2.6.1 Giới Thiệu Về Thư Viện Mã Nguồn Mở OpenCV ...................................... 28 2.6.2 Phiên Bản OpenCV 1 và OpenCV 2 ............................................................ 32 2.6.3 FLANN (Fast Library For Approximate Nearest Neighbors) Hỗ Trợ cho Việc Tìm Kiếm Nhanh Các Điểm Lân Cận Trong Không Gian 3D. .................... 33 CHƯƠNG 3: ỨNG DỤNG THỰC NGHIỆM – ĐÁNH GIÁ KẾT QUẢ ............... 34 3.1: NÊU LẠI BÀI TOÁN: .................................................................................. 34 3.2: PHÂN TÍCH VÀ THIẾT KẾ: ....................................................................... 35 3.2.1 Kiến Trúc Hệ Thống ................................................................................ 35 3.2.2 Tách KeyFrame Từ Video ....................................................................... 36 3.2.3 So Trùng Ảnh Với KeyFrame ................................................................. 37 3.2.4 Cơ Sở Dữ Liệu ......................................................................................... 38 3.2.5 Giao Diện Chương Trình ......................................................................... 40 3.3: Đánh Giá: ...................................................................................................... 43 CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .......................................... 52 4.1: KẾT LUẬN ................................................................................................... 52 4.2: HƯỚNG PHÁT TRIỂN ................................................................................ 52 vii KÝ HIỆU VÀ VIẾT TẮT Viết đầy đủ Ký hiệu và viết tắt SIFT Scale-Invariant Feature Transform SURF Speed Up Robust Feature FLANN FastLibrary for Approximate Nearest Neighbors OpenCV Open Computer Vision FFMPEG Fast and Furious Moving Pictures Expert Group DoG Difference of Gaussian viii DANH MỤC HÌNH Hình 2.1: Mô hình cấu trúc của Video ........................................................................5 Hình 2.2: Sự khác biệt của histogram cho cut (nguồn: Tài liệu [5]) .........................7 Hình 2.3: Sự khác biệt của histogram cho fade/dissolve (nguồn: Tài liệu [5]) .........8 Hình 2.4: Tín hiệu khác biệt histogram (xanh) và tín hiệu trộn với cửa sổ W (đỏ) (nguồn: Tài liệu [5]) ...................................................................................................9 Hình 2.5: Tín hiệu khác biệt histogram (xanh) và tín hiệu trộn với cửa sổ W (đỏ) (nguồn: Tài liệu [5]) .................................................................................................10 Hình 2.6: Đặc trưng SIFT từ cửa sổ (window) được trích xuất 128 chiều...............11 Hình 2.7: Minh họa các bước chính trong giải thuật SIFT ......................................14 Hình 2.8: Quá trình tính không gian đo (L) và hàm sai khác DoG ..........................16 Hình 2.9: Quá trình tìm điểm cực trị trong các hàm sai khác DoG .........................17 Hình 2.10: Mô phỏng sử dụng công thức mở rộng của Taylor cho hàm DoG .........19 Hình 2.11: Quá trình tìm điểm cực trị trong các hàm sai khác DoG .......................21 Hình 2.12: Mô tả hướng và độ lớn các đặc trưng (nguồn: Tài liệu [17]) ................22 Hình 2.13: Xấp xỉ đạo hàm cấp 2 hàm Gaussian bằng hộp lọc (nguồn: Tài liệu [12]) ..........................................................................................................................24 Hình 2.14: Vùng hình tròn xung quanh và hướng đại diện cho điểm đặc trưng (nguồn: Tài liệu [12]) ...............................................................................................25 Hình 2.15: Lọc Haar wavelet để tính sự ảnh hưởng trên hai hướng x và y. Vùng tối có trọng số là -1, vùng sáng là +1 (nguồn: Tài liệu [12]).......................................26 Hình 2.16: 4x4 hình vuông con xung quanh điểm đặc trưng (nguồn: Tài liệu [12])27 Hình 2.17: Ví dụ về đốm sáng trên nền tối hơn và đốm tối trên nền sáng hơn (nguồn: Tài liệu [12]) ...............................................................................................27 ix Hình 2.18 tổ chức thư viện OpenCV (nguồn: Intel) ..................................................29 Hình 2.19 Nhận dạng khuôn mặt với Haar classifer trong OpenCV (nguồn: Intel) 30 Hình 3.1 Kiến trúc hệ thống ......................................................................................35 Hình 3.2 Sơ đồ tuần tự tách keyframe từ video .........................................................36 Hình 3.3 Sơ đồ tuần tự so trùng ảnh với keyframe ...................................................37 Hình 3.4 Cơ sở dữ liệu ..............................................................................................38 Hình 3.5: SQLite lưu trữ các video của camera .......................................................39 Hình 3.6: SQLite lưu trữ các keyframe của video ....................................................39 Hình 3.7: Giao diện chính của chương trình ............................................................40 Hình 3.8: Kết quả xử lý video tách keyframe ............................................................41 Hình 3.9: Giá trị keypoints, khoảng cách giới hạn các keypoints ............................42 Hình 3.10: Matching phát hiện ra đối tượng ............................................................42 Hình 3.11 Tách keyframe video “carparking1.mp4” ...............................................43 Hình 3.12 Tách keyframe video “carparking2.mp4” ...............................................44 Hình 3.13 Tách keyframe video “carparking3.mp4” ...............................................44 Hình 3.14 Matching phát hiện ra đối tượng ôtô1 .....................................................45 Hình 3.15 Kết quả truy vấn tìm kiếm đối tượng ôtô1................................................45 Hình 3.16 Matching phát hiện ra đối tượng ôtô2 .....................................................46 Hình 3.17 Kết quả truy vấn tìm kiếm đối tượng ôtô2................................................46 Hình 3.18 Matching phát hiện ra đối tượng ôtô3 .....................................................47 Hình 3.19 Kết quả truy vấn tìm kiếm đối tượng ôtô3................................................47 Hình 3.20 Matching phát hiện ra đối tượng ôtô4 .....................................................48 Hình 3.21 Kết quả truy vấn tìm kiếm đối tượng ôtô4................................................48 1 CHƯƠNG 1: GIỚI THIỆU 1.1: GIỚI THIỆU ĐỀ TÀI Ngày nay với sự phát triển vượt bậc của công nghệ thông tin. Xã hội và con người áp dụng công nghệ thông tin vào tất cả các lĩnh vực đời sống – kinh tế - xã hội. Các nghiên cứu khoa học ứng dụng công nghệ thông tin vào đời sống ngày càng được chú trọng vì mang lại giá trị thực tiễn cao, chính xác và nhanh chóng. Trong thời đại của thế kỷ 21, với sự phát triển nhảy vọt của trình độ Khoa học kỹ thuật, con người đã tạo nên và phát triển nhiều công trình khoa học mang tính tầm cỡ. Với sự thay thế dần của máy móc cho con người trong các nhiệm vụ mang tính chính xác và tập trung cao thì kết quả đạt được đã hoàn toàn được tin cậy và đánh giá cao. Điều này thực sự có ý nghĩa to lớn và góp phần tăng thêm giá trị và chất lượng cuộc sống. Thời kì công nghệ kỹ thuật số ngày càng phát triển, đời sống nâng cao. Nhu cầu về hệ thống camera giám sát quản lý an ninh ngày càng cấp thiết trong từng lĩnh vực. Ứng dụng giám sát trong tòa nhà, trung tâm thương mại, quản lý bãi xe…trở nên cấp thiết. Hệ thống quản lý camera giám sát được xem là một công cụ an ninh chủ đạo trong việc phòng chống tội phạm, giám sát dây truyền sản xuất, giám sát nhà xưởng…nơi làm việc. Với những nhu cầu đó, hệ thống camera giám sát được xem là một phương pháp giám sát thuận lợi nhất. “Hệ Thống Quản Lý Bãi Xe Ôtô Dựa Vào Video Giám Sát” nhằm mục đích quản lý bãi xe bằng video, để đếm số lượng xe, tìm kiếm, tính khoảng cách của các xe trong bãi bằng Video đã lưu trữ từ camera. Bước cái tiến của đề tài so với những hệ thống giám sát trước đó chính là khả năng truy vấn tìm kiếm đối tượng. Mang lại hiệu quả kinh tế cao, giảm thời gian công sức trong việc tìm kiếm đối tượng đối với video đã được lưu trữ. 2 Tính thực tiễn của đề tài là Hiện nay nhu cầu ứng dụng hệ thống quản lý ngày càng cao, hệ thống giám sát đáp ứng nhu cầu cấp thiết trong việc tìm kiếm đối tượng như người, xe cộ đảm bảo tính an ninh, quản lý trở thành một nhu cầu cấp thiết trong đời sống xã hội. Trong các hệ thống camera giám sát hiện tại chỉ lưu trữ dữ liệu dưới dạng file video với dung lượng lớn, đòi hỏi khả năng lưu trữ dung lượng rất cao, vẫn chưa đáp ứng được nhu cầu truy vấn tìm kiếm. Mọi hoạt động tìm kiếm đều do con người tập trung xem lại đoạn video đã lưu trữ trước đó. Câu hỏi được đặt ra cho vấn đề này là làm sao truy vấn tìm kiếm một đối tượng bằng hình ảnh có sẵn với đối tượng trong video trước đó một cách nhanh chóng nhất, tiết kiệm thời gian, chi phí, chính xác và mang lại hiệu quả cao nhất. Để giải quyết vấn đề đó, “Hệ Thống Quản Lý Bãi Xe Ôtô Dựa Vào Video Giám Sát”, đáp ứng nhu cầu truy vấn đối tượng bằng 1 hình ảnh cho sẵn được so sánh với hình ảnh trong Video qua xử lý tách lọc video. Cụ thể ở đây là đối tượng xe trong bãi. Để quản lý an toàn trong bãi xe, lượt xe ra vô, khoảng cách các xe. Tìm kiếm một đối tượng xe. Giảm thiểu việc tiêu tốn quá nhiều thời gian và công sức trong việc tìm kiếm và giám sát đối tượng. 1.2: TỔNG QUAN VỀ THỊ GIÁC MÁY TÍNH _ COMPUTER VISION Thị giác máy tính (tiếng Anh: computer vision) là một lĩnh vực bao gồm các phương pháp thu nhận, xử lý ảnh kỹ thuật số, phân tích và nhận dạng các hình ảnh và, nói chung là dữ liệu đa chiều từ thế giới thực để cho ra các thông tin số hoặc biểu tượng, ví dụ trong các dạng quyết định. Việc phát triển lĩnh vực này có bối cảnh từ việc sao chép các khả năng thị giác con người bởi sự nhận diện và hiểu biết một hình ảnh mang tính điện tử. Sự nhận diện hình ảnh có thể xem là việc giải quyết vấn đề của các biểu tượng thông tin từ dữ liệu hình ảnh qua cách dùng các mô hình được xây dựng với sự giúp đỡ của các ngành lý thuyết học, thống kê, vật 3 lý và hình học. Thị giác máy tính cũng được mô tả là sự tổng thể của một dải rộng các quá trình tự động và tích hợp và các thể hiện cho các nhận thức thị giác. Thị giác máy tính là một môn học khoa học liên quan đến lý thuyết hệ thống nhân tạo có trích xuất các thông tin từ các hình ảnh. Dữ liệu hình ảnh có thể nhiều dạng, chẳng hạn như chuỗi video, các cảnh từ đa camera, hay dữ liệu đa chiều từ máy quét y học. Thị giác máy tính còn là một môn học kỹ thuật, trong đó tìm kiếm việc áp dụng các mô hình và các lý thuyết cho việc xây dựng các hệ thống thị giác máy tính. Các lĩnh vực con của thị giác máy tính bao gồm tái cấu trúc cảnh, dò tìm sự kiện, theo dõi video, nhận diện bố cục đối tượng, học, chỉ mục, đánh giá chuyển động và phục hồi ảnh. Thị giác máy và xử lý ảnh là lĩnh vực ngày nay được phát triển và ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau nhờ vào sự phát triển ngày càng mạnh mẽ của các hệ thống máy tính, các thuật toán và công trình nghiên cứu khác nhau của nhiều nhà khoa học trên thế giới. Ở Việt Nam, các ứng dụng về xử lý ảnh đã bước đầu được triển khai trên một số lĩnh vực như lắp đặt hệ thống nhận dạng biển số xe ở các bãi đổ xe, hệ thống nhận dạng vân tay chấm công ở các công sở... môn học xử lý ảnh ở các trường đại học được xem là môn học bắt buộc ở một số nghành như công nghệ thông tin, điện tử viễn thông...Tuy nhiên nhìn một cách khách quan thì số lượng các ứng dụng được triển khai trên thực tế là quá ít ỏi, lĩnh vực này sẽ còn phát triển mạnh mẽ trong tương lai nếu được quan tâm một cách nghiêm túc. Xuất phát từ thực tế đó, đề tài nhằm mục đích tìm hiểu, nghiên cứu và ứng dụng vào nhu cầu thực tế trong việc quản lý và giám sát. Mục tiêu của đề tài “Hệ Thống quản lý bãi xe ô tô dựa vào video giám sát” nhằm xây dựng một hệ thống (chương trình ứng dụng) có khả năng truy vấn tìm kiếm đối tượng, đối tượng cụ thể được áp dụng là xe ôtô. Hệ thống cung cấp các chức năng tìm kiếm truy vấn đối tượng xe ôtô theo hình ảnh cung cấp, truy xuất 4 thông tin vị trí xe hiện ở đâu trong bãi, thời gian, đếm số lượng xe trong bãi dựa trên video giám sát. Để thực hiện mục tiêu trên các đối tượng cần nghiên cứu là: - Tìm hiểu kỹ thuật xử lý video: tách shot, tách frame chính từ một shot. - Tìm hiểu các công cụ computer vision trong thư viện OpenCV. - Phân tích thuật toán: giải thuật SIFT (Scale-invariant feature transform), SURF (Speed Up Robust Feature) trích xuất tập đặc trưng (keypoints) từ ảnh. - Tìm hiểu các thuật toán nhận dạng và so khớp tìm kiếm đối tượng. - Xây dựng cơ sở dữ liệu video đối tượng là xe ôtô. - Xây dựng chương trình nhận dạng xe trên cơ sở dữ liệu video. Phạm vi đề tài áp dụng cho việc quản lý giám sát các tầng hầm bãi xe của trung tâm thương mại, bệnh viện, trường học, siêu thị. 5 CHƯƠNG 2: TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU CỦA ĐỀ TÀI 2.1: MỘT SỐ KHÁI NIỆM 2.1.1 Cấu Trúc Video Video được cấu thành từ một tập liên tiếp các khung hình – frame, còn được gọi là ảnh, ghi nhận lại các hình ảnh quan sát được của các sự kiện xảy ra trong một khoảng thời gian. Có hai dạng tín hiệu video thông dụng là: tín hiệu tuần tự (analog) và tín hiệu video số (digital). Luận văn này sử dụng dữ liệu hình ảnh thu nhận từ camera, nên chúng ta chỉ xem xét đến video được biểu diễn dưới dạng số và bỏ qua phần tín hiệu âm thanh của video. Mô hình cấu trúc một chuỗi video bao gồm các thành phần sau:  Frame – khung hình là thành phần cơ bản trong chuỗi video. Mỗi khung hình tương ứng với một ảnh trong thế giới thực tại một thời điểm xác định.  Shot là một dãy các khung hình liên tiếp được camera ghi nhận không có sự ngắt quãng nào xảy ra. Shot là một đơn vị cơ bản để xây dựng phân tích nội dung video.  Các shot liên tiếp nhau được kết hợp lại thành một cảnh (scene) dựa trên nội dung.  Tất cả các scene tạo thành một chuỗi video. Video Scenes Shots Frame Hình 2.1: Mô hình cấu trúc của Video 6 2.1.2 Key – Frame Key – frame là một đặc trưng tóm tắt được dùng để mô tả nội dung nổi bật, chính yếu của một chuỗi Video, nó được xem như là một đại diện của một chuỗi những khung hình liên tục trong một thời gian của Video. Các frame khác và key – frame có sự khác nhau nhỏ hơn một ngưỡng cho trước. Việc truy xuất và chỉ mục hóa Video thường rất hay sử dụng Key – frame vì nó có khả năng giảm được một lượng dữ liệu lớn trùng lắp trong Video. Có nhiều phương pháp xác định key – frame khác nhau, nhưng chúng tựu chung dựa trên sự so sánh ảnh của từng cặp khung hình. 2.2: XÂY DỰNG CƠ SỞ DỮ LIỆU Thu thập video quản lý bãi xe ôtô từ các nguồn giả lập. Tiến hành lấy mẫu tạo cơ sở dữ liệu huấn luyện. 2.3: XỬ LÝ VIDEO 2.3.1 Tách shot 2.3.1.1 Phát hiện shot Bài toán đặt ra là : một video V gồm n shot, tìm vị trí bắt đầu và vị trí kết thúc của mỗi shot. Phát hiện shot cũng được biết như là phát hiện biên của shot hay phát hiện sự biến đổi. Phát hiện shot là nền tảng cho bất kỳ loại phân tích video và ứng dụng video vì nó cho phép phân chia nhỏ video thành các thành phần cơ bản của nó: các shot. 2.3.1.2 Phân loại + Hard cut: cut là một quát trình chuyển đổi tức thời từ cảnh này sang cảnh khác. Không có các frame chuyển đổi giữa hai shot. + Fades: một fade là quá trình chuyển đổi dần dần giữa một cảnh và một ảnh liên tục (fadeout) hoặc giữa một hình ảnh liên tục và một cảnh (fadein). 7 + Dissolve: dissolve là một quá trình chuyển đổi dần từ một cảnh sang cảnh khác, nó trôn lẫn fadeout của cảnh một và fadein cảnh hai. 2.3.2 Kỹ thuật tách shot Có nhiều kỹ thuật để tách shot như phát hiện cạnh, đường biên, so trùng histogram... Trong bài báo cáo này, chỉ tìm hiểu kỹ thuật so trùng histogram trên ảnh xám. 2.3.2.1 Sự khác biệt giữa các histogram Cách biểu diễn của phát hiện biên của shot dựa trên sự tính toán khác biệt của các histogram giữa các frame là độ đo của sự gián đoạn. Sự khác biệt này có thể được tính toán là tổng của giá trị tuyệt đối sự khác biệt giữa các giá trị của từng bin trong đó hx là histogram của bức ảnh X, M là số bin khác nhau. Cách thức phát hiện shot là dựa trên sự khác biệt giữa các histogram của các frame trong một video. Sự khác biệt này được tính toán như sau trong đó, hi là histogram với M bin của frame thứ i trong video. Hình 2.2: Sự khác biệt của histogram cho cut (nguồn: Tài liệu [5])