Đăng ký Đăng nhập
Trang chủ Giáo dục - Đào tạo Cao đẳng - Đại học Luận văn phát hiện đối tượng nổi bật trong video thời gian thực...

Tài liệu Luận văn phát hiện đối tượng nổi bật trong video thời gian thực

.PDF
95
687
92

Mô tả:

LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu khoa học này là kết quả nghiên cứu của cá nhân tôi. Các số liệu và tài liệu đƣợc trích dẫn trong công trình này là trung thực. Kết quả nghiên cứu này không trùng với bất cứ công trình nào đã đƣợc công bố trƣớc đó. Tôi chịu trách nhiệm với lời cam đoan của mình. Hà Nội, ngày 06 tháng 06 năm 2017 Tác giả Vũ Đình Thuấn i MỤC LỤC LỜI CAM ĐOAN .............................................................................................. i MỤC LỤC ......................................................................................................... ii CÁC THUẬT NGỮ VÀ CHỮ VIẾT TẮT ...................................................... iv DANH MỤC HÌNH ẢNH/HÌNH VẼ ............................................................... v DANH MỤC BẢNG BIỂU ............................................................................ vii PHẦN MỞ ĐẦU ............................................................................................... 1 PHẦN NỘI DUNG ........................................................................................... 5 Chƣơng I: GIỚI THIỆU .................................................................................... 5 1.1. ĐẶT VẤN ĐỀ........................................................................................ 5 1.2. TÌNH HÌNH NGHIÊN CỨU HIỆN NAY ............................................. 6 1.3. MỘT SỐ PHƢƠNG PHÁP PHÁT HIỆN ĐỐI TƢỢNG TRONG VIDEO .......................................................................................................... 7 1.3.1. Phƣơng pháp trừ nền (Backgroup Subtraction) .............................. 8 1.3.2. Phƣơng pháp dựa vào sự sai khác theo thời gian (Temporal Differencing) ............................................................................................. 9 1.3.3. Phƣơng pháp dòng chảy quang học (Optical flow) ...................... 10 Chƣơng II: PHÁT HIỆN ĐỐI TƢỢNG NỔI BẬT TRONG VIDEO THỜI GIAN THỰC ................................................................................................... 13 2.1. CÁC BỘ LỌC VÀ ỨNG DỤNG ......................................................... 13 2.1.1. Lọc trong miền không gian ........................................................... 13 2.1.1.1. Lọc trung bình........................................................................... 14 2.1.1.2. Lọc Gaussian ............................................................................ 15 2.1.1.3. Lọc trung vị............................................................................... 15 2.1.2. Lọc trong miền tần số.................................................................... 19 2.1.2.1. Lọc thông thấp .......................................................................... 19 2.1.2.2. Lọc thông cao ........................................................................... 20 2.2. BẢN ĐỒ NỔI BẬT TRONG ẢNH ..................................................... 21 2.2.1. Không gian màu và chuyển đổi giữa các không gian màu ........... 22 2.2.1.1. Màu sắc và phổ sóng điện từ của ánh sáng .............................. 22 2.2.1.2. Không gian màu RGB .............................................................. 23 ii 2.2.1.3. Không gian màu CMY(K) ........................................................ 24 2.2.1.4. Không gian màu XYZ .............................................................. 25 2.2.1.5. Không gian màu Lab ................................................................ 26 2.2.1.6. Chuyển đổi giữa các không gian màu ...................................... 28 2.2.1.6.1. Chuyển từ không gian màu RGB sang không gian màu CMY(K).............................................................................................. 28 2.2.1.6.2. Chuyển từ không gian màu RGB sang không gian màu XYZ .................................................................................................... 29 2.2.1.6.3. Chuyển từ không gian màu XYZ sang không gian màu Lab ............................................................................................................ 30 2.2.2. Các cách tiếp cận tính toán bản đồ nổi bật trong ảnh ................... 31 2.2.3. Hạn chế của bản đồ nổi bật ........................................................... 33 2.2.4. Phát hiện nổi bật bằng điều chỉnh tần số....................................... 34 2.2.4.1. Yêu cầu đối với bản đồ nổi bật ................................................. 34 2.2.4.2. Kết hợp bộ lọc thông dải DoG (Difference of Gaussian Bandpass Filters) ................................................................................... 35 2.2.4.3. Lựa chọn tham số...................................................................... 36 2.2.4.4. Tính toán nổi bật ....................................................................... 36 2.2.4.5. Một số kết quả .......................................................................... 40 2.3. PHÁT HIỆN ĐỐI TƢỢNG NỔI BẬT TRONG VIDEO .................... 53 2.3.1. Bài toán ......................................................................................... 53 2.3.2. Ý tƣởng thuật toán......................................................................... 53 2.3.3. Giải thuật ....................................................................................... 54 Chƣơng III: KẾT QUẢ THỰC NGHIỆM ...................................................... 57 3.1. CHƢƠNG TRÌNH THỰC NGHIỆM .................................................. 57 3.2. MỘT SỐ KẾT QUẢ THU ĐƢỢC ...................................................... 57 3.3. ĐÁNH GIÁ .......................................................................................... 67 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ...................................................... 72 TÀI LIỆU THAM KHẢO ............................................................................... 73 PHỤ LỤC ........................................................................................................ 74 iii CÁC THUẬT NGỮ VÀ CHỮ VIẾT TẮT STT Từ đầy đủ/ý nghĩa Từ viết tắt/Thuật ngữ 1 BG Background 2 CIE Commision Internationale de l’Éclairage 3 CMYK Cyan Magenta Yellow Key (Black) 4 DoG Difference of Gaussian 5 FG Foreground 6 RGB Red Green Blue iv DANH MỤC HÌNH ẢNH/HÌNH VẼ Hình 1-1 Minh họa phƣơng pháp trừ nền ......................................................... 9 Hình 1-2 Minh họa phƣơng pháp sai khác theo thời gian............................... 10 Hình 1-3 Minh họa phƣơng pháp dòng chảy quang học................................. 11 Hình 2-1 Tính toán trên miền không gian với ma trận lọc 3x3 ...................... 13 Hình 2-2 Minh họa bộ lọc trunh bình ............................................................. 15 Hình 2-3 Minh họa bộ lọc Gaussian ............................................................... 16 Hình 2-4 So sánh bộ lọc trung bình và trung vị .............................................. 18 Hình 2-5 Lọc thông thấp Gaussian với các ngƣỡng 5,15,30,80,230 .............. 20 Hình 2-6 Lọc thông cao Gaussian với các ngƣỡng 15,30,80 .......................... 21 Hình 2-7 Phổ sóng điện từ của ánh sáng ......................................................... 22 Hình 2-8 Mô hình màu RGB........................................................................... 23 Hình 2-9 Không gian màu RGB ..................................................................... 24 Hình 2-10 Mô hình màu CMYK ..................................................................... 24 Hình 2-11 Không gian màu CMY(K) ............................................................. 25 Hình 2-12 Không gian màu XYZ ................................................................... 26 Hình 2-13 Mô hình màu Lab ........................................................................... 26 Hình 2-14 Không gian màu Lab ..................................................................... 27 Hình 2-15 Thông tin tần số không gian đƣợc lƣu trữ trong tính toán của bản đồ nổi bật dử dụng phƣơng pháp IT ................................................................ 32 Hình 2-16 Thông tin tần số không gian đƣợc lƣu trữ trong tính toán của bản đồ nổi bật dử dụng phƣơng pháp SR............................................................... 33 Hình 2-17 Lƣợc đồ tính toán bản đồ nổi bật của hình ảnh ban đầu ................ 37 Hình 2-18 Kết quả kiểm thử với hình ảnh Image03 ....................................... 51 Hình 2-19 Kết quả kiểm thử với hình ảnh Image61 ....................................... 51 Hình 2-20 Kết quả kiểm thử với hình ảnh Image90 ....................................... 51 Hình 2-21 So sánh kết quả kiểm thử với hình ảnh Image08........................... 52 Hình 2-22 So sánh kết quả kiểm thử với hình ảnh Image13........................... 52 Hình 2-23 So sánh kết quả kiểm thử với hình ảnh Image36........................... 52 Hình 2-24 Thời gian xử lý của thuật toán với các hình ảnh thực nghiệm ...... 53 Hình 2-25 Lƣợc đồ thuật toán phát hiện đối tƣợng nổi bật trong video ......... 54 Hình 3-1 Kết quả kiểm thử với video00 ......................................................... 61 Hình 3-2 Kết quả kiểm thử với video80 ......................................................... 62 Hình 3-3 Kết quả kiểm thử với video33 ......................................................... 63 Hình 3-4 Kết quả kiểm thử với video57 ......................................................... 64 v Hình 3-5 Kết quả kiểm thử với video38 ......................................................... 65 Hình 3-6 Kết quả kiểm thử với video19 ......................................................... 66 Hình 4-1 Kết quả kiểm thử với hình ảnh Image60 ......................................... 74 Hình 4-2 Kết quả kiểm thử với hình ảnh Image67 ......................................... 74 Hình 4-3 Kết quả kiểm thử với hình ảnh Image73 ......................................... 74 Hình 4-4 Kết quả kiểm thử với hình ảnh Image79 ......................................... 75 Hình 4-5 Kết quả kiểm thử với hình ảnh Image84 ......................................... 75 Hình 4-6 Kết quả kiểm thử với hình ảnh Image99 ......................................... 75 Hình 4-7 So sánh kết quả kiểm thử với hình ảnh Image27............................. 76 Hình 4-8 So sánh kết quả kiểm thử với hình ảnh Image49............................. 76 Hình 4-9 So sánh kết quả kiểm thử với hình ảnh Image56............................. 76 Hình 4-10 Kết quả kiểm thử với video04 ....................................................... 77 Hình 4-11 Kết quả kiểm thử với video36 ....................................................... 78 Hình 4-12 Kết quả kiểm thử với video24 ....................................................... 79 Hình 4-13 Kết quả kiểm thử với video53 ....................................................... 80 Hình 4-14 Kết quả kiểm thử với video55 ....................................................... 81 Hình 4-15 Kết quả kiểm thử với video61 ....................................................... 82 Hình 4-16 Kết quả kiểm thử với video22 ....................................................... 83 Hình 4-17 Kết quả kiểm thử với video42 ....................................................... 84 Hình 4-18 Kết quả kiểm thử với video05 ....................................................... 85 Hình 4-19 Kết quả kiểm thử với video12 ....................................................... 86 Hình 4-20 Kết quả kiểm thử với video03 ....................................................... 87 Hình 4-21 Kết quả kiểm thử với video39 ....................................................... 88 vi DANH MỤC BẢNG BIỂU Bảng 2-1 Danh sách các hình ảnh sử dụng thực nghiệm ................................ 40 Bảng 3-1 Danh sách các video sử dụng thực nghiệm ..................................... 57 Bảng 3-2 Tốc độ xử lý của thuật toán với các video thực nghiệm ................. 67 vii PHẦN MỞ ĐẦU 1. Lý do chọn đề tài Trong thời đại bùng nổ thông tin hiện nay, cùng với sự phát triển nhanh chóng của các công nghệ hiện đại và mạng Internet thì lƣợng thông tin con ngƣời thu nhận đƣợc là rất lớn và đa dạng. Một trong những phƣơng tiện truyền thông đƣợc sử dụng khá phổ biến hiện nay là ảnh số/video vì lƣợng thông tin truyền tải cũng nhƣ độ chính xác thông tin. Theo trang thống kê trực tuyến internetlivestats [3] thì mỗi giây có khoảng 134,608 video đƣợc xem trên youtube và trung bình khoảng gần 10 tỷ video đƣợc xem mỗi ngày. Đây là một con số khá ấn tƣợng trong lĩnh vực xử lý ảnh/video. Để lƣợng thông tin này trở lên có ích và phù hợp với từng mục đích cụ thể thì cần phải tiến hành các kỹ thuật xử lý ảnh và video. Xử lý ảnh/video đang là lĩnh vực mới mẻ và hứa hẹn cho ngành công nghệ phần mềm hiện nay. Trên thế giới cũng đã có nhiều công trình nghiên cứu và đã có nhiều ứng dụng vào thực tế trong lĩnh vực này. Tuy nhiên, ở Việt Nam chƣa có nhiều ứng dụng thực tế đƣợc áp dụng theo hƣớng tiếp cận bằng phần mềm, trong đó vấn đề phát hiện đối tƣợng nổi bật trong video dựa trên các kỹ thuật xử lý ảnh sau đó đƣa ra các phân tích, giám sát, dự đoán đối tƣợng đang nhận đƣợc sự quan tâm của đông đảo các nhà nghiên cứu. Các phƣơng pháp đánh giá đối tƣợng nổi bật trƣớc đây có thể mở rộng đƣợc phân loại nhƣ dựa vào mặt sinh học, tính toán hoàn toàn, hoặc kết hợp [5][6]. Nói chung, tất cả các phƣơng pháp sử dụng một cách tiếp cận ở mức độ thấp bằng cách xác định độ tƣơng phản của vùng hình ảnh liên quan đến môi trƣờng xung quanh, sử dụng một hoặc nhiều đặc trƣng của cƣờng độ, màu sắc, và hƣớng. Tuy nhiên các bản đồ nổi bật tạo ra bởi hầu hết các phƣơng pháp này có độ phân giải thấp. 1 Một trong những vấn đề quan trọng khác trong quá trình xử lý video khiến nó phức tạp hơn xử lý ảnh đó là vấn đề liên quan đến tốc độ. Đây là tiêu chí quan trọng trong xử lý video vì theo nghiên cứu của [7], đối với ảnh, mắt ngƣời nhạy cảm với mức độ tƣơng phản (chất lƣợng ảnh) và đồng thời nhạy cảm với sự dịch chuyển của đối tƣợng trong video (tốc độ chuyển ảnh). Do đó, hầu hết các thuật toán xử lý video tốt đều phải cân bằng giữa cả hai yếu tố là chất lƣợng và tốc độ. Xuất phát từ thực tế đó, tôi đã chọn nghiên cứu đề tài “Phát hiện đối tƣợng nổi bật trong video thời gian thực” với cách tiếp cận thay đổi miền tần số của các giá trị điểm ảnh để tính toán bản đồ nổi bật trên ảnh và phát triển thuật toán để áp dụng phát hiện đối tƣợng nổi bật trong video đảm bảo các yêu cầu sau:  Phát hiện chính xác các đối tƣợng trong video.  Đảm bảo tốc độ xử lý của thuật toán.  Có thể áp dụng đối với các video đƣợc phát thời gian thực. 2. Mục đích nghiên cứu Luận văn tập trung tìm hiểu và nghiên cứu các thuật toán nhằm giải quyết bài toán phát hiện đối tƣợng nổi bật từ các dữ liệu video. Từ đó xây dựng chƣơng trình cho phép phát hiện các đối tƣợng nổi bật trong các video một cách chính xác và nhanh chóng. 3. Khách thể và đối tƣợng nghiên cứu Khách thể và đối tƣợng nghiên cứu của luận văn là các dữ liệu video dƣới các định dạng phổ biến hiện nay. Và tập trung vào các video không có quá nhiều đối tƣợng phức tạp ví dụ: các clip thể thao (bóng đá, bóng chầy, ...). 2 4. Giả thuyết khoa học Các dữ liệu video đầu vào sẽ đƣợc đọc dƣới dạng các frame ảnh, sau đó tính toán bản đồ nổi bật trên từng frame ảnh, và thực hiện các tính toán cần thiết sau đó hiển thị video với các đối tƣợng nổi bật đã đƣợc phát hiện. 5. Nhiệm vụ nghiên cứu  Tìm hiểu các phƣơng pháp tính toán bản đồ nổi bật trong ảnh.  Phát triển thuật toán để áp dụng với dữ liệu video.  Lập trình chƣơng trình để kiểm thử và đánh giá thuật toán. 6. Giới hạn phạm vi nghiên cứu Luận văn tập trung nghiên cứu việc phát hiện đối tƣợng trong một số loại video cụ thể: video về thể thao (bóng đá, bóng chầy, ...) video mà không có nhiều đối tƣợng phức tạp. 7. Phƣơng pháp nghiên cứu  Nghiên cứu lý thuyết, phân tích bài toán.  Tìm hiểu các phƣơng pháp phát hiện đối tƣợng bằng kỹ thuật xử lý ảnh.  Cài đặt chƣơng trình thực nghiệm.  Đánh giá hiệu suất thuật toán. 8. Đóng góp mới của luận văn Luận văn nghiên cứu một số phƣơng pháp tính toán bản đồ nổi bật trên ảnh, sau đó áp dụng với đối tƣợng dữ liệu mới là video, từ các bản đồ nổi bật đó thực hiện các tính toán cần thiết để phát hiện các đối tƣợng nổi bật trong video đó một cách chính xác và nhanh chóng, hy vọng áp dụng tốt với các video đƣợc phát thời gian thực. 3 9. Cấu trúc luận văn Nội dung chính của luận văn đƣợc trình bày trong 3 chƣơng: Chương 1: Giới thiệu Trong chƣơng này trình bày về vấn đề nghiên cứu bài toán phát hiện đối tƣợng trong video; tình hình nghiên cứu hiện nay; các phƣơng pháp phát hiện đối tƣợng trong video và các ứng dụng. Chương 2: Phát hiện đối tượng nổi bật trong video thời gian thực Trong chƣơng này trình bày một số bộ lọc và ứng dụng; các phƣơng pháp tính toán bản đồ nổi bật trong ảnh; thuật toán phát hiện đối tƣợng nổi bật trong video. Chương 3: Kết quả thực nghiệm Trong chƣơng này trình bày việc cài đặt thuật toán bằng bộ công cụ Visual Studio 2012 và thƣ viện mã nguồn mở Open CV 2.4.9; thực nghiệm trên dữ liệu video sau đó đánh giá kết quả thu đƣợc của thuật toán. 4 PHẦN NỘI DUNG Chƣơng 1: GIỚI THIỆU 1.1. ĐẶT VẤN ĐỀ Khi thế giới đang từng ngày thay đổi và phát triển với những bƣớc tiến vƣợt bậc trong công cuộc công nghiệp hóa - hiện đại hóa trên tất cả các lĩnh vực, trong đó phải kể đến sự đóng góp to lớn của lĩnh vực công nghệ thông tin. Các thành tựu của công nghệ thông tin đã tạo điều kiện và đẩy nhanh sự phát triển của các lĩnh vực khác. Với sự phát triển không ngừng của các thiết bị phần cứng giúp cho lƣợng thông tin thu nhận đƣợc ngày càng lớn với tốc độ xử lý ngày càng đƣợc cải thiện, chính điều đó đã mở ra nhiều hƣớng nghiên cứu và phát triển cho ngành công nghệ phần mềm. Lƣợng thông tin mà con ngƣời nhận đƣợc từ các thiết bị ngày càng phong phú và đa dạng, đặc biệt là các thông tin dƣới dạng ảnh/video số đƣợc thu nhận từ các thiết bị số phổ biến hiện nay nhƣ: điện thoại thông minh, camera/máy ảnh số, các thiết bị giám sát an ninh... đang ngày càng đƣợc quan tâm vì mức độ truyền tải thông tin chính xác cũng nhƣ lƣợng thông tin truyền tải là cực lớn. Các thông tin này sau khi đƣợc thu nhận thì tùy vào từng mục đích cụ thể của các lĩnh vực mà đƣợc xử lý theo các cách khác nhau. Vấn đề xử lý ảnh/video đang là mối quan tâm và là môi trƣờng đầu tƣ rất triển vọng của các đơn vị phát triển phần mềm trong và ngoài nƣớc. Kết quả của các chƣơng trình đó sẽ đƣợc ứng dụng cho rất nhiều lĩnh vực trong đời sống xã hội, đặc biệt lĩnh vực trí tuệ nhân tạo – một lĩnh vực mới mẻ và đang đƣợc đầu tƣ phát triển rất mạnh mẽ. Để thực hiện đƣợc các mục tiêu đó thì một trong những vấn đề đã và đang đƣợc đông đảo các nhà nghiên cứu quan tâm nhất đó là việc phát hiện các đối tƣợng trong video một cách tự 5 động sau đó có thể đƣa ra các phân tích, phân đoạn, giám sát hay dự đoán... các đối tƣợng. 1.2. TÌNH HÌNH NGHIÊN CỨU HIỆN NAY Bài toán phát hiện đối tƣợng trong video đã đƣợc các nhà nghiên cứu trên thế giới quan tâm nghiên cứu từ rất sớm và không ngừng đƣợc đầu tƣ phát triển. Cho tới thời điểm hiện nay thì đã có nhiều thuật toán phát hiện đối tƣợng đƣợc công bố và áp dụng vào thực tế đã chứng minh đƣợc độ chính xác tƣơng đối cao cũng nhƣ tốc độ xử lý nhanh. Thông thƣờng có hai hƣớng tiếp cận để giải quyết bài toán phát hiện đối tƣợng là dựa hoàn toàn vào phần cứng và dựa vào các kỹ thuật xử lý ảnh để phát hiện đối tƣợng trên từng frame ảnh thu đƣợc từ dữ liệu video. Ở nƣớc ta hiện nay thì việc giải quyết bài toán phát hiện đối tƣợng trong video chủ yếu đƣợc thực hiện bẳng phần cứng và cũng chƣa đƣợc ứng dụng nhiều vào trong thực tế. Ví dụ, một vấn đề đang bùng nổ hiện nay đó là việc giám sát tự động các dữ liệu video thu đƣợc từ hệ thống camera giám sát an ninh đang đƣợc sử dụng rất phổ biến ở các cửa hàng, công ty, ngân hàng... Tuy nhiên, trong hệ thống camera giám sát an ninh hiện nay thì dữ liệu thu đƣợc qua các camera chƣa đƣợc tự động hóa xử lý, luôn có một bộ phận nhân viênn giám sát thực hiện nhiệm vụ quan sát các dữ liệu video đó để phát hiện các đối tƣợng cũng nhƣ đƣa ra các cảnh báo đột nhập... Trên thế giới cũng đã có một số ứng dụng nghiên cứu về vấn đề hỗ trợ giám sát an ninh nhƣng những nghiên cứu này là đơn lẻ và chƣa đƣợc tích hợp lại với nhau thành một hệ thống hoàn chỉnh, cũng nhƣ chi phí cho các ứng dụng này là rất lớn. Hƣớng tiếp cận chính đƣợc đề cập nhiều và đang đƣợc đông đảo các nhà nghiên cứu lựa chọn hiện nay đó là tiếp cận bằng phần mềm bằng cách sử dụng các kỹ thuật xử lý ảnh để phát hiện đối tƣợng trên từng frame ảnh. Hƣớng tiếp cận này cũng đã thu đƣợc những thành tựu đáng kể. Ví dụ, hệ 6 thống phát hiện khuôn mặt ngƣời đƣợc tích hợp trên các camera của điện thoại thông minh/máy ảnh số... hay việc phát hiện các đối tƣợng chuyển động trong video từ đó theo vết/giám sát đối tƣợng nhƣ trong các hệ thống camera giao thông... Một vấn đề đƣợc đặt ra nữa là phát hiện đƣợc các đối tƣợng nổi bật trong các dữ liệu video một cách chính xác và nhanh chóng cũng đang là hƣớng đi mới trong lĩnh vực xử lý ảnh/video. 1.3. MỘT SỐ PHƢƠNG PHÁP PHÁT HIỆN ĐỐI TƢỢNG TRONG VIDEO Có rất nhiều phƣơng pháp đã đƣợc sử dụng trong các nghiên cứu nhằm giải quyết bài toán phát hiện đối tƣợng trong video có thể đƣợc phân loại nhƣ sau [5]:  Các phƣơng pháp dựa vào các điểm đặc trƣng (Point detectors): Moravec’s detector, Harris detector, Scale Invariant Feature Transform Affine, Invariant Point Detector.  Các phƣơng pháp dựa vào phân đoạn ảnh (Segmentation): Mean-shift, Graph-cut, Active contours.  Các phƣơng pháp dựa vào việc mô hình hóa ảnh nền (Background Modeling): Mixture of Gaussians, Eigenbackground, Wall flower, Dynamic texture background.  Các phƣơng pháp dựa vào phân lớp có giám sát (Supervised Classifier): Support Vector Machines, Neural Networks, Adaptive Boosting. Việc lựa chọn phƣơng pháp tùy thuộc vào từng tình huống và mục đích cụ thể của bài toán. Trong đó có ba phƣơng pháp tiêu biểu là: phƣơng pháp trừ nền, phƣơng pháp sai khác theo thời gian, phƣơng pháp dòng chảy quang học [5]. 7 1.3.1. Phƣơng pháp trừ nền (Backgroup Subtraction) Phƣơng pháp trừ nền là phƣơng pháp thƣờng đƣợc sử dụng nhất, ý tƣởng của phƣơng pháp này là xác định sự sai khác do đối tƣợng chuyển động tạo ra bằng cách trừ từng bit tƣơng ứng của hai frame liên tiếp nhau trong chuỗi video thu đƣợc từ camera [5]. Ban đầu phƣơng pháp này sẽ khởi tạo nền tham khảo từ một số frame đầu tiên của video đầu vào. Sau đó, trừ giá trị cƣờng độ của mỗi điểm ảnh trong frame ảnh hiện thời cho giá trị tƣơng ứng trong ảnh nền tham khảo. Tiếp theo các nền cơ sở và các frame ảnh hiện thời đƣợc cập nhật lại liên tục từ những frame ảnh đầu vào. Quá trình kết thúc khi xem xét đến frame ảnh cuối cùng từ dữ liệu video đầu vào. Gọi ( ) là cƣờng độ của điểm ảnh tại vị trí x và tại thời điểm frame thứ n trong dữ liệu video đầu vào, . Gọi ( ) là giá trị cƣờng độ của ảnh nền tƣơng ứng cho vị trí x đƣợc ƣớc lƣợng qua chuỗi các frame từ đến . Theo phƣơng pháp này, một điểm ảnh tại vị trí x trong frame hiện thời sẽ thuộc thành phần nổi trội nếu thỏa mãn: | ( ) Trong đó đến ( )| ( ) (1) ( ) là một ngƣỡng đƣợc ƣớc lƣợng thông qua các frame từ . Kết quả của công thức trên sẽ thu đƣợc bản đồ các điểm ảnh nổi trội bằng cách biểu diễn các điểm ảnh bởi một ma trận trong đó các điểm ảnh nổi trội sẽ có giá trị 1, các điểm ảnh nền có giá trị 0. Điểm ảnh nền đầu đƣợc khởi tạo với khung hình đầu tiên là ( ) ban . Các frame ảnh nền và ngƣỡng sẽ liên tục đƣợc cập nhật theo công thức sau: 8 ( ) ( ) ( ) { ( ( ) ( ) ) ( ) (2) ( ) { ( ) ( ) ( )( | ( ) ( )|) Trong đó BG là vùng ảnh nền, FG là vùng ảnh nổi trội; ; là số điểm ảnh khác nhau từ frame hiện thời đƣợc so sánh với ảnh nền. Hình 1-1 Minh họa phương pháp trừ nền  Ƣu điểm: Phƣơng pháp này thích ứng với môi trƣờng động có nhiều đối tƣợng chuyển động phức tạp, phát hiện chuyển động biên độ nhỏ và ít phụ thuộc vào tốc độ cũng nhƣ kích thƣớc của đối tƣợng chuyển động.  Nhƣợc điểm: Thƣờng chỉ áp dụng với các dữ liệu video thu đƣợc từ camera tĩnh, tốc độ xử lý chậm do phải tính toán và cập nhật các mô hình nền, độ chính xác không cao khi áp dụng với các video có các đối tƣợng gần nhƣ không dịch chuyển (không phát hiện đƣợc đối tƣợng đã dừng lại), các video có nhiều nhiễu. 1.3.2. Phƣơng pháp dựa vào sự sai khác theo thời gian (Temporal Differencing) Phƣơng pháp này dựa vào sự biến đối của một giá trị điểm ảnh theo thời gian để xác định đối tƣợng chuyển động (so sánh giá trị điểm ảnh tại cùng vị trí ở hai hoặc ba frame liên tiếp nhau) [5]. 9 Theo phƣơng pháp này, một điểm ảnh tại vị trí x trong frame hiện thời sẽ thuộc thành phần nổi trội nếu thỏa mãn: | ( ) Gọi thứ n, ( )| ( ) (3) ( ) là cƣờng độ của điểm ảnh tại vị trí x và tại thời điểm frame ( ) là cƣờng độ của điểm ảnh tại vị trí x và tại thời điểm frame thứ n-1 trong chuỗi frame từ dữ liệu video đầu vào, ƣớc lƣợng thông qua các frame từ đến ( ) là một ngƣỡng đƣợc . Hình 1-2 Minh họa phương pháp sai khác theo thời gian  Ƣu điểm: Phƣơng pháp này thích ứng với sự thay đổi của môi trƣờng, đƣợc áp dụng hiệu quả nhất trong trƣờng hợp phát hiện và theo dõi một đối tƣợng chuyển động.  Nhƣợc điểm: Phụ thuộc vào tốc độ và kích thƣớc và số lƣợng đối tƣợng chuyển động, độ chính xác không cao khi áp dụng với các video có các đối tƣợng gần nhƣ không dịch chuyển (không phát hiện đƣợc đối tƣợng đã dừng lại), các video có nhiều nhiễu. 1.3.3. Phƣơng pháp dòng chảy quang học (Optical flow) Phƣơng pháp Optical flow thực hiện bằng cách sử dụng các vector có hƣớng của các đối tƣợng chuyển động theo thời gian để phát hiện các vùng chuyển động trong một ảnh [5]. 10 Optical flow là khái niệm chỉ sự chuyển động tƣơng đối của các điểm trên bề mặt một đối tƣợng nào đó gây ra, dƣới góc quan sát của một điểm mốc (mắt, camera…). Sự chuyển động của các đối tƣợng (có thể coi là sự chuyển động của các điểm trên bề mặt của đối tƣợng ấy) trong không gian 3 chiều, khi đƣợc chiếu lên một mặt phẳng quan sát 2 chiều đƣợc gọi là trƣờng chuyển động (motion field). Nói chung, mục đích của các phƣơng pháp Optical flow là xác định trƣờng chuyển động từ một chuỗi các frame thay đổi theo thời gian, chúng đƣợc sử dụng rộng rãi trong các bài toán phát hiện chuyển động, theo dõi, phân đoạn đối tƣợng… Có nhiều kĩ thuật xác định optical flow khác nhau nhƣ: tƣơng quan, so khớp, theo vết đặc trƣng… Ý tƣởng chính của phƣơng pháp tính Optical flow dựa trên gradient đƣợc giả định nhƣ sau: Bề ngoài của đối tƣợng không có nhiều thay đổi (về cƣờng độ sáng) khi xét từ frame thứ n sang frame n+1. Nghĩa là: (⃗ ) (⃗ ⃗⃗ ) (4) Trong đó ( ⃗ ) là hàm trả về cƣờng độ sáng của điểm ảnh ⃗ tại frame thứ n. ⃗ ( ) là tọa độ của điểm ảnh ⃗ trên bề mặt (2D), ⃗⃗ ( ) là vector vận tốc, thể hiện sự thay đổi vị trí của điểm ảnh từ frame thứ n sang frame n+1. Hình 1-3 Minh họa phương pháp dòng chảy quang học 11  Ƣu điểm: Phƣơng pháp này cho kết quả khá tốt với những hình ảnh đầu vào phức tạp, có thể phát hiện đƣợc đối tƣợng chuyển động trong các video thu đƣợc từ các camera di chuyển.  Nhƣợc điểm: Đòi hỏi độ phức tạp tính toán cao. Chính điều này đã tạo ra khó khăn trong việc áp dụng, triển khai thực tế. Trong luận văn này chúng tôi giới thiệu một phƣơng pháp mới thuộc nhóm các phƣơng pháp dựa vào phân đoạn ảnh để phát hiện các đối tƣợng nổi bật trong video. Nội dung chi tiết về phƣơng pháp đƣợc trình bày trong chƣơng tiếp theo. 12 Chƣơng 2: PHÁT HIỆN ĐỐI TƢỢNG NỔI BẬT TRONG VIDEO THỜI GIAN THỰC Trong chƣơng này, luận văn tập trung giới thiệu vào việc phát hiện các đối tƣợng nổi bật dựa trên một số nhận xét rằng các điểm ảnh nổi trội thƣờng là các điểm ảnh có giá trị tần số cao hơn so với các điểm ảnh vùng láng giềng, các điểm ảnh này thƣờng nằm ở biên và là ranh giới để xác định các đối tƣợng. Do đó, chúng tôi sử dụng một số bộ lọc và các kỹ thuật xử lý ảnh nhằm làm nổi bật những điểm ảnh này và phân tách các đối tƣợng để xác định đối tƣợng nổi bật trong video. 2.1. CÁC BỘ LỌC VÀ ỨNG DỤNG 2.1.1. Lọc trong miền không gian Lọc ảnh là một kỹ thuật trong xử lý ảnh số, trong đó, các điểm ảnh mới đƣợc tính toán dựa trên các điểm ảnh láng giềng và một mặt nạ (gọi là bộ lọc). Việc xác định các điểm láng giềng đƣợc thực hiện dựa trên bộ lọc. Lọc trong miền không gian là việc thực hiện các phép biến đổi và tính toán trực tiếp dựa vào ảnh gốc. Giá trị điểm ảnh mới đƣợc tính bằng tích chập hoặc tƣơng quan giữa bộ lọc và các điểm ảnh tƣơng ứng trong ảnh gốc. Hình 2-1 Tính toán trên miền không gian với ma trận lọc 3x3 13
- Xem thêm -

Tài liệu liên quan