Tài liệu Phát hiện và phân tích chuyển động của đám đông

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƢỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN THÁI BÌNH PHÁT HIỆN VÀ PHÂN TÍCH CHUYỂN ĐỘNG CỦA ĐÁM ĐÔNG Chuyên ngành : KỸ THUẬT VIỄN THÔNG Mã số : 60 52 02 08 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, NĂM 2018 CÔNG TRÌNH ĐƢỢC HOÀN THÀNH TẠI TRƢỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG –HCM Cán bộ hƣớng dẫn khoa học : TS. Chế Viết Nhật Anh (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 1 : GS.TS. Lê Tiến Thƣờng (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 2 : TS. Mai Linh (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Luận văn thạc sĩ đƣợc bảo vệ tại Trƣờng Đại học Bách Khoa, ĐHQG Tp. HCM ngày 12 tháng 01 năm 2018 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ) 1. TS. Huỳnh Phú Minh Cƣờng 2. TS. Lƣu Thanh Trà 3. GS. TS. Lê Tiến Thƣờng 4. TS. Mai Linh 5. PGS.TS. Võ Nguyễn Quốc Bảo Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trƣởng Khoa quản lý chuyên ngành sau khi luận văn đã đƣợc sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƢỞNG KHOA ĐIỆN – ĐIỆN TỬ ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƢỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ HỌ VÀ TÊN : NGUYỄN THÁI BÌNH MSHV : 7140437 NGÀNH : MÃ NGÀNH: 60 52 02 08 KỸ THUẬT VIỄN THÔNG 1. Đầu đề luận án : Phát hiện và phân tích chuyển động của đám đông (Crowded scene detection and analysis) 2. Nhiệm vụ (yêu cầu về nội dung và số liệu ban đầu) - Tìm hiểu và đề xuất giải thuật phát hiện vùng đám đông trong một khung ảnh. 3. Các kết quả dự kiến - Có thể phát hiện đƣợc vùng đám đông trong tập cơ sở dữ liệu chuẩn. 4. Ngày giao nhiệm vụ luận án : 01/2017 5. Ngày hoàn thành nhiệm vụ : 07/2017 6. Họ tên ngƣời hƣớng dẫn : Phần hƣớng dẫn : TS. Chế Viết Nhật Anh TS. Hồ Phƣớc Tiến Nội dung và yêu cầu LATN đã đƣợc thông qua Bộ môn Ngày 16 tháng 01 năm 2017 CHỦ NHIỆM BỘ MÔN NGƢỜI HƢỚNG DẪN CHÍNH (Ký và ghi rõ họ tên) (Ký và ghi rõ họ tên) TS. Chế Viết Nhật Anh PHẦN DÀNH CHO KHOA, BỘ MÔN Ngƣời duyệt (chấm sơ bộ) : _____________________ Ngày bảo vệ : ________________________________ Điểm tổng kết : _______________________________ Nơi lƣu trữ luận án : ___________________________ LỜI CẢM ƠN Từ khi theo học tại trƣờng Đại học Bách khoa tôi đã đƣợc các thầy trong Bộ môn Viễn thông đã tận tình chỉ dạy, truyền đạt thêm những kiến thức quý báu giúp tôi hiểu sâu hơn, rộng hơn, cũng nhƣ thấy đƣợc sự phát triển về công nghệ trong lĩnh vực Viễn thông trong hiện tại cũng nhƣ trong tƣơng lai và đó sẽ là hành trang để giúp tôi phục vụ tốt hơn công tác chuyên môn tại cơ quan đang công tác. Tôi xin gởi lời cảm ơn chân thành và lòng biết ơn sâu sắc nhất đến Thầy giáo, Tiến sĩ Chế Viết Nhật Anh đã tận tình giúp đỡ,chỉ dạy và dìu dắt để tôi hoàn thành luận văn này. Xin gởi lời cảm ơn đến các Thầy trong Bộ môn Viễn Thông, những ngƣời Thầy mà tôi đã theo học thật sự là tấm gƣơng sáng về đạo đức, tri thức và sự tận tụy trong giảng dạy những phẩm chất ấy thật cao quý và đáng trân trọng. Xin gởi lời cảm ơn đến lãnh đạo cơ quan Đài PT&TH thành phố Cần Thơ đã tạo điều kiện và hỗ trợ kinh phí giúp tôi hoàn thành việc học. Xin gởi lời cảm ơn đến các bạn học cùng khóa 2014, các bạn đã luôn hỗ trợ và giúp đỡ tôi trong những lúc khó khăn trong thời gian theo học tại trƣờng. Xin cảm ơn gia đình và bà con họ hàng những ngƣời luôn an ủi động viên và là chỗ dựa vững chắc để giúp tôi an tâm học tập. TP. Hồ Chí Minh, tháng 12 năm 2017 Học viên Nguyễn Thái Bình i TÓM TẮT Hiện nay, tại các đô thị lớn của nƣớc ta cũng nhƣ các nƣớc trên thế giới đều thu hút một số lƣợng lớn dân cƣ đổ dồn về sinh sống và làm việc dẫn đến việc xuất hiện đám đông ngày càng nhiều, nhất là trên các tuyến đƣờng giao thông, các trung tâm thƣơng mại lớn, các khu vui chơi giải trí, các bến xe…Do đó việc giám sát, theo dõi đám đông một cách tự động thông minh là một vấn đề quan trọng và cấp bách nhằm góp phần điều tiết giao thông, cũng nhƣ giữ gìn an ninh trật tự tại nơi công cộng…Trong khuôn khổ luận văn này tôi xin trình bày các giải thuật xây dựng một hệ thống giám sát thự động thông minh với mục tiêu là phát hiện, ƣớc lƣợng và phân tích chuyển động của đám đông. Việc sử dụng phƣơng pháp Gray Level Co-occurrence Matrix (GLCM) đã mô tả gần nhƣ đầy đủ thuộc tính thống kê và thông tin không gian của ảnh nhị phân. Do đó qua thực nghiệm việc sử dụng phƣơng pháp này vào phát hiện và ƣớc lƣợng độ đám đông gần nhƣ chính xác. Giải thuật Kanade-Lucas-Tomasi tracker (KLT tracker) chạy trên mô hình optical flow đã đƣợc sử dụng trong phân tích chuyển động của đám đông bao gồm xác định đƣờng đi của đối tƣợng, kết hợp với giải thuật gom nhóm tính toán độ nhất quán của đám đông để thấy rõ chuyển động của từng nhóm trong video clip. Các giải thuật trên đã đƣợc chạy thực nghiệm trên video thực tế và cho kết chính xác cao. ii ABSTRACT At present, in our country and countries around the world alike, majority of people flock to megacities for living and working. This causes the occurrence of more and more crowds, especially on traffic routes, big trade centers, entertainment zones, bus stations…For this reason, monitoring, watching crowds in automatically smart manner is an important and urgent issue that contributes to regulating traffic flows as well as to maintaining security- order at public places…Within this composition, I will present algorithms for building and analyzing the motions of crowds. The using of Gray Level Co-occurrence Matrix (GLCM) already describes nearly- sufficient statistical attributes and spatial information of binary images. Therefore, the test usage of this method in discovering and measuring crowds is almost precise. Kanade-LucasTomasi tracker (KLT tracker) operated on optical flow model has ever been used in analyzing motions of crowds, including the definition of orientation of objects, combined with grouping algorithms of calculating the consistency level of crowds for clear motions of each group in video clips. These algorithms have been tested in real videos with highly precise results. iii LỜI CAM ĐOAN Tôi xin cam đoan luận văn này do tôi đƣợc thực hiện. Các kết quả nghiên cứu và các kết luận trong luận văn này là trung thực không có sự sao chép từ bất kỳ một nguồn nào và dƣới bất kỳ hình thức nào. Việc tham khảo các nguồn tài liệu đã đƣợc thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng theo yêu cầu. Tác giả luận văn Nguyễn Thái Bình iv MỤC LỤC LỜI CẢM ƠN ............................................................................................................................. i TÓM TẮT ..................................................................................................................................ii ABSTRACT ..............................................................................................................................iii LỜI CAM ĐOAN ..................................................................................................................... iv MỤC LỤC ................................................................................................................................. v DANH MỤC HÌNH VẼ...........................................................................................................vii DANH MỤC BẢNG BIỂU ...................................................................................................... ix DANH MỤC TỪ VIẾT TẮT .................................................................................................... x Chƣơng 1 MỞ ĐẦU ................................................................................................................. 1 1.1 Giới thiệu đề tài ........................................................................................................... 1 1.2 Mục tiêu của luận văn ................................................................................................. 1 1.3 Nhiệm vụ của luận văn ................................................................................................ 2 1.4 Cấu trúc luận văn......................................................................................................... 2 Chƣơng 2 TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU .......................................................... 3 2.1 Phát hiện và ƣớc lƣợng mật độ đám đông dựa trên kỹ thuật loại bỏ nền .................... 3 2.2 Phát hiện và ƣớc lƣợng mật độ đám đông dựa trên kỹ thuật phân tích cấu trúc ảnh .. 6 2.3 Phát hiện và phân tích chuyển động của đám đông .................................................. 12 Chƣơng 3 CƠ SỞ LÝ THUYẾT LIÊN QUAN ĐẾN ĐỀ TÀI ............................................. 16 3.1 Phƣơng pháp loại bỏ nền ........................................................................................... 16 3.2 Phƣơng pháp mẫu nhị phân cục bộ ........................................................................... 17 3.3 Phƣơng pháp Gray-Level Co-Occurence Matrix (GLCM) ....................................... 18 3.4 Phƣơng pháp Kanade – Lucas – Tomasi tracker (KLT tracker) ............................... 21 3.5 Phân tích độ nhất quán (collectiveness) của đám đông ............................................. 24 3.5.1 Kiến thức tổng quát về đám đông ...................................................................... 24 3.5.2 Mô hình động lực của đám đông ....................................................................... 25 3.5.3 Đo độ nhất quán trong chuyển động của đám đông........................................... 26 3.5.3.1 Tổng quan ....................................................................................................... 26 3.5.3.2 Tính nhất quán về hành vi trong vùng lân cận ............................................... 26 3.5.3.3 Tính nhất quán về hành vi trên nhiều tập hợp khác nhau............................... 27 3.5.3.4 Sự kết hợp của những cá thể từ đƣờng dẫn tƣơng đồng................................. 28 3.5.3.5 Độ nhất quán đám đông theo hợp thức .......................................................... 28 3.5.3.6 Các tính chất của độ nhất quán trong chuyển động........................................ 29 3.5.3.7 Giải thuật gom nhóm đám đông ..................................................................... 29 v Chƣơng 4 PHÁT HIỆN VÀ PHÂN TÍCH CHUYỂN ĐỘNG CỦA ĐÁM ĐÔNG ............... 31 4.1 Tổng quan các bƣớc thực hiện luận văn .................................................................... 31 4.2 Phát hiện và ƣớc lƣợng mật độ đám đông ................................................................. 32 4.2.1 Phát hiện vùng đám đông ................................................................................... 32 4.2.2 Ƣớc lƣợng mật độ đám đông ............................................................................. 34 4.3 Phân tích chuyển động của đám đông ....................................................................... 36 4.3.1 Theo dõi chuyển động của đám đông ................................................................ 36 4.3.2 Gom nhóm và tính độ nhất quán của đám đông ................................................ 37 Chƣơng 5 MÔ PHỎNG THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ .............................. 38 5.1 Phát hiện vùng đám đông .......................................................................................... 38 5.2 Ƣớc lƣợng mật độ đám đông..................................................................................... 43 5.3 Phân tích chuyển động của đám đông ....................................................................... 45 5.4 Đánh giá kết quả thực nghiệm và kết luận ................................................................ 51 5.4.1 Đánh giá kết quả thực nghiệm ........................................................................... 51 5.4.2 Kết luận .............................................................................................................. 54 TÀI LIỆU THAM KHẢO ....................................................................................................... 55 LÝ LỊCH TRÍCH NGANG ..................................................................................................... 57 vi DANH MỤC HÌNH VẼ Hình 2.1 - Mô t kết quả của A.Velastin [1] ................................................................................4 Hình 2.2 - Ví dụ minh họa về thuật toán phân đoạn trong nghiên cứu của V. Ramesh [3] .......5 Hình 2.3 - Kết quả thực nghiệm của B. Yang [4] sử dụng 7 camera để quan sát di chuyển của 4 người trong phòng. .................................................................................................................6 Hình 2.4 - Sơ đồ kỹ thuật mô tả phương pháp ước lượng mật độ đám đông của N. Marana [5] ....................................................................................................................................................7 Hình 2.5 - Ảnh minh họa kết quả của phương pháp ALBP [6] ..................................................8 Hình 2. 6 - Minh họa các loại mật độ đám đông .......................................................................9 Hình 2.7 - Sơ đồ phân tích,ước lượng đám đông của phương pháp LBPCM [7]........................10 Hình 2.8 - Một số kết quả nhận dạng trong nghiên cứu của O. Arandjelovic [9] ...................10 Hình 2.9 - Kết quả phát hiện chuyển động cúa các nhóm đám đông [11]..............................12 Hình 2.10 - Một kết quả phân tích trong nghiên cứu của K. Lim [12] ....................................12 Hình 2.11 - Mô tả mô hình Social Force [13]..........................................................................13 Hình 2.12 - Kết quả tính toán của mô hình Optical Flow [14]...............................................14 Hình 2.13 - Một kết quả phân tích trong nghiên cứu của H.Ullah [15] ..................................14 Hình 2.14 - Kết quả phân tích theo dõi chuyển động tronng đám đông theo H. Idrees [16] ..15 Hình 3. 1 - Sơ đồ khối cách sử dụng phương pháp khung hình khác biệt trích từ [17]........... 16 Hình 3. 2 - Ví dụ minh họa phương pháp Mẫu nhị phân cục bộ (LBP) trích từ [7] ................ 18 Hình 3.3 - Mô tả phương pháp GLCM .................................................................................... 19 Hình 3.4 - Cách tạo ra 4 ma trận GLCM ................................................................................ 19 Hình 3.5 - Mô tả cách xác định điểm ảnh của 2 khung hình I và J ......................................... 21 Hình 3. 6 - Mô hình kim tự tháp của thuật toán KLT tracker được trích từ [18] .................... 22 Hình 3. 7- Minh họa cấu trúc cảnh đông đúc .......................................................................... 25 Hình 3.8- Mô tả không gian cấu trúc nhất quán...................................................................... 27 Hình 3. 9 - Lưu đồ giải thuật gom nhóm đám đông ................................................................. 30 Hình 4.1 - Lưu đồ giải thuật phát hiện và ước lượng mật độ đám đông .................................31 Hình 4.2 - Lưu đồ giải thuật phân tích chuyển động của đám đông .......................................32 Hình 4.3 - Minh họa bước tạo ảnh mức xám sau khi loại bỏ thành phần tĩnh ........................32 Hình 4.4 - Minh họa kết quả phân tích GLCM trên ô nhỏ không có đối tượng xe cộ hay người ........................................................................................................................................33 vii Hình 4.5 - Minh họa kết quả phân tích GLCM trên ô nhỏ có đối tượng là xe ô tô ................33 Hình 4.6 - Minh họa kết quả phân tích GLCM trên ô nhỏ có đối tượng là xe mô tô...............33 Hình 4.7 - Minh họa cách chia khung ảnh ra thành các ô lớn ................................................34 Hình 4.8 - Minh họa kết quả ước lượng đám đông bằng phương pháp GLCM ......................35 Hình 4.9 - Mô tả các bước thực hiện theo dõi đám đông bằng phương pháp KLT .................37 Hình 4.10 - Minh họa phương pháp theo dõi và gom nhóm đám đông ...................................37 Hình 5.2- Mô tả kết quả nhận dạng vùng đám đông với ngưỡng 𝜶=0.55 ..............................39 Hình 5.3- Mô tả kết quả nhận dạng vùng đám đông với ngưỡng 𝛼=0.6 .................................41 Hình 5.4- Mô tả kết quả nhận dạng vùng đám đông với ngưỡng𝜶=0.65 ................................42 Hình 5.5- Mô tả kết quả ước lượng mật độ vùng đám đông ....................................................44 Hình 5.6- Mô tả kết quả thực nghiệm phân tích chuyển động của đám đông .........................51 Hình 5. 7- So sánh kết quả phát hiện đám đông với mức ngưỡng 𝜶 khác nhau ......................52 Hình 5. 8- Kết quả phân tíchhạn chế của phương pháp phát hiện và ước lượng đám đông. ..53 Hình 5.9- Kết quả phân tích chuyển động của đám đông và phương tiện giao thông ............53 viii DANH MỤC BẢNG BIỂU Bảng 2. 1 - Định nghĩa đám đông trong một ô [6] ....................................................................8 Bảng 2. 2 - So sánh kết quả thực nghiệm của tác giả A. Fagette [10].....................................11 ix DANH MỤC TỪ VIẾT TẮT ALBP Advanced Local Binary Pattern GLCM Gray-level Co-occurrence matrix LBP Local Binary Pattern LBPCM Local Binary Pattern Co-occurrence Matrix KLT Kanade-Lucas-Tomasi SFM Social force model x Chƣơng 1 – Mở Đầu Chƣơng 1 MỞ ĐẦU 1.1 Giới thiệu đề tài Khi nền kinh tế phát triển cùng với tốc độ đô thị hóa tăng nhanh, các đô thị lớn đã thu hút một lƣợng lớn dân cƣ tập trung về sinh sống làm cho mật độ dân cƣ tại các đô thị ngày càng tăng lên. Trong khi cơ sở hạ tầng chƣa theo kịp sự phát triển thì hiện tƣợng đám đông đã xuất hiện ngày càng nhiều với mức độ phức tạp hơn. Vì vậy việc phát hiện, phân tích và đánh giá mật độ đám đông là một vấn đề quan trọng trong giai đoạn hiện nay. Việc sử dụng camera giám sát thông minh với những giải thuật tối ƣu trong việc phát hiện và phân tích đám đông một cách nhanh chóng và kịp thời sẽ góp phần làm hạn chế tình trạng ùn tắc giao thông tại các thành phố lớn, cũng nhƣ đảm bảo an ninh trật tự, an toàn xã hội tại địa phƣơng. Luận văn này xin trình bày các giải thuật nhằm xây dựng một hệ thống giám sát đám đông có thể thực hiện đƣợc 3 nhiệm vụ chính: phát hiện và khoanh vùng khu vực đông đúc trong hình ảnh, xác định mật độ đám đông trong hình và phân tích vận động của đám đông. 1.2 Mục tiêu của luận văn Dựa trên những công trình nghiên cứu liên quan, tìm hiểu đề xuất giải thuật để xử lý tín hiệu hình ảnh của camera giám sát đạt đƣợc tiêu chí sau đây:  Phát hiện vùng đám đông để có thể cảnh báo sớm, nhằm chủ động hơn trong phòng chống ùn tắc tại những nơi công cộng, kịp thời giải tán tình trạng tụ tập gây mất trật tự công cộng dẫn đến tình trạng mất kiểm soát làm ảnh hƣởng đến trật tự an toàn xã hội.  Ƣớc lƣợng mật độ đám đông để ứng dụng vào bài toán giám sát, phân luồng giao thông.  Từ việc phân tích chuyển động đám đông và ƣớc lƣợng độ nhất quán trong hành vi của các cá nhân trong tập hợp đám đông, ta có thể chủ động hơn trong giám sát, theo dõi hoạt động của đám đông. HVTH: Nguyễn Thái Bình 1 GVHD: TS. Chế Viết Nhật Anh Chƣơng 1 – Mở Đầu 1.3 Nhiệm vụ của luận văn  Sử dụng phƣơng pháp Gray Level Co-occurrence Matrix (GLCM) để phát hiện và khoanh vùng khu vực đông đúc trên từng khung hình đƣợc trích ra trong video đầu vào dựa trên việc phân tích đặc trƣng (features) của ảnh.  Tính hệ số homogeneity trên từng khung hình để ƣớc lƣợng mật độ tƣơng đối của vùng đám đông.  Sử dụng phƣơng pháp KLT tracker trên mô hình Optical flow kết hợp với giải thuật gom nhóm và tính độ nhất quán để phân tích chuyển động của đám đông.  Các giải thuật đƣợc kiểm nghiệm trên các video thực tế với nhiều cảnh khác nhau. 1.4 Cấu trúc luận văn Luận văn sẽ đƣợc trình bày gồm 5 chƣơng:  Chƣơng 1 – Giới thiệu tổng quan về đề tài, đối tƣợng mục và tiêu nghiên cứu của đề tài.  Chƣơng 2 – Khảo sát các nghiên cứu đƣợc công bố trên các bài báo về các phƣơng pháp xử lý hình ảnh ứng dụng trong việc phát hiện, ƣớc lƣợng và phân tích chuyển động của đám đông.  Chƣơng 3 – Cơ sở lý thuyết liên quan đến đề tài.  Chƣơng 4 – Các giải thuật cơ bản để xây dựng hệ thống phát hiện và phân tích chuyển động của đám đông.  Chƣơng 5 – Mô phỏng thực nghiệm và nhận xét đánh giá. HVTH: Nguyễn Thái Bình 2 GVHD: TS. Chế Viết Nhật Anh Chƣơng 2 – Tổng Quan Tình Hình Nghiên Cứu Chƣơng 2 TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU Quan sát theo dõi đám đông là một trong những thách thức trong lĩnh vực thị giác máy tính. Trƣớc nhu cầu phát triển không ngừng của đời sống xã hội thì việc xây dựng hệ thống giám sát tự động thông minh là một vấn đề cấp thiết cần giải quyết. Trong thời gian qua có nhiều nghiên cứu về lĩnh vực này theo nhiều hƣớng tiếp cận với nhiều giải thuật khác nhau của các nhà khoa học. Các kết quả công bố cho thấy các nghiên cứu này không chỉ dừng lại ở việc phát hiện đám đông mà còn đi sâu vào ƣớc ƣợng, phân tích hành vi và chuyển động của đám đông ngày càng chính xác trong từng trƣờng hợp quan sát cụ thể và đã đƣợc ứng dụng trong các hệ thống giám sát thông minh tự động tại các nơi công cộng, hệ thống đƣờng giao thông, các khu vực nhạy cảm cần giám sát… đã mang lại hiệu quả thiết thực trong việc cảnh báo phát hiện kịp thời tình trạng đám đông giúp cơ quan chức năng có hƣớng xử lý kịp thời. 2.1 Phát hiện và ƣớc lƣợng mật độ đám đông dựa trên kỹ thuật loại bỏ nền A. Velastin [1] đã trình bày nghiên cứu ƣớc lƣợng mật độ đám đông bằng cách sử dụng hình ảnh tham chiếu. Đây là phƣơng pháp tự động tạo ảnh nền để làm ảnh tham chiếu đo mật độ đám đông bất cứ lúc nào hoặc tại các địa điểm nghiên cứu khác nhau. Bởi vì cách trực tiếp để có đƣợc hình nền là chụp một hình ảnh từ địa điểm khảo sát khi không có ngƣời đi bộ. Tuy nhiên, trong các khu vực công cộng, hầu nhƣ luôn có ngƣời đi bộ, và việc ghi lại trực tiếp một hình ảnh với nền thƣờng không thể thực hiện đƣợc. Hơn nữa, dự đoán không chính xác có thể là kết quả của việc sử dụng chụp ảnh tham chiếu thủ công vì ảnh hƣởng của sự thay đổi mức độ chiếu sáng sau đó. Hình ảnh tham chiếu đƣợc tạo ra là hình ảnh chỉ có cảnh nền duy nhất và đã nhận thấy rằng số lƣợng điểm ảnh tăng gần tuyến tính với sự gia tăng số ngƣời đi bộ. Phƣơng pháp này có ƣu điểm là đơn giản không cần training với bộ ảnh nền đƣợc thiết lập trƣớc đó từ web có thể ƣớc lƣợng mật độ đám đông tại các địa điểm khác nhau. Hạn chế của phƣơng pháp này kết quả không chính xác nếu màu sắc của quần áo ngƣời đi bộ tƣơng tự nhƣ nền. Cũng nhƣ đối với những bộ phận của hình ảnh mà ngƣời đi bộ không di chuyển, nền sẽ không thể phục hồi. HVTH: Nguyễn Thái Bình 3 GVHD: TS. Chế Viết Nhật Anh Chƣơng 2 – Tổng Quan Tình Hình Nghiên Cứu (a) Ảnh khảo sát ban đầu (b) Ảnh nền (c) Ảnh (a) sau khi trừ nền Hình 2.1 - Mô tả kết quả củaA.Velastin [1] Nghiên cứu của R. Ma [2] đã đƣa ra phƣơng pháp đếm điểm ảnh để ƣớc lƣợng mật độ đám đông. Về cơ bản hình ảnh video đƣợc phân đoạn thành tiền cảnh và nền. Sau đó, từ tiền cảnh tính điểm pixel ƣớc lƣợng mật độ đám đông. Phƣơng pháp đếm điểm ảnh dựa vào kết quả phân đoạn tiền cảnh. Nó liên quan đến tổng số pixel ảnh đại diện cho số ngƣời. Với thiết lập lý tƣởng (tức là chế độ xem đầu, chiếu chính xác), phân đoạn hoàn hảo, tiếp theo với giả định có kích thƣớc của ngƣời bằng nhau, mối quan hệ là đúng tỷ lệ: Npersons = a ∗ Npixels (2.1) Trong các ứng dụng thực tế, máy ảnh thƣờng đƣợc đặt ở lề đƣờng, nên chiều cao tạo thành một góc với mặt đất. Với mật độ đám đông vừa phải khi đó sự tắc nghẻn là không đáng kể, mối quan hệ tuyến tính vẫn giữ, nhƣng với một tỉ lệ khác nhau: Npersons = a ∗ Npixels + b (2.2) Trong đó b là hệ số hiệu chỉnh nhằm đƣa tất cả các điểm ảnh về cùng một tỉ lệ. Nghiên cứu cho thấy mối quan hệ đối với sự điều chỉnh hình học cho mặt phẳng nền và chứng minh rằng nó có thể đƣợc áp dụng trực tiếp cho tất cả các điểm ảnh tiền cảnh và có thể ứng dụng trong thời gian thực. Nghiên cứu của V. Ramesh [3] đã giới thiệu một phƣơng pháp nhanh và chính xác cho vấn đề ƣớc tính số lƣợng con ngƣời và vị trí của họ từ những hình ảnh khác nhau thu đƣợc từ một camera duy nhất. Các nhà nghiên cứu đã kết hợp kỹ thuật loại bỏ nền và phát hiện các cạnh để ƣớc lƣợng mật độ, đồng thời áp dụng các mô hình tuyến tính để lập bản đồ các điểm ảnh đại diện hoặc các cạnh cho số ngƣời, đƣợc tích HVTH: Nguyễn Thái Bình 4 GVHD: TS. Chế Viết Nhật Anh Chƣơng 2 – Tổng Quan Tình Hình Nghiên Cứu hợp bằng phƣơng pháp mô tả Fourier để cải thiện kết quả. Phƣơng pháp của họ cũng bao gồm hiệu chỉnh hình học cho đúng với cảnh của camera. Tuy nhiên trên thực tế là kích thƣớc của cùng một ngƣời (tính bằng pixel) có thể thay đổi ở các vị trí khác nhau (kích thƣớc bằng pixel giảm xuống khi khoảng cách từ camera tăng lên). Rõ ràng, chức năng tuyến tính mà bản đồ số đếm đến số ngƣời trong hiện trƣờng không thành công khi xuất hiện các đám đông lộn xộn và điều này rất phổ biến đối với các thiết lập camera ở bên hông hoặc xiên trong đám đông. (a) Ảnh ban đầu (b) Ảnh sau khi loại bỏ nền (c) Bộ ảnh mẫu tham chiếu gần giống ảnh tiền cảnh nhất (d) Ảnh kết quả từ phép nội suy trên bộ ảnh mẫu tham chiếu gần giống nhất Hình 2.2- Ví dụ minh họa về thuật toán phân đoạn trong nghiên cứu của V. Ramesh [3] Nghiên cứu của B. Yang [4] đã trình bày phƣơng pháp sử dụng các camera để đếm ngƣời trong đám đông với mạng thời gian thực. Hệ thống có thể sử dụng nhiều camera trong mạng cảm biến, các cảm biến mạng có thể hình thành các cụm theo hình học sao cho mỗi cụm có thể đếm số ngƣời tại một chốt kiểm soát. Các cụm có thể giao HVTH: Nguyễn Thái Bình 5 GVHD: TS. Chế Viết Nhật Anh Chƣơng 2 – Tổng Quan Tình Hình Nghiên Cứu tiếp với nhau để xác định tính bao quát của đám đông trong khu vực đó. Hệ thống này khi ứng dụng ở những nơi đông đúc thì còn gặp nhiều khó khăn vì các camera bị che khuất và các cảm biến không thể phát hiện để đếm chính xác số ngƣời trong đám đông. Bên cạnh đó khi các đối tƣợng di chuyển các cảm biến cũng gặp nhiều khó khăn trong tính toán cũng nhƣ hạn chế tối đa kích thƣớc dữ liệu để truyền trên hệ thống. (a) Khung hình thứ nhất và kết quả hiển thị kết của hệ thống cảm biến (b) Khung hình thứ 2 và kết quả hiển thị kết của hệ thống cảm biến (c) Khung hình thứ 3 và kết quả hiển thị kết của hệ thống cảm biến Hình 2.3- Kết quả thực nghiệm của B. Yang [4] sử dụng 7 camera để quan sát di chuyển của 4 người trong phòng. 2.2 Phát hiện và ƣớc lƣợng mật độ đám đông dựa trên kỹ thuật phân tích cấu trúc ảnh Nghiên cứu của N. Marana [5] đã công bố một kỹ thuật ƣớc lƣợng mật độ đám đông tự động theo thời gian thực dựa trên các mô tả cấu trúc của một chuỗi các hình ảnh đám đông. Kỹ thuật này thu đƣợc 73,89% sự phân loại chính xác trong một ứng HVTH: Nguyễn Thái Bình 6 GVHD: TS. Chế Viết Nhật Anh Chƣơng 2 – Tổng Quan Tình Hình Nghiên Cứu dụng thời gian thực trên một chuỗi 9892 hình ảnh đám đông. Sau khi ƣớc lƣợng bằng tay với 990 hình ảnh đƣợc phân thành các lớp sau:  Mật độ rất thấp (VL): từ 0 đến 20 ngƣời  Mật độ thấp (L): từ 21 đến 40 ngƣời  Mật độ trung bình (M): từ 41- 60 ngƣời  Mật độ cao (H): từ 61-80 ngƣời  Mật độ rất cao (VH): trên 80 ngƣời Phân đoạn cấu trúc ảnh đầu vào Cấu trúc Histogram Ƣớc lƣợng mật độ đám đông Hình 2.4- Sơ đồ kỹ thuật mô tả phương pháp ước lượng mật độ đám đông của N. Marana [5] Với phƣơng pháp này để hệ thống xử lý trong thời gian thực thì cần có nhiều nút mạng với nhiều máy tính xử lý phân đoạn ảnh và giải thuật trao đổi dữ liệu giữa các nút mạng cũng rất phức tạp khi phải xử lý luồng dữ liệu đầu vào lớn. Nghiên cứu của W. Ma [6] đã đƣa ra mô hình mẫu nhị phân cục bộ nâng cao (ALBP). Tác giả thực hiện bằng cách chia ảnh đầu vào thành các ô nhỏ sau đó thực hiện phƣơng pháp ALBP là sử dụng phƣơng pháp mẫu nhị phân cục bộ (LBP) kết hợp các thuật toán Ma trận mức xám, Phân tích phổ Fourier để ƣớc lƣợng mật độ đám đông trong các ô nhỏ trong thời gian thực có thể hoạt động hiệu quả dƣới các môi trƣờng xung quanh khác nhau và đƣa ra ƣớc lƣợng mật độ mật độ khá chính xác. Tác giả cũng định nghĩa 5 trạng thải đám đông là: rất thấp (VL), thấp (L), vừa phải (M), đông (H), rất đông (VH) và mỗi trạng thái đƣợc quy định số ngƣời xuất hiện trong ô nhỏ cũng nhƣ tỉ lệ % diện tích ngƣời đi bộ chiếm trong ô nhỏ HVTH: Nguyễn Thái Bình 7 GVHD: TS. Chế Viết Nhật Anh