Tài liệu Xây dựng trung tâm xử lý cho tòa nhà thông minh trên hệ thống nhúng linux

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH TUẤN XÂY DỰNG TRUNG TÂM XỬ LÝ CHO TÒA NHÀ THÔNG MINH TRÊN HỆ THỐNG NHÚNG LINUX S K C 0 0 3 9 5 9 NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 S KC 0 0 4 2 5 4 Tp. Hồ Chí Minh, tháng 4 năm 2014 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH  LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH TUẤN XÂY DỰNG TRUNG TÂM XỬ LÝ CHO TÒA NHÀ THÔNG MINH TRÊN HỆ THỐNG NHÚNG LINUX NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Tp. Hồ Chí Minh, tháng 04 năm 2014 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH  LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH TUẤN XÂY DỰNG TRUNG TÂM XỬ LÝ CHO TÒA NHÀ THÔNG MINH TRÊN HỆ THỐNG NHÚNG LINUX NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 Hướng dẫn khoa học TS. LƯU THANH TRÀ Tp. Hồ Chí Minh, tháng 04 năm 2014 LÝ LỊCH CÁ NHÂN I. LÝ LỊCH SƠ LƯỢC: Họ & tên: Nguyễn Đình Tuấn Giới tính: Nam Ngày, tháng, năm sinh: 14/04/1985 Nơi sinh: Tp.HCM Quê quán: Tp.HCM Dân tộc: Kinh Chỗ ở riêng hoặc địa chỉ liên lạc: 200/13A Lê Văn Việt, Quận 9, Tp.HCM Điện thoại cơ quan: 083.8810173 Điện thoại nhà riêng: 0836030873 Fax: E-mail: [email protected] II. QUÁ TRÌNH ĐÀO TẠO: 1. Trung học chuyên nghiệp: Hệ đào tạo: Thời gian đào tạo từ ……/…… đến ……/ …… Nơi học (trường, thành phố): Ngành học: 2. Đại học: Hệ đào tạo: Chính quy Thời gian đào tạo từ: 09/2003 đến 06/2008 Nơi học (trường, thành phố): Đại học Giao Thông Vận Tải – CSII. Tp.HCM Ngành học: Kỹ thuật viễn thông Tên đồ án, luận án hoặc môn thi tốt nghiệp: Nghiên cứu các giao thức báo hiệu ứng dụng trong mạng viễn thông Ngày & nơi bảo vệ đồ án, luận án hoặc thi tốt nghiệp: 04/2008 – Trường Đại học Giao Thông Vận Tải – CSII. Tp.HCM Người hướng dẫn: TS. Trần Xuân Trường i III. QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác 09/2008 - nay Đài điều khiển vệ tinh - Bình Dương Công việc đảm nhiệm Kỹ sư khai thác Tp. Hồ Chí Minh, ngày 14 tháng 04 năm 2014 Người khai ký tên Nguyễn Đình Tuấn ii LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Tp. Hồ Chí Minh, ngày 14 tháng 04 năm 2014 (Ký tên và ghi rõ họ tên) Nguyễn Đình Tuấn iii CẢM TẠ Sau một thời gian dài học tập và nghiên cứu, cuối cùng tôi cũng đã hoàn thành bài luận tốt nghiệp của mình. Đây là thời điểm tốt nhất để tôi được bày tỏ lòng biết ơn của mình đến các Thầy, các Cô và những người thân đã luôn tận tình giúp đỡ, động viên tôi, chăm sóc tôi trong suốt quá trình thực hiện bài luận này. Đầu tiên, tôi xin chân thành gửi lời cảm ơn đến Thầy TS. Lưu Thanh Trà – Trường Đại Học Bách khoa Tp.HCM, thầy đã luôn hướng dẫn, tận tình giúp đỡ, cũng như động viên tinh thần cho tôi trong suốt quá trình làm chuyên đề 1, chuyên đề 2 và bài luận tốt nghiệp này. Xin tỏ lòng biết ơn đến hai giáo viên phản biện là Cô PGS.TS Phạm Hồng Liên và Cô TS. Nguyễn Thị Lưỡng – Trường Đại học Sư phạm Kỹ thuật Tp.HCM đã tận tình hướng dẫn để tôi chỉnh sửa luận văn một cách hợp lý nhất. Xin chân thành cảm ơn đến gia đình tôi: ba, má và các chị đã luôn an ủi, động viên, tận tình chăm sóc tôi trong lúc tôi gặp khó khăn nhất về sức khỏe. Và cuối cùng, xin cảm ơn các Anh/Chị và những bạn bè đồng nghiệp Đài Điều khiển Vệ tinh Bình Dương đã luôn hỗ trợ và tạo điều kiện tốt nhất về thời gian cho tôi hoàn thành kịp đồ án này. Xin chân thành cảm ơn! Tp. Hồ Chí Minh, ngày 14 tháng 04 năm 2014 Nguyễn Đình Tuấn iv TÓM TẮT Hệ thống xử lý cho tòa nhà thông minh đã được bắt đầu nghiên cứu xây dựng vào những năm 1980, nhưng kết quả đạt được hiện nay còn gặp nhiều hạn chế như hoạt động độc lập, các bộ điều khiển không trao đổi thông tin với nhau, không có quản lý và giám sát chung, cồng kềnh và đặc biệt là giá thành cao. Mục tiêu của đề tài này là xây dựng hệ thống khắc phục được những nhược điểm hiện tại. Trong đề tài, trung tâm xử lý sẽ được xây dựng trên kít Raspberry Pi nhỏ gọn, giá thành thấp, sử dụng thuật toán nhận dạng khuôn mặt Fisherfaces, được huấn luyện để phân biệt người dùng trong kiểm soát vào ra một cách thông minh, cùng với kết hợp công nghệ web thời gian thực (tương tác cơ sở dữ liệu MySQL) cho phép điều khiển hệ thống một cách linh hoạt trên mọi thiết bị như PC, máy tính bảng hay điện thoại thông minh. v MỤC LỤC Trang tựa Trang QUYẾT ĐỊNH GIAO ĐỀ TÀI LÝ LỊCH CÁ NHÂN ............................................................................................... i LỜI CAM ĐOAN ...................................................................................................iii CẢM TẠ ................................................................................................................ iv TÓM TẮT ............................................................................................................... v MỤC LỤC ............................................................................................................. vi DANH SÁCH CÁC HÌNH ...................................................................................... x DANH SÁCH CÁC BẢNG .................................................................................. xiii CHƯƠNG 1: TỔNG QUAN ................................................................................... 1 1.1 Tổng quan về ngôi nhà thông minh ................................................................ 1 1.2 Mục đích của đề tài........................................................................................ 4 1.3 Nhiệm vụ và giới hạn của đề tài ..................................................................... 4 1.4 Phương pháp nghiên cứu ............................................................................... 5 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT ........................................................................ 6 2.1 Cơ sở lý thuyết về trung tâm xử lý cho tòa nhà thông minh ........................... 6 2.1.1 Mô hình tổng quan ..................................................................................... 6 2.1.2 Một số chức năng cơ bản của tòa nhà thông minh....................................... 9 2.1.2.1 Hệ thống điều hòa không khí (HVAC) .................................................... 9 2.1.2.2 Kiểm soát vào ra ................................................................................... 10 2.1.2.3 Điều khiển ánh sáng và tiết kiệm năng lượng ........................................ 10 2.1.3 Các giao thức sử dụng cho tòa nhà thông minh hiện tại ............................ 11 2.1.3.1 X10 ....................................................................................................... 11 2.1.3.2 UPB ...................................................................................................... 12 2.1.3.3 INSTEON ............................................................................................. 12 2.1.3.4 Z-Wave ................................................................................................. 12 vi 2.1.3.5 ZigBee .................................................................................................. 13 2.1.4 Lựa chọn giao thức ................................................................................... 13 2.1.5 Socket.IO ................................................................................................. 14 2.1.6 Mô hình điều khiển vào ra dựa trên Socket.IO .......................................... 16 2.2 Cơ sở lý thuyết về xử lý ảnh ........................................................................ 17 2.2.1 Ảnh số ...................................................................................................... 17 2.2.2 Điểm ảnh .................................................................................................. 18 2.2.3 Mức xám của ảnh ..................................................................................... 18 2.2.4 Histogram................................................................................................. 19 2.2.5 Cân bằng histogram .................................................................................. 19 2.3 Biến đổi hình học ảnh .................................................................................. 22 2.3.1 Dịch chuyển ảnh (Translation).................................................................. 22 2.3.2 Dịch chuyển và xoay ảnh.......................................................................... 23 2.3.3 Xoay tỉ lệ.................................................................................................. 23 2.3.4 Phép biến đổi Affine................................................................................. 24 2.4 Làm mịn ảnh ............................................................................................... 26 2.4.1 Bộ lọc chuẩn hóa ...................................................................................... 26 2.4.2 Bộ lọc Gaussian........................................................................................ 26 2.4.3 Bộ lọc trung vị .......................................................................................... 27 2.4.4 Bộ lọc Bilateral ........................................................................................ 27 2.5 Nhận dạng ảnh ............................................................................................. 28 2.6 Phát hiện đối tượng...................................................................................... 30 2.6.1 Phát hiện khuôn mặt ................................................................................. 30 2.6.1.1 Phân loại theo từng đợt (Cascade Classification) ................................... 31 2.6.1.2 Các đặc trung Haar-like......................................................................... 33 2.6.1.3 Tăng cường (Boosting) ......................................................................... 36 2.6.1.4 AdaBoost .............................................................................................. 37 vii 2.6.1.4.1 2.6.1.5 Thuật toán AdaBoost [16] .................................................................. 38 Huấn luyện Cascade .............................................................................. 40 2.6.1.5.1 Thuật toán huấn luyện........................................................................ 40 2.6.1.5.2 Minh họa thuật toán huấn luyện Cascade ........................................... 41 2.6.1.6 Các bộ phân loại tăng cường nối tiếp..................................................... 42 2.7 Nhận dạng khuôn mặt .................................................................................. 43 2.8 Một số thuật toán nhận dạng khuôn mặt....................................................... 45 2.8.1 Phương pháp Eigenfaces .......................................................................... 45 2.8.2 Fisherfaces ............................................................................................... 48 2.8.3 Biểu đồ tần suất các mẫu nhị phân cục bộ (LBP) ...................................... 51 CHƯƠNG 3: THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN VÀO RA TRÊN HỆ THỐNG NHÚNG LINUX ................................................................................................... 57 3.1 Nhận dạng khuôn mặt .................................................................................. 57 3.1.1 Phân tích giải thuật ................................................................................... 57 3.1.2 Phát hiện khuôn mặt ................................................................................. 58 3.1.2.1 Chuyển đổi sang ảnh xám: .................................................................... 60 3.1.2.2 Thay đổi kích thước ảnh ........................................................................ 60 3.1.2.3 Cân bằng histogram .............................................................................. 61 3.1.2.4 Phát hiện khuôn mặt .............................................................................. 61 3.1.3 Xử lý dữ liệu khuôn mặt ........................................................................... 64 3.1.3.1 Phát hiện đôi mắt .................................................................................. 65 3.1.3.2 Các vùng tìm kiếm đôi mắt ................................................................... 66 3.1.3.3 Chuyển đổi hình học ............................................................................. 71 3.1.3.4 Cân bằng histogram riêng biệt cho bên trái và bên phải của khuôn mặt . 73 3.1.3.5 Làm mịn................................................................................................ 75 3.1.3.6 Mặt nạ hình eclipse ............................................................................... 76 3.1.4 3.1.4.1 Xây dựng cơ sở dữ liệu............................................................................. 77 Thu thập ảnh khuôn mặt ........................................................................ 77 viii 3.1.4.2 3.1.5 Nhận dạng khuôn mặt ............................................................................... 82 3.1.5.1 3.2 Huấn luyện ............................................................................................ 81 Thẩm định khuôn mặt: .......................................................................... 83 Hệ thống máy chủ web thời gian thực .......................................................... 85 3.2.1 Mô hình hệ thống ..................................................................................... 85 3.2.2 Nguyên lý ................................................................................................. 86 3.3 Phát triển trên hệ thống nhúng Raspberry .................................................... 87 3.3.1 Kết quả ..................................................................................................... 87 3.3.2 Hoạt động ................................................................................................. 92 CHƯƠNG 4: KẾT LUẬN ..................................................................................... 94 4.1 Đánh giá kết quả .......................................................................................... 94 4.2 Hướng phát triển của đề tài .......................................................................... 95 TÀI LIỆU THAM KHẢO ..................................................................................... 96 ix DANH SÁCH CÁC HÌNH Hình Trang Hình 1.1. Các tòa nhà thông minh nổi tiếng trên thế giới ......................................... 2 Hình 1.2. Mô hình và hình ảnh thực tế của Raspberry Pi ......................................... 3 Hình 2.1. Hệ thống quản lý riêng lẻ của tòa nhà thông minh .................................... 7 Hình 2.2. Hệ thống điều khiển tích hợp ................................................................... 8 Hình 2.3. Mô hình điều khiển tòa nhà thông minh dựa trên socket.io ..................... 14 Hình 2.4. Truyền thông phi trạng thái .................................................................... 14 Hình 2.5. Truy vấn liên tục của client (Long Polling) ............................................ 15 Hình 2.6. Giao thức truyền thông theo thời gian thực với Socket.IO ...................... 15 Hình 2.7. Mô hình kiểm soát vào ra dựa trên socket.io .......................................... 16 Hình 2.8. Ảnh xám với những ô vuông nhỏ đại diện cho một điểm ảnh ................. 18 Hình 2.9. Biểu diễn giá trị mức xám tại mỗi điểm ảnh từ 0-255 (ảnh gray) ............ 19 Hình 2.10. Biểu đồ histogram của ảnh xám ........................................................... 19 Hình 2.11. Sự khác biệt giữa trước và sau khi cân bằng histogram ........................ 20 Hình 2.12. Biểu đồ hàm phân bố tích lũy CDF ...................................................... 21 Hình 2.13. Sử dụng hàm CDF để cân bằng phân bố Gaussian................................ 21 Hình 2.14. Các phép biến đổi 2D cơ bản................................................................ 23 Hình 2.15. Mối quan hệ các điểm ảnh khi biến đổi Affine ..................................... 25 Hình 2.16. Nhân của bộ lọc Gaussian .................................................................... 27 Hình 2.17. Bốn đặc trưng Haar-like cơ bản............................................................ 33 Hình 2.18. Các đặc trưng mở rộng của các đặc trưng Haar-like cơ bản .................. 33 Hình 2.19. Cách tính Integral Image của ảnh ......................................................... 34 Hình 2.20. Ví dụ cách tính nhanh tổng các điểm ảnh của vùng D trên ảnh ............. 35 Hình 2.21. Ví dụ cách tính nhanh tổng điểm ảnh của vùng D trên ảnh với các đặc trưng xoay 45o ....................................................................................................... 35 Hình 2.22. Bộ phân loại mạnh được kết hợp từ các bộ phân loại yếu hơn .............. 37 x Hình 2.23. Các bộ phân loại nối tiếp nhau ............................................................. 41 Hình 2.24. Các bộ phân loại tăng cường nối tiếp ................................................... 42 Hình 2.25. Các khuôn mặt được mô tả bởi thuật toán Eigenfaces .......................... 47 Hình 2.26. Ảnh khuôn mặt biểu diễn bởi thuật toán Fisherfaces ............................ 51 Hình 2.27. Biểu đồ đánh giá về tỉ lệ nhận dạng của phương pháp Eigenfaces và phương pháp Fisherfaces trên cơ sở dữ liệu AT & T Facedatabase ........................ 52 Hình 2.28. Mô tả toán tử LBP................................................................................ 53 Hình 2.29. Toán tử LBP mở rộng (ELBP) ............................................................. 54 Hình 2.30. Biểu diễn khuôn mặt với thuật toán LBP .............................................. 55 Hình 3.1. Thuật toán thực hiện của chương trình nhận dạng trên Raspi ................. 58 Hình 3.2. Ô vuông màu đỏ đánh dấu khuôn mặt được phát hiện ............................ 64 Hình 3.3. Khuôn mặt sau khi tiền xử lý ................................................................. 65 Hình 3.4. Ảnh khuôn mặt được phát hiện cùng với đôi mắt ................................... 68 Hình 3.5. Quá trình tiền xử lý khuôn mặt ............................................................... 71 Hình 3.6. Hai nửa khuôn mặt được cân bằng một cách riêng biệt........................... 73 Hình 3.7. Mặt nạ hình eclipse để loại bỏ các phần dư thừa khác ............................ 76 Hình 3.8. Ảnh hoàn thiện sau quá trình tiền xử lý khuôn mặt................................. 77 Hình 3.9. Thuật toán thu thập ảnh, lưu cơ sở dữ liệu trên PC ................................. 78 Hình 3.10. Tập huấn luyện đã được xử lý và dán nhãn tự động.............................. 79 Hình 3.11. Ảnh tái tạo khuôn mặt .......................................................................... 84 Hình 3.12. Mô hình thiết kế hệ thống máy chủ Webserver thời gian thực để điều khiển thiết bị và điều khiển vào ra. ........................................................................ 85 Hình 3.13. Hệ thống nhận điện khuôn mặt trên Raspberrypi .................................. 87 Hình 3.14. Giao diện chương trình hoạt động trên iPad ......................................... 88 Hình 3.15. Giao diện điều khiển ............................................................................ 88 Hình 3.16. Chức năng thêm thiết bị ....................................................................... 89 Hình 3.17. Giao diện điều khiển vào ra (nhận dạng và chứng thực) ....................... 89 Hình 3.18. Chứng thực không thành công.............................................................. 90 xi Hình 3.19. Một số người dùng khác (1) ................................................................. 90 Hình 3.20. Một số người dùng khác (2) ................................................................. 91 Hình 3.21. Lịch sử nhận dạng và xác thực ............................................................. 91 Hình 3.22. Bảng điều khiển ................................................................................... 92 xii DANH SÁCH CÁC BẢNG Bảng Trang Bảng 3.1. Các vùng tìm kiếm mắt tốt nhất đối với các bộ phát hiện khuôn mặt khác nhau ...................................................................................................................... 67 Bảng 3.2. So sánh độ tin cậy và tốc độ giữa các bộ phát hiện đôi mắt .................... 68 xiii CHƯƠNG 1 TỔNG QUAN 1.1 Tổng quan về ngôi nhà thông minh [1] Trong nhiều năm khoảng thế kỷ 19, ngôi nhà thông minh đã là một trong những nét đặt trưng trong các tác phẩm khoa học viễn tưởng, nhưng nó đã dần trở thành hiện thực kể từ những năm đầu của thế kỷ 20 là khi các sản phẩm điện gia dụng được sản xuất hàng loạt và từ khi công nghệ thông tin bùng nổ mạnh mẽ [2, 3]. Các ý tưởng cho các hệ thống cho ngôi nhà tự động bắt nguồn từ Hội chợ thế giới vào những năm 1930 như hội chợ ở Chicago (1930), New York (1939)[4]. Năm 1966, Jim Sutherland, một kỹ sư làm việc cho Westinghouse Electric, đã phát triển hệ thống nhà tự động có tên gọi là “ECHO IV”, đây là dự án riêng của ông và không được thương mại hóa. Ngôi nhà đầu tiên “wired home” được xây dựng vào những năm 1960 bởi một người Mỹ có sở thích đặc biệt, nhưng nó bị giới hạn bởi công nghệ lúc bấy giờ. Thuật ngữ “smart home” đã được đưa ra bởi Hiệp hội Nhà ở của Mỹ vào năm 1984 [3]. Ngày nay, ngôi nhà thông minh đã là khái niệm khá phổ biến. Ngôi nhà thông minh có thể hiểu là ngôi nhà sử dụng các thiết bị điện tử tự động hoàn toàn hoặc bán tự động thay thế con người trong việc quản lý, điều khiển các thiết bị có trong ngôi nhà. Đèn tự động bật sáng khi có người bước vào phòng, tự động sưởi ấm, đánh thức chủ nhà và trước đó đã pha sẵn cà phê, vòi nước tự động xả và ngắt, điều khiển hệ thống điện trong ngôi nhà từ xa, quản lý, và theo dõi được năng lượng tiêu thụ…đó là những tiện ích của ngôi nhà thông minh [5]. Trang 1 a) Tòa nhà năng lượng mặt trời - Dubai, b) Nhà máy nước ngọt hình bong bóng - Tây Ban Nha, c) Tòa nhà One & Ortakoy – Istanbul, d) Tháp nước ngọt chọc trời - Sudan Hình 1.1. Các tòa nhà thông minh nổi tiếng trên thế giới Tại Việt Nam hiện nay, không còn khó để nhìn thấy những tòa nhà sử dụng các thiết bị thông minh từ các trung tâm thương mại, các tòa nhà lớn đến các hộ gia đình. Một số tòa nhà thông minh nổi bật tại Việt Nam trong thời gian qua đó là Tòa nhà VTC online (Hai Bà Trưng, Hà Nội), Petro Vietnam Tower (Lê Duẩn – TpHCM) hay Bitexco Financial Tower (Quận 1 – TpHCM), Keangnam Hanoi Landmark Tower (Từ Liêm – Hà Nội). Các thiết bị và hệ thống cho tòa nhà thông minh hiện nay tại Việt Nam phần lớn là do các hãng nước ngoài cung cấp như Siemens (Đức), Schneider (Pháp), TAC (Mỹ), Nara controls (Hàn Quốc), Mitshubishi (Nhật) và chỉ có BKAV Smarthome là công ty Việt nam duy nhất sản xuất thiết bị này. Tuy nhiên khoảng 50% các thiết bị này vẫn phần lớn hoạt Trang 2