Tài liệu Nghiên cứu giải pháp tập trung và ứng dụng quản lý hệ thống mạng trường đại học hà nội

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG __________&*&__________ NGUYỄN THỊ HÀ LY NGHIÊN CỨU GIẢI PHÁP GIÁM SÁT TẬP TRUNG VÀ ỨNG DỤNG QUẢN LÝ HỆ THỐNG MẠNG TRƯỜNG ĐẠI HỌC HÀ NỘI LUẬN VĂN THẠC SỸ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI – 2019 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG __________&*&__________ NGUYỄN THỊ HÀ LY NGHIÊN CỨU GIẢI PHÁP GIÁM SÁT TẬP TRUNG VÀ ỨNG DỤNG QUẢN LÝ HỆ THỐNG MẠNG TRƯỜNG ĐẠI HỌC HÀ NỘI CHUYÊN NGÀNH : KHOA HỌC MÁY TÍNH MÃ SỐ : 8.48.01.01 LUẬN VĂN THẠC SỸ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS. TRẦN QUANG ANH HÀ NỘI – 2019 i LỜI CAM ĐOAN Tôi cam đoan đề tài: “Nghiên cứu giải pháp giám sát tập trung và ứng dụng quản lý hệ thống mạng Trường Đại học Hà Nội” là công trình nghiên cứu của riêng tôi dưới sự hướng dẫn của PGS.TS Trần Quang Anh. Các kết quả, phân tích, kết luận trong luận văn thạc sỹ này (ngoài phần được trích dẫn) đều là kết quả làm việc của tác giả, các số liệu nêu trong luận văn là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác. Nếu sai tôi xin hoàn toàn chịu trách nhiệm. Hà Nội, ngày 12 tháng 2 năm 2019 Tác giả Nguyễn Thị Hà Ly ii LỜI CẢM ƠN Lời đầu tiên cho em xin gửi lời cảm ơn chân thành đến các thầy, cô giáo thuộc Khoa CNTT, Khoa QT&ĐT sau đại học thuộc Học viện Công nghệ Bưu chính viễn thông đã tận tình giảng dạy, truyền đạt các nội dung kiến thức, kinh nghiệm quý báu trong suốt quá trình em theo học tại Học viện. Với những bài học quý giá, sự kèm cặp, chỉ bảo và truyền thụ tâm huyết của các thầy, cô đã giúp cá nhân em hoàn thiện hơn nữa hệ thống kiến thức chuyên ngành, phục vụ tốt hơn yêu cầu công tác của đơn vị đồng thời nâng cao hơn vốn tri thức của bản thân. Đặc biệt, em xin gửi lời cảm ơn chân thành tới thầy hướng dẫn khoa học PGS.TS. Trần Quang Anh, đã tâm huyết, tận tình chỉ bảo, hướng dẫn, cung cấp tài liệu và các nội dung kiến thức quý báu, đồng thời có sự định hướng đúng đắn giúp em hoàn thành được luận văn này. Đồng thời em cũng xin chân thành cảm ơn tập thể lớp Cao học Khoa học máy tính đã đồng hành, khích lệ và chia sẻ trong suốt quá trình học tập. Trong quá trình thực hiện luận văn, mặc dù bản thân đã cố gắng, chủ động trong việc sưu tầm tài liệu, củng cố kiến thức… tuy nhiên chắc chắn luận văn vẫn còn nhiều thiếu sót. Em rất mong nhận được sự chỉ dạy, đóng góp tận tình của các thầy, cô để luận văn của em được hoàn thiện hơn nữa và có tính ứng dụng cao hơn trong thực tiễn. Xin trân trọng cảm ơn! Hà Nội, ngày 12 tháng 2 năm 2019 Học viên Nguyễn Thị Hà Ly iii MỤC LỤC LỜI CAM ĐOAN ........................................................................................................ i LỜI CẢM ƠN .............................................................................................................ii MỤC LỤC ................................................................................................................. iii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT ................................................ v DANH MỤC CÁC HÌNH .......................................................................................... vi MỞ ĐẦU ..................................................................................................................... 1 Chương I. TỔNG QUAN VỀ GIÁM SÁT TẬP TRUNG VÀ CÁC YÊU CẦU GIÁM SÁT HỆ THỐNG MẠNG ........................................................................................... 4 1.1 Các yêu cầu giám sát hệ thống mạng................................................................. 4 1.1.1 Giới thiệu chung .......................................................................................... 4 1.1.2 Các yêu cầu chung khi giám sát hệ thống mạng ....................................... 10 1.2 Tổng quan về giám sát tập trung...................................................................... 11 1.3 Ứng dụng của giám sát tập trung ..................................................................... 13 1.4 Các yêu cầu chung cho giám sát tập trung ...................................................... 13 1.5 Tình hình triển khai hệ thống giám sát mạng tại Việt Nam và các vấn đề liên quan đến giám sát hệ thống mạng trong thực tế. ................................................... 14 1.6 Kết luận chương 1 ............................................................................................ 15 Chương II. NGHIÊN CỨU GIẢI PHÁP GIÁM SÁT TẬP TRUNG ....................... 16 2.1 Các giải pháp giám sát ..................................................................................... 16 2.1.1 Giải pháp giám sát hiệu năng hoạt động của máy chủ .............................. 16 2.1.2 Giải pháp giám sát lưu lượng và băng thông đường truyền ...................... 18 2.1.3 Giải pháp giám sát người dùng ................................................................. 18 2.1.4 Giải pháp giám sát dịch vụ ........................................................................ 19 2.1.5 Giải pháp giám sát Database ..................................................................... 20 2.1.6 Giải pháp giám sát hệ điều hành ............................................................... 21 2.1.7 Giải pháp giám sát an ninh hệ thống mạng ............................................... 22 2.2 Giới thiệu một số công cụ giám sát: ................................................................ 23 2.2.1 Splunk ........................................................................................................ 23 iv 2.2.2 Zabbix ........................................................................................................ 24 2.2.3 Nagios ........................................................................................................ 24 2.2.4 HP ArcSight Logger .................................................................................. 25 2.2.5 PRTG Network Monitor ............................................................................ 25 2.2.6 ELK stack .................................................................................................. 26 2.3 Kết luận chương 2 ............................................................................................ 34 Chương III. XÂY DỰNG HỆ THỐNG GIÁM SÁT TẬP TRUNG CHO HỆ THỐNG MẠNG CỦA ĐẠI HỌC HÀ NỘI ............................................................................. 35 3.1 Khảo sát mạng nội bộ Đại Học Hà Nội (sau khi đã xin phép nhà trường và được sự đồng ý từ ban giám hiệu) .................................................................................. 35 3.1.1 Mô hình kiến trúc, các chức năng và trang thiết bị mạng hiện có của hệ thống mạng trường Đại học Hà Nội ................................................................... 35 3.1.2 Yêu cầu sử dụng ........................................................................................ 36 3.2 Đề xuất giải pháp giám sát tập trung cho mạng nội bộ tại trường đại học Hà Nội ............................................................................................................................... 37 3.2.1 Giám sát hiệu năng phần cứng máy chủ.................................................... 38 3.2.2 Giám sát lưu lượng băng thông, đường truyền ......................................... 38 3.2.3 Giám sát người dùng ................................................................................. 38 3.2.4 Giám sát dịch vụ ........................................................................................ 38 3.2.5 Giám sát Database ..................................................................................... 38 3.2.6 Giám sát Hệ điều hành .............................................................................. 38 3.2.7 Giám sát an ninh ........................................................................................ 38 3.3 Thử nghiệm và đánh giá một số giải pháp bảo mật đề xuất ............................ 38 3.3.1 Nội dung thử nghiệm ................................................................................. 38 3.3.2 Kết quả thử nghiệm và đánh giá ................................................................ 40 3.4 Kết luận chương 3 ............................................................................................ 48 KẾT LUẬN ............................................................................................................... 49 TÀI LIỆU THAM KHẢO ......................................................................................... 50 PHỤ LỤC .................................................................................................................. 51 v DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Từ viết tắt FTP Tiếng Anh File Transfer Protocol Tiếng Việt Giao thức truyền tải file tốc độ cao HTTP HTTPS ICSA HyperText Transfer Protocol Giao thức truyền tải siêu văn bản HyperText Transfer Protocol Giao thức truyền tải siêu Secure văn bản có tính bảo mật International Computer Security Hiệp hội an ninh máy tính Association quốc tế. Hệ thống phát hiện xâm IDS Intrucsion Detection System IMAP Internet Message Access Protocol IPS Intrusion Prevention Systems POP3 Post Office Protocol 3 SMTP Simple Mail Transfer Protocol Giao thức truyền tải mail Simple Network Management Giao thức hỗ trợ quản lý Protocol từ xa SNMP TCP Transmission Control Protocol UDP User Datagram Protocol nhập Giao thức truy cập mail trên máy chủ Hệ thống phòng chống xâm nhập Giao thức lấy mail từ máy chủ Giao thức truyền thông tin trên Internet Giao thức truyền thông tin nhanh trên Internet vi DANH MỤC CÁC HÌNH Hình 1.1. Cơ chế hoạt động của hệ thống giám sát..................................................... 7 Hình 1.2. Vòng đời của chung của Log (Nguồn: Internet) ......................................... 8 Hình 1.3. Mô hình Log local ....................................................................................... 9 Hình 1.4. Mô hình Log tập trung .............................................................................. 10 Hình 1.5. Mô hình giám sát tập trung [13]................................................................ 13 Hình 2.2. Các thành phần trong ELK stack [8] ......................................................... 27 Hình 2.3. Cấu trúc của ELK [8] ................................................................................ 28 Hình 2.4. Công cụ Elasticsearch [8].......................................................................... 29 Hình 2.5. Công cụ Logstash và nguyên lý hoạt động [8].......................................... 30 Hình 2.6. Công cụ Kibana [8] ................................................................................... 32 Hình 2.7. Beats và nguyên lý hoạt động [8].............................................................. 33 Hình 2.8. Beats Family [8] ........................................................................................ 34 Hình 3.1: Mô hình hoạt động của hệ thống mạng hiện tại trường Đại học Hà Nội .. 35 Hình 3.2: Giám sát hiệu năng phần cứng .................................................................. 41 Hình 3.3: Mail gửi về khi có Host vượt quá ngưỡng CPU 70% ............................... 41 Hình 3.4: Danh sách các máy tạo nhiều traffic nhất ................................................. 42 Hình 3.5: Danh sách các máy nhận nhiều traffic nhất .............................................. 43 Hình 3.6: Giám sát lượng người dùng lỗi đăng nhập và khóa tài khoản khi sử dụng dịch vụ Active Directory ........................................................................................... 43 Hình 3.7: Giám sát dịnh vụ web apache ................................................................... 44 Hình 3.8: Giám sát tình trạng hoạt động của các dịch vụ trên Windows ................. 45 Hình 3.9: Giám sát các hàng động truy vấn (MySQL) ............................................. 45 Hình 3.10: Giám sát số lượng kết nối tới Database (MySQL) ................................. 46 Hình 3.11: Giám sát log hệ điều hành Windows ...................................................... 47 Hình 3.12: Giám sát log Windows Defender Antivirus ............................................ 47 Hình 3.13: Giám sát log hệ điều hành Linux (/var/log/...) ........................................ 47 Hình 3.15: Giám sát log được đẩy về từ Fortinet (Traffic log)................................. 48 1 MỞ ĐẦU 1. Lý do chọn đề tài Giám sát hệ thống mạng luôn là một vấn đề vô cùng quan trọng đối với bất kỳ hệ thống mạng nào trên thế giới. Việc cập nhật được tình trạng của từng thành phần bên trong hệ thống giúp ta chủ động hơn để ứng phó với bất kì vấn đề nào có thể nảy sinh trong quá trình hệ thống hoạt động. Nếu không có sự giám sát, các hệ thống của cơ quan tổ chức sẽ luôn thụ động trước những sự cố xảy ra hay đặc biệt hơn là những can thiệp trái phép từ bên ngoài, gây ra những tổn thất không thể nào đo đếm được. Ngày nay, các hệ thống mạng thường có những biện pháp bảo vệ an ninh mạng như firewall, phần mềm diệt virus,... nhưng các giải pháp đó chỉ có tác dụng ở vòng đai ngoài của hệ thống mạng, nó vô hiệu với các cuộc tấn công backdoor. Hay dù cho IDS/IPS – hệ thống phát hiện và phòng chống xâm nhập thì cũng không thể phát hiện những sự cố phát sinh từ bên trong như nghẽn băng thông, sập máy chủ, sập Router,.. Điều đó càng chỉ rõ rằng một hệ thống mạng bất kỳ luôn cần một hệ thống giám sát bao quát được các vấn đề, cung cấp thông tin định kỳ của hệ thống, giúp người quản trị mạng luôn sẵn sàng phát hiện các sự cố nhằm khắc phục chúng nhanh nhất và kịp thời nhất, giảm thiểu chi phí và quy mô sự cố xuống thấp nhất có thể. Để có thể thực hiện việc giám sát một cách hiệu quả, ISO (International Organization for Standardization) đã thiết kế một mô hình được gọi là FCAPS [3] nhằm định hướng rõ những việc mà hệ thống quản lý cần phải thực hiện: - Quản lý lỗi - Quản lý cấu hình - Quản lý tài khoản - Quản lý hiệu năng - Quản lý bảo mật Và bằng các giải pháp giám sát hệ thống mạng thích hợp, hệ thống quản lý sẽ thu thập được thông tin, dữ liệu và các báo cáo định kì từ các thiết bị được phần mềm theo dõi, trên cơ sở đó để quản lý toàn bộ hệ thống. 2 Từ nhu cầu về giám sát hệ thống mạng của các tổ chức, doanh nghiệp và cơ quan, học viên xin chọn đề tài nghiên cứu “NGHIÊN CỨU GIẢI PHÁP GIÁM SÁT TẬP TRUNG VÀ ỨNG DỤNG QUẢN LÝ HỆ THỐNG MẠNG TRƯỜNG ĐẠI HỌC HÀ NỘI”. 2. Tổng quan vấn đề nghiên cứu Giám sát hệ thống mạng là việc sử dụng một hệ thống để liên tục theo dõi một thành phần trong mạng máy tính, xem xét tình trạng hoạt động của thành phần đó bên trong mạng, báo lại cho quản trị viên khi thành phần đang được giám sát phát sinh vấn đề, sự cố để từ đó đề xuất phương án giải quyết. Thông thường một mạng máy tính tối thiểu cần có máy chủ (server), đường truyền, các thiết bị kết nối (Repeater, Hub, Switch, Bridge,...), máy tính người dùng (client), card mạng (Network Interface Card – NIC) để kết nối các máy tính lại với nhau. Một hệ thống giám sát gồm có nhiều thành phần: Máy trinh sát (Sensor), Máy thu thập (Collector), Cơ sở dữ liệu trung tâm và Công cụ phân tích (Analysis tool). Mỗi một thành phần bao gồm các chức năng riêng, cùng các phương pháp thu thập, phân tích và liệt kê nhằm đảm bảo đánh giá và phản hồi sự kiện xảy ra trong hệ thống mạng một cách nhanh chóng và chính xác nhất. Các sự kiện diễn ra trong các thiết bị đều được ghi lại trong “log”. Log ghi lại chính xác mọi hoạt động của thiết bị và tình trạng hoạt động của thiết bị. Nhiệm vụ của hệ thống giám sát mạng là sử dụng máy trinh sát đến các thiết bị cần theo dõi, thu thập log và gửi về cơ sở dữ liệu trung tâm. Thông qua công cụ phân tích để xác định sự cố và báo lại cho quản trị viên nhằm có các hành động thích hợp để ứng phó. Tóm lại, chúng ta cần phải có một giải pháp giám sát tập trung để thu thập lượng log lớn và giải quyết bài toán giám sát, từ đấy có thể quản lý hệ thống một cách hiệu quả. 3 3. Mục tiêu nghiên cứu của đề tài Mục tiêu nghiên cứu của luận văn là khảo sát các yêu cầu và giải pháp giám sát tập trung, để đưa ra giải pháp giám sát tập trung cho hệ thống mạng tại trường Đại Học Hà Nội có khả năng triển khai áp dụng trong thực tế. 4. Đối tượng và phạm vi nghiên cứu của đề tài Đối tượng nghiên cứu của luận văn là giám sát tập trung và các vấn đề liên quan tới giám sát tập trung. Phạm vi nghiên cứu của luận văn là các giải pháp giám sát tập trung và ứng dụng cho mạng nội bộ trường đại học Hà Nội… 5. Phương pháp nghiên cứu của đề tài. - Về mặt lý thuyết: Thu thập, khảo sát, phân tích các tài liệu liên quan đến giám sát tập trung. - Về mặt thực nghiệm: Khảo sát hệ thống mạng Trường Đại học Hà Nội và ứng dụng giải pháp giám sát tập trung phù hợp với nhu cầu của nhà trường. 6. Bố cục luận văn Luận văn được trình bày trong 3 chương: Chương 1: TỔNG QUAN VỀ GIÁM SÁT TẬP TRUNG VÀ CÁC YÊU CẦU GIÁM SÁT HỆ THỐNG MẠNG Nội dung chương 1 của luận văn sẽ khảo sát tổng quan về giám sát tập trung và các yêu cầu giám sát hệ thống mạng. Chương 2: NGHIÊN CỨU GIẢI PHÁP GIÁM SÁT TẬP TRUNG Chương 2 của luận văn tập trung nghiên cứu các giải pháp giám sát, từ đó sẽ đưa ra giải pháp giám sát tập trung. Chương 3: XÂY DỰNG HỆ THỐNG GIÁM SÁT TẬP TRUNG CHO HỆ THỐNG MẠNG CỦA ĐẠI HỌC HÀ NỘI Chương này nghiên cứu về hệ thống mạng trường Đại Học Hà Nội và đề xuất ứng dụng giải pháp giám sát tập trung thông qua nghiên cứu từ chương 2 cho hệ thống mạng nội bộ của trường Đại Học Hà Nội 4 Chương I. TỔNG QUAN VỀ GIÁM SÁT TẬP TRUNG VÀ CÁC YÊU CẦU GIÁM SÁT HỆ THỐNG MẠNG Chương 1 của luận văn đưa ra những yêu cầu, khái niệm cơ bản về giám sát hệ thống mạng và tổng quan về giám sát tập trung, cách ứng dụng cũng như các yêu cầu chung khi triển khai một hệ thống giám sát tập trung. Luận văn cũng sẽ đề cập đến tình hình giám sát hệ thống mạng tại Việt Nam và các vấn đề liên quan. 1.1 Các yêu cầu giám sát hệ thống mạng 1.1.1 Giới thiệu chung Giám sát hệ thống mạng là việc sử dụng một hệ thống để liên tục theo dõi một thành phần trong mạng máy tính, xem xét tình trạng hoạt động của thành phần đó bên trong mạng, thông báo lại cho quản trị viên khi thành phần đang được giám sát phát sinh vấn đề. Có rất nhiều các thành phần cần được giám sát khi hệ thống hoạt động như: Người dùng, Hạ tầng, Dịch vụ,... Giám sát hệ thống mạng là cần thiết vì nó sẽ giúp quản trị viên nhanh chóng biết được những sự cố đang xảy ra trên thành phần đang được giám sát, từ đó đề ra phương án giải quyết. Thông thường một mạng máy tính tối thiểu cần có máy chủ (Server), đường truyền, các thiết bị kết nối (Repeater, Hub, Switch, Bridge,...), máy tính người dùng (Client), card mạng (Network Interface Card – NIC) để kết nối các máy tính lại với nhau. Do hệ thống mạng có rất nhiều các thiết bị kết nối nên công tác giám sát càng đóng vai trò quan trọng để có thể duy trì hệ thống mạng hoạt động một cách ổn định, trơn tru và hiệu quả. Một hệ thống giám sát gồm có nhiều thành phần: Máy trinh sát (Sensor), Máy thu thập (Collector), Cơ sở dữ liệu trung tâm và Công cụ phân tích (Analysis tool). Mỗi một thành phần bao gồm các chức năng riêng, cùng các phương pháp thu thập, phân tích và liệt kê nhằm đảm bảo đánh giá và phản hồi sự kiện xảy ra trong hệ thống mạng một cách nhanh chóng và chính xác nhất: - Máy trinh sát (Sensor): là những máy trạm làm nhiệm vụ trinh sát. Thành phần này sẽ tiếp cận, tương tác với các hệ thống và dịch vụ cần giám sát để nhận biết trạng thái của những dịch vụ đó. Trong quá trình triển khai hệ thống, thành phần này 5 sẽ được phân tán nằm rải rác nhiều nơi trên mạng để thu thập thông tin từ những nguồn khác nhau như: Tường lửa, Bộ định tuyến, File nhật ký… - Máy thu thập (Collector): Một điều đáng chú ý trong hệ thống giám sát mạng là các hệ thống, các dịch vụ cần giám sát có thể khác nhau. Điều này đồng nghĩa với việc thông tin thu được cũng có nhiều dạng khác nhau. Để có được thông tin một cách đồng nhất nhằm mục đích xử lý và thống kê, cần có một thành phần làm nhiệm vụ chuẩn hóa thông tin. Máy thu thập sẽ đọc những thông tin thu được từ các máy trinh sát và chuẩn hóa thông tin dựa trên những quy tắc chuẩn hóa biết trước. Thông tin đầu ra sẽ có định dạng giống nhau và được lưu vào cơ sở dữ liệu trung tâm. - Cơ sở dữ liệu trung tâm: là nơi lưu trữ dữ liệu của toàn bộ hệ thống giám sát. Các dữ liệu ở đây đã được chuẩn hóa nên có thể sử dụng để tính toán các số liệu thống kê trên toàn hệ thống - Công cụ phân tích (Analysis tool): Thành phần này sẽ đọc các dữ liệu từ cơ sở dữ liệu trung tâm và tính toán để tạo ra bản báo cáo số liệu thống kê trên toàn hệ thống. Về cơ chế hoạt động, mỗi máy trinh sát sẽ có một danh sách những đối tượng mà máy trinh sát đó cần giám sát. Những đối tượng này có thể là file nhật ký hoạt động trên một máy tính, có thể là một dịch vụ trên hệ thống khác, cũng có thể là thành phần báo cáo trạng thái của Tường lửa/Bộ định tuyến… Dựa vào bản danh sách này, Máy trinh sát sẽ gửi truy vấn đến đối tượng để truy vấn thông tin. Thông tin thu thập được sẽ gửi đến Máy thu thập để chuẩn hóa trước khi lưu trữ vào cơ sở dữ liệu trung tâm. Tùy theo thiết kế của hệ thống, nếu những thông tin mà Máy trinh sát thu thập được có định dạng giống nhau thì sẽ không cần đến thành phần Máy thu thập. Trong một số trường hợp khác, các Máy trinh sát cũng có thể kiêm luôn vai trò của Máy thu thập thực hiện việc chuẩn hóa dữ liệu trước khi lưu trữ. Tại cơ sở dữ liệu trung tâm, mọi dữ liệu thu dược đã có định dạng rõ ràng. Bộ phân tích sẽ đọc thông tin tại đây để tính toán và đưa ra những số liệu thống kê tạo thành một bản báo cáo hoàn chỉnh. Báo cáo này sẽ được gửi tới người quản trị. Trong một số hệ thống giám sát, để nâng cao mức độ tự động hóa, Bộ phân tích có thể có thêm chức năng 6 phát hiện dấu hiệu xác định trước để phát ra cảnh báo. Ví dụ, sau khi lấy thông tin từ file nhật ký ghi nhận lại những lần đăng nhập không thành công vào hệ thống, nếu phát hiện thấy có 3 lần đăng nhập không thành công liên tiếp trong vòng 5 phút thì Bộ phân tích phát ra cảnh báo tới người quản trị. Cảnh báo này có thể là thư điện tử, tin nhắn SMS gửi tới điện thoại di động… Việc thu thập dữ liệu ở đây chính là việc lấy các thông tin liên quan đến tình trạng hoạt động của các thiết bị trong hệ thống mạng. Tuy nhiên, trong những hệ thống mạng lớn thì các dịch vụ hay các thiết bị không đặt tại trên máy, một địa điểm mà nằm trên các máy chủ, các hệ thống con riêng biệt nhau. Các thành phần hệ thống cũng hoạt động trên những nền tảng hoàn toàn khác nhau. Có 2 phương pháp để thu thập dữ liệu: - Phương pháp đẩy: Các sự kiện từ các thiết bị, Các máy trạm, Server sẽ được tự động chuyển về các Collector theo thời gian thực hoặc sau mỗi khoảng thời gian phụ thuộc vào việc cấu hình trên các thiết bị tương ứng. Các Collector của Log Server sẽ thực hiện việc nghe và nhận các sự kiện khi chúng xảy ra. - Phương pháp kéo: Các Collector thu tập các sự kiện được phát sinh và lưu trữ trên chính các thiết bị và sẽ được lấy về bởi các bộ Collector. Khi đã thu thập được những thông tin về hệ thống thì công việc tiếp theo là phân tích thông tin, cụ thể là việc thực hiện chỉ mục hóa dữ liệu, phát hiện những điều bất thường, những mối đe dọa của hệ thống. Dựa trên những thông tin về lưu lượng truy cập, trạng thái truy cập, định dạng request… Tiếp theo là phát hiện và phản ứng. Phát hiện và phản ứng là hai thành phần quan trọng trong các yếu tố của tiến trình. Sau khi phân tích các thông tin và phát hiện các sự cố liên quan đến phần cứng, phần mềm hay các cuộc tấn công bên ngoài , ta sẽ cần phải nhanh chóng đưa ta giải pháp xử lý sự cố một cách nhanh và hiệu quả nhất. Sau khi đã thực hiện việc phân tích dữ liệu từ các thông tin thu thập được việc tiếp theo là thực hiện việc đánh giá, đưa thông tin cảnh báo tới người quản trị và thực 7 hiện những công tác nhằm chống lại những mỗi đe dọa, khắc phục các sự cố có thể sảy ra. Cảnh báo có thể thông qua email, SMS, hoặc thực thi các mã script nhằm hạn chế hậu quả của sự cố. Khi xảy ra sự cố, hệ thống sẽ tự động gửi email, sms cho người quản trị và cũng có thể chạy script để thêm một địa chỉ IP có biểu hiện tấn công và danh sách đen của Firewall. Việc này đòi hỏi người lập trình phải có hiểu biết sâu và kinh nghiệm về hệ thống. Hình 1.1. Cơ chế hoạt động của hệ thống giám sát Giới thiệu về log Log ghi lại liên tục các thông báo về hoạt động của cả hệ thống hoặc của các dịch vụ được triển khai trên hệ thống và file tương ứng. Log file thường là các file văn bản thông thường dưới dạng “clear text”, có thể dễ dàng đọc được bằng các trình soạn thảo văn bản (vi, vim, nano...) hoặc các trình xem văn bản thông thường (cat, tailf, head...) là có thể xem được file log. Các file log có thể cung cấp các thông tin cần biết, để giải quyết các vấn đề với các ứng dụng, tiến trình được ghi vào log. Tóm lại: Log = Thời điểm + Dữ liệu. Log ghi lại những hoạt động của hệ thống. 8 Hình 1.2. Vòng đời của chung của Log (Nguồn: Internet) Một vòng đời của Log bao gồm 5 bước chính được minh họa trong hình 1.2 cụ thể là: - Đầu tiên log sẽ được ghi lại tại chính máy local sau đó nó sẽ được vận chuyển sang máy chủ quản lý log. - Người quản trị mạng sẽ từ những bản ghi đó mà tiến hành phân tích, từ đó có thể giám sát được hoạt động của các máy client. - Qua bước phân tích này mà người quản trị có thể phát hiện các hoạt động, hành vi xâm nhập không được phép. - Sau khi phân tích, dữ liệu log sẽ được lưu trữ để sử dụng lại nếu cần. - Bước cuối cùng là xóa, thường những tập tin log không cần thiết có thể được xóa bởi người quản trị nhằm giảm bớt lượng thông tin log không cần thiết. Phân tích các log hoặc các chuỗi thống kê là một nghệ thuật của việc trích dẫn đầy đủ ý nghĩa thông tin và đưa ra kết luận về một trạng thái an toàn từ các bản ghi thống kê những sự việc được sản sinh từ các thiết bị. Phân tích log không phải là 1 khoa học, nhưng ngày nay, việc tin tưởng vào kỹ năng phân tích độc lập và trực quan cũng như tính chất may mắn trong việc phân tích log chất lượng cũng là một khái niệm khoa học. Định nghĩa việc phân tích log có thể nghe rất khô khan, nhưng quan trọng là rút ra một “Kết luận có ý nghĩa”. Nhìn một cách đơn giản vào các file log không phải 9 là phân tích, bởi vì hiếm có những cái gì ngoài những sự nhàm chán và dường như chẳng liên quan gì đến nhau. Trong trường hợp một thiết bị 1 người sử dụng với rất ít các hoạt động, tất cả những bản ghi log mà chưa được nhìn trước là rất ít nghi ngờ, nhưng trong thực tế lại không dễ dàng như vậy. Công dụng của Log - Phân tích nguyên nhân khi có sự cố xảy ra. - Giúp cho việc khắc phục sự cố nhanh hơn khi hệ thống gặp vấn đề. - Giúp cho việc phát hiện, dự đoán một vấn đề có thể xảy ra đối với hệ thống. Khi xử lý log, thường quản trị viên có thể sử dụng 1 trong 2 phương pháp, đó là: xử lý log trên local và xử lý log tập trung. Log trên Local: - Chỉ lưu lại bản thân Server - Dùng command find, tail… để xem log. Hình 1.3. Mô hình Log local Log tập trung: Log tâp trung là quá trình tập trung, thu thập, phân tích... các log cần thiết từ nhiều nguồn khác nhau về một nơi an toàn để thuận lợi cho việc phân tích, theo dõi hệ thống. Lợi ích của log tập trung: - Giúp quản trị viên có cái nhìn chi tiết về hệ thống -> có định hướng tốt hơn về hướng giải quyết. - Mọi hoạt động của hệ thống được ghi lại và lưu trữ ở một nơi an toàn (log server) -> đảm bảo tính toàn vẹn phục vụ cho quá trình phân tích điều tra các cuộc tấn công vào hệ thống. 10 - Log tập trung kết hợp với các ứng dụng thu thập và phân tích log khác nữa giúp cho việc phân tích log trở nên thuận lợi hơn -> giảm thiểu nguồn nhân lực. - Log máy local đẩy về máy Log Server. - Mỗi ứng dụng có giao thức đẩy Log khác nhau. Hình 1.4. Mô hình Log tập trung 1.1.2 Các yêu cầu chung khi giám sát hệ thống mạng Về yêu cầu khi giám sát hệ thống mạng, ISO (International Organization for Standardization) đã thiết kế một mô hình được gọi là FCAPS nhằm định hướng rõ những việc mà hệ thống giám sát cần phải quản lý. FCAPS là một mô hình quản lý mạng viễn thông và cũng là kiến trúc quản lý mạng. FCAPS sẽ phân nhóm các đối tượng quản lý mạng vào 5 mức (hay mô đun): Fault-management (F), Configuration level (C), Accounting level (A), Performance level (P) và Security level (S). Fault management (Quản lý lỗi): Các vấn đề mạng được phát hiện và sửa chữa. Các vấn đề tiềm tàng được xác định và có biện pháp để ngăn chặn chúng xảy ra hoặc tái diễn. Với mô đun Fault management, mạng lưới sẽ hoạt động và thời gian chết được giảm tối thiểu. Configuration management (Quản lý cấu hình): Mô đun này sẽ thực hiện giám sát và kiểm soát hoạt động của mạng lưới. Điều phối các thay đổi về phần cứng và chương trình, bao gồm cả việc bổ sung thiết bị mới và chương trình mới, sửa đổi 11 các hệ thống hiện có, và xóa bỏ các hệ thống chương trình lỗi thời. Ở mức độ C này, thì tài nguyên của các thiết bị và chương trình được lưu giữ và cập nhật thường xuyên. Accounting management (Quản lý tài khoản): cũng có thể gọi mô đun này là allocation level, được sử dụng để phân phối các tài nguyên một cách tối ưu và công bằng giữa các người dùng mạng. Điều này giúp sử dụng hiệu quả nhất các hệ thống sẵn có, giảm thiểu chi phí vận hành. Performance management (Quản lý hiệu năng): liên quan đến việc quản lý toàn bộ hiệu năng của toàn mạng. Thông lượng tối đa, tắc nghẽn mạng và các vấn đề tiềm tàng cần được xác định. Một phần quan trọng khi quản lý hiệu năng là cần mang lại hiệu suất tổng thể lớn nhất. Security management (Quản lý bảo mật): xử lý và đảm bảo an ninh mạng lưới bởi tin tặc, những người dùng trái phép, hoặc các thiết bị phá hoại. Tính bảo mật thông tin người dùng cần được duy trì được đảm bảo. Hệ thống an ninh cũng cho phép quản trị viện kiểm soát từng cá nhân có thể (và không thể) được làm những gì với hệ thống. 1.2 Tổng quan về giám sát tập trung Khi giám sát hệ thống mạng, máy chủ giám sát cần phải giám sát rất nhiều các thành phần để đáp ứng yêu cầu từ hệ thống đặt ra, các thành phần đó là: - Người dùng: Họ là những người thường xuyên sử dụng hệ thống mạng. Số lượng người dùng có thể từ hàng trăm lên đến hàng nghìn người. Đây là thành phần có thể ảnh hưởng trực tiếp đến các tài nguyên và sử dụng các dịch vụ bên trong hệ thống. - Hạ tầng: Để tạo nên một hệ thống mạng, hạ tầng là một thành phần không thể thiếu, Không có hạ tầng, không thể có hệ thống mạng. Hạ tầng có rất nhiều vấn đề cần chú ý như phần cứng thiết bị, băng thông đường truyền,… - Dịch vụ: Hệ thống được xây dựng để cung cấp các dịch vụ cho người dùng sử dụng. Tình trạng những dịch vụ chạy trên hệ thống có thể gây ảnh hưởng rất lớn đến các mặt kinh tế hay chính trị đối với các công ty, tổ chức đang vận hành hệ thống mạng. 12 - An ninh: An ninh mạng được xây dựng nhằm chống lại các cuộc tấn công từ bên ngoài mạng hay các vấn đề an ninh xảy ra bên trong hệ thống. Không đảm bảo được an ninh mạng, hệ thống sẽ dễ dàng bị tấn công, hỏng hóc và gây ra những hậu quả nghiêm trọng. Những thành phần được liệt kê phía trên đều rất quan trọng và cần thiết, nhưng không phải hệ thống giám sát nào cũng có thể giám sát được tất cả chúng, đó là lúc giám sát tập trung ra đời. Giám sát tập trung chính là giám sát hệ thống mạng, nhưng giám sát tập trung sẽ giám sát tất cả các thành phần mà giám sát hệ thống mạng cần phải giám sát. Giám sát tập trung cũng có các thành phần tương tự như các hệ thống giám sát bình thường khác: Máy trinh sát (Sensor), Máy thu thập (Collector), Cơ sở dữ liệu trung tâm và Công cụ phân tích (Analysis tool) và cách thức hoạt động là hoàn toàn giống nhau. Tuy nhiên, các thành phần của giám sát tập trung đều cần phải mạnh hơn rất nhiều so với giám sát từng thành phần chuyên biệt. - Máy trinh sát (Sensor): Máy trinh sát của giám sát tập trung cần đọc được nhiều loại thông tin hơn. Do số lượng các thành phần cần thu thập thông tin càng đông, sự đa dạng trong những thông tin thu thập được cũng càng lớn. - Máy thu thập (Collector): Do thông tin thu thập được từ máy trinh sát đa dạng hơn nên khi máy thu thập nhận được thông tin từ máy trinh sát, bộ phận chuẩn hóa thông tin cần phải “hiểu biết” nhiều hơn để có thể xử lý tốt, tạo chuẩn đầu ra với các thông tin mang định dạng giống nhau để gửi tới cơ sở dữ liệu trung tâm. - Cơ sở dữ liệu trung tâm: Lượng thông tin đổ về sẽ lớn hơn rất nhiều so với giám sát thông thường nên cơ sở dữ liệu trung tâm cần có dung lượng chứa đủ lớn, phù hợp mới có thể hoạt động ổn định. - Công cụ phân tích (Analysis tool): Với một lượng dữ liệu lớn, công cụ phân tích phải đủ nhanh, chính xác để phân tích hiệu quả những thông tin đã thu thập được.