Tài liệu Xây dựng bộ lọc phát hiện các website có nội dung không lành mạnh

  • Số trang: 79 |
  • Loại file: PDF |
  • Lượt xem: 121 |
  • Lượt tải: 2
quangtran

Đã đăng 3721 tài liệu

Mô tả:

MỤC LỤC Trang LỜI CAM ĐOAN ...................................................................................................... i LỜI CẢM ƠN ........................................................................................................... ii MỤC LỤC................................................................................................................ iii DANH MỤC HÌNH VẼ........................................................................................... iv DANH MỤC BẢNG BIỂU .......................................................................................v MỞ ĐẦU....................................................................................................................1 1. Tóm lược đề tài................................................................................................1 2. Mục tiêu đề tài .................................................................................................1 3. Nội dung thực hiện ..........................................................................................1 4. Phạm vi ứng dụng............................................................................................2 CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN ...............................................................3 1.1. Bộ lọc web ....................................................................................................3 1.1.1. Khái niệm ............................................................................................3 1.1.2. Đặc điểm web có nội dung không lành mạnh .....................................4 1.1.3. Nguyên nhân cần xây dựng bộ lọc web ..............................................7 1.2. Các phương pháp lọc web có nội dung không lành mạnh ...........................7 1.2.1. Bộ lọc web dựa vào địa chỉ mạng .......................................................7 1.2.2. Bộ lọc web dựa vào URL (Universal Resource Locator) ...................9 1.2.3. Bộ lọc web dựa vào DNS ..................................................................12 1.2.4. Bộ lọc web dựa vào từ khóa (key word) ...........................................13 1.3. Những phần mềm lọc web hiện nay ...........................................................14 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT ........................................................................16 2.1. Tổng quan khai phá dữ liệu ........................................................................16 2.1.1. Khai phá Text ....................................................................................16 2.1.1.1. Khái niệm.................................................................................16 2.1.1.2 Một số loại khai phá Text .........................................................16 2.1.1.3. Quy trình khai phá Text ...........................................................17 2.1.2. Khai phá web.....................................................................................18 2.1.2.1. Khái niệm.................................................................................18 2.1.2.2. Phân loại khai phá web ............................................................18 2.1.2.3. Phương pháp biểu diễn trang web............................................19 2.1.3 Xử lý văn bản tự động........................................................................21 2.1.3.1. Rút trích đặc trưng văn bản......................................................21 2.1.3.2. Biểu diễn văn bản bằng vector đặc trưng ................................22 2.2. Lọc nội dung trang web bằng thuật toán Naïve Bayes...............................25 2.2.1. Giới thiệu...........................................................................................25 2.2.2. Học Bayes (Bayes Learning).............................................................25 2.2.3. Công thức Bayes ...............................................................................28 2.2.4. Các bước tiến hành lọc nội dung bằng mạng Bayes .........................30 2.3. Phương pháp tách từ trong tiếng Việt.........................................................31 2.3.1. Tình hình nghiên cứu ........................................................................31 2.3.2. Một số phương pháp tách từ..............................................................32 2.3.2.1. Tách câu dựa trên Maximum Entropy .....................................32 2.3.2.2. Phương pháp khớp tối đa (Maximum Matching) ....................34 2.3.2.3. Phương pháp WFST (Weighted Finite – State Transducer)....35 2.3.2.4. Bài toán tách từ và công cụ vnTokenizer ................................37 2.3.2.5. Phương pháp tách từ dựa trên sự xác suất tồn tại của từ không phụ thuộc vào ngữ nghĩa.......................................................................38 2.3.3. So sánh các phương pháp tách từ tiếng Việt.....................................40 2.4. Phân tích nội dung website.........................................................................42 2.4.1. Phân loại nội dung website................................................................42 2.4.2. Đặc trưng của ngôn ngữ tiếng Việt ...................................................43 2.4.3. Phương pháp xử lý nội dung website................................................44 2.4.4. Phân tích câu .....................................................................................45 CHƯƠNG 3: ỨNG DỤNG......................................................................................47 3.1. Xây dựng bộ lọc nội dung web tiếng Việt không lành mạnh.....................47 3.1.1. Ý tưởng đề xuất .................................................................................47 3.1.2. Hướng tiếp cận ..................................................................................47 3.1.3. Tiến trình thu thập nội dung..............................................................48 3.1.4. Quy trình thực hiện............................................................................49 3.1.4.1. Tiến trình 1...............................................................................50 3.1.4.2. Tiến trình 2...............................................................................53 3.1.4.3. Tiến trình 3...............................................................................55 3.2. Kiến trúc hệ thống chương trình.................................................................56 3.2.1 Trình duyệt web với các chức năng cơ bản thông thường .................56 3.2.2. Các chức năng cơ bản của hệ thống ..................................................56 3.3. Chức năng của chương trình.......................................................................57 3.3.1.Giao diện chính của chương trình ......................................................57 3.3.2. Sơ đồ chức năng của chương trình....................................................58 3.3.2.1. Chức năng đăng nhập hệ thống................................................58 3.3.2.2. Chức năng chương trình...........................................................59 3.4. Chức năng học từ tiếng Việt.......................................................................60 3.5. Chức năng xử lý..........................................................................................61 3.5.1. Lấy nội dung website cần phân tích..................................................61 3.5.2. Quản lý bộ từ điển tiếng Việt ............................................................61 3.5.3. Phân tích câu đối với nội dung website tiếng Việt............................62 3.5.4. Phân tích nội dung website tiếng Việt...............................................63 3.6. Chức năng huấn luyện từ cho việc lọc nội dung ........................................63 3.6.1. Huấn luyện từ tiếng Anh ...................................................................64 3.6.2. Huấn luyện từ tiếng Việt ...................................................................64 3.7. Phân loại nội dung website.........................................................................65 3.7.1. Nội dung tiếng Anh ...........................................................................65 3.7.2. Nội dung tiếng Việt ...........................................................................65 3.8. Quản lý các thông số hệ thống....................................................................66 3.9. Quản lý các danh sách ................................................................................67 3.9.1. Black List ..........................................................................................67 3.9.2. White List ..........................................................................................68 3.10. Kết quả thực nghiệm và đánh giá kết quả đạt được .................................68 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ...............................................................70 TÀI LIỆU THAM KHẢO DANH MỤC HÌNH VẼ Hình 1.1 – Màn hình trình duyệt cấm truy cập ...................................................3 Hình 1.2 – Báo cáo tìm kiếm từ khóa “sex” tại Việt Nam ..................................6 Hình 1.3 – Báo cáo tìm kiếm từ khóa “sex” trên thế giới ...................................6 Hình 2.1 – Sơ đồ lĩnh vực khai phá web ..........................................................18 Hình 2.2 – Quy trình tách từ..............................................................................37 Hình 3.1 – Tiến trình thu thập nội dung ............................................................49 Hình 3.2 – Mô hình tổng quát lọc nội dung không lành mạnh .........................50 Hình 3.3 – Mô hình tách câu trong tiếng Việt...................................................51 Hình 3.4 – Mô hình tách từ đơn tiếng Việt .......................................................52 Hình 3.5 – Mô hình tách từ ghép tiếng Việt......................................................53 Hình 3.6 – Mô hình tính xác suất cho từ ghép ..................................................54 Hình 3.7 – Mô hình cập nhật bộ từ điển............................................................55 Hình 3.8 – Giao diện chính của chương trình ...................................................57 Hình 3.9 – Giao diện thông báo không cho truy cập nội dung website ............58 Hình 3.10 – Chức năng đăng nhập hệ thống chương trình quản lý ..................58 Hình 3.11 – Chức năng học từ đơn và từ ghép tiếng Việt.................................61 Hình 3.12 – Lấy nội dung website cần phân tích ..............................................61 Hình 3.13 – Bộ từ điển tiếng Việt .....................................................................62 Hình 3.14 – Phân tích câu trong tiếng Việt .......................................................62 Hình 3.15 – Phân tích nội dung website tiếng Việt...........................................63 Hình 3.16 – Huấn luyện từ tiếng Anh ...............................................................64 Hình 3.17 – Huấn luyện từ tiếng Việt ...............................................................64 Hình 3.18 – Phân lớp nội dung website tiếng Anh............................................65 Hình 3.19 – Phân lớp nội dung website tiếng Việt............................................66 Hình 3.20 – Quản lý thông số hệ thống.............................................................67 Hình 3.21 – Danh sách Black List.....................................................................67 Hình 3.22 – Danh sách White List ....................................................................68 DANH MỤC BẢNG BIỂU Bảng 1.1 – Kết quả đánh giá của NetProject.......................................................9 Bảng 1.2 – Một số sản phẩm lọc web theo phương thức URL .........................11 Bảng 2.1 – Sự khác biệt cơ bản giữa tiếng Anh và tiếng Việt ..........................42 Bảng 3.1 – Bảng mô tả chức năng của chương trình ........................................59 Bảng 3.2 – Kết quả xây dựng bộ từ điển tiếng Việt ..........................................68 Bảng 3.3 – Kết quả phân loại web.....................................................................69 1 MỞ ĐẦU 1. Tóm lược đề tài Trong thời kỳ hiện nay, Internet ngày càng phát triển mạnh mẽ và trở nên thông dụng đối với mọi lứa tuổi đặc biệt là thanh thiếu niên, học sinh, sinh viên. Lợi ích thiết thực nhất mà Internet mang lại đó là cung cấp nguồn tài nguyên thông tin vô tận cho người sử dụng, nó góp phần không nhỏ vào việc nâng cao kiến thức cho lứa tuổi thanh thiếu niên. Tuy nhiên, mặt mạnh của Internet cũng chính là yếu điểm của nó, ngoài những kiến thức hữu ích thì người dùng cũng dễ dàng tìm thấy những nội dung không lành mạnh trên Internet. Chính vì vậy, mục đích chính của đề tài là nghiên cứu các phương pháp và đề xuất kỹ thuật ngăn chặn tự động các trang web có nội dung bằng tiếng Việt không lành mạnh 2. Mục tiêu đề tài Tìm hiểu đặc trưng cũng như sự phát triển của website có nội dung không lành mạnh, kết hợp phân tích các hệ thống lọc web hiện có. Từ đó đề xuất mô hình có thể tự động phát hiện những trang web có nội dung không lành mạnh sử dụng ngôn ngữ tiếng Việt bằng các kỹ thuật rút trích thông tin từ website cũng như ứng dụng khai phá dữ liệu văn bản, đặc biệt sử dụng thuật toán Naive Bayes nhằm xác định ngưỡng xác suất website không lành mạnh để có hướng xử lý phù hợp. Bênh cạnh đó, hiện thực hóa mô hình thành một trình duyệt web có khả năng tự động ngăn chặn những website tiếng Việt có nội dung không lành mạnh. 3. Nội dung thực hiện Nội dung chính cần thực hiện trong đề tài gồm các phần sau: − Nghiên cứu tổng quan các hệ thống lọc web “đen” thông dụng hiện nay, xác định những điểm bất cập từ những chương trình ứng dụng lọc web hiện có, những điểm mạnh, điểm yếu của những phương pháp xây dựng bộ lọc web. 2 − Nghiên cứu những điểm mạnh của các kỹ thuật phân loại văn bản nhằm áp dụng nó tốt nhất vào đề tài nghiên cứu. − Tìm hiểu các phương pháp tách từ trong tiếng Việt, từ đó lựa chọn phương pháp tối ưu nhất để giải quyết bài toán lọc nội dung − Nghiên cứu các thuận toán, đặc biệt là thuật toán Naïve Bayes. − Đề xuất phương pháp lọc web phù hợp và xây dựng mô hình. − Cài đặt bộ lọc web hiện thực hóa vấn đề nghiên cứu. 4. Phạm vi ứng dụng Đề tài “Xây dựng bộ lọc phát hiện các website có nội dung không lành mạnh” được ứng dụng bằng một trình duyệt giúp phụ huynh kiểm soát được quá trình truy cập vào các website của con em mình, hạn chế truy cập vào các website có nội dung không lành mạnh. 3 CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN 1.1. Bộ lọc web 1.1.1. Khái niệm Bộ lọc web là phần mềm có chức năng lọc nội dung hiển thị trên một trình duyệt hay khóa một vài vị trí của website mà người dùng cố gắng truy cập vào. Bộ lọc kiểm tra nội dung hay địa chỉ của trang web dựa vào tập luật và được thay thế nội dung không mong muốn bằng một trang web thay thế, thường trang này có nội dung có dòng “Access Dinied”. Quản trị hệ thống nắm quyền kiểm soát và loại nội dung đi qua bộ lọc. Các bộ lọc web thường được sử dụng trong các trường học, thư viện, các dịch vụ Internet công cộng và tại gia đình nhằm giữ an toàn cho đối tượng thanh thiếu niên tránh được những nội dung không lành mạnh vì lứa tuổi này chưa có ý thức việc mình làm. Hình 1.1 – Màn hình trình duyệt cấm truy cập 4 1.1.2. Đặc điểm web có nội dung không lành mạnh Hiện nay, nhiều người quan tâm nhiều đến vấn đề web “đen” hay web “xấu”. Mọi người tùy theo nhận thức và quan điểm của mình có thể có các đánh giá khác nhau. Tuy nhiên, thông thường một trang web được coi là xấu khi có một trong hai điều kiện sau: + Nội dung khiêu dâm, đồi trụy. + Nội dung phản động chính trị. Nội dung khiêu dâm, đồi trụy Các trang web này đã đang và sẽ luôn là đề tài nóng bỏng được mọi người quan tâm. Các trang web này sử dụng công cụ khiêu dâm, gợi dục như hình ảnh sex, truyện sex, … để thu hút người dùng Internet truy cập vào. Ở Châu Á nói chung và tại Việt Nam nói riêng, các website này làm băng hoại xã hội, khiến cho các thành phần thanh thiếu niên và một số người trưởng thành sao lãng học tập, làm việc, nảy sinh tư tưởng bệnh hoạn, gia tăng các tệ nạn đi ngược lại với truyền thống văn hóa tốt đẹp của người Việt Nam. Tuy nhiên ta cũng phải nhìn nhận rằng ở một số quốc gia có nền văn hóa thoáng như ở Mỹ hay Châu Âu, vẫn cho phép một số website khiêu dâm được cấp phép hoạt động và chỉ cho phép người trưởng thành truy cập vào. Các trang web này hoạt động có tổ chức rõ ràng và dưới sự kiểm soát của chính quyền nước sở tại. Như vậy, các trang web này chưa hẳn đã “xấu” nếu xét theo khía cạnh pháp lý. Vậy căn cứ vào đâu để chúng ta phân biệt đâu là một trang web “xấu”, đâu là một trang web “không xấu” ? Điều đó phụ thuộc vào truyền thống văn hóa của người Việt Nam, căn cứ vào luật pháp hiện tại của nước Việt Nam chưa có thừa nhận ngành công nghiệp sex, tất cả các trang web sử dụng công cụ khiêu dâm đều bị xem là trang web “xấu”. 5 Nội dung phản động chính trị Do cá nhân hoặc tổ chức phản động với mục đích tuyên truyền tư tưởng phản động, chống phá nhà nước Việt Nam, kêu gọi mọi người “tự do chính trị”, “đa nguyên đa đảng”, … Các trang web này có rất nhiều, chủ yếu đặt tại nước ngoài, sử dụng tiếng Việt là ngôn ngữ chính để tuyên truyền. Hệ quả sự tồn tại của các trang web này là sự chia rẽ nội bộ, kích động các phần tử vốn đã có tư tưởng phản động. Cần có cái nhìn nghiêm túc đối với những trang web này, không thể vì lý do “tự do ngôn luận” mà có thể lợi dụng điều này để thực hiện ý đồ phá hoại. Tính đến năm 2010, Việt Nam hiện đứng thứ 3 ở khu vực Đông Nam Á với 24.269.083 người sử dụng Internet chiếm 2.9% người dùng Internet châu Á, với tốc độ tăng trưởng trung bình 12.034,5% trong 10 năm qua Việt Nam vẫn đang là một trong những thị trường công nghệ viễn thông đầy triển vọng ở châu Á cũng như khu vực, thu hút sự quan tâm của các nhà đầu tư nước ngoài. (internetworldstats.com) Theo Google Trends (Hot Trends) là công cụ theo dõi xu hướng tìm kiếm của từ khóa theo vùng miền, thành phố, ngôn ngữ thì Việt Nam nằm trong top 3 những nước thích tìm hiểu về sex trực tuyến nhất toàn cầu trong năm 2011. Xét về vùng miền ở Việt Nam, theo thống kê “Hà Nội” là nơi có tìm kiếm từ khóa “sex” nhiều nhất, tiếp theo là Vũng Tàu và Quãng Ngãi. Theo bảng thống kê phần lớn những nơi có mật độ tìm kiếm từ khóa sex cao thường tập trung ở các thành phố du lịch. 6 Hình 1.2 – Báo cáo tìm kiếm từ khóa “sex” tại Việt Nam [12] Hình 1.3 – Báo cáo tìm kiếm từ khóa “sex” trên thế giới [12] 7 1.1.3. Nguyên nhân cần xây dựng bộ lọc web Từ những nguyên nhân nêu trên, tại Việt Nam việc xây dựng bộ lọc web “đen” nhằm phục vụ cho vấn đề an toàn trong việc truy cập mạng Internet là một yêu cầu cấp thiết và luôn làm đau đầu các nhà quản lý. Hiện nay trên thị trường có rất nhiều phần mềm lọc web “đen” nhưng hầu hết những phần mềm này đều có chung một nhược điểm là làm chậm đường truyền do sử dụng các phép kiểm tra và so sánh liên tục, một nhược điểm khác là không có cơ chế tự động cập nhật hành vi sử dụng web của người dùng. Phần dưới sẽ trình bày một số phương pháp lọc website có nội dung không lành mạnh. 1.2. Các phương pháp lọc web có nội dung không lành mạnh 1.2.1. Bộ lọc web dựa vào địa chỉ mạng  Bức tường lửa (Firewall) Firewall là một kỹ thuật được tích hợp vào hệ thống mạng để chống sự truy cập trái phép, nhằm bảo vệ các nguồn thông tin nội bộ và hạn chế sự xâm nhập không mong muốn vào hệ thống. Thông thường Firewall được đặt giữa mạng bên trong (Intranet) của một công ty, tổ chức, … vai trò chính là bảo mật thông tin, ngăn chặn sự truy cập không mong muốn từ bên ngoài và cấm truy cập từ bên trong (Intranet) tới một số địa chỉ nhất định trên Internet. Ưu điểm: Đa số các các hệ thống firewall đều sử dụng bộ lọc packet. Một trong những ưu điểm của phương pháp này là chi phí thấp vì cơ chế lọc packet đã được bao gồm trong mỗi phần mềm router. Hạn chế: việc định nghĩa các chế độ lọc packet là một việc phức tạp, đòi hỏi người quản trị mạng cần có hiểu biết chi tiết về các dịch vụ Internet, các dạng packet header, … 8  Danh sách đen (Back List) và danh sách trắng (White List) Danh sách trắng và danh sách đen là 2 phương pháp phổ biến được nhiều nhà cung cấp phần mềm sử dụng, vì nó đơn giản, dễ quản lý và cho một kết quả có thể chấp nhận. Danh sách trắng là danh sách các website được phép truy cập, danh sách đen là danh sách những trang cấm, các danh sách này thường được tạo bằng cách thủ công bằng cách khảo sát trang web để đưa ra quyết định trang web này là cấm hay được phép truy cập. Hàng này, số lượng các website mới xuất hiện rất nhiều gây khó khăn cho việc cập nhật danh sách Backlist, Whitelist và được do làm thủ công nên mất nhiều thời gian cho việc bổ sung các danh sách này.  Lọc web qua địa chỉ IP Đây là kỹ thuật ngăn chặn trực tiếp trên đường mạng bằng các địa chỉ IP của một website. Kỹ thuật này có thể là thiết thực trong bối cảnh các website thường bị truy cập thông qua địa chỉ IP hay nó có thể truy cập thông qua IP thay cho tên DSN. Đa số trường hợp, không được khuyến dùng do 3 sự kém cỏi sau: − Ngăn chặn truy cập đến một IP cũng sẽ ngăn chặn lưu thông mạng đến những site có host ảo trên cùng IP ngay cả khi nó có nội dung liên quan đến vấn đề cấm hay không. − Ngăn chặn truy cập đến một IP cũng sẽ ngăn chặn lưu thông mạng đến mỗi thành viên của cổng thông tin nằm trên IP đó. Nó sẽ ngăn chặn một thành phần của website không phải là một phần hay một tập các trang con. − Đó là sự thay đổi thường xuyên của các website bị lọc ngay khi chủ nhân website phát hiện ra bị lọc. Hành động này dựa trên DNS để cho phép người dùng vẫn còn truy cập đến trang web. Bảng thống kê phía dưới sẽ so sánh kết quả lọc của một số phần mềm theo dự án khảo sát website của dự án NetProject. 9 Bảng 1.1 – Kết quả đánh giá của NetProject. Phần mềm lọc Tỉ lệ khóa đúng Efectiveness Rate BizGuard 55 % 10 % Cyber Patrol 52 % 2% CYBER sitter 46 % 3% Cyber Snoop 65 % 23 % Norton InternetSecurity 45 % 6% SurfMonkey 65 % 11 % X-Stop 65 % 4% 1.2.2. Bộ lọc web dựa vào URL (Universal Resource Locator)  Dựa vào từ khóa (keyword) của URL Với cách tiếp cận này có một danh sách chứa các từ khóa (keyword) được hình thành để nhận ra những địa chị web bị chặn. URL keyword là chuỗi con nằm trong một địa chỉ web, những địa chỉ web có chứa chuỗi này thường là những trang web xấu. Theo khảo sát [5] [8], đa phần những trang web xấu dùng từ ngữ khiêu dâm, gợi dục làm tên miền cho website của mình với mục đích thu hút sự chú ý của người dùng Internet. Với những trang web như vậy, việc chặn trực tiếp ngay từ địa chỉ URL mà không cần quan tâm đến nội dung trang web là một điều đúng vì không có một trang web nào có nội dung là tốt nếu địa chỉ là xấu. Ví dụ Các trang web này đều là web sex: www.sexviet.com www.sex700.com www.sexygirls.com 10 do đều chứa các từ khóa là “sex” Hoặc các trang web sex sau đây www.freeporns.com www.asiaporns.com www.childporn.com đều chứa các từ khóa là “porn” Ưu điểm − Mức độ chính xác khá cao do dựa chủ yếu vào từ khóa. Nhược điểm − Chắc chắn bỏ qua các trang web không sử dụng URL keyword phổ biến. − Một số ít những trang web không xấu có chứa một URL keyword nào đó và bị xem là xấu.  Kỹ thuật lọc web dựa vào URL Đây là kỹ thuật lọc bằng cách quan sát lưu thông web (HTTP) bằng cách theo dõi URL và các host field bên trong các yêu cầu HTTP để nhận ra đích đến của yêu cầu. Host field đuợc dùng riêng biệt bởi các máy chủ web hosting để nhận ra tài nguyên nào được trả về. Lọc web qua URL [9] thường được xếp vào loại chủ đề rộng lớn về “Content Management”. Các kỹ thuật lọc qua URL ra đời từ 2 kiểu lọc “pass-by” và “passthrough”. Lọc theo “pass-by”: xử lý trên đường mạng mà không cần phải trực tiếp trong đường nối giữa người dùng và internet. Yêu cầu ban đầu được chuyển đến máy chủ web đầu cuối. Nếu yêu cầu bị cho là không thích hợp thì bộ lọc sẽ ngăn chặn những trang gốc từ bất cứ yêu cầu truy cập nào. Kỹ thuật này cho phép thiết bị lọc không bao gồm bộ định hướng yêu cầu. Nếu thiết bị lọc bị hỏng, lưu thông mạng vẫn tiếp tục hoạt động một cách bình thường. 11 Lọc theo “pass-through”: gồm việc sử dụng một thiết bị trên đường của tất cả yêu cầu của người dùng. Vì thế lưu thông mạng đi qua bộ lọc “pass-through” là thiết bị lọc thực sự. Thường bộ lọc này nằm trong các kiểu firewall, router, application switch, proxy server, cache server.  Tùy chọn bộ lọc URL Điểm đặc biệt của các sản phẩm theo phương pháp này cho phép người dùng chỉ định các URL bằng cách thêm hay bớt các URL khỏi “danh sách các site xấu” (Bad Site List) mặc dù các website nguyên thủy trong danh sách không thể bị loại bỏ. Dưới đây là danh sách các sản phẩm lọc web phổ biến. Bảng 1.2 – Một số sản phẩm lọc web theo phương thức URL Sản Phẩm Hãng (Công ty) Smartfilter Secure Computing Web Filter SurfControl Web Security Symantec bt-WebFilter Burst Technology CyBlock Web Filter Wavecrest Computing Ưu điểm khi sử dụng bộ lọc qua URL − Những Website ảo không bị ảnh hưởng: Kỹ thuật này không ảnh hưởng đến các máy chủ web ảo khi chúng cùng dùng một IP như những website hạn chế. Một website bị chặn và website không bị chặn có thể chia sẻ cùng một địa chỉ IP. − Không ảnh hưởng đối với việc thay đổi IP: Trong phần lớn tình huống, sự thay đổi IP của website bị hạn chế sẽ không ảnh hưởng đến phương pháp này. Vì phương pháp lọc này không phụ thuộc vào địa chỉ IP. Chủ sở hữu những trang web có thể đòi bất cứ IP nào họ muốn, nhưng người dùng đứng sau bộ lọc không thể truy cập được. 12 Hạn chế khi sử dụng bộ lọc thông qua URL − Thường không thể ngăn chặn các cổng phi tiêu chuẩn: + Những Web server làm việc với cổng tiêu chuẩn rất tốt. + Website trên các cổng phi tiêu chuẩn thì khó khăn cho việc ngăn cấm vì chúng yêu cầu một cấp độ cao hơn trong bộ lọc. + Một giải pháp lọc qua URL có thể là kỹ thuật có khả năng cần thiết cho những kết nối HTTP trên các cổng phi tiêu chuẩn − Không làm việc với các lưu thông bị mã hóa: vì HTTP yêu cầu sử dụng SSL/TLS bị mã hóa. Phương pháp lọc theo URL không thể đọc các hostfield. Cho nên, bộ lọc không có hiệu quả phát hiện một tài nguyên nào trên một địa chỉ IP mà yêu cầu thực sự định hướng vào. Tóm lại, các server cần có bộ lọc để thực hiện loại bỏ một số trang web không tốt, nhưng nó có thể làm cho hệ thống chậm lại. 1.2.3. Bộ lọc web dựa vào DNS Những website bị lọc sẽ hoàn toàn không thể truy cập được đến tất cả các cấu hình sử dụng bộ lọc nameserver cho bộ phân giải tên do tất cả các bộ lọc nameserver sẽ trả về thông tin bất hợp lệ khi yêu cầu phân giải một hostname của website bị lọc. Như vậy không thể truy cập đến tài liệu trên của máy chủ chứa Website. Tuy nhiên, các website không bị lọc sẽ cho phép truy cập miễn là chúng nó có một hostname khác từ các website bị lọc. Vì tên của chúng không được hỗ trợ thông tin bất hợp lệ bởi bộ lọc nameserver nên dữ liệu đúng sẽ trả về cho bất cứ người dùng nào yêu cầu phân giải tên và website hiển nhiên là có thể truy cập vào được. Ưu điểm − Sử dụng đa nghi thức (multi-protocol): http, ftp, gropher và bất kỳ nghi thức nào khác dựa trên hệ thống tên. 13 − Không bị ảnh hưởng bởi việc thay đổi IP: Khi thay đổi IP của một website không ảnh hưởng đến phương pháp lọc này, đây là phương pháp lọc hoàn toàn độc lập với địa chỉ IP. Nhược điểm − Không hiệu quả đối với các URL có chứa địa chỉ IP: + Phần lớn những địa chỉ của một website ở dạng DNS (www.lhu.edu.vn), tuy nhiên cũng có những địa chỉ được chỉ định bằng một địa chỉ IP thay vì là dạng DNS (http://118.69.126.40). + Trong trường hợp này nó được truy cập đến bằng địa chỉ IP mà không phải dùng địa crhỉ DNS của nó. − Toàn bộ web server bị chặn hoàn toàn: + Kỹ thuật không cho phép việc khóa có chọn lựa các trang còn lại trên một webserver. Vì thế, nếu một trang bị cấm là www.exp.com/bad.htm thì có thể tất cả các truy cập không thể truy xuất đến www.exp.com dù nó không trong danh sách bị khóa. − Ảnh hưởng đến các subdomain + Xét về kỹ thuật, một tên miền đơn như example.com trong URL http://www.example.com được dùng truy cập đến web server. Cùng một thời điểm, domain name có thể phục vụ như một domain cấp trên của các cổng khác như host1.example.com. Trong trường hợp này, những địa chỉ DNS dạng www.example.com có thể bị phân giải sai. Ngoài ra, nó cũng làm cho bộ phân giải tên miền bị sai đối với các miền con. Và nó còn ảnh hưởng đến các dịch vụ chạy trên mạng như e-mail. 1.2.4. Bộ lọc web dựa vào từ khóa (key word) Tương tự như cách tiếp cận dựa vào URL keyword [10], cũng có một danh sách các từ khóa để nhận ra những trang web bị chặn. Một trang web cấm sẽ chứa
- Xem thêm -