Tài liệu Luận văn xây dựng ứng dụng dựa trên mạng ngang hàng

Xây dựng ứng dụng dựa trên mạng ngang hàng MỞ ĐẦU Tốc độ phát triển của công nghệ đã mang đến cho người dùng cuối những ứng dụng, tiện ích miễn phí và chất lượng hơn. Nhưng dù công nghệ thay đổi, biến chuyển thế nào, nhu cầu chia sẻ dữ liệu vẫn luôn cần thiết đối với tất cả mọi người. Con người sử dụng mạng Internet chính là để tìm kiếm thông tin, thông tin thì có trong rất nhiều định dạng. Trong thời gian gần đây, chia sẻ file ngang hàng đã nổi lên như một lĩnh vực ứng dụng chiếm tỉ lệ sử dụng băng thông lớn trong mạng Internet. Bắt đầu từ hiện tượng Napster vào cuối những năm 90, sự phổ biến của các chương trình chia sẻ file ngang hàng như Gnutella, Freenet, Kazzaa đã tạo nên một xu hướng phát triển mạnh mẽ việc chia sẻ nội dung trong cộng đồng người dùng Internet. Hệ thống mạng ngang hàng và các ứng dụng chia sẻ file ngang hàng cũng trở thành một đề tài thu hút được nhiều sự quan tâm, nghiên cứu của các nhà khoa học. Các hệ thống chia sẻ file ngang hàng đang ngày càng phổ dụng nhờ những lợi điểm rõ rệt so với hình thức chia sẻ file trên nền Web theo kiến trúc client server. Tuy nhiên, các ứng dụng chia sẻ file ngang hàng phổ biến hiện nay trên Internet vẫn còn một hạn chế lớn. Chúng mới chỉ cho phép người dùng tìm kiếm file theo tên hay gọi chung là định danh chứ chưa có chức năng truy xuất theo nội dung. Mục đích của khóa luận tốt nghiệp này là khai thác những thành tựu mới nhất của công nghệ truy xuất thông tin để xây dựng một ứng dụng chia sẻ file ngang hàng có chức năng tìm kiếm theo nội dung. Hệ thống được xây dựng theo mô hình mạng ngang hàng lai ghép, một sự kết hợp giữa phương thức trao đổi trực tiếp không thông qua trung gian với giải pháp sử dụng máy chủ tìm kiếm. Chiến lược quản lý tập trung dựa trên máy chủ tìm kiếm giúp khắc phục những khó khăn trong việc tìm kiếm thông tin phân tán. Máy chủ tìm kiếm không chứa nội dung các file. Nó chỉ cho biết ứng với mỗi từ khóa cho trước có những file nào và chúng Trang -1- Xây dựng ứng dụng dựa trên mạng ngang hàng nằm ở đâu trong số các điểm nút tham gia vào hệ thống. Chương trình được phát triển bằng ngôn ngữ lập trình Java với những tính năng tìm kiếm theo nội dung được phát triển dựa trên thư viện mã nguồn mở Lucene. Luận văn này sẽ xây dựng ứng dụng dựa trên mạng ngang hàng. Luận văn được chia thành 5 chương • Chương 1: Tổng quan về mạng chia sẻ file ngang hàng. • Chương 2: Mô tả một số phương pháp, kỹ thuật tạo chỉ mục cho tài liệu và tìm kiếm dựa trên chỉ mục. • Chương 3: Giải pháp xây dựng ứng dụng. • Chương 4: Cài đặt chương trình. • Chương 5: Kết quả thực hiện chương trình. Mặc dù đã cố gắng hết sức cùng với sự động viên giúp đỡ tận tình của thầy giáo hướng dẫn xong trình độ còn hạn chế, nội dung đề tài phức tạp, phạm vi của đề tài rộng nên khó tránh khỏi những sai sót trong quá trình làm đố án. Em rất mong được sự chỉ dẫn của thầy cô và sự góp ý của các bạn để chương trình của em được hoàn thiện hơn. Cuối cùng em xin chân thành cảm ơn sự động viên và giúp đỡ nhiệt tình của thầy hướng dẫn: TS. Phạm Hồng Thái và CN. Lương Việt Nguyên đã giúp đỡ em hoàn thành đề tài này. Hải Phòng, Tháng 8 năm 2007 Sinh viên: Nguyễn Thị Hoa Trang -2- Xây dựng ứng dụng dựa trên mạng ngang hàng Chương 1: TỔNG QUAN VỀ MẠNG CHIA SẺ FILE NGANG HÀNG 1.1. Giới thiệu về mạng ngang hàng (peer to peer – P2P) 1.1.1. Khái niệm cơ bản Mạng ngang hàng không phải là một vấn đề hoàn toàn mới. Các máy chủ dịch vụ thư điện tử (Mail servers) hoặc các máy chủ phân giải tên miền (Domain Name Servers) được kết nối với nhau tạo ra một mạng ngang hàng. Ví dụ như giữa các máy chủ thư điện tử có thể thực hiện tương tác trực tiếp với nhau. Chúng có thể gửi, nhận hoặc chuyển tiếp các email cho nhau. Tuy các dịch vụ thư điện tử hay DNS đã xuất hiện từ lâu trên Internet nhưng khái niệm mạng ngang hàng hay tính toán ngang hàng (P2P – Peer-to-Peer) thì mới được đưa ra gần đây. Mạng ngang hàng là những hệ phân tán với đặc thù là không tồn tại trong nó một cơ cấu điều khiển tập trung hoặc một tổ chức có phân cấp [16]. Trong một hệ thống thuần túy ngang hàng, chương trình chạy trên mỗi điểm nút có vai trò hoàn toàn tương đương và bình đẳng với nhau. Tính chất này đối lập hoàn toàn với kiến trúc client – server truyền thống nơi có một hoặc một số điểm nút chỉ đóng vai trò cung cấp dịch vụ (servers) và các điểm nút còn lại chỉ sử dụng dịch vụ (clients). Lợi điểm rõ rệt nhất của kiến trúc ngang hàng là khả năng tận dụng tốt hơn tài nguyên (xử lý, băng thông, lưu trữ) trong toàn mạng. Bên cạnh đó, kiến trúc này cũng giúp cho dịch vụ mạng tránh khỏi tình trạng ngừng trệ khi server gặp phải trục trặc. Tuy nhiên mô hình này cũng tồn tại nhược điểm là khó kiểm soát được trạng thái, hành vi của các điểm nút trên toàn mạng. Ngoài ra nó cũng đòi hỏi các máy khi tham gia vào một mạng ngang hàng phải có năng lực xử lý cũng như băng thông gần tương đương như nhau. Không giống như trong kiến trúc client – server, hiệu suất hoạt động chung của mạng ngang hàng có xu hướng tăng lên khi gia tăng số điểm nút tham gia. Hiệu suất này cũng phụ thuộc vào từng ứng dụng mạng cụ thể, vào giao thức ngang hàng và cấu hình mạng (topology). 1.1.2. Đặc điểm của các mạng ngang hàng Các mạng ngang hàng ngày nay thường mang một số đặc trưng phổ biến Trang -3- Xây dựng ứng dụng dựa trên mạng ngang hàng sau: Z Các điểm nút trong mạng có thể nhận biết lẫn nhau. Nghĩa là có một cơ chế nào đó giúp cho một điểm nút khi tham gia vào mạng có thể xác định một máy khác cũng là thành viên của mạng. Từ đó chúng có thể định vị được nhau, gửi thông điệp tới nhau và nhận thông điệp từ nhau. Z Các điểm nút tạo ra một mạng kết nối ảo và ở một mức trừu tượng cao hơn so với các cơ cấu tổ chức như: tường lửa (firewall), NAT (Network Address Translation), mạng con (subnet). Mỗi điểm nút có thể nằm trong các mạng con khác nhau, chịu những cơ chế tổ chức, kiểm soát và giới hạn hoàn toàn riêng biệt. Tuy nhiên khi đã tham gia vào mạng, chúng sẽ tổ chức được những mối liên kết logic với nhau thông qua việc sử dụng các dịch vụ hoặc chạy các ứng dụng ở tầng cao hơn so với những cơ chế vừa được nhắc tới. Tạo ra một mạng kết nối logic giữa những điểm nút bị biệt lập hóa trong các mạng riêng biệt chính là ý tưởng xuyên suốt nhất của kiến trúc ngang hàng. Z Mỗi điểm nút tự nó có thể vừa đóng vai trò của client vừa đóng vai trò của server. Điều này thể hiện rõ vai trò bình đẳng và độc lập của từng điểm nút. Mọi điểm nút vừa có thể cung cấp dịch vụ cho các điểm nút khác vừa có thể sử dụng dịch vụ của một hay nhiều điểm nút còn lại. Z Xuất hiện một số nhóm điểm nút liên kết với nhau để chia sẻ dữ liệu và cộng tác với nhau trong xử lý. Đây là sự tổ hợp lại các điểm nút có những mối liên hệ chặt chẽ và mang tính tương tác gần gũi hơn trong quá trình hoạt động của ứng dụng mạng. 1.1.3. Tiện ích mạng P2P mang lại. Giúp cho người dùng dễ dàng tìm được dữ liệu cần thiết. Tận dụng được tiện ích tổng hợp: Nơi lưu trữ, thông tin và chi phí tính toán được phân phối giữa các PEER, làm các máy tính tham gia vào mạng sẽ dễ dàng có được thông tin yêu cầu. Tăng độ tin cậy. Chứa đựng rất nhiều thông tin: Trong mạng P2P có rất nhiều các máy tính tham ra vào, bản thân mỗi máy tính đã chứa nhiều thông tin, trong khi đó các công cụ tìm kiếm chỉ có thể nắm bắt được khoảng 20% nội dung của các Website. Trang -4- Xây dựng ứng dụng dựa trên mạng ngang hàng 1.1.4. Những khó khăn trong thiết kế mạng ngang hàng Z Cân đối băng thông: Trong phần lớn các ứng dụng chạy trên mạng ngang hàng, do mỗi điểm nút đều đóng cả hai vai trò: client và server nên tỉ lệ sử dụng băng thông đầu ra (outbound bandwidth) và băng thông đầu vào (inbound bandwidth) tại từng điểm nút là tương đối cân bằng. Tuy nhiên các nhà cung cấp dịch vụ mạng (ISPs) lại thường triển khai các mạng không đối xứng trong đó dành sự ưu tiên cho phần băng thông đầu vào. Ví dụ một số ISP của các mạng DSL hỗ trợ 1.5Mbps băng thông đầu vào nhưng chỉ có 128Kbps cho băng thông đầu ra. Cho dù băng thông tổng cộng của kết nối vật lý có được mở rộng thì hạ tầng kỹ thuật của các ISP vẫn sẽ chủ yếu hỗ trợ cơ chế bất đối xứng. Giải pháp triệt để cho vấn đề này có thể đến từ sự cộng tác giữa các ISP và khách hàng bằng việc triển khai những thiết bị mạng chuyên dụng. Z Tổ chức không gian tên: Việc đặt tên cho các website được thực hiện thông qua hệ thống phân cấp của dịch vụ phân giải tên miền (DNS). Tuy nhiên trong các mạng ngang hàng không tồn tại một cơ chế tương tự. Không như các máy chủ dịch vụ web, các điểm nút trong mạng ngang hàng không tồn tại ở trạng thái tĩnh. Thời điểm và khoảng thời gian tham gia vào mạng của mỗi điểm nút cũng ko thể xác định được. Công việc tạo ra một tên (định danh) duy nhất cho các đối tượng, thành phần của mạng phải được thực hiện bởi chính người phát triển ứng dụng và do đó nó phụ thuộc vào đặc thù của từng ứng dụng. Z Chứng thực và kiểm tra quyền truy cập của người dùng: Nếu tất cả các file đều được đặt trên server thì sẽ dễ dàng hơn trong việc chứng thực người dùng cũng như kiểm tra quyền hạn truy cập của họ đối với dữ liệu. Tuy nhiên do tính chất phân tán của mạng ngang hàng, công việc này phải được thực hiện bởi từng điểm nút. Người phát triển khi muốn xây dựng một ứng dụng ngang hàng hoàn chỉnh cần quan tâm nhiều đến vấn đề bảo mật, chống các hành động xâm nhập trái phép làm ảnh hưởng tới dữ liệu. Z Kiểm soát hành vi của người dùng: Do không thể lưu trữ tập trung thông tin về hành động của các điểm nút nên rất khó kiểm soát được những hành động đó. Lấy ví dụ trong một mạng chia sẻ file ngang hàng, người dùng có thể thực hiện một trong những hành vi không thực sự phù hợp như sau: e Không chia sẻ bất kỳ file nào trên máy mình. Trang -5- Xây dựng ứng dụng dựa trên mạng ngang hàng e Chia sẻ các file bị lỗi. e Chia sẻ các file chứa mã nguy hiểm, virus. e Chia sẻ các file mà nội dung của nó chắc chắn không được bất kỳ ai quan tâm. e Không cho phép các điểm nút khác tải về những file được chia sẻ trên máy mình. Nếu tất cả các điểm nút tham gia đều thực hiện những hành vi tiêu cực như trên thì hoạt động của mạng ngang hàng thực sự không hiệu quả và kém an toàn. Tùy thuộc vào từng ứng dụng cụ thể, người thiết kế và phát triển phải thiết lập những cơ chế kiểm soát hành vi của các điểm nút để bảo đảm rằng chúng thực sự có những đóng góp tích cực cho cộng đồng sử dụng mạng. 1.1.5. Phân loại các ứng dụng mạng ngang hàng Các ứng dụng mạng ngang hàng có thể được phân chia thành một số nhóm như sau: Z Chia sẻ file: Gnutella, FastTrack, Napster. Z Chia sẻ tài nguyên phân tán: SETI@Home, Avaki, Entropia và các dự án tính toán lưới. Z Phân phối nội dung: OpenCola, Blue Falcon Networks, Konitiki. Z Truyền thông P2P: AOL Instant Messenger, Yahoo! Messenger, ICQ, Jabber. Z Các ứng dụng cộng tác: Hive, Groove, myJXTA. 1.2. Mô hình mạng P2P 1.2.1. Mô hình tập trung Mô tả: Mạng tập trung bao gồm Server trung tâm và xung quanh Server là các máy Clients. Có 2 mô hình mạng tập trung: Single Centralized: Trong mô hình này các máy Client sẽ kết nối trực tiếp với 1 Server duy nhất. Trong mô hình này tất cả các Client là bình đẳng như nhau, các Client giao tiếp với nhau thông qua Server trung tâm. Trang -6- Xây dựng ứng dụng dựa trên mạng ngang hàng Hình 1: Mô hình mạng tập trung. Cơ chế hoạt động của mô hình mạng Single Centralized: Mỗi khi một Client trong mạng yêu cầu một file nào đó thì yêu cầu sẽ được gửi đến Server, Server nhận yêu cầu và xử lý yêu cầu, nếu trong database của Server có thông tin về file đó, nó sẽ thông báo cho Client, sau đó bên có và bên xin để bắt đầu quá trình download. Ưu điểm của mô hình Single Centralized: Khả năng xử lý thông tin nhanh chóng, đáng tin cậy, thời gian tìm kiếm thông tin nhanh chóng và chính xác. Nhược điểm: Có thể khi có quá nhiều các yêu cầu của Client đồng loạt được gửi đến Server sẽ gây nên tình trạng quá tải của Server, khiến cho tốc độ hoạt động trung bình của hệ thống bị giảm sút. Hơn nữa khi Server trung tâm bị hỏng thì toàn bộ hệ thống sẽ ngừng hoạt động. Multiple Mini Centralized: Bao gồm nhiều Server kết nối với nhau, mỗi Server kết nối với nhiều Client. Một Client thì kết nối duy nhất với một Server, một Server sẽ kết nối với nhiều Client. Các Server có thể trao đổi thông điệp với nhau. Trang -7- Xây dựng ứng dụng dựa trên mạng ngang hàng Hình 2: Mô hình mạng Multiple Mini – Centralized. Cơ chế hoạt động của mô hình mạng Multiple Mini – Centralized: Khi một Client yêu cầu file, nó sẽ gửi yêu cầu đến Server mà nó kết nối trực tiếp. Nếu trong database của nó mà có thì sẽ có thông điệp sẽ được gửi lại cho Client yêu cầu và Client có file dữ liệu đó để thiết lập download. Trong trường hợp nó không có file đó, nó sẽ gửi thông điệp đến các Server hàng xóm để tiếp tục tìm kiếm. Ưu điểm của mô hình mạng Multiple Mini – Centralized: Có nhiều Server vì vậy khả năng xử lý thông tin sẽ rất lớn, bởi vì các yêu cầu của Client sẽ được phân tán gửi đến các Server khác nhau sẽ làm giảm tải của các Server. Hơn nữa việc có nhiều Server trong mạng sẽ làm tăng hệ số an toàn cho hệ thống vì khi một trong những Server bị hỏng vẫn có thể đảm bảo mạng hoạt động ổn định với những Client không kết nối với Server đó. 1.2.2. Mô hình phân tán. Mô tả: Trong mạng P2P phân tán hoàn toàn không có vai trò của các Server, bản thân mỗi Client lại đóng vai trò của các Server. Hai mô hình mạng phân tán: Trang -8- Xây dựng ứng dụng dựa trên mạng ngang hàng Phân tán hoàn toàn (Completely decentralized index): Mạng được tạo bởi chỉ các Client, khi một Client gửi yêu cầu thông tin thì yêu cầu đó sẽ được broadcast tới toàn bộ các Client trong mạng. Ưu điểm của mạng phân tán hoàn toàn: Đây thực sự là mô hình gốc của mạng P2P, yêu cầu được gửi đến nhiều PEER tham gia vì vậy khả năng tìm thấy thông tin yêu cầu là rất lớn. Nhược điểm: Do không xử lý tập trung nên thời gian chờ đợi của mỗi PEER khi gửi yêu cầu đi là rất lớn và khả năng mất mát thông tin cũng rất lớn. Hình 3: Mô hình mạng phân tán. Phân tán không hoàn toàn (Multiple semi decentralized index): Các Client có thể đóng vai trò của Server nếu cần thiết - trở thành super PEER, các Client khác sẽ gửi request đến super PEER này để tìm thông tin. Ưu điểm: Tận dụng được nguồn tài nguyên phần cứng rất lớn, tăng khả năng của toàn hệ thống lên. Khả năng các PEER có thể trở thành super PEER là không giới hạn. Nhược điểm: Việc phân chia “chức năng” giữa các PEER là rất phức tạp. Trang -9- Xây dựng ứng dụng dựa trên mạng ngang hàng Hình 4: Mô hình mạng phân tán không hoàn toàn. 1.3. Ưu, nhược điểm của P2P 1.3.1. Ưu điểm Máy tính được lắp đặt tại bàn làm việc của người dùng. Người dùng tự quản lý công việc và đề ra kế hoạch bảo mật riêng. Tất cả người dùng có thể chia sẻ tài nguyên của mình theo bất cứ cách thức nào tùy ý. Những tài nguyên này gồm có dữ liệu trong các thư mục dùng chung, máy in, card Fax, modem,… Mất mát dữ liệu do sơ ý không ảnh hưởng lớn đến hệ thống. Cáp đơn giản, dễ thấy, dễ sử dụng để nối từ máy tính này đến máy tính khác trong mạng. Trong môi trường P2P mỗi máy tính phải sử dụng tài nguyên của mình để hỗ trợ cho người dùng cục bộ, sử dụng tài nguyên bổ sung để hỗ trợ cho người dùng truy cập trong mạng từ xa. Trang -10- Xây dựng ứng dụng dựa trên mạng ngang hàng Chi phí thiết lập duy trì ứng dụng thấp, mỗi máy tham gia vào mạng sẽ đóng góp một phần tài nguyên và băng thông, dữ liệu của mạng nằm trên các máy tham gia. Mạng ngang hàng giải quyết được vấn đề cân bằng tải, các máy tính chia sẻ tài nguyên của mình đồng thời nhận tài nguyên từ máy tính khác công việc được chia nhỏ đến các máy. 1.3.2. Nhược điểm Thời gian trao đổi thông tin trong P2P lớn hơn rất nhiều so với trong Client/Server. Vấn đề về bảo mật, ngoài ra còn vấn đề trong việc lưu trữ những thông tin cần thiết lâu dài. Các kết nối trong mạng ngang hàng có độ trễ cao hơn so với các kết nối TCP hoặc UDP thông thường. Việc quản lý thông tin, tạo kết nối, tìm kiếm các máy khác trong mạng phức tạp. 1.4. Một số ứng dụng chia sẻ file ngang hàng Ý tưởng về một ứng dụng chia sẻ file ngang hàng lần đầu tiên được đưa ra bởi chàng sinh viên 18 tuổi Shawn Fanning. Fanning muốn tạo ra ứng dụng kết hợp chức năng của một máy tìm kiếm (search engine) với khả năng chia sẻ file và hội thoại qua mạng. Không đầy một năm, Napster đã trở thành một site phát triển nhanh nhất trong lịch sử và là một ứng dụng cực kỳ phổ biến trên Internet. Nó cho phép người dùng có thể tìm kiếm và tải về các file nhạc một cách nhanh chóng và tiện lợi. Tuy nhiên sự phát triển bùng nổ của Napster đã dẫn đến những cuộc tranh cãi về vấn đề bảo vệ bản quyền trong ngành âm nhạc. Những cuộc tranh cãi này đã dẫn đến việc kiện tụng. Cuối cùng, Napster bị buộc phải đóng cửa và ngừng cung cấp dịch vụ. Bước đi tiên phong của Napster đã dẫn tới sự ra đời của một loạt các chương trình chia sẻ file ngang hàng khác trên mạng như Gnutella hay Freenet. Tuy nhiên, các ứng dụng này ko sử dụng server tập trung như trong Napster. Do Trang -11- Xây dựng ứng dụng dựa trên mạng ngang hàng không có một điểm trung gian cố định trong mạng nên khó có thể kết tội đối với các ứng dụng này là tiếp tay cho nạn vi phạm bản quyền. Ở đây sự tồn tại của máy chủ tìm kiếm tập trung chính là điểm khác biệt giữa hai loại ứng dụng chia sẻ file ngang hàng [13]. 1.4.1. Hoạt động của Napster Máy chủ tìm kiếm trong hệ thống Napster có trách nhiệm lưu trữ danh sách các điểm nút hiện đang tham gia vào mạng và danh sách các file hiện chúng đang chia sẻ. Trong thông điệp khởi tạo kết nối, điểm nút sẽ chuyển cho máy chủ tìm kiếm tên đăng nhập, mật khẩu, tốc độ kết nối Internet và địa chỉ cổng của tiến trình (process) chia sẻ file. Khi tìm kiếm một bài hát, điểm nút gửi đến cho máy chủ tìm kiếm một từ khóa hoặc cụm từ khóa và số lượng kết quả tối đa mà nó muốn nhận về. Máy chủ sẽ làm nhiệm vụ tìm kiếm các điểm nút hiện đang kết nối vào mạng và có khả năng đáp ứng yêu cầu. Thông tin về các điểm nút đó sẽ gửi về cho điểm nút đưa ra yêu cầu. Các thông tin gửi về sẽ bao gồm địa chỉ IP, số cổng dịch vụ và tốc độ kết nối Internet của từng điểm nút trong danh sách kết quả. Sau đó người dùng có thể chọn lựa một trong số các điểm nút, thực hiện kết nối trực tiếp và tiến hành tải file về. Trang -12- Xây dựng ứng dụng dựa trên mạng ngang hàng Hình 5: Kiến trúc của Napster Có hai lý do chủ yếu giải thích tại sao Fanning sử dụng mạng ngang hàng thay vì lưu trữ tất cả các file trên một server. Thứ nhất là do khả năng lưu trữ của server là hữu hạn, không thể đủ chỗ cho hàng tỉ file nhạc mà người dùng trên mạng quan tâm. Nguyên nhân thứ hai là băng thông hạn hẹp của server khó có thể đáp ứng được hàng ngàn yêu cầu download mỗi giây [13]. 1.4.2. Hoạt động của Gnutella Gnutella được thiết kế dựa trên ý tưởng che giấu định danh của các điểm nút tham gia hay còn gọi là cơ chế nặc danh (anonymous). Các điểm nút phải tự nhận diện lấy nhau bằng cách gửi đi thông điệp ping để hỏi và gửi trả thông điệp pong để xác nhận lại. Nội dung của thông điệp pong bao gồm địa chỉ IP và dach sách các file chia sẻ trên điểm nút được hỏi. Hình 6: Kiến trúc của Gnutella. Để tìm kiếm ra điểm nút hiện đang chia sẻ một file cho trước, thông điệp truy vấn phát đi trong mạng theo cách thức được mô tả bởi hình vẽ trên. Từ điểm nút đưa ra yêu cầu tìm kiếm, thông điệp được chuyển tới một số điểm nút lân cận được lựa chọn. Tới mỗi điểm nút, truy vấn tìm kiếm sẽ được đối sánh với danh sách các file đang chia sẻ tại đó đi kèm một tiêu chí xác định trước. Nếu tiêu Trang -13- Xây dựng ứng dụng dựa trên mạng ngang hàng chí này thỏa mãn thì danh sách kết quả sẽ được gửi về ngay cho điểm nút nguồn. Nếu tiêu chí không được thỏa mãn thì thông điệp truy vấn sẽ tiếp tục được chuyển đến cho các điểm nút lân cận tiếp theo. Quá trình này sẽ dừng lại cho đến khi tiêu chí tìm kiếm đã được thỏa mãn hoặc sau một số lần chuyển tiếp thông điệp nhất định. Khi đã thu thập được danh sách kết quả hoàn chỉnh, người dùng có thể kết nối trực tiếp đến và tải file về từ điểm nút được lựa chọn. 1.4.3. So sánh Gnutella và Napster 2 ứng dụng Gnutella và Napster đều có những ưu và nhược điểm riêng. Một trong số những ưu điểm của Napster là tính dễ sử dụng. Napster có một cơ chế tìm kiếm tập trung nhanh và hiệu quả. Ngoài ra trong Napster người ta có thể xác định rõ ràng đâu là bên cung cấp dịch vụ (người quản lý máy chủ tìm kiếm) và đâu là bên sử dụng dịch vụ (người đăng nhập vào mạng tại các điểm nút). Nhờ thế mà việc duy trì, phát triển dịch vụ đối với các công ty quản lý cũng như việc xác thực đối với người dùng trở nên dễ dàng hơn. Tuy nhiên, hệ thống Napster cũng bộc lộ một số nhược điểm. Do việc tìm kiếm diễn ra tập trung ở phía máy chủ nên khi mạng mở rộng, số lượng điểm nút truy cập tăng lên thì có thể dẫn tới máy chủ tìm kiếm bị quá tải. Một hạn chế nữa của Napster là trong mạng chỉ có thể chia sẻ các file MP3. Ngoài ra Napster không hỗ trợ bất kỳ định dạng file nhạc nào khác. Với cơ chế làm việc phi tập trung, Gnutella đã hoàn toàn tránh được các rắc rối về mặt pháp lý liên quan đến việc bảo vệ bản quyền âm nhạc. Ngoài MP3, Gnutella còn hỗ trợ được nhiều định dạng file nhạc khác. Tuy vậy, vẫn còn tồn tại nhiều nhược điểm đối với hệ thống Gnutella. Do cơ chế hoạt động hoàn toàn phân tán và bình đẳng nên không thực sự tồn tại một nhà cung cấp và quản lý dịch vụ tập trung. Bởi vậy sẽ không có các hoạt động hỗ trợ kỹ thuật dành cho ứng dụng khi có yêu cầu của người dùng hoặc khi xảy ra trục trặc, sự cố. Thời gian tìm kiếm file trong Gnutella cũng lâu hơn do phải chuyển thông điệp tìm kiếm tới nhiều điểm nút để dò hỏi. Băng thông của mạng cũng bị tiêu tốn nhiều cho việc quảng bá thông điệp tìm kiếm này. Một hạn chế nữa của Gnutella là khi một điểm nút đăng nhập vào mạng nó phải liên tục xử lý, trả lời các yêu cầu truy vấn cũng như tiêu tốn băng thông cho việc upload file tới các điểm nút khác. Cuối cùng, do các điểm nút khi tham gia vào mạng đều là nặc danh nên rất khó thẩm tra, xác thực được tính hợp lệ và an toàn của các thông điệp truy vấn Trang -14- Xây dựng ứng dụng dựa trên mạng ngang hàng cũng như nội dung các file dữ liệu tải về. 1.5. Một số nghiên cứu lý thuyết Tài liệu [14] trình bày kiến thức tổng quan về công nghệ mạng ngang hàng. Những kết quả nghiên cứu mới nhất về lĩnh vực chia sẻ file ngang hàng nói riêng được giới thiệu chi tiết trong [17]. Bài báo [7] tập trung khảo sát những chiến lược sử dụng nhiều máy chủ tìm kiếm trong các hệ thống chia sẻ file ngang hàng theo mô hình lai ghép. Ở đây các tác giả đã đưa ra những đánh giá lý thuyết về hiệu quả của các chiến lược và trình bày một số kết quả thực nghiệm. Một số vấn đề tìm kiếm theo nội dung trong mạng thuần túy ngang hàng được trình bày trong [9]. Bài báo [18] đưa ra một mô hình định tuyến thông điệp tìm kiếm trong mạng dựa trên nội dung của truy vấn. Trong mô hình này, mỗi điểm nút sẽ lưu trữ lại các kết quả tìm kiếm gần nhất được trả về từ một số điểm nút lân cận với nó. Thông điệp tìm kiếm sẽ được gửi đến một trong các điểm nút lân cận dựa trên việc so sánh nội dung của nó với danh sách kết quả gần nhất. Bài báo [10] cũng đề xuất và đánh giá bằng thực nghiệm mô hình toán học được áp dụng để tìm kiếm nội dung tài liệu trong mạng ngang hàng lai ghép. Tuy nhiên đây là một mô hình dựa trên việc lựa chọn tài liệu cũng như lựa chọn điểm nút lân cận theo xác suất thay vì tìm kiếm trực tiếp dựa trên chỉ mục của tài liệu. Trang -15- Xây dựng ứng dụng dựa trên mạng ngang hàng Chương 2: MÔ TẢ MỘT SỐ PHƯƠNG PHÁP, KỸ THUẬT TẠO CHỈ MỤC CHO TÀI LIỆU VÀ TÌM KIẾM DỰA TRÊN CHỈ MỤC 2.1. Tổ chức chỉ mục tìm kiếm Trong mục này sẽ tập trung vào việc trình bày những cơ chế hỗ trợ tìm kiếm một cách hiệu quả trên file văn bản với giả thiết xâu truy vấn bao gồm một tập hợp các từ hoặc cụm từ. Nhiệm vụ của thao tác tìm kiếm là trả về danh sách các file mà nội dung của chúng có chứa các từ, cụm từ trong xâu truy vấn. Tần suất xuất hiện các từ và thậm chí cả vị trí chính xác của các từ trong file văn bản cũng được xem là một tiêu chí trong việc xếp hạng kết quả tìm kiếm. Ta có thể dễ dàng hình dung ra một phương pháp tìm kiếm đơn giản nhất dựa trên việc quét tuần tự toàn bộ nội dung file văn bản. Qua mỗi lượt quét như vậy, ta có thể thu được những thông tin về số lần xuất hiện cũng như vị trí của các từ khóa tìm kiếm trong file văn bản. Tuy nhiên phương pháp này chỉ phù hợp với những file văn bản có kích thước nhỏ. Bên cạnh đó, mỗi lần có một truy vấn tìm kiếm gửi tới, ta lại phải thực hiện quét lại toàn bộ file từ đầu đến cuối. Đây là một thao tác lặp lại và tốn kém thời gian. Để tăng tốc độ tìm kiếm, người ta đề xuất ra phương pháp thực hiện quét một lần trên các file văn bản và lưu lại danh sách các thành tố (từ, cụm từ) có trong file đó cũng như các thông tin đi kèm với mỗi thành tố (vị trí, tần suất, độ quan trọng, …). Các thông tin này sẽ được tổ chức theo một cấu trúc dữ liệu riêng và được gọi là chỉ mục. Lúc này các thao tác tìm kiếm sẽ được tiến hành dựa trên chỉ mục thay vì được thực hiện trực tiếp trên file văn bản. 2.2. Tạo chỉ mục Tạo chỉ mục là một bước quan trọng, quyết định đến việc tăng tốc độ, hiệu quả và chất lượng tìm kiếm. Hiện nay có ba phương pháp chủ yếu để tạo chỉ mục dựa trên việc sử dụng các cấu trúc: file đảo ngược (Inverted file), mảng hậu tố (Suffix array) và file chữ ký (Signature file) [15]. Chúng tôi sẽ tập trung mô tả Trang -16- Xây dựng ứng dụng dựa trên mạng ngang hàng cách tạo chỉ mục dựa trên cấu trúc file đảo ngược – phương pháp tạo chỉ mục phổ biến nhất hiện nay. File đảo ngược là một cấu trúc dùng để tạo chỉ mục bằng phương pháp hướng từ (word-oriented) nhằm hỗ trợ tìm kiếm nhanh trên dữ liệu văn bản. Một cấu trúc file đảo ngược bao gồm hai thành phần cơ bản: bảng từ vựng (vocabulary) và bảng vị trí (occurrences). Bảng từ vựng là một tập hợp các từ phân biệt xuất hiện trong file văn bản. Tương ứng với mỗi từ trong bảng từ vựng là một danh sách mô tả thông tin về tất cả các vị trí trong văn bản mà từ đó xuất hiện. Tập hợp các danh sách này của toàn bộ các từ có trong bảng từ vựng tạo nên bảng vị trí. Ví dụ ở hình dưới đây cho ta hình dung một so sánh giữa đoạn văn bản đầu vào và kết quả tạo ra sau bước tạo chỉ mục dựa trên cấu trúc file đảo ngược. Ở đây có sự chuyển đổi từ danh sách các từ được sắp theo thứ tự trong văn bản gốc sang tập hợp các từ được sắp theo thứ tự từ điển. Lúc này đối tượng quan tâm của chúng ta không phải là toàn bộ nội dung của file văn bản gốc nữa mà là tập hợp các từ xuất hiện trong đó. Đây chính là sự giải thích ý nghĩa cho tên của cấu trúc “file đảo ngược”. Hình 7: Tạo chỉ mục theo cấu trúc file đảo ngược. Không gian cần thiết để lưu trữ bảng từ vựng là tương đối nhỏ. Theo định β luật Heaps kích thước của bảng từ vựng tăng trưởng theo cỡ O(n ) trong đó n là cỡ của văn bản và β là một hằng số nằm trong khoảng (0, 1) phụ thuộc vào từng văn Trang -17- Xây dựng ứng dụng dựa trên mạng ngang hàng bản [11]. Trong thực tế β biến thiên trong khoảng từ 0.4 đến 0.6. Bảng vị trí đòi hỏi một không gian lưu trữ lớn hơn với kích thước tăng trưởng theo cỡ O(n). Trong thực tế, bảng vị trí chiếm một không gian lưu trữ khoảng 30% tới 40% so với kích thước của tài liệu. Để giảm kích thước lưu trữ bảng vị trí, một kỹ thuật có tên gọi là đánh địa chỉ khối được sử dụng. File văn bản được phân chia thành các khối và thông tin trong bảng vị trí sẽ được trỏ đến các khối thay vì tới các từ. Bằng cách đánh địa chỉ khối, kích thước của thành phần con trỏ định vị sẽ nhỏ hơn do số lượng khối ít hơn số lượng từ. Ngoài ra tất cả các vị trí xuất hiện của cùng một từ trong một khối sẽ được rút gọn về chỉ một tham chiếu chung như được thể hiện ở hình dưới đây. Các khối có thể cùng kích thước hoặc được phân chia theo cấu trúc nội dung: đoạn tài liệu (paragraph), tệp tài liệu (file), … Hình 8: Tạo chỉ mục theo cấu trúc file đảo ngược sử dụng kỹ thuật đánh địa chỉ khối 2.3. Tìm kiếm dựa trên chỉ mục Dựa trên hệ thống chỉ mục được tổ chức theo cấu trúc file đảo ngược, thuật toán tìm kiếm thường tuân theo 3 bước sau: 9 Tìm kiếm trên bảng từ vựng: Tách, phân tích xâu truy vấn thành các từ đơn hoặc các cụm từ. Thực hiện tìm kiếm các từ, cụm từ này trên bảng từ vựng. Trang -18- Xây dựng ứng dụng dựa trên mạng ngang hàng 9 Thu thập danh sách thông tin vị trí của các từ, cụm từ tìm được sau bước một thông qua bảng vị trí. 9 Xử lý các thông tin thu thập được từ bước hai và tạo ra danh sách kết quả tìm kiếm. Do bảng từ vựng được sắp xếp theo thứ tự từ điển nên thao tác tìm kiếm trên đó mất một chi phí cỡ O(logn) bằng cách sử dụng thuật toán tìm kiếm nhị phân. Bước thứ hai của thuật toán đơn giản chỉ là thu thập lại danh sách về thông tin vị trí của các từ đơn lẻ xuất hiện trong truy vấn thỏa mãn kết quả tìm kiếm trên bảng từ vựng. Bước thứ ba tương đối phức tạp trong trường hợp phải tìm kiếm cho các cụm từ. Khi đó người ta phải tổ chức tìm kiếm đồng thời trên các danh sách ứng với các từ đơn có mặt trong cụm. Bằng phương pháp trộn nhiều danh sách được sắp theo thứ tự vị trí người ta có thể tìm được những chuỗi tuần tự các từ theo đúng thứ tự trong cụm. Trong trường hợp chỉ mục có sử dụng kỹ thuật đánh địa chỉ khối, ta sẽ phải tiếp tục duyệt tuần tự bên trong nội dung của nhiều khối thu được từ các danh sách thông tin về vị trí để tìm ra những cụm thỏa mãn. Các xấp xỉ được đánh giá bằng lý thuyết cũng như các kết quả thực nghiệm cho thấy việc sử dụng chỉ mục theo cấu trúc file đảo ngược đem lại một thời gian tìm kiếm cũng như kích thước cần lưu trữ tăng theo kích thước file văn bản với một tốc độ chậm hơn tốc độ tăng của hàm tuyến tính. Điều này là không thể đạt được khi thực hiện tạo chỉ mục theo các cấu trúc khác. 2.4. Xếp hạng kết quả tìm kiếm Khi tiến hành truy vấn tìm kiếm theo nội dung một tập hợp văn bản cho trước (gọi là thư viện) thì người dùng không chỉ muốn nhận về danh sách kết quả tìm kiếm mà họ còn muốn danh sách này phải được sắp xếp theo một tiêu chí nào đó. Tiêu chí này chính là độ liên quan (relevance) giữa các kết quả với truy vấn tìm kiếm do người dùng đưa ra. Việc này quy về bài toán xác định độ liên quan giữa một truy vấn q với các tài liệu trong một thư viện C cho trước. Bài toán này đã được nghiên cứu khá chi tiết và toàn diện trong lĩnh vực truy xuất thông tin. Trong mục này, chúng tôi sẽ trình bày tóm lược nội dung của một thuật toán xác định độ Trang -19- Xây dựng ứng dụng dựa trên mạng ngang hàng liên quan nổi tiếng và hiện đang được sử dụng rộng rãi. Đó là thuật toán TF-IDF [12]. Xét bài toán trong trường hợp đơn giản: ta xem mỗi truy vấn q gồm một tập hợp các từ khóa k . Với một văn bản D bất kỳ thuộc thư viện C thì ta có: i R(q) = Σ R(k ) (2.3.1) i Trong đó R(q) là độ liên quan của q với D còn R(k ) là độ liên quan của từ i khóa k với D. i Nếu một từ khóa k xuất hiện nhiều lần hơn từ khóa k trong văn bản D thì i j khi chỉ xét trong phạm vi văn bản D ta có thể nói rằng từ khóa k mang ý nghĩa i quan trọng hơn từ khóa k . Hay trong phần lớn các trường hợp ta có thể rút ra rằng j từ khóa k có ảnh hưởng tới nội dung của văn bản D lớn hơn hay R(k ) > R(k ). Vậy i i j tần suất xuất hiện của một từ khóa trong văn bản tỉ lệ thuận với độ liên quan của nó với văn bản đó. Đại lượng tần suất xuất hiện này của từ khóa k được gọi là tf(i) i (tf viết tắt của term frequency). Mặt khác nếu ta xét trên phạm vi toàn bộ thư viện C chứ không chỉ trong văn bản D nữa thì có một vấn đề khác nảy sinh. Nếu một từ khóa k xuất hiện trong văn bản D và cũng xuất hiện trong nhiều văn bản khác thuộc C thì ta có thể thấy từ khóa k không còn mang tính đặc trưng cho văn bản D nữa. Lúc này không chỉ có văn bản D mà từ khóa k còn liên quan tới nội dung của nhiều văn bản khác nữa. Khái quát điều này ta có thể suy ra nếu từ khóa k xuất hiện trong càng nhiều văn bản thuộc C thì độ liên quan của nó đến D phải càng nhỏ hay R(k) tỉ lệ nghịch với số văn bản trong C có chứa từ khóa k. Để định lượng cho tính chất này, đối với từ khóa k ta đưa vào tham số idf(i) được tính như sau: i idf(i) = log(N/n ) (2.3.2) i Trang -20-