Tài liệu Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu áp dụng vào việc nâng cấp hệ thống mạng của văn phòng trung ương đảng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI --------------------------------------- HOÀNG PHƯƠNG NHUNG XÂY DỰNG GIẢI PHÁP CHO HỆ THỐNG MẠNG PHÂN PHỐI DỮ LIỆU ÁP DỤNG VÀO VIỆC NÂNG CẤP HỆ THỐNG MẠNG CỦA VĂN PHÒNG TRUNG ƯƠNG ĐẢNG Chuyên ngành : KỸ THUẬT MÁY TÍNH VÀ TRUYỀN THÔNG LUẬN VĂN THẠC SĨ KỸ THUẬT KỸ THUẬT MÁY TÍNH VÀ TRUYỀN THÔNG NGƯỜI HƯỚNG DẪN KHOA HỌC : TS. Trần Hải Anh Hà Nội - Năm 2016 MỤC LỤC __________ Lời cam đoan Lời cảm ơn Danh mục ký hiệu, từ viết tắt, thuật ngữ Danh mục hình vẽ, đồ thị Mở đầu Chương I : Cơ sở lý thuyết I- Giới thiệu chung về hệ thống mạng phân phối dữ liệu II- Giải pháp CDN III- Vấn đề MAB Chương II : Phân tích triển khai giải pháp lựa chọn máy chủ dựa trên thuật toán MAB I- Thuật toán -Greedy Trang ii iii iv v 1 4 4 5 28 36 37 II- Thuật toán Softmax 39 IV- Reward thu được dự kiến 45 I- Thuật toán -Greedy 50 III- Thuật toán UCB Chương III : Kết quả thực nghiệm 42 46 II- Thuật toán Softmax 56 IV- Đánh giá chung 68 III- Thuật toán UCB V- Triển khai thực tiễn áp dụng vào việc nâng cấp hệ thống mạng diện rộng của Văn phòng Trung ương Đảng 63 70 Kết luận và kiến nghị 72 Phụ lục 76 Tài liệu tham khảo 73 Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu LỜI CAM ĐOAN __________ Tôi xin cam đoan Luận văn Thạc sỹ "Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu. Áp dụng vào việc nâng cấp hệ thống mạng của Văn phòng Trung ương Đảng" là công trình nghiên cứu của riêng tôi. Nội dung Luận văn tập trung nghiên cứu một số thuật toán phân phối dữ liệu để áp dụng vào hệ thống mạng phân phối dữ liệu của cơ quan đang công tác, các số liệu và kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Hà Nội, ngày 10 tháng 10 năm 2016 Tác giả Hoàng Phương Nhung Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang ii Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu LỜI CẢM ƠN ___________ Lời đầu tiên, tôi xin gửi lời cảm ơn đến toàn thể các thầy, cô giáo Viện Công nghệ Thông tin & Truyền thông đã tận tình chỉ bảo tôi trong suốt thời gian học tập tại nhà trường. Tôi xin gửi lời cảm ơn sâu sắc đến TS. Trần Hải Anh, người đã trực tiếp hướng dẫn, tạo mọi điều kiện thuận lợi và tận tình chỉ bảo cho tôi trong suốt thời gian làm luận văn tốt nghiệp. Tôi cũng xin gửi lời cảm ơn tới Lãnh đạo Vụ Hành chính - Cơ yếu, Văn phòng Trung ương Đảng và anh chị em Phòng Nhân sao - Chế bản đã quan tâm, tạo điều kiện về thời gian, tương trợ trong công việc trong suốt thời gian hoàn thành Luận văn tốt nghiệp. Cảm ơn các thành viên của Lớp 13B-MTTT đã hỗ trợ, chia sẻ với tôi những lúc khó khăn trong suốt quá trình tôi thực hiện đề tài Luận văn. Tuy nhiên, do thời gian hạn hẹp, mặc dù đã nỗ lực hết sức mình, nhưng chắc rằng luận văn khó tránh khỏi thiếu sót. Tôi rất mong nhận được sự thông cảm và chỉ bảo tận tình của quý thầy cô và các bạn. HỌC VIÊN Hoàng Phương Nhung Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang iii Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu DANH MỤC KÝ HIỆU, TỪ VIẾT TẮT, THUẬT NGỮ _______________ Ký hiệu/từ viết tắt Ý nghĩa CDN Content Delivery Networks UCB Upper Confidence Bounds QoE Quality of Experience HN Hà Nội MAB QoS HTML ĐN HCM Multi-Armed Bandit Quality of Service Hyper Text Markup Language Đà Nẵng Thành phố Hồ Chí Minh VPTW Văn phòng Trung ương Đảng HTCP Hypertext Caching Protocol ICP CARP Internet Cache Protocol Cache Array Routing Protocols P2P Kiến trúc ngang hàng WCCP Web Cache Coordination Protocol NECP Network Element Control Protocol Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang iv Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu DANH MỤC HÌNH VẼ, ĐỒ THỊ _______________ Hình 1. Mô hình mạng CDN Hình 2 : Kiến trúc của một mạng lưới phân phối nội dung (CDN) Hình 3 : Mô tả nội dung và dịch vụ CDN cung cấp cho người dùng Hình 4: Kiến trúc phân lớp của một CDN Hình 5: Phân loại CDN thành phần Hình 6 : Các giao thức tương tác sử dụng trong CDN Hình 7: Giao thức tương tác khác nhau Hình 8 : Quản lý và phân loại phân phối nội dung Hình 9: Chiến lược vị trí thay thế Hình 10 : Quá trình phân phối nội dung đến các máy chủ đại diện Hình 11 : Phân phối nội dung đến người dùng Hình 12 : Sự phân loại lựa chọn và chuyển giao kỹ thuật nội dung. Nội dung có thể được chuyển cho người dùng toàn bộ hoặc một phần. Hình 13: Mô tả Yêu cầu định tuyến trong một môi trường CDN Hình 14 : Phân phối nội dung trong một mạng CDN và giữa các mạng CDN ngang hàng Hình 15 : Quá trình lựa chọn cần gạt trong Thuật toán -Greedy Hình 16 : Giải thuật Thuật toán -Greedy Hình 17 : Sơ đồ lựa chọn máy chủ của Thuật toán -Greedy Hình 18 : Giải thuật Thuật toán Softmax Hình 19 : Sơ đồ lựa chọn máy chủ của Thuật toán Softmax Hình 20 : Giải thuật Thuật toán UCB Hình 21 : Sơ đồ lựa chọn máy chủ của Thuật toán UCB Hình 22 : Demo hệ thống phân phối dữ liệu mô phỏng Hình 23 : Vấn đề không có server nào hoạt động Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang v Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu Hình 24 : Vấn đề thông báo hiện có server khai báo tình trạng hoạt động Hình 25 : Thông tin 8 máy chủ đại diện đang hoạt động tại thời điểm thực hiện mô phỏng Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang vi Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu MỞ ĐẦU ________ 1- Cơ sở khoa học và thực tiễn Năm 2016, bước sang năm thứ 19 Internet có mặt tại Việt Nam. Từ lạ lẫm đến quen thuộc, phát triển rộng rãi với tốc độ như vũ bão, Internet đã và đang góp phần thay đổi cuộc sống của người Việt. Dịch vụ Internet ngày càng đa dạng, phong phú. Những năm gần đây, dịch vụ truy cập Internet qua hạ tầng di động 3G tiến tới sử dụng 4G thể hiện sự tăng trưởng vượt bậc do sự tiện lợi trong sử dụng. Tốc độ kết nối Internet trong nước và quốc tế ngày càng nhanh, phục vụ đắc lực cho việc khai thác nội dung, sử dụng dịch vụ của người dùng. Nguyên Thứ trưởng Bộ Thông tin và Truyền thông Lê Nam Thắng đã đánh giá, Internet đã tạo môi trường thuận lợi cho việc tiếp cận thông tin, phổ cập rộng rãi thông tin trong xã hội, phục vụ cho công việc, nghiên cứu, học tập, sản xuất kinh doanh và tuyên truyền các chính sách của Đảng và Nhà nước tới người dân1. Internet đã góp phần tạo lập cộng đồng, thúc đẩy hoạt động của các tổ chức xã hội, nâng cao năng lực sản xuất và thương mại, tạo ra nhiều hơn của cải vật chất trong xã hội và nâng cao đời sống người dân. Internet còn là sân chơi bổ ích, một kênh giải trí hấp dẫn với nhiều ứng dụng phục vụ người dùng. Tuy nhiên, băng thông mạng liên tục bị quá tải bởi lưu lượng sử dụng và các nội dung chiếm băng thông, các dịch vụ Web phổ biến thường bị tắc nghẽn do nhu cầu thực hiện trên dịch vụ lớn. Đây là một trong những vấn đề quan trọng cần giải quyết để quản lý luồng lưu lượng, đáp ứng yêu cầu người dùng tốt nhất, cải thiện chất lượng dịch vụ. Và hệ thống mạng phân phối dữ liệu được xem là giải pháp tối ưu được các nhà cung cấp dịch vụ hướng tới. Nguồn : http://www.nhandan.com.vn/antuong/item/21822602-kinh-te-internet-l%C3%A0-coh%E1%BB%8Di-d%E1%BA%BB-viet-nam-ph%C3%A1t-tri%E1%BA%BBn.html 1 Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang 1 Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu 2- Sự cần thiết phải triển khai thuật toán Hiện tại, hệ thống máy tính tại cơ quan đang công tác chưa kết nối trực tuyến với mạng Internet; chủ yếu sử dụng các máy tính cá nhân đơn lẻ, tách biệt, phối hợp trong công tác thông qua thư điện tử mạng nội bộ => bất cập trong trao đổi nghiệp vụ, phối hợp công tác, còn sử dụng văn bản giấy quá nhiều => tốn kém về chi phí in ấn, nguồn nhân lực phục vụ công tác lưu trữ lớn. Văn phòng Trung ương Đảng có trụ sở chính tại Hà Nội (HN) và cơ sở tại Đà Nẵng (ĐN) và Thành phố Hồ Chí Minh (HCM) tuy nhiên việc phối hợp công tác hiện rất khó khăn, bản thân nhận thấy việc phối hợp xử lý công việc ngay tại HN cũng còn phụ thuộc khá nhiều vào văn bản giấy. Việc ứng dụng giải pháp CDN vào thực tiễn sẽ giúp đẩy mạnh ứng dụng công nghệ thông tin vào giải quyết xử lý công việc, giảm thiểu tối đa chi phí in ấn, nhân lực. 3- Mục đích của luận văn (các kết quả cần đạt được) Sau khi nghiên cứu cơ sở lý thuyết và tiến hành thực nghiệm, tôi mạnh dạn đề xuất ứng dụng giải pháp CDN và thuật toán lựa chọn máy chủ MAB vào việc triển khai nâng cấp hạ tầng mạng ở đơn vị đang công tác. - Hạ tầng kỹ thuật mạng nội bộ của VPTW sử dụng công nghệ CDN tích hợp chức năng kiểm soát truy nhập và giám sát hoạt động hệ thống, trở thành hạ tầng chung, thống nhất, đảm bảo hoạt động cài đặt, vận hành, khai thác. - Đặt cụm máy chủ đại diện tại Hà Nội, Đà Nẵng, Thành phố Hồ Chí Minh có chức năng “ngang hàng” để có thể “thứ lỗi” cho nhau. - Thuật toán lựa chọn máy chủ đại diện đáp ứng tốt yêu cầu khai thác nội dung, phối hợp xử lý công việc của chuyên viên, lãnh đạo cơ quan. - Vấn đề mạng phải có khả năng theo dõi, giám sát trực tuyến tình trạng làm việc cũng như hiệu suất hoạt động của các thiết bị có trong mạng, có khả năng lập các báo cáo về hiệu suất và tình trạng hoạt động của hệ thống mạng, có khả năng dự báo những sự cố tiềm tàng có thể sẽ xảy ra. Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang 2 Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu 4- Đối tượng và phạm vi nghiên cứu : - Đối tượng : Thuật toán lựa chọn máy chủ trong hệ thống mạng phân phối dữ liệu mà cụ thể là các thuật toán MAB. - Phạm vi nghiên cứu : Giả lập một môi trường mạng phân tán nội dung đồng thời áp dụng các thuật toán nghiên cứu được trên môi trường giả lập. 5- Phương pháp nghiên cứu - Lý thuyết : + Tìm tài liệu về mạng phân tán nội dung và giải thuật chọn lựa máy chủ trên mạng Internet, các bài báo, sách tham khảo. + Phác thảo định hướng thực hiện. - Thực nghiệm : + Tham khảo các ý kiến của chuyên gia có kinh nghiệm trong lĩnh vực mạng phân tán : Gặp gỡ, trao đổi, tiếp thu ý kiến. +Giả lập môi trường mô phỏng mạng phân tán + Tham khảo code giải thuật chọn lựa máy chủ trên mạng Internet, các bài báo, sách tham khảo áp dụng vào môi trường giả lập. 6- Bố cục luận văn Bố cục luận văn gồm 3 phần : mở đầu, nội dung và kết luận. Nội dung luận văn gồm có 3 chương : Chương I :Cơ sở lý thuyết Chương II : Phân tích triển khai giải pháp chọn lựa máy chủ dựa trên Thuật toán MAB Chương III : Kết quả thực nghiệm Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang 3 Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu CHƯƠNG I : CƠ SỞ LÝ THUYẾT _____________ I-Giới thiệu chung về hệ thống mạng phân phối dữ liệu Hệ thống mạng phân phối dữ liệu đóng vai trò quan trọng trong lĩnh vực phát triển của công nghệ thông tin, đặc biệt là trong điều kiện phát triển bùng nổ của các mạng máy tính. Sự phát triển của các mạng LAN, WAN cho phép hàng trăm, hàng nghìn hay thậm chí hàng triệu máy tính có thể kết nối với nhau. Công nghệ hiện nay không chỉ đáng tin cậy mà còn tạo nên các hệ thống máy tính khổng lồ, được kết nối bằng các đường kết nối tốc độ cao. Hệ thống mạng phân phối dữ liệu được xây dựng cần đảm bảo một số đặc trưng : - Chia sẻ tài nguyên - Tính trong suốt - Tính mở - Tính co giãn Tính trong suốt đảm bảo khả năng che giấu tiến trình và tài nguyên phân phối trong mạng máy tính. - Truy nhập: che giấu sự khác biệt trong cách biểu hiện dữ liệu và cách thức truy nhập tài nguyên. Ở mức cơ bản, ta che giấu sự khác biệt về kiến trúc máy, nhưng quan trọng hơn chính là ta phải đạt được sự thống nhất trong biểu diễn dữ liệu bởi các máy tính khác nhau và các hệ điều hành khác nhau. - Vị trí: che giấu vị trí tài nguyên  người dùng hoàn toàn không biết về vị trí vật lý của tài nguyên trong hệ thống. Để đạt được, ta cần tiến hành định danh bằng tên gọi logic. Tên gọi có thể đơn giản, không cần mã hóa. - Di trú: che giấu việc tài nguyên di chuyển sang máy khác  tài nguyên có thể không nằm ở vị trí cố định, mà nó có thể được di chuyển sang các máy khác nhau trong hệ thống để phục vụ các yêu cầu khác nhau mà không ảnh hưởng tới việc truy nhập tài nguyên. Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang 4 Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu - Di chuyển: che giấu việc tài nguyên có thể bị di chuyển sang nơi khác  tài nguyên có thể di chuyển sang nơi khác ngay cả khi nó đang bị truy cập. - Nhân bản: che giấu việc sao chép tài nguyên  việc sao chép tài nguyên giúp đơn giản hóa và tăng tốc độ truy cập dữ liệu, các bản sao đặt gần hoặc ngay tại nơi truy cập dữ liệu. Các bản sao này phải có cùng tên, để che giấu với người dùng; và hệ thống cần có tính trong suốt về vị trí, để đảm bảo khả năng quản lý các bản sao khác nhau trên các máy trong hệ thống. - Tương tranh: che giấu sự chia sẻ tài nguyên bởi một số người sử dụng, nhiều người dùng có thể cùng truy cập dữ liệu tại cùng một thời điểm, đặc biệt sử dụng nhiều trong mạng truyền thông. - Lỗi: che giấu lỗi và khắc phục lỗi  đảm bảo người dùng hoàn toàn không biết về các lỗi xảy ra trong hệ thống và sự khắc phục các lỗi này. Che giấu lỗi là một trong các yêu cầu khó thực hiện nhất, và có thể không thực hiện được trong một số tình huống cụ thể. Điểm khó nhất chính là ta không thể phân biệt được tài nguyên là truy cập chậm hay không thể truy cập được. Tuy nhiên không phải lúc nào cũng nên thể hiện tính trong suốt hoàn toàn với người dùng. Ngoài ra cũng có sự đánh đổi giữa mức độ trong suốt và tốc độ hệ thống. Việc thiết kế hệ phân tán trong suốt là cần thiết, tuy nhiên cũng cần đảm bảo sự hài hoà với các đặc tính khác như hiệu năng và tính thân thiện với người dùng của hệ thống. Tuy nhiên có thể phải trả giá đắt cho việc không đảm bảo tính trong suốt hoàn toàn của hệ phân tán. II- Giải pháp CDN 1- Tổng quan Với sự phát triển bùng nổ của Internet, các dịch vụ Web phổ biến thường bị tắc nghẽn và nguyên nhân chính là do yêu cầu về dịch vụ của đại bộ phận người sử dụng dẫn tới không thể quản lý luồng dữ liệu, nhiều yêu cầu bị mất. Việc sao chép cùng một nội dung hoặc dịch vụ tương tự trên máy chủ Web đến các máy chủ sao Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang 5 Xây dựng ựng giải pháp cho hệ thống mạng phân phối dữ liệu lưu đặt tại các địa điểm khác nhau được xem là một phương pháp tối ưu bởi nhà cung cấp dịch vụ mạng để cải thiện hiệu suất và khả năng mở rộng băng thông thông. Người dùng sẽ được chuyển hướng đến máy chủ lân cận giúp làm giảm tác động máy chủ Web, rút ngắn thời gian đáp ứng các yêu cầu của người dùng dùng. Client Client Tuyến ến bị tắc nghẽn Client Máy chủủ đại diện Máy chủ đại diện Máy chủ gốc Máy chủ đại diện Tuyến không bịị tắc nghẽn Client Client Hình 1. Mô hình mạng CDN Mạng lưới phân phối nội dung (CDNs) cung cấp các dịch vụ cải thiện hiệu suất mạng bằng cách tối đa hóa băng thông thông, nâng cao khả năng tiếp cận và duy trì thông qua bản sao nội dung dung. Cơ sở hạ tầng nội dung gồm một tập các máy chủ lân cận (máy máy chủ đại diện diện) cung cấp bản sao nội dung tới người dùng cuối cùng, cùng theo yêu cầu định tuyến chuyển của yêu cầu của người dùng đến máy chủ đại diện thích hợp; tương tác với cơ sở hạ tầng phân phối để cập nhật các nội dung được lưu trữ trong cache CDN. Các cơ ssở hạạ tầng phân phối sao chép nội dung từ máy chủ gốc đến các máy chủ đại diện đảm bảo tính thống nhất của nội dung trong bộ nhớ đệm đệm. Các cơ sở hạ tầng duy trì các bản ghi các truy cập của người dùng và ghi lại việc sử dụng ụng các máy chủ CDN. Trong thực ti tiễn, CDN thường lưu trữ nội dung tĩnh gồm Học viên ên : Hoàng Phương Nhung, CB130041, 13B 13B-MTTT Trang 6 Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu hình ảnh, video, clip, nội dung quảng cáo, và các đối tượng nhúng vào nội dung Web động. Đối tượng CDN nhắm tới là phương tiện truyền thông và các công ty quảng cáo Internet, trung tâm dữ liệu, cung cấp dịch vụ Internet (ISP), các nhà bán lẻ âm nhạc trực tuyến, các nhà khai thác di động, người tiêu dùng các nhà sản xuất thiết bị điện tử, và các công ty vận chuyển. CDN cung cấp hiệu suất tốt hơn thông qua bộ nhớ đệm hoặc nội dung trang Web được sao chép tới các máy chủ đại diện tại các vị trí địa lý khác nhau (các máy chủ lân cận) để đối phó với sự tăng vọt một cách đột ngột yêu cầu về nội dung. Người dùng được chuyển hướng đến máy chủ đại diện gần họ nhất. Cách tiếp cận này giúp giảm thiểu tác động đến mạng vào thời gian xử lý yêu cầu của người dùng. Nhà cung cấp nội dung, nhà cung cấp dịch vụ CDN và người dùng cuối là 3 thành phần chính cấu thành kiến trúc CDN : + Nhà cung cấp nội dung là đại diện trong không gian tên URI của các đối tượng Web sẽ được phân phối. Máy chủ của nhà cung cấp nội dung quản lý đối tượng đó. + Nhà cung cấp dịch vụ CDN là đơn vị cung cấp giải pháp để phân phối nội dung kịp thời và tin cậy. + Người dùng cuối cùng là người khai thác thông tin trên dữ liệu web của nhà cung cấp nội dung. Nhà cung cấp dịch vụ CDN sử dụng bộ nhớ đệm hoặc bản sao các máy chủ nằm ở vị trí địa lý khác nhau để tái tạo nội dung. Máy chủ cache CDN cũng được gọi là máy chủ lân cận hoặc đại diện hoặc thay thế. CDN phân phối nội dung cho máy chủ đại diện theo cách tất cả các máy chủ cache chia sẻ cùng một nội dung và URL. Yêu cầu của người dùng được chuyển đến máy chủ đại diện gần đó và một máy chủ đại diện được chọn cung cấp yêu cầu nội dung cho người dùng cuối. Như vậy, tính minh bạch cho người dùng là đạt được. Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang 7 Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu 2- Sự ra đời và phát triển của CDN Trong những năm qua, chúng ta đã chứng kiến sự ra đời, phát triển và sự nở rộ của Internet. Kết quả là, sự tăng trưởng lớn mạnh trong mạng lưới bởi sự chấp nhận nhanh chóng của truy cập băng thông rộng, cùng với sự phát triển của các hạ tầng phức tạp và sự phong phú về nội dung. Sự bùng nổ, phát triển nở rộ của Internet mang lại thách thức mới trong việc phát triển, cung cấp nội dung cho người dùng và quản lý. Dịch vụ web hiện nay thường bị tắc nghẽn và nút cổ chai do nhu cầu lớn về dịch vụ. Sự tăng vọt một cách đột ngột yêu cầu về nội dung có thể gây quá tải với các máy chủ Web và kết quả là một điểm nóng có thể được tạo ra. Đối phó với nhu cầu đột xuất như vậy gây ra căng thẳng đáng kể trên một máy chủ Web. Cuối cùng các máy chủ web là hoàn toàn choáng ngợp với sự gia tăng đột biến trong mạng lưới. Nhà cung cấp nội dung xem các trang Web như một phương tiện truyền tải nội dung phong phú tới người dùng của họ. Chất lượng giảm, cùng với thời gian truy cập chậm trễ chủ yếu là do thời gian tải về lâu dài, sẽ khiến người dùng thất vọng. Công ty có được nguồn tài chính đáng kể từ kinh doanh dịch vụ Web. Do đó, họ đặc biệt quan tâm đến việc cải thiện chất lượng dịch vụ, kinh nghiệm của người dùng khi truy cập vào trang Web của họ. Trong những năm trở lại đây, chúng ta đã đã thấy được sự phát triển của các công nghệ nhằm cải thiện nội dung và chất lượng dịch vụ phân phối nội dung trên các trang Web. Cơ sở hạ tầng hỗ trợ các công nghệ này tạo thành một loại mới của mạng, mà thường được gọi là mạng nội dung. Với sự ra đời của CDN, các nhà cung cấp nội dung bắt đầu đưa các trang web của họ trên một CDN. Chẳng mấy chốc họ nhận ra tính hữu dụng của nó thông qua độ tin cậy và khả năng mở rộng mà không cần phải duy trì cơ sở hạ tầng tốn kém. Trong một vài năm trở lại đây, một số công ty đã trở thành chuyên gia trong việc cung cấp các nội dung nhanh chóng và đáng tin cậy và CDN đã trở thành một thị trường khổng lồ để tạo ra doanh thu lớn. CDN thế hệ đầu tiên chủ yếu tập trung Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang 8 Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu vào các tài liệu Web tĩnh hay động. Thế hệ thứ hai của CDN trọng tâm đã chuyển sang âm thanh và video. 3- Mạng lưới phân phối Nhà cung cấp nội dung có thể đăng ký nhà cung cấp dịch vụ CDN đã đặt dịch vụ và nội dung trên các máy chủ nội dung. Nội dung sẽ được sao chép bằng cách đẩy nội dung vào các máy chủ đại diện (thay thế). Một người dùng được phục vụ các nội dung từ máy chủ Web đại diện nhân rộng. Do đó, người dùng cuối vô tình giao tiếp và lấy dữ liệu từ máy chủ đại diện nhân rộng lân cận. Hình 2 : Kiến trúc của một mạng lưới phân phối nội dung (CDN) 4- Nội dung phân phối Nhà cung cấp CDN đảm bảo cập nhật nhanh chóng bất kỳ nội dung kỹ thuật số. Họ lưu trữ : nội dung tĩnh (các trang HTML tĩnh, hình ảnh, tài liệu, bản vá lỗi phần mềm), truyền thông phương tiện (âm thanh, video) và các dịch vụ nội dung khác nhau (thương mại điện tử). Người dùng cuối cùng có thể tương tác với các CDN bằng cách xác định các nội dung/dịch vụ yêu cầu qua thiết bị đầu - cuối : điện thoại di động, điện thoại thông minh/PDA, máy tính xách tay và máy tính để bàn. Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang 9 Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu Hình 3 : Mô tả nội dung và dịch vụ CDN cung cấp cho người dùng Nhà cung cấp CDN tính phí người dùng của họ (nhà cung cấp nội dung) theo các nội dung được cung cấp đến người dùng cuối cùng của máy chủ đại diện của họ. CDN hỗ trợ theo dõi thông tin sử dụng của người dùng liên quan đến yêu cầu định tuyến, phân phối và xử lý thông tin. Các yếu tố ảnh hưởng đến giá của các dịch vụ CDN bao gồm : • Chi phí băng thông • Lưu lượng phân phối nội dung • Kích thước của nội dung nhân rộng trên các máy chủ đại diện • Số lượng máy chủ đại diện • Vấn đề an ninh khi gia công phần mềm phân phối nội dung, độ tin cậy và ổn định của hệ thống. CDN chủ yếu nhắm vào các nhà cung cấp nội dung hoặc người dùng muốn đảm bảo QoS cho người dùng cuối khi duyệt web. Mục tiêu kinh doanh cuả CDN tập trung vào : khả năng mở rộng, bảo mật, độ tin cậy, đáp ứng và thực hiện. Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang 10 Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu 5- Kiến trúc lớp Hình 4: Kiến trúc phân lớp của một CDN Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang 11 Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu - Cấu trúc cơ bản (Basic Fabric) : là lớp thấp nhất, cung cấp các nguồn tài nguyên cơ sở hạ tầng để hình thành một CDN, gồm các tài nguyên tính toán phân phối như : SMP, cụm máy chủ tập tin, chỉ số máy chủ và cơ sở hạ tầng mạng lưới cơ bản kết nối băng thông cao. Mỗi một nguồn tài nguyên này chạy các phần mềm hệ thống như hệ điều hành, các hệ thống quản lý tập tin phân phối, lập chỉ mục nội dung và hệ thống quản lý. - Truyền thông và lớp kết nối : cung cấp các giao thức Internet lõi (TCP/UDP, FTP) cũng như các giao thức Internet CDN cụ thể : Internet Cache Protocol (ICP), Hypertext Caching Protocol (HTCP), Cache Array Routing Protocols (CARP) và giao thức xác thực như PKI (Public Key cơ sở hạ tầng), hoặc SSL (Secure Sockets Layer) cho truyền thông, bộ nhớ đệm và cung cấp các nội dung (dịch vụ) một cách xác thực; cung cấp khả năng tìm kiếm và phục hồi nội dung được sao chép hiệu quả bằng việc duy trì chỉ số phân phối. - Lớp CDN : chứa các chức năng cốt lõi của CDN, gồm có 3 lớp con : dịch vụ CDN, loại CDN và các loại nội dung. Một CDN cung cấp các dịch vụ cốt lõi như : lựa chọn thay thế, yêu cầu định tuyến, bộ nhớ đệm và cân bằng tải địa lý và các dịch vụ cụ thể dùng cho quản lý SLA, chia sẻ tài nguyên và môi giới CDN. Một CDN hoạt động trên một tên miền của doanh nghiệp phục vụ mục đích học tập, công cộng hay chỉ đơn giản là được sử dụng như máy chủ phụ của nội dung và dịch vụ, cũng có thể dành riêng để chia sẻ tập tin theo kiến trúc ngang hàng (P2P) và cung cấp tất cả các loại nội dung MIME như : văn bản, âm thanh, video...để đáp ứng yêu cầu của người dùng. - Người dùng cuối : là lớp cao nhất của kiến trúc lớp CDN. Tại lớp này, người dùng kết nối với CDN bằng cách xác định các URL của trang web cung cấp nội dung trên các trình duyệt. 6- Phân loại: CDNs được phân loại theo các loại thuộc tính/khía cạnh khác nhau gồm : thành phần CDN, nội dung phân phối và quản lý, yêu cầu định tuyến, và đo lường hiệu suất. Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang 12 Xây dựng giải pháp cho hệ thống mạng phân phối dữ liệu Vấn đề đầu tiên là một vài khía cạnh của CDN liên quan đến tổ chức và hình thành, phân loại các CDN theo các thuộc tính cấu trúc. Vấn đề thứ hai liên quan đến việc phân phối nội dung, cơ chế của CDN; mô tả các phương pháp quản lý và phân phối nội dung của CDN : vị trí thay thế, lựa chọn nội dung, gia công phần mềm nội dung và tổ chức sao lưu. Vấn đề thứ ba liên quan đến các thuật toán định tuyến yêu cầu và phương pháp định tuyến yêu cầu. Vấn đề cuối cùng nhấn mạnh trên các hiệu suất đo lường của CDN và hình thành các hiệu suất mạng và số liệu thống kê. 7- Thành phần của CDN Cấu trúc của một CDN khác nhau tùy thuộc vào nội dung (dịch vụ) mà nó cung cấp cho người dùng. Trong cơ cấu của CDN, một tập hợp máy chủ đại điện được sử dụng để xây dựng cơ sở hạ tầng nội dung, chuyển hướng yêu cầu người dùng đến một máy chủ đại diện. Nguyên tắc phân loại dựa trên các đặc điểm cấu trúc khác nhau của CDN. Những đặc điểm này là các thành phần quan trọng của CDN, quyết tổ chức, loại máy chủ được sử dụng, các tương tác giữa các thành phần CDN, cũng như các nội dung khác nhau và các dịch vụ được cung cấp bởi các CDN. Hình 5: Phân loại CDN thành phần Học viên : Hoàng Phương Nhung, CB130041, 13B-MTTT Trang 13