Tài liệu Nghiên cứu về mô hình tính toán lưới hướng kinh tế và ứng dụng triển khai hệ thống sun grid engine

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI --------------------------------------- LUẬN VĂN THẠC SĨ KHOA HỌC TÌM HIỂU VỀ MÔ HÌNH LƯỚI HƯỚNG KINH TẾ VÀ ỨNG DỤNG TRIỂN KHAI HỆ THỐNG SUN GRID ENGINE NGÀNH: CÔNG NGHỆ THÔNG TIN MÃ SỐ: ……………………………… Phan Thanh Liêm Người hướng dẫn khoa học: PGS. TS. NGUYỄN THANH THUỶ Hà Nội - 2008 PHAN THANH LIÊM BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI --------------------------------------- LUẬN VĂN THẠC SĨ KHOA HỌC CÔNG NGHỆ THÔNG TIN NGÀNH : CÔNG NGHỆ THÔNG TIN TÌM HIỂU VỀ LƯỚI HƯỚNG KINH TẾ VÀ ỨNG DỤNG TRIỂN KHAI HỆ THỐNG SUN GRID ENGINE TẠI ĐHBKHN PHAN THANH LIỂM 2006 - 2008 Hà Nội 2008 Hµ Néi 2008 LUẬN VĂN THẠC SĨ KHOA HỌC TÌM HIỂU VỀ MÔ HÌNH LƯỚI HƯỚNG KINH TẾ VÀ ỨNG DỤNG TRIỂN KHAI HỆ THỐNG SUN GRID ENGINE NGÀNH : CÔNG NGHỆ THÔNG TIN MÃ SỐ: ………………......................... PHAN THANH LIÊM HÀ NỘI 2008 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI --------------------------------------- LUẬN VĂN THẠC SĨ KHOA HỌC TÌM HIỂU VỀ MÔ HÌNH LƯỚI HƯỚNG KINH TẾ VÀ ỨNG DỤNG TRIỂN KHAI HỆ THỐNG SUN GRID ENGINE NGÀNH: CÔNG NGHỆ THÔNG TIN MÃ SỐ: ……………………………… Phan Thanh Liêm Người hướng dẫn khoa học: PGS. TS. NGUYỄN THANH THUỶ Hà Nội - 2008 Tính toán lưới hướng kinh tế 1 LỜI CAM ĐOAN Tôi xin cam đoan bản Luận văn này là công trình nghiên cứu của riêng tôi. Các dữ liệu và kết quả nêu trong Luận văn là hoàn toàn trung thực và có nguồn gốc rõ ràng. TÁC GIẢ (Ký tên) SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính toán lưới hướng kinh tế 2 LỜI CẢM ƠN Trước hết, tôi xin được chân thành cảm ơn PGS. TS. Nguyễn Thanh Thuỷ đã tận tình hướng dẫn, cung cấp tài liệu và kiến thức cần thiết giúp tôi hoàn thành Luận văn tốt nghiệp này. Tôi xin bày tỏ lòng biết ơn sâu sắc tới các thầy, cô giáo trong Khoa Công nghệ thông tin cũng như các thầy, cô giáo trong trường Đại học Bách Khoa Hà Nội đã truyền đạt cho tôi những kiến thức quan trọng trong suốt thời gian tôi học tập và nghiên cứu tại trường. Tôi cũng xin được gửi lời cảm ơn đến các anh, chị, em tại Trung tâm Tính toán Hiệu năng cao, Trung tâm Mạng thông tin và Trung tâm Đào tạo - Chuyển giao công nghệ SUN SAI đã hỗ trợ và hết sức tạo điều kiện cho tôi trong cả quả trình thực hiện luận văn. Cuối cùng, tôi xin được nói lời cảm ơn đến gia đình và bạn bè, những người luôn ở bên tôi, cổ vũ và động viên tôi trong suốt thời gian học tập và làm luận văn tốt nghiệp. Trong quá trình hoàn thành luận văn, do còn thiếu kinh nghiệm, sự ràng buộc về thời gian và sự hạn chế về kiến thức nên chắc chắn không tránh khỏi những thiếu sót. Vì vậy tôi rất mong nhận được sự đóng góp ý kiến và giúp đỡ của các thầy, các cô và các bạn. Một lần nữa tôi xin chân thành cảm ơn! Hà Nội, ngày 10 tháng 11 năm 2008 Người thực hiện luận văn SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính toán lưới hướng kinh tế 3 MỤC LỤC LỜI CAM ĐOAN.................................................................................................. 1 LỜI CẢM ƠN ....................................................................................................... 2 MỤC LỤC ............................................................................................................. 3 DANH MỤC CÁC HÌNH ..................................................................................... 5 DANH MỤC CÁC TỪ VIẾT TẮT ...................................................................... 6 CHƯƠNG 0 - MỞ ĐẦU ....................................................................................... 7 0.1. ĐẶT VẤN ĐỀ............................................................................................ 7 0.2. MỤC TIÊU LUẬN VĂN ........................................................................... 8 0.3. CẤU TRÚC LUẬN VĂN .......................................................................... 8 CHƯƠNG 1 - TỔNG QUAN VỀ TÍNH TOÁN LƯỚI ..................................... 10 1.1. TÍNH TOÁN LƯỚI LÀ GÌ ? ................................................................... 10 1.1.1. Khái niệm tính toán lưới ................................................................... 10 1.1.2. Các đặc trưng của tính toán lưới ....................................................... 11 1.2. PHÂN LOẠI TÍNH TOÁN LƯỚI ........................................................... 12 1.2.1. Phân loại dựa trên phạm vi của lưới ................................................. 12 1.2.2. Phân loại dựa trên đặc tính xử lý ...................................................... 14 1.3. TỔNG KẾT CHƯƠNG............................................................................ 14 CHƯƠNG 2 - MÔ HÌNH LƯỚI HƯỚNG KINH TẾ ........................................ 16 2.1. KHÁI NIỆM LƯỚI KINH TẾ ................................................................. 16 2.2. MÔ HÌNH SaaS ....................................................................................... 17 2.2.1. Khái niệm .......................................................................................... 17 2.2.2. Phân loại ............................................................................................ 17 2.3. PHÂN LOẠI MÔ HÌNH LƯỚI KINH TẾ .............................................. 19 2.3.1. Các mô hình lưới kinh tế trong nghiên cứu ...................................... 20 2.3.2. Các mô hình lưới kinh tế trong thương mại ...................................... 20 2.4. TÌM HIỂU MỘT SỐ MÔ HÌNH LƯỚI KINH TẾ TRÊN THẾ GIỚI .... 21 2.4.1. Amazon’s EC2 .................................................................................. 22 2.4.2. Sun Compute Grid............................................................................. 28 2.4.3. 3Tera Applogic.................................................................................. 32 2.4.4. Nhận xét ............................................................................................ 39 2.5. MỘT SỐ ĐỀ XUẤT CHO MÔ HÌNH LƯỚI TẠI VIỆT NAM ............. 40 2.5.1. Các vấn đề còn tồn tại ....................................................................... 40 2.5.2. Đề xuất phương hướng giải quyết ..................................................... 41 CHƯƠNG 3 - TÌM HIỂU VỀ ỨNG DỤNG TÍNH TOÁN LƯỚI DỰA TRÊN CÔNG NGHỆ CỦA SUN MICROSYSTEMS................................................... 42 3.1. SUN SOLARIS 10 ................................................................................... 42 3.2. SUN JAVA 2 PLATFORM .................................................................... 45 3.2.1. Giới thiệu về JAVA........................................................................... 45 3.2.2. Các đặc trưng của JAVA................................................................... 46 3.3.3. Các loại ứng dụng của JAVA............................................................ 48 SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính toán lưới hướng kinh tế 4 3.3.4. Công cụ và môi trường lập trình JAVA ............................................ 48 3.3. SUN COMPUTE SERVER TECHNOLOGY ......................................... 49 3.3.1. Giới thiệu về Compute Server Technology ...................................... 49 3.3.2. Kiến trúc các ứng dụng Compute Server .......................................... 49 3.3.3. Phát triển các ứng dụng Compute Server với NetBeans IDE ........... 51 3.3.4. Công nghệ Compute Server .............................................................. 53 3.4. SUN N1 GRID ENGINE ......................................................................... 56 3.4.1. Giới thiệu về SUN N1 GRID ENGINE ............................................ 56 3.4.2. Nguyên lý hoạt động của Sun Grid Engine [31] ............................... 57 3.4.3. Các thành phần của Grid Engine....................................................... 61 3.5. Message Passing Interface ....................................................................... 63 CHƯƠNG 4 - XÂY DỰNG HỆ THỐNG THỬ NGHIỆM ................................ 65 4.1. THÀNH PHẦN CỦA HỆ THỐNG ......................................................... 65 4.1.1. Sơ đồ hệ thống................................................................................... 65 4.1.2. Thành phần hệ thống ......................................................................... 66 4.1.3. Cấu hình hệ thống: ............................................................................ 66 4.2. TRIỂN KHAI HỆ THỐNG ...................................................................... 66 4.2.1. Cài đặt nút điều khiển ....................................................................... 66 4.2.2. Cài đặt các nút thực thi...................................................................... 67 4.3. BỘ CÔNG CỤ ĐO HIỆU NĂNG LINPACK ......................................... 67 4.3.1. Linpack .............................................................................................. 67 4.3.2. Ý nghĩa các thông số ......................................................................... 68 4.3.3. Khuyến nghị về việc lựa chọn các thông số...................................... 71 4.4. CHẠY THỬ NGHIỆM ............................................................................ 71 4.4.1. Đo hiệu năng trên 1 nút ..................................................................... 71 4.4.2. Đo hiệu năng trên 8 nút ..................................................................... 71 4.4.3. Qmon - Giao diện đồ hoạ quản lý các tác vụ .................................... 72 CHƯƠNG 5 - KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN ..................................... 74 5.1. NHỮNG KẾT QUẢ ĐÃ THỰC HIỆN ĐƯỢC TRONG LUẬN VĂN .. 74 5.2. HƯỚNG PHÁT TRIỂN ........................................................................... 74 5.2.1. Tích hợp với hệ thống Portal ............................................................. 74 5.2.2. Tích hợp với Globus Toolkit ............................................................. 74 5.2.3. Xây dựng LiveCD cài đặt các nút thực thi........................................ 74 TÀI LIỆU THAM KHẢO ................................................................................... 76 SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính toán lưới hướng kinh tế 5 DANH MỤC CÁC HÌNH Hình 1- Mô hình SaaS ......................................................................................... 17 Hình 2- Các loại mô hình SaaS ........................................................................... 18 Hình 3 - Sun Grid Compute Utility ..................................................................... 31 Hình 4 - Kiến trúc Open Cloud của 3TERA ....................................................... 34 Hình 5 - Solaris Container................................................................................... 44 Hình 6 - Java Interpreter...................................................................................... 47 Hình 7 - Các ứng dụng Compute Server cài đặt mẫu tính toán chủ-thợ ............. 50 Hình 8 - Các ứng dụng Compute Server có thể được tạo nên bởi một chuỗi các pha thực thi song song. ........................................................................................ 50 Hình 9 - Các mẫu Compute Server trong NetBeans IDE ................................... 52 Hình 10 - Các nhà phát triển có thể các tuỳ chọn ứng dụng với NetBeans ........ 53 Hình 11 - Mô hình ứng dụng Compute Server Technology ............................... 55 Hình 12 - Ba phân loại lưới chính. ...................................................................... 57 Hình 14 - Sự liên kết giữa các chính sách trong Grid Engine. ........................... 60 Hình 15 - Message Passing Interface .................................................................. 64 Hình 16 - Truyền thông điệp giữa các máy......................................................... 64 Hình 17 - Sơ đồ hệ thống Sun Grid Engine thử nghiệm. .................................... 65 Hình 18 - Qmon Main Control Window ............................................................. 72 Hình 19 - Queue Instances .................................................................................. 73 Hình 20 - Hosts status ......................................................................................... 73 SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính toán lưới hướng kinh tế 6 DANH MỤC CÁC TỪ VIẾT TẮT Ký hiệu API Tên đầy đủ Application Programming Interface ASP Application Service Provider BIG GRACE GT Business In the Grid Grid Architecture for Computation Economy Globus Toolkit HPL High Performance Linpack JVM MPI Java Virtual Machine Message Passing Interface SaaS Software as a Service SGE Sun Grid Engine SLA Service Level Agreement SOA TCP/IP Service Oriented Architecture Transmission Control Protocol / Internet Protocol Virtual Private Network VPN SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Giải thích Giao diện lập trình ứng dụng Nhà cung cấp dịch vụ ứng dụng Kiến trúc lưới hướng đến mục tiêu kinh tế Bộ công cụ middleware hỗ trợ tính toán lưới Công cụ đo hiệu năng cao dành cho các siêu máy tính Máy ảo Java Giao diện Truyền thông điệp Phần mềm như là một dịch vụ Bộ quản lý tài nguyên phân tán dựa trên công nghệ của Sun Thoả thuận cam kết chất lượng dịch vụ Kiến trúc hướng dịch vụ Bộ giao thức truyền thông nổi tiếng cho mạng Internet Mạng riêng ảo Tính toán lưới hướng kinh tế 7 CHƯƠNG 0 - MỞ ĐẦU 0.1. ĐẶT VẤN ĐỀ Tính toán hiệu năng cao đang ngày càng có vai trò quan trọng trong nghiên cứu và phát triển, trong các hoạt động kinh doanh, thương mại và ứng dụng cỡ lớn trên toàn thế giới. Nhu cầu sử dụng tài nguyên của môi trường tính toán hiệu năng cao ngày một tăng. Tuy nhiên, hiện nay việc xây dựng một trung tâm tính toán hiệu năng cao đòi hỏi chi phí rất lớn và không phải tổ chức nào cũng có khả năng thực hiện được. Đầu tư vào lưới tính toán hay lưới dữ liệu cũng cần một chi phí rất lớn. Nguồn tài chính cho việc xây dựng những lưới như vậy thường được cung cấp bởi chính phủ hay các quỹ hỗ trợ cho việc nghiên cứu khoa học. Vì vậy, các nhà nghiên cứu làm việc trong môi trường lưới tính toán có thể sử dụng các tài nguyên không cần trả phí. Trong lĩnh vực công nghiệp, lưới tính toán và lưới dữ liệu cũng rất cần thiết và đang là một hướng phát triển đầy tiềm năng. Hiện nay, nhu cầu thao tác và quản lý các tập hợp dữ liệu phân tán trong các tổ chức, doanh nghiệp, các tập đoàn thương mại, dịch vụ xuyên quốc gia là rất lớn. Cùng với quá trình hoạt động của tổ chức, lượng dữ liệu cần bảo quản và thao tác tăng lên vô cùng nhanh chóng. Đi kèm với đó là nhu cầu về các tài nguyên tính toán hiệu năng cao. Với mong muốn giảm thiểu chi phí để thu lợi nhuận cao, các tổ chức cùng lúc phải đối mặt với hai vấn đề. Đó là tổ chức khối lượng dữ liệu lớn và chạy các ứng dụng khai thác dữ liệu dưới những điều kiện nhất định như là hạn chế về ngân quỹ và tài nguyên. Một hướng giải quyết được đặt ra đó là: các dịch vụ tính toán và lưu trữ được triển khai như một dịch vụ. Khách hàng không cần phải xây dựng các cơ sở tính toán và lưu trữ mà sử dụng dịch vụ của nhà cung cấp và dùng bao nhiêu trả chi phí bấy nhiêu. Như vậy, sẽ có tính kinh tế hơn và khách hàng cũng không phải quan tâm đến việc vận hành và duy trì hệ thống tính toán, một công việc tốn rất nhiều thời gian, tiền bạc và công sức. Việc xây dựng một mô hình lưới thương mại như vậy đã được triển khai tại một số nước trên thế giới, song tại Việt Nam chưa xuất hiện. Luận văn này thực hiện việc tìm hiểu về tính toán lưới nói chung, các mô hình tính toán lưới hướng kinh tế đã có trên thế giới, từ đó phân tích điểm mạnh, điểm yếu và đề xuất ra được một mô hình dịch vụ lưới phù hợp cho điều kiện ở Việt Nam. Bên cạnh đó, tác giả thực hiện xây dựng một hệ thống lưới thử nghiệm và thực hiện đánh giá về khả năng hỗ trợ lập trình song song cho người phát triển dựa trên hệ thống này. SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính toán lưới hướng kinh tế 8 Tác giả lựa chọn công nghệ của SUN vì nhiều nguyên nhân (sẽ đề cập trong chương 2), nhưng nguyên nhân chủ yếu là do SUN là một trong những tổ chức đầu tiên đưa ra và phát triển khá hiệu quả một mô hình lưới kinh tế. Không những thế, các công nghệ này đã được nhiều tổ chức trên thế giới sử dụng để xây dựng các hệ thống siêu máy tính cực lớn. Hai trong số các tổ chức này đã xây dựng hệ thống siêu máy tính lọt vào Top 500 các siêu máy tính mạnh nhất thế giới (số liệu từ website top500.org, tháng 6/2008): - Hệ thống Ranger-Sun Blade x6420 của Texas Advanced Computing Center, University of Texas, United States, xếp hạng 4 trong Top 500. - Hệ thống TSUBAME Grid Cluster của GSIC Center, Tokyo Institute of Technology, Japan, xếp hạng 14 trong Top 500, xếp hạng 1 của Châu Á. 0.2. MỤC TIÊU LUẬN VĂN Luận văn được thực hiện với những mục tiêu cụ thể như sau: • Tìm hiểu về lưới kinh tế: các vấn đề, đặc trưng, các thành phần cần thiết, kiến trúc chung cũng như các mục tiêu, xu hướng phát triển của lưới kinh tế. • Khảo sát, so sánh ưu nhược điểm của các nghiên cứu hiện tại về lưới kinh tế để nắm được hiện trạng phát triển, từ đó vạch ra các vấn đề, bài toán cụ thể. • Đề xuất những giải pháp, mô hình mới phù hợp với xu hướng phát triển để giải quyết các vấn đề đó tại Việt Nam. • Nghiên cứu, tìm hiểu các công nghệ cần thiết để tiến hành cài đặt, triển khai hệ thống. Nếu hệ thống đề xuất lớn và cần nhiều thời gian phát triển thì ưu tiên triển khai, cài đặt các chức năng cơ bản, đơn giản trước, tạo điều kiện cho việc phát triển về sau. 0.3. CẤU TRÚC LUẬN VĂN Luận văn được trình bày gồm 6 chương với logic như sau: Chương 0. Mở đầu: Đặt vấn đề, nêu lên tính cấp thiết của đề tài, từ đó tóm tắt phương pháp giải quyết trước khi đi vào trình bày chi tiết ở các chương sau. Các mục tiêu mà luận văn hướng tới cũng được giới thiệu trong chương này. Chương 1. Tổng quan về tính toán lưới: Trình bày ngắn gọn các khái niệm, thuật ngữ cũng như những kiến thức cơ bản, tổng quan cần thiết của tính toán lưới để bổ sung, hỗ trợ cho các chương sau. Chương 2. Mô hình lưới kinh tế: Trình bày những nghiên cứu, tìm hiểu về lưới kinh tế bao gồm các khái niệm, các vấn đề chính, kiến trúc chung cũng như hiện trạng phát triển của lưới kinh tế. Đồng thời, chương này cũng cung cấp SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính toán lưới hướng kinh tế 9 những kiến thức tổng quan về hướng tiếp cận SaaS cần thiết cho những đề xuất ở chương tiếp theo. Chương 3. Tìm hiểu về ứng dụng tính toán lưới dựa trên công nghệ của SUN: Trình bày cụ thể về các thành phần tạo nên một mô hình lưới kinh tế SUN đang áp dụng và triển khai thành công, như: Sun 10, Java, Compute Server Technology, Sun N1 Grid Engine, … Chương 4. Xây dựng hệ thống thử nghiệm: Trình bày về việc xây dựng hệ thống thử nghiệm tại ĐHBKHN dựa trên mô hình của Sun, kết quả chạy thử nghiệm và một số đánh giá. Chương 5. Tổng kết: Tổng kết các kết quả đạt được của luận văn, so sánh và đánh giá với các mục tiêu đề ra cũng như xác định các phương hướng phát triển, mở rộng trong tương lai. SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính toán lưới hướng kinh tế 10 CHƯƠNG 1 - TỔNG QUAN VỀ TÍNH TOÁN LƯỚI 1.1. TÍNH TOÁN LƯỚI LÀ GÌ ? 1.1.1. Khái niệm tính toán lưới Theo [1], tính toán lưới được hiểu một cách đơn giản là sự phát triển tiếp theo của tính toán phân tán. Mục đích là tạo ra một máy tính ảo lớn mạnh từ một tập lớn các hệ thống không đồng nhất nhằm nâng cao khả năng tính toán, chia sẻ các tài nguyên khác nhau. Nói chung, tính toán lưới đã được xây dựng và phát triển để cung cấp sức mạnh tính toán phục vụ nhu cầu của tất cả những người cần đến. Tính toán lưới có nguồn gốc từ tính toán song song và phân tán, xuất hiện từ thập kỷ 80 và 90. Vào thời điểm đó, các siêu máy tính phải giải quyết các vấn đề chưa được giải quyết tại thời điểm hiện tại, ví dụ như bài toán mô hình hoá khí hậu (climate modeling) và các mô phỏng yêu cầu năng lực tính toán lớn trong bài toán dự báo thời tiết. Mục đích chính của thời kỳ các siêu máy tính là nhằm đối phó với các nhiệm vụ lớn mà thường xuất hiện trong khoa học tính toán, kỹ thuật và nhiều lĩnh vực khác. Một đặc điểm của các siêu máy tính đó là sự đa dạng và thường là rất đắt. Một số trung tâm tính toán trên thế giới cung cấp năng lực tính toán dưới dạng các siêu máy tính. Sự liên kết giữa các bộ vi xử lý nằm bên trong các siêu máy tính là rất tốt, thậm chí là trong phạm vi một trung tâm máy tính. Tuy nhiên, các liên kết mạng diện rộng giữa các trung tâm máy tính thường không đủ tốt. Hơn nữa, các mô hình lập trình và bảo mật đa dạng để kết nối các tài nguyên tính toán này lại chưa được hoàn thiện. Ví dụ như công nghệ MPI (Message Passing Interface) đã được chủ ý thiết kế để chạy trên một máy đơn với các CPU, các mạng có các đặc tính về hiệu năng và phần cứng hoàn toàn tương tự. Cơ sở hạ tầng phân tán thuộc châu Âu cho các ứng dụng siêu máy tính (Distributed European Infrastructure for Super Computing Applications) đang giải quyết các vấn đề tồn tại nói trên bằng cách kết nối các trung tâm siêu máy tính của các quốc gia. Vì các công nghệ siêu máy tính có giá thành rất cao, vượt quá khả năng tài chính của nhiều tổ chức, công nghệ tính toán phân cụm (cluster computing) dần trở nên chiếm ưu thế. Lĩnh vực ứng dụng của tính toán phân cụm cũng tương tự với lĩnh vực ứng dụng của siêu máy tính. Sự khác nhau chủ yếu đó là sức mạnh tính toán có được là do sự liên kết giữa các phần cứng đã lỗi thời để tạo nên một máy tính đơn nhất. Việc hoán đổi các thành phần độc lập như là bộ vi xử lý, đĩa cứng, hoặc các mạng với chi phí rẻ trở nên tương đối đơn giản. Trong cộng đồng siêu máy tính, một số dự án tập trung vào việc truy cập dữ liệu nhanh phục vụ cho các tính toán cực hạn và song song. Một cộng đồng nghiên cứu đặc biệt đã xử lý các vấn đề ở hệ thống Vào/Ra song song như vậy. Các hoạt động lưu trữ này cũng là tiền thân của các lưới dữ liệu hiện đại. SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính toán lưới hướng kinh tế 11 Một vấn đề phát triển quan trọng khác là Internet và các giao thức của nó đã tạo điều kiện phát triển cho Web và các dịch vụ Web. Các giao thức được thiết kế tốt như TCP/IP và HTTP đã tạo nên cơ sở cho các giao thức mới như SOAP (Simple Object Access Protocol). Các giao thức là một trong các thành phần cơ bản góp phần đưa Grids và các công nghệ tính toán phân tán hiện đại khác hoạt động cùng với nhau trên các nền tảng khác nhau. Đặc biệt, giao thức HTTP đã tạo ra một bước đột phá, trong cả lĩnh vực nghiên cứu và sau đó là trong lĩnh vực thương mại. Ngày nay, HTTP-Web là một phần trong cuộc sống của tất cả mọi người. Ba lĩnh vực: siêu máy tính, tính toán phân cụm và Internet, đã có ảnh hưởng lớn đến sự tồn tại và phát triển của tính toán lưới. Bên cạnh đó, chúng có ảnh hưởng lẫn nhau đến mức thật khó có thể tách biệt mỗi thứ ra một cách rõ ràng. 1.1.2. Các đặc trưng của tính toán lưới Tận dụng tài nguyên nhàn rỗi Trong hầu hết các tổ chức, các tài nguyên tính toán thường xuyên ở trạng thái nhàn rỗi và lãng phí. Không chỉ tài nguyên xử lí bị lãng phí, mà cả tài nguyên lưu trữ cũng ở tình trạng không sử dụng hết. Tính toán lưới cung cấp một nền tảng để khai thác những tài nguyên nhàn rỗi và do vậy nâng cao hiệu quả sử dụng tài nguyên. Song song hóa việc thực thi các ứng dụng Đây là một trong những đặc trưng thu hút nhất của một lưới. Các ứng dụng tính toán lớn được áp dụng các giải thuật song song cho phép được phân thành các phần chạy độc lập với nhau. Mỗi công việc con này được thực hiện trên một máy khác nhau trong lưới, nhờ vậy có thể rút ngắn thời gian thực hiện công việc một cách đáng kể. Tăng khả năng cộng tác nhờ các tài nguyên ảo, tổ chức ảo Lưới đưa ra các chuẩn mở cho phép các hệ thống không đồng nhất có thể làm việc cùng với nhau, qua đó liên kết nhiều tổ chức khác nhau thành một hệ thống tính toán ảo khổng lồ. Quá trình ẩn đi sự khác nhau đó được gọi là sự ảo hóa gồm nhiều bước, từ thấp đến cao. Trước hết, các tài nguyên khác nhau (tệp, phần mềm, dịch vụ, bản quyền phần mềm, vv. ) được ảo hóa để che dấu đi sự phức tạp, sự khác biệt đối với người dùng, cho phép người dùng thao tác với chúng như là với một loại tài nguyên duy nhất. Từ đó, tùy logic và các chính sách khác nhau, người sử dụng có thể tổ chức lại các tài nguyên ảo đó thành các tổ chức ảo khác nhau một cách linh động. Các tổ chức ảo này có thể dễ dàng cộng tác, chia sẻ tài nguyên với nhau. Truy nhập tới các tài nguyên mở rộng SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính toán lưới hướng kinh tế 12 Ngoài tài nguyên tính toán và lưu trữ, lưới cũng có thể cung cấp khả năng truy nhập tới các thành phần mở rộng khác như băng thông, bản quyền phần mềm, các thiết bị đặc biệt,vv. Cân bằng tài nguyên Lưới sẽ liên kết các tài nguyên của các máy độc lập thành một hệ thống tài nguyên thống nhất. Nhờ đó, thông qua bộ lập lịch, lưới cung cấp khả năng cân bằng việc sử dụng tài nguyên bằng cách chuyển công việc tới các tài nguyên có mức sử dụng thấp hơn. Tin cậy Lưới kết hợp các tài nguyên phân tán về mặt địa lý. Do vậy, nếu một sự cố về điện hay hỏng hóc xảy ra tại một vị trí, các vị trí khác cũng không bị ảnh hưởng. Lưới có thể đệ trình lại hoặc di trú một cách tự động công việc từ nơi phát hiện thấy lỗi tới các máy khác. Dễ quản lý Lưới cung cấp khả năng cho phép người quản trị cấu hình lưới để phù hợp với các mục đích sử dụng khác nhau một cách thống nhất, mềm dẻo và tập trung. 1.2. PHÂN LOẠI TÍNH TOÁN LƯỚI Theo Ahmar Abbas [35], tính toán lưới được phân loại dựa trên cấu trúc của một tổ chức mà được phục vụ bởi lưới tính toán đó, hoặc dựa trên tiêu chí về tỷ lệ các tài nguyên chủ yếu được sử dụng trên lưới. Dưới đây là một số kiểu phân loại lưới tính toán: 1.2.1. Phân loại dựa trên phạm vi của lưới 1.2.1.1 Departmental grids - Lưới cục bộ Departmental grids được xây dựng để giải quyết các vấn đề phục vụ một nhóm người trong một doanh nghiệp. Các tài nguyên không được chia sẻ cho các nhóm khác bên trong một doanh nghiệp. Sau đây là một số ví dụ về định nghĩa Deparmental grids từ một số nhà cung cấp: - Sun Microsystems: Cluster grids bao gồm nhiều hơn hoặc bằng một các hệ thống làm việc với nhau để cung cấp một điểm truy cập cho các người sử dụng. Nó thường được dùng bởi một nhóm cho một dự án và có thể được sử dụng để hỗ trợ các công việc yêu cầu cả thông lượng cao và hiệu năng cao. - IBM: Infra Grids là thuật ngữ được IBM sử dụng để định nghĩa ra một lưới thực hiện việc tối ưu hoá các tài nguyên trong một doanh nghiệp và không bao gồm bất kỳ một đối tác nội bộ nào. Nó có thể thuộc về một campus hoặc trải qua nhiều campus. 1.2.1.2. Enterprise grids - Lưới doanh nghiệp SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính toán lưới hướng kinh tế 13 Enterprise grids bao gồm các tài nguyên trải trên phạm vi của một doanh nghiệp và cung cấp dịch vụ cho tất cả các người dùng thuộc vào doanh nghiệp đó. Một số ví dụ về định nghĩa Enterprise grids của các nhà cung cấp: - Platform Computing: một enterprise grid, theo như Platform Computing, được triển khai bên trong những tập đoàn lớn có các chi nhánh trên toàn cầu hoặc cần có nhu cầu truy cập tới các tài nguyên ở bên ngoài. Các enterprise grids chạy đằng sau các tường lửa của doanh nghiệp. - IBM: Intra grids, theo như IBM, là sự chia sẻ các tài nguyên giữa các nhóm khác nhau bên trong một doanh nghiệp. Một intra grid có thể là nội bộ, hoặc được triển khai trên mạng WAN. Các intra grid cũng hoạt động bên trong các tường lửa. - Sun Microsystems: Campus grids cho phép nhiều dự án hoặc các bộ phận chia sẻ các tài nguyên tính toán một cách cởi mở và hợp tác. Campus grids có thể bao gồm các máy chủ và máy trạm phân tán cũng như các tài nguyên tập trung được đặt tại nhiều miền quản trị khác nhau, trong các phòng-ban hoặc trải trên toàn bộ doanh nghiệp. 1.2.1.3. Extraprise grids - Lưới liên doanh nghiệp Extraprise grids được thiết lập giữa các công ty, giữa công ty với các đối tác, hoặc giữa công ty với khách hàng của họ. Các tài nguyên của lưới thường được cung cấp sẵn sàng thông qua mạng riêng ảo (Virtual Private NetworkVPN). Dưới đây là một số định nghĩa tương tự của các nhà cung cấp: - IBM: Extra grids cho phép các tài nguyên với các đối tác bên ngoài. Tất nhiên để chia sẻ được phải tồn tại các kết nối giữa các doanh nghiệp thông qua các dịch vụ tin cậy, như là mạng riêng (private network) hoặc là VPN. - Platform Computing: định nghĩa Partner grids như là các lưới giữa các tổ chức trong cùng các ngành có liên quan, có nhu cầu cộng tác trên các dự án và sử dụng tài nguyên lẫn của nhau nhằm tiến tới đạt được mục đích chung. 1.2.1.4. Global grids - Lưới toàn cầu Các lưới được thiết lập thông qua hạ tầng Internet công cộng tạo nên Global Grids. Chúng có thể được thiết lập bởi các tổ chức để trợ giúp cho các hoạt động kinh doanh của họ hoặc mua bán với các nhà cung cấp dịch vụ. - Sun Microsystems: Global grids cho phép người dùng sử dụng được các tài nguyên được cung cấp sẵn. Global grids cung cấp năng lực của các tài nguyên phân tán cho người dùng ở bất kỳ đâu trên thế giới để tính toán và cộng tác. Chúng có thể được sử dụng bởi các cá nhân hoặc các tổ chức để gửi các công việc lớn thông qua mạng công cộng tới nhà cung cấp dịch vụ. - IBM: Inter grids cung cấp khả năng để chia sẻ các tài nguyên lưu trữ/dữ liệu và tính toán thông qua các dịch vụ Web công cộng. Quá trình này bao gồm việc chia sẻ các tài nguyên với các doanh nghiệp khác hoặc mua và bán các khả năng dư thừa. SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính toán lưới hướng kinh tế 14 1.2.2. Phân loại dựa trên đặc tính xử lý 1.2.2.1. Compute grids - Lưới tính toán Compute grids được xây dựng dựa trên mục đích để cung cấp truy cập tới các nguồn tài nguyên tính toán. Compute grids có thể được phân loại sâu hơn nữa dựa trên kiểu phần cứng khi triển khai. - Desktop Grids: Đây là những lưới tận dụng nguồn tài nguyên tính toán của các máy để bàn. Do sự phổ biến của hệ điều hành Windows trong các doanh nghiệp, công sở, gia đình, desktop grids chủ yếu được xây dựng để áp dụng cho hệ điều hành này. Còn các hệ điều hành khác như Mac, Linux được hỗ trợ ít hơn - Server Grids: một số doanh nghiệp, có sử dụng tính toán lưới, nhưng giới hạn chỉ dùng các tài nguyên của server trong phạm vi của một phòng công nghệ thông tin. Các server chuyên dụng, trong một số trường hợp, được trang bị chỉ với mục đích tạo ra một lưới tiện ích nội bộ nhằm cung cấp các tài nguyên cho các phòng-ban khác nhau. Server grid không chứa máy để bàn và thường chạy trên các hệ điều hành Unix/Linux. - High performance/Cluster Grids: Những lưới này tạo nên các hệ thống công nghệ cao như siêu máy tính hoặc các cụm tính toán hiệu năng cao. 1.2.2.2. Data grids - Lưới dữ liệu Là lưới cung cấp khả năng quản lý dữ liệu, cho phép truy cập, đồng bộ hoá và phân phối dữ liệu trên lưới. Tài nguyên của lưới dữ liệu gồm các hệ thống lưu trữ, băng thông mạng và các tệp dữ liệu nằm phân tán trên lưới. Lưới dữ liệu thực hiện việc tối ưu hoá các thao tác hướng dữ liệu. Mặc dù chúng có thể sử dụng dung lượng lưu trữ cực lớn, nhưng cần phân biệt sự khác nhau giữa lưới dữ liệu với các nhà cung cấp dịch vụ lưu trữ. 1.2.2.3. Scavenging Grid - Lưới tận dụng Một lưới tận dụng chủ yếu được sử dụng với một số lượng lớn các máy để bàn. Các máy tính thường được kiểm tra định kỳ để xem khi nào bộ xử lý và các tài nguyên khác rảnh rỗi để thực hiện các tác vụ Grid. Chủ sở hữu của các máy này có quyền thiết lập khi nào tài nguyên của họ được tận dụng bởi lưới. Nếu người dùng không thiết lập một lịch cụ thể cho việc tận dụng tài nguyên, thì bất kỳ khi nào máy ở trạng thái rỗi, nó sẽ báo cáo trạng thái tới bộ quản lý tài nguyên lưới và được sử dụng như một nút trong lưới. 1.3. TỔNG KẾT CHƯƠNG Hiện nay vai trò của tính toán lưới càng ngày càng trở nên nổi bật khi mà nhu cầu về việc xử lý các thông tin của mọi cá nhân, mọi tổ chức đều tăng lên theo cấp số nhân và sự tồn tại của những giới hạn về vật lý trong việc chế tạo các chip hoạt động nhanh hơn. Sự phát triển các lưới tính toán trên thế giới là khá nhiều, song vẫn còn gặp phải rất nhiều vấn đề vẫn chưa giải quyết được cần phải nghiên cứu và khắc phục nhằm đưa công nghệ lưới phục vụ được đông đảo người dùng hơn nữa. SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính toán lưới hướng kinh tế 15 Đây cũng là một nhu cầu cấp thiết tại Việt Nam, với số lượng các nhà nghiên cứu và các tổ chức cần sử dụng năng lực tính toán lớn ngày càng tăng. Nhận thức được vai trò của tính toán lưới, tác giả mong muốn sẽ có được những đóng góp nhất định cho sự phát triển và phổ biến của công nghệ này đến gần hơn với những người dùng cuối, các nhà nghiên cứu - các nhà công nghệ và những người quan tâm đến lĩnh vực này. SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính toán lưới hướng kinh tế 16 CHƯƠNG 2 - MÔ HÌNH LƯỚI HƯỚNG KINH TẾ Chương này trình bày những nghiên cứu, tìm hiểu về các kiến thức tổng quan của lưới hướng kinh tế, một trong những hướng nghiên cứu chủ đạo của tính toán lưới những năm gần đây. Khái niệm lưới kinh tế là gì? Nó có những yêu cầu, đặc điểm gì khác so với lưới truyền thống? Hiện trạng phát triển như thế nào? Khảo sát tìm hiểu một số các mô hình lưới kinh tế cụ thể... Nội dung của chương là câu trả lời cho những câu hỏi đó. 2.1. KHÁI NIỆM LƯỚI KINH TẾ Mặc dù lưới đưa ra những cách thức hiệu quả cho việc phát triển sản phẩm và tạo ra các cơ hội kinh doanh mới, việc sử dụng lưới hiện tại vẫn khá hạn chế. Tính toán lưới chủ yếu được sử dụng như một phương tiện để quản lý tài nguyên đơn giản. Do đó, chỉ một số nhỏ các công ty đang triển khai các công nghệ liên quan đến lưới và không một doanh nghiệp nhỏ nào xem xét việc sử dụng lưới ở thời điểm hiện tại. Để lưới được áp dụng rộng rãi hơn, các công ty cần hiểu được lợi ích mà họ có thể thu được từ việc sử dụng lưới. Họ cần một phân tích rõ ràng về các chuỗi giá trị (value chain) và các mô hình giá của lưới. Hai yếu tố này sẽ giúp họ thấy được sự giảm chi phí thực sự khi sử dụng lưới (ví dụ về số lượng tiền đầu tư và thời gian…).Trên hết, việc phân tích và áp dụng các mô hình thương mại cụ thể là vô cùng cần thiết. Một mô hình thương mại là một mô hình để tạo ra các chuỗi giá trị mới. Việc phân tích các mô hình thương mại lưới sẽ chỉ ra phương thức, theo đó nhà cung cấp và người sử dụng có thể trao đổi tài nguyên và dịch vụ phần mềm trên lưới. Điều này mở ra các cơ hội kinh doanh cũng như các luồng lợi nhuận mới. Lưới kinh tế [17][26][27] là lưới truyền thống được áp dụng các mô hình thương mại, nhờ đó cung cấp cho lưới những tính chất, đặc trưng mới mà các doanh nghiệp cần, bao gồm việc sử dụng khả năng tính toán theo yêu cầu, truy cập tài nguyên đơn giản, chi phí sở hữu thấp và một mô hình trả giá tương ứng với lượng sử dụng. Khả năng tính toán theo yêu cầu giúp doanh nghiệp đối mặt với nhu cầu tính toán ngoài kế hoạch một cách hiệu quả và kinh tế. Trong những trương hợp không đủ tài nguyên (tài nguyên tính toán, lưu trữ, băng thông, phần mềm và dữ liệu…). Như vậy, thay vì đơn giản từ chối yêu cầu của người dùng họ có thể mua/thuê tức thời tài nguyên trên lưới nếu điều đó làm tối đa mục đích của doanh nghiệp. Việc truy cập tài nguyên đơn giản giúp người sử dụng truy cập các tài nguyên theo yêu cầu đó mà không cần bỏ quá nhiều nỗ lực. Chi phí sở hữu thấp cho phép các doanh nghiệp vừa và nhỏ có thể truy cập tài nguyên mà họ không thể trang trải chi phi mua toàn bộ. Họ chỉ có thể trả cho lượng mà họ đã sử dụng hay nói cách khác là thuê tài nguyên. Mô hình này cho phép họ cạnh tranh với các công ty lớn vốn có tiềm lực lớn về tài chính để mua các máy tính hiệu năng cao cho các ứng dụng của họ. SV: Phan Thanh Liêm - Lớp CH CNTT 2006