TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TP.HCM
KHOA CÔNG NGHỆ THÔNG TIN
BỘ MÔN CÔNG NGHỆ PHẦN MỀM
W X
SINH VIÊN THỰC HIỆN
Nguyễn Mạnh Dũng
Nguyễn Đăng Thành
0112132
0112280
TÌM HIỂU CÔNG NGHỆ
GRID COMPUTING
VÀ
ỨNG DỤNG THỬ NGHIỆM
TRONG BÀI TOÁN QUẢN TRỊ
MẠNG
LUẬN VĂN CỬ NHÂN TIN HỌC
GIÁO VIÊN HƯỚNG DẪN
Thầy Cao Đăng Tân
TP. HỒ CHÍ MINH, 12/2005
Lời cảm ơn
Lời cảm ơn
Nhóm thực hiện xin bày tỏ lòng biết ơn và tri ân sâu sắc đến tất cả mọi người
đã giúp đỡ, hỗ trợ thực hiện luận văn này, một điểm mốc rất quan trọng trong cuộc
đời và sự nghiệp của chúng em.
Chúng em xin cảm ơn Khoa Công nghệ Thông tin trường Đại học Khoa học
Tự nhiên TP.HCM đã cho phép và tạo điều kiện để chúng em thực hiện luận văn
này.
Luận văn này sẽ không thể hoàn thành nếu không có sự giúp đỡ và chỉ bảo
tận tình của thầy Cao Đăng Tân, người thầy hướng dẫn của chúng em. Chúng em
xin chân thành biết ơn về những chỉ bảo, định hướng nghiên cứu thực hiện, hỗ trợ,
tạo những điều kiện tốt nhất cho chúng em trong suốt quá trình thực hiện đề tài.
Chúng con xin bày tỏ lòng biết ơn sâu sắc đến Bố, Mẹ, những bậc sinh thành
đã chịu thương, chịu khó nuôi dưỡng, hỗ trợ, động viên, ủng hộ chúng con trong
những lúc khó khăn để chúng con có được như ngày hôm nay.
Chúng em xin chân thành cảm ơn tất cả quý thầy cô trong khoa Công nghệ
Thông tin đã tận tình chỉ bảo, rèn luyện, truyền đạt những tri thức, kỹ năng, kinh
nghiệm quý báu cho chúng em trong suốt 4 năm ở giảng đường đại học. Đây là
những hành trang quý giá để chúng em vững bước vào đời.
Nhóm thực hiện xin chân thành cảm ơn tất cả các anh chị, bạn bè, đặc biệt là
các thầy cô Phòng máy Mạng, thầy Trần Minh Triết, thầy Lu Boun Vinh, đã nhiệt
tình động viên, ủng hộ, chia sẻ những kinh nghiệm, kiến thức quý báu, tài liệu, hỗ
trợ không những trong quá trình thực hiện luận văn mà còn trong suốt thời gian học
tập dưới mái trường này.
Mặc dù đã hết sức nỗ lực và cố gắng, nhưng luận văn chắc chắn không tránh
khỏi những thiếu sót. Chúng em kính mong nhận được sự cảm thông và tận tình chỉ
bảo, góp ý của quý Thầy Cô và các bạn. Một lần nữa xin gửi đến tất cả mọi người
lời cảm ơn chân thành nhất. Xin cảm ơn !.
Nhóm thực hiện
Nguyễn Mạnh Dũng & Nguyễn Đăng Thành
-i-
Lời nói đầu
Lời nói đầu
Công nghệ Grid Computing ra đời đánh dấu một bước phát triển mới trong
lĩnh vực điện toán hiệu năng cao. Nó cho phép tận dụng năng lực xử lý, lưu trữ
cùng các tài nguyên nhàn rỗi khác để cung cấp một môi trường tính toán có năng
lực xử lý lớn, khả năng lưu trữ dồi dào để giải quyết các bài toán phức tạp - khó có
thể giải quyết được với các công nghệ hiện hành hoặc giải quyết được nhưng với
chi phí rất cao - trong khoa học, thương mại. Grid Computing giúp tận dụng tối đa
tài nguyên, tăng cường hợp tác, giảm chi phí đầu tư trong khi vẫn cung cấp năng lực
tính toán như mong muốn. Trong những năm vừa qua, nhiều tổ chức, tập đoàn công
nghệ thông tin lớn đã chọn công nghệ Grid Computing làm chiến lược phát triển
của mình, đã đầu tư nghiên cứu nhằm sớm đưa công nghệ Grid Computing vào thực
tế. Công nghệ này đang ngày càng thu hút được sự quan tâm chú ý từ khắp nơi trên
thế giới. Có thể nói công nghệ Grid Computing là một xu hướng phát triển mới
trong ngành công nghệ thông tin.
Hiện nay, đất nước ta đang thực hiện công cuộc công nghiệp hoá, hiện đại
hóa, trong đó việc rút ngắn sự tụt hậu, phát triển về khoa học công nghệ là yếu tố
then chốt quyết định đến thành công của công cuộc đổi mới. Song song với quá
trình phát triển, ngày càng có nhiều bài toán mới, đòi hỏi năng lực xử lý lớn xuất
hiện trong khoa học, thương mại và quản lý đất nước. Các công nghệ tính toán hiện
hành cũng được áp dụng nhưng không thể triển khai rộng rãi để có thể giải quyết
hết các nhu cầu do chi phí đầu tư quá lớn. Việc nghiên cứu, áp dụng công nghệ Grid
Computing là một giải pháp tốt để giải quyết các tình huống này. Hơn nữa, công
nghệ Grid Computing hiện nay còn khá mới mẻ, đang trong giai đoạn hoàn thiện,
việc cùng tham gia nghiên cứu với cộng đồng thế giới sẽ giúp chúng ta học hỏi kinh
nghiệm, tiến tới làm chủ công nghệ, từ đó có thể phát triển theo hướng đi của riêng
mình, đáp ứng nhu cầu tính toán hiệu năng cao ngày càng tăng của đất nước.
- ii -
Lời nói đầu
Với tinh thần tham gia nghiên cứu, học hỏi công nghệ, đề tài luận văn “Tìm
hiểu công nghệ Grid Computing và ứng dụng thử nghiệm trong bài toán quản
trị mạng” được thực hiện nhằm đi những bước đầu tiên trong quá trình nghiên cứu,
phát triển, ứng dụng Grid vào thực tế. Luận văn nghiên cứu các vấn đề chung của
công nghệ Grid Computing, bộ Globus Toolkit, tiến hành cài đặt một môi trường
Grid với bộ Globus Toolkit, đề xuất mô hình và cài đặt thử nghiệm ứng dụng hỗ trợ
quản trị mạng trên nền Grid.
Luận văn được trình bày gồm 8 chương với nội dung như sau:
Chương 1. Đặt vấn đề : Giới thiệu sơ lược về công nghệ Grid
Computing và lĩnh vực quản trị mạng, đồng thời xác định mục tiêu của đề tài.
Chương 2. Tổng quan về công nghệ Grid Computing : Giới thiệu các
vấn đề của công nghệ Grid Computing, tìm hiểu và so sánh các phần mềm nền
tảng Grid để có cái nhìn khá toàn diện về công nghệ Grid Computing hiện nay.
Chương 3. Giới thiệu bộ Globus Toolkit phiên bản 3.2 : Giới thiệu mô
hình và các cơ chế hoạt động của các thành phần trong bộ Globus Toolkit 3.2. Ở
đây không thiên về giới thiệu chi tiết các triển khai cụ thể, điều này có thể tham
khảo từ các tài liệu hướng dẫn sử dụng.
Chương 4. Phát triển ứng dụng với Globus Toolkit 3.2 : Giới thiệu các
vấn đề cần quan tâm khi xây dựng một ứng dụng Grid với bộ Globus Toolkit
3.2.
Chương 5. Quản trị mạng và các hệ thống quản trị : Giới thiệu tổng
quan về lĩnh vực quản trị mạng cũng như các hệ thống quản trị mạng.
Chương 6. Hệ thống quản trị Grid NetManager : Giới thiệu mô hình
hệ thống quản trị mạng dựa trên nền công nghệ tính toán Grid Computing.
Chương 7. Phân tích, thiết kế, cài đặt thử nghiệm ứng dụng Grid
NetManager.
Chương 8. Kết luận : Là chương cuối cùng của luận văn, tóm lại các vấn
đề đã nghiên cứu tìm hiểu, đề ra hướng phát triển trong tương lai.
- iii -
Mục lục
Mục lục
Lời cảm ơn .........................................................................................................i
Lời nói đầu ........................................................................................................ii
Mục lục.............................................................................................................iv
Danh sách hình ...............................................................................................viii
Danh sách bảng .................................................................................................x
Một số thuật ngữ ..............................................................................................xi
Các chữ viết tắt................................................................................................xii
Tóm tắt luận văn.............................................................................................xiii
Chương 1. Mở đầu..........................................................................................1
1.1. Công nghệ Grid Computing (tính toán lưới) .............................................................. 1
1.2. Vấn đề quản trị mạng.................................................................................................. 3
1.3. Mục tiêu đề tài ............................................................................................................ 4
Chương 2. Tổng quan về công nghệ Grid Computing ...................................5
2.1. Khái niệm Grid ........................................................................................................... 5
2.1.1. Theo dòng lịch sử ................................................................................................ 5
2.1.2. Khái niệm............................................................................................................. 6
2.1.3. Tài nguyên của Grid ............................................................................................ 7
2.2. Phân loại Grid & Grid Topology ................................................................................ 9
2.2.1. Các kiểu Grid ....................................................................................................... 9
2.2.2. Đồ hình Grid (Grid Topology)........................................................................... 11
2.3. Các thách thức, yêu cầu của công nghệ Grid............................................................ 15
2.3.1. Quản lý tài nguyên (Resource Management) .................................................... 15
2.3.2. Bảo mật (Security) ............................................................................................. 17
2.3.3. Quản lý thông tin ............................................................................................... 19
2.3.4. Quản lý dữ liệu .................................................................................................. 20
2.3.5. Phát triển ứng dụng............................................................................................ 20
2.3.6. Các vấn đề khác ................................................................................................. 20
2.3.7. Các việc cần làm ................................................................................................ 21
2.4. Ích lợi & Ứng dụng................................................................................................... 22
2.5. Các thành phần cơ bản của một hệ thống cơ sở hạ tầng Grid................................... 24
2.6. Kiến trúc Grid ........................................................................................................... 27
2.6.1. Bản chất Kiến trúc Grid ..................................................................................... 27
2.6.2. Chi tiết Kiến trúc Grid tổng quát ....................................................................... 28
2.6.3. Kiến trúc Grid trong thực tế............................................................................... 35
2.7. Chuẩn hoá Grid......................................................................................................... 36
2.8. Giới thiệu các dự án Grid middleware chính............................................................ 40
2.8.1. UNICORE.......................................................................................................... 40
2.8.2. Globus................................................................................................................ 43
- iv -
Mục lục
2.8.3. Legion ................................................................................................................ 43
2.8.4. GridBus.............................................................................................................. 45
2.8.5. So sánh............................................................................................................... 48
Chương 3. Giới thiệu bộ Globus Toolkit phiên bản 3.2...............................52
3.1. Giới thiệu .................................................................................................................. 52
3.1.1. Giới thiệu ........................................................................................................... 52
3.1.2. Lịch sử phát triển ............................................................................................... 53
3.2. Các công nghệ, chuẩn liên quan ............................................................................... 53
3.2.1. Service Oriented Architeture (SOA).................................................................. 53
3.2.2. Web Service....................................................................................................... 56
3.2.3. OGSA................................................................................................................. 58
3.2.4. OGSI và Grid Service ........................................................................................ 65
3.3. Kiến trúc Globus Toolkit .......................................................................................... 74
3.3.1. Mô hình kiến trúc GT2 ...................................................................................... 75
3.3.2. Mô hình kiến trúc GT3 ...................................................................................... 76
3.4. Các thành phần chính................................................................................................ 79
3.4.1. Sercurity Infrastructure ...................................................................................... 79
3.4.2. Resource Management....................................................................................... 94
3.4.3. Information Service ......................................................................................... 107
3.4.4. Data Management ............................................................................................ 113
3.4.5. Thành phần mới trong GT3 ............................................................................. 114
Chương 4. Phát triển ứng dụng với bộ Globus Toolkit 3.2........................115
4.1. Khởi đầu dự án........................................................................................................ 115
4.1.1. Định hướng phát triển hệ thống ....................................................................... 115
4.1.2. Đánh tính khả thi của ứng dụng khi chạy trên Grid......................................... 117
4.2. Các yêu cầu cần quan tâm khi xây dựng ứng dụng ................................................ 118
4.2.1. Khả năng mở rộng (Scalability)....................................................................... 118
4.2.2. Bảo mật ............................................................................................................ 118
4.2.3. Tính mềm dẻo của ứng dụng (Flexibility) ....................................................... 119
4.2.4. Các kết nối với bên ngoài ................................................................................ 119
4.2.5. Hiệu suất ứng dụng(Performance) ................................................................... 120
4.2.6. Độ tin cậy (Reliability) .................................................................................... 121
4.2.7. Quản trị hệ thống (Management)..................................................................... 122
4.2.8. Đồ hình hệ thống (System Topology).............................................................. 123
4.2.9. Môi trường đa nền tảng.................................................................................... 123
4.2.10. Định dạng file ................................................................................................ 124
4.2.11. Việc cài đặt hệ thống ..................................................................................... 124
4.2.12. Vấn đề thông tin Grid .................................................................................... 124
4.2.13. Tính tiện dụng................................................................................................ 124
4.3. Thiết kế tổng quan .................................................................................................. 125
4.4. Một số vấn đề cần quan tâm trong thiết kế chi tiết và viết mã ............................... 126
4.4.1. Kiến trúc ứng dụng .......................................................................................... 127
4.4.2. Xem xét sử dụng ngôn ngữ lập trình ............................................................... 130
4.4.3. Vấn đề phụ thuộc của công việc vào môi trường hệ thống.............................. 131
4.4.4. Đồ hình công việc ............................................................................................ 132
4.5. Triển khai cài đặt các Grid Service......................................................................... 133
-v-
Mục lục
4.5.1. Các bước xây dựng và triển khai Grid Service................................................ 134
4.5.2. Xây dựng client................................................................................................ 140
Chương 5. Quản trị mạng và các hệ thống quản trị....................................142
5.1. Quản trị mạng ......................................................................................................... 142
5.1.1. Khái niệm......................................................................................................... 142
5.1.2. Các lĩnh vực quản trị mạng.............................................................................. 142
5.2. Hệ thống quản trị mạng .......................................................................................... 144
5.2.1. Mô hình và hoạt động ...................................................................................... 144
5.2.2. Một số chức năng cơ bản của một hệ thống quản trị mạng ............................. 146
5.2.3. Hệ thống quản trị mạng trong thực tế .............................................................. 148
5.3. Hệ thống Intrusion Detection System (IDS)........................................................... 149
5.3.1. Khái niệm......................................................................................................... 149
5.3.2. Các hướng tiếp cận .......................................................................................... 149
5.4. Giới thiệu một số công cụ hỗ trợ quản trị mạng ..................................................... 150
5.4.1. Ethereal ............................................................................................................ 150
5.4.2. Snort................................................................................................................. 152
Chương 6. Hệ thống quản trị Grid NetManager.........................................153
6.1. Giới thiệu ý tưởng................................................................................................... 153
6.2. Yêu cầu chức năng của một hệ thống quản trị mạng.............................................. 154
6.3. Mô hình thành phần và hoạt động của hệ thống ..................................................... 155
6.3.1. Mô hình thành phần ......................................................................................... 155
6.3.2. Cách thức hoạt động ........................................................................................ 157
6.4. Phân tích và định hướng phát triển ứng dụng......................................................... 158
6.5. Giới hạn vấn đề thực hiện của luận văn.................................................................. 159
Chương 7. Phân tích, thiết kế và cài đặt thử nghiệm ứng dụng .................161
7.1. Phân tích ................................................................................................................. 161
7.1.1. Ngữ cảnh hệ thống ........................................................................................... 161
7.1.2. Lược đồ Use Case ............................................................................................ 162
7.1.3. Đặc tả Use Case ............................................................................................... 163
7.1.4. Mô tả các dòng sự kiện .................................................................................... 167
7.2. Thiết kế ................................................................................................................... 179
7.2.1. Sơ đồ các đối tượng cài đặt.............................................................................. 179
7.2.2. Thiết kế giao diện ............................................................................................ 180
7.3. Cài đặt & Triển khai ............................................................................................... 183
7.3.1. Công cụ và môi trường phát triển ứng dụng.................................................... 183
7.3.2. Mô hình cài đặt ................................................................................................ 184
7.3.3. Mô hình triển khai............................................................................................ 184
7.3.4. Thử nghiệm...................................................................................................... 185
Chương 8. Kết luận.....................................................................................186
8.1. Đánh giá.................................................................................................................. 186
8.1.1. Về luận văn ...................................................................................................... 186
8.1.2. Về ứng dụng..................................................................................................... 186
8.2. Hướng phát triển, mở rộng của luận văn ................................................................ 187
8.2.1. Về luận văn ...................................................................................................... 187
- vi -
Mục lục
8.2.2. Về ứng dụng..................................................................................................... 187
8.3. Lời kết..................................................................................................................... 188
Phụ lục...........................................................................................................189
A. Các tiêu chí đánh giá tính khả khi của một dự án Grid............................................. 189
B. Định dạng file GWSDL ............................................................................................ 191
C. Kỹ thuật cài đặt các chức năng cơ bản của Grid Service .......................................... 193
C.1. Kỹ thuật cài đặt Operation Provider................................................................... 193
C.2. Thêm thành phần dữ liệu (Service Data Element (SDE)).................................. 196
C.3. Cài đặt cơ chế Notification................................................................................. 199
C.7. Cài đặt kỹ thuật tạo service động (Transient service) ........................................ 202
C.5. Kỹ thuật Logging (Ghi vết)................................................................................ 205
C.6. Kỹ thuật quản lý chu trình sống của service (Lifecycle Management).............. 206
D. Các interface của một OGSI Service ........................................................................ 208
E. Cấu trúc một chứng chỉ điện tử ................................................................................. 211
Tài liệu tham khảo.........................................................................................213
Các Website...................................................................................................216
- vii -
Danh sách hình
Danh sách hình
Hình 2-1 Tài nguyên Grid dưới quan điểm của người dùng, là một khối thống nhất có được
nhờ sự ảo hoá. ................................................................................................................ 9
Hình 2-2 Hình thức hoạt động của Grid Tính toán.............................................................. 10
Hình 2-3 Các đồ hình Grid. ................................................................................................. 11
Hình 2-4 Đồ hình SimpleGrid ............................................................................................. 12
Hình 2-5 Đồ hình IntraGrid ................................................................................................. 13
Hình 2-6 Đồ hình ExtraGrid ................................................................................................ 14
Hình 2-7 Các minh họa về đồ hình InterGrid. ..................................................................... 15
Hình 2-8 Kiến trúc Grid tổng quát....................................................................................... 29
Hình 2-9 Quan điểm của các lập trình viên về kiến trúc Grid. ........................................... 34
Hình 2-10 Kiến trúc Grid trong thực tế với các thành phần. ............................................... 35
Hình 2-11 Các dự án Grid tương ứng với các tầng.............................................................. 36
Hình 2-12 Mối quan hệ giữa các chuẩn về Grid Service..................................................... 39
Hình 2-13 Mô hình kiến trúc hoạt động của UNICORE ..................................................... 41
Hình 2-14 Kiến trúc của Legion. ......................................................................................... 44
Hình 2-15 Kiến trúc GridBus............................................................................................... 46
Hình 2-16 So sánh giữa UNICORE, Globus, Legion và GridBus. ..................................... 49
Hình 3-1 Các thành phần của kiến trúc SOA....................................................................... 54
Hình 3-2 Kiến trúc của bộ Globus Toolkit. ......................................................................... 75
Hình 3-3 Mô hình các thành phần của một hệ thống sử dụng GT2..................................... 76
Hình 3-4 Mô hình tổ chức các thành phần GT3. ................................................................. 77
Hình 3-5 Các thành phần của GSI. ...................................................................................... 80
Hình 3-6 Quy trình khởi tạo để sử dụng GSI....................................................................... 87
Hình 3-7 Thủ tục chứng thực và phân quyền với GSI......................................................... 88
Hình 3-8 Cơ chế ủy quyền trong GSI. ................................................................................. 89
Hình 3-9 Thủ tục uỷ quyền của một proxy trong GSI. ........................................................ 90
Hình 3-10 Kiến trúc quản lý tài nguyên trong Globus Toolkit............................................ 95
Hình 3-11 Các trạng thái của một công việc. ...................................................................... 98
Hình 3-12 Các thành phần và cơ chế hoạt động của pre-WS GRAM ................................. 99
Hình 3-13 Cơ chế hoạt động có DUROC trong pre-WS GRAM. ..................................... 101
Hình 3-14 Các thành phần và cơ chế hoạt động của WS-GRAM. ................................... 105
Hình 3-15 Mô hình quản lý thông tin trong Grid của Globus Toolkit............................... 107
Hình 3-16 Ví dụ tổ chức dữ liệu của MDS2...................................................................... 109
Hình 3-17 Mô hình tổ chức dữ liệu phân cấp trong MDS2. .............................................. 110
Hình 3-18 Các thành phần và cơ chế hoạt động của MDS2............................................. 111
Hình 4-1 Luồng ứng dụng song song. ............................................................................... 128
Hình 4-2 Luồng ứng dụng tuần tự. .................................................................................... 128
Hình 4-3 Luồng ứng dụng mạng........................................................................................ 129
Hình 4-4 Các file cần thiết để triển khai Grid Service với Ant. ........................................ 139
Hình 5-1 Mô hình hệ thống quản trị mạng ........................................................................ 144
Hình 5-2 Màn hình giao diện Ethereal............................................................................... 151
Hình 6-1 Mô hình thành phần ứng dụng Grid NetManager. ............................................. 155
Hình 6-2 Mô hình các thành phần của ứng dụng Grid NetManager thử nghiệm. ............. 160
Hình 7-1 Ngữ cảnh hệ thống.............................................................................................. 161
Hình 7-2 Sơ đồ Usecase ứng dụng Grid NetManager thử nghiệm.................................... 162
- viii -
Danh sách hình
Hình 7-3 Sơ đồ lớp cài đặt lớp đối tượng. ......................................................................... 179
Hình 7-4 Màn hình chính ứng dụng Grid NetManager thử nghiệm .................................. 181
Hình 7-5 Màn hình Packet Capture Configue ................................................................... 182
Hình 7-6 Mô hình cài đặt................................................................................................... 184
Hình 7-7 Sơ đồ triển khai ứng dụngGrid NetManager thử nghiệm................................... 184
Hình 7-8 Mô hình cài đặt thử nghiệm................................................................................ 185
Hình 8-1 Lớp triển khai interface của Grid service bằng kỹ thuật kế thừa........................ 194
Hình 8-2 Cài đặt intrface củaGrid service bằng kỹ thuật Operation Provider................... 194
Hình 8-3 Ví dụ về SDE của MathService.......................................................................... 196
Hình 8-4 Sơ đồ hoạt động của cơ chế Notification trong GT3.......................................... 200
Hình 8-5 Cấu trúc một chứng chỉ điện tử. ......................................................................... 211
- ix -
Danh sách bảng
Danh sách bảng
Bảng 2-1 Các đặc tính của tài nguyên. ................................................................................ 16
Bảng 2-2 Bảng so sánh các đặc tính của các middleware ................................................... 50
Bảng 3-1 Bảng các interface chuẩn quy định bởi OGSA. ................................................... 61
Bảng 3-2 Các thuộc tính cơ bản của một service data......................................................... 72
Bảng 3-3 Các file cấu hình GSI của GT3. ........................................................................... 92
Bảng 3-4 Bảng các công cụ cấu hình GSI. .......................................................................... 93
Bảng 3-5 Bảng các hàm API về GSI của GT3 .................................................................... 94
Bảng 3-6 Bảng các hàm API của pre-WS GRAM............................................................. 102
Bảng 3-7 Các thành phần của GT Core ............................................................................. 114
Bảng 6-1 Các thành phần của ứng dụng Grid NetManager............................................... 156
Bảng 7-1 Danh sách các actor............................................................................................ 162
Bảng 7-2 Danh sách các usecase ....................................................................................... 162
Bảng 7-3 Danh sách các đối tượng cài đặt. ....................................................................... 180
Bảng 7-4 Danh sách các giao diện..................................................................................... 180
Bảng 7-5 Mô tả màn hình chính. ....................................................................................... 182
Bảng 7-6 Mô tả màn hình cấu hình bắt packet. ................................................................. 183
Bảng 7-7 Các thành phần triển khai................................................................................... 184
Bảng 8-1 Các tiêu chí đánh giá tính khả thi của ứng dụng Grid........................................ 190
Bảng 8-2 Các hàm callback trong GT3. ............................................................................ 206
Bảng 8-3 Các interface của một OGSI Service ................................................................. 211
-x-
Một số thuật ngữ
Một số thuật ngữ
Capture filter
Client
Factory
Grid
Grid Computing
Grid service instance
Hosting environment
Interface (OGSA)
Lifecyle
Middleware
Node, Host
Protocol
Proxy
Server
Service, Grid
service(OGSA),
Service data
Site
User
Virtual Organization
Các tiêu chuẩn lọc packet.
Máy khách, sử dụng dịch vụ.
Là một thành phần tạo lập và quản lý các Grid
service instance.
Là một hệ thống tính toán sử dụng công nghệ
Grid Computing
Công nghệ tính toán lưới.
Một thể hiện của Grid service.
Môi trường mà trên đó các Grid Service có thể
thực thi.
Giao diện của một OGSA Service.
Chu trình sống của Grid Service
Là phần mềm cho phép tổ chức, tích hợp các tài
nguyên và các chức năng vào Grid
Là một nút của Grid, có thể là các máy tính hay
các thiết bị tính toán khác.
Các giao thức quy định các thức liên lạc giữa các
thành phần thông qua hệ thống mạng.
Là một thành phần đại diện cho người dùng Grid
thực thi các tác vụ.
Máy chủ, cung cấp dịch vụ.
Một dịch vụ Grid theo khái niệm đưa ra bởi
OGSA.
Thành phần dữ liệu của một Service
Là một đơn vị tham gia đóng góp tài nguyên cho
Grid, có hệ thống quản trị riêng.
Người sử dụng dịch vụ Grid
Tổ chức ảo, là một liên minh tạm thời giữa các tổ
chức trong Grid dùng để chia sẽ tài nguyên.
- xi -
Các chữ viết tắt
Các chữ viết tắt
CA
DN
EJB
GGF
GSH
GSI
GSR
GT{x}
GWSDL
MDS
OGSA
OGSI
PKI
RA
SDE
SOA
SSL
URI
WSDL
WSRF
Certificate Authority
Distinguished Name
Enterprise JavaBeans
Global Grid Forum
Grid Service Handle
Grid Security Infrastructure
Grid Service Referance
Globus Toolkit Version x
Grid Web Services Description Language
Metacomputing Directory Service
Open Grid Services Architecture
Open Grid Services Infrastructure
Public Key Infrastructure
Registrant Authority
Service Data Element
Service Oriented Architeture
Secure Sockets Layer
Uniform Resource Indicator
Web Services Description Language
Web Services Resource Framework
- xii -
Tóm tắt luận văn
Tóm tắt luận văn
1. Thông tin chung về đề tài:
Tên đề tài:
“Tìm hiểu công nghệ Grid Computing và ứng dụng thử nghiệm
trong bài toán quản trị mạng”
GVHD: Thầy CAO ĐĂNG TÂN.
Sinh viên thực hiện:
1. MSSV : 0112132
2. MSSV : 0112280
Họ và tên : Nguyễn Mạnh Dũng.
Họ và tên : Nguyễn Đăng Thành.
2. Tóm tắt nội dung luận văn
Luận văn thực hiện nghiên cứu tìm hiểu các vấn đề chung của công nghệ Grid
Computing như bản chất, các thách thức, yêu cầu, kiến trúc, ích lợi, các chuẩn liên
quan, cũng như các dự án chính về cơ sở hạ tầng Grid nhằm đưa ra một tầm nhìn
tổng quan về công nghệ Grid Computing hiện nay.
Tìm hiểu về mô hình, hoạt động các thành phần, chi tiết các chuẩn sử dụng, một
số vấn đề khi phát triển ứng dụng Grid với bộ Globus Toolkit phiên bản 3.2.
Nghiên cứu, tìm hiểu lĩnh vực quản trị mạng và các hệ thống quản trị, các hệ
thống phát hiện xâm nhập, từ đó đề xuất mô hình ứng dụng hệ thống quản trị mạng
sử dụng công nghệ Grid Computing làm nền tảng tính toán và tiến hành cài đặt thử
nghiệm một số chức năng của ứng dụng.
3. Một số từ khoá liên quan đến tài
Grid, Grid computing, Globus, Grid sevice, network management, tính toán
lưới, …
4. Lĩnh vực áp dụng
¾ Tính toán lưới.
¾ Quản trị mạng.
5. Các thuật toán, phương pháp, quy trình chính được nghiên cứu, ứng
dụng trong đề tài
6. Các công cụ, công nghệ chính được nghiên cứu, ứng dụng trong đề tài
- xiii -
Tóm tắt luận văn
• Hệ điều hành và môi trường mạng Linux Redhat 9.0
• Môi trường lập trình C/C++ trong Linux với thư viện giao diện đồ hoạ
GTK.
• Bộ Globus Toolkit 3.2 và phát triển ứng dụng với nó.
- xiv -
Chương 1. Mở đầu
Chương 1. Mở đầu
1.1. Công nghệ Grid Computing (tính toán lưới)
Với những tiến bộ trong nền công nghiệp sản xuất phần cứng máy tính, các thế
hệ máy tính ngày nay đã trở nên mạnh và rẻ hơn rất nhiều so với các thế hệ trước
đó. Cùng với sự hữu ích, máy tính đã trở nên phổ dụng khắp nơi trên thế giới, đi sâu
vào mọi công việc của con người, từ công việc hàng ngày, công sở, kinh doanh đến
sản xuất, nghiên cứu khoa học. Do đó số lượng máy tính hiện nay trên thế giới là rất
lớn với tổng cộng năng lực xử lý và lưu trữ khổng lồ.
Tuy nhiên, các ứng dụng ngày nay chỉ mới sử dụng được một phần rất nhỏ năng
lực xử lý và lưu trữ do các ứng dụng chỉ chạy trên các máy tính cục bộ, đơn lẻ, phân
tán khắp nơi theo địa lý. Từ đó dẫn đến lãng phí rất lớn. Một câu hỏi được đặt ra là
làm sao tận dụng tốt hơn năng lực của máy tính.
Mặt khác, theo đà phát triển, con người càng ngày càng đối mặt với nhiều vấn
đề lớn, phức tạp trong khoa học, thương mại đòi hỏi năng lực xử lý tính toán, lưu
trữ lớn :
- Trong khoa học :
¾ Cách đây 10 năm các nhà sinh học đã rất vui mừng khi họ có thể giả
lập một đơn phân tử trên máy tính, ngày nay họ muốn giả lập hàng ngàn
phân tử thuốc, protein và tác dụng tương hỗ giữa chúng để tạo ra các loại
thuốc mới.
¾ Để nghiên cứu các hạt cơ bản và tương tác giữa chúng, hàng năm
ngành Vật lý Năng lượng cao (High Energy Physics) tạo ra khoảng 10
Petabytes (dung lượng của khoảng 20 triệu đĩa CD-ROM) dữ liệu. Hay các
nhà vật lý địa cầu thực hiện theo dõi bầu khí quyển, tầng ozone, hàng ngày
phải lưu trữ và phân tích khoảng 100 Gigabytes dữ liệu ảnh chụp từ vệ tinh.
Ở đây cho thấy cần phải có năng lực lưu trữ rất lớn.
¾ Việc phân tích, giải mã bộ gen người, các dự án nghiên cứu vũ trụ,…
cũng cần năng lực xử lý rất lớn.
-1-
Chương 1. Mở đầu
¾ Vấn đề hợp tác giữa hàng ngàn nhà khoa học trên toàn thế giới, hỗ trợ
việc chia sẻ một lượng lớn dữ liệu, thực hiện các tính toán phức tạp trực
tuyến trên các dữ liệu đó.
- Trong thương mại:
Các bài toán phân tích xử lý số liệu kinh tế của các quốc gia, các công
ty đa quốc gia, …
Các công ty cung cấp dịch vụ mạng cho hàng triệu người dùng trên
toàn thế giới.
Các bài toán mô phỏng, giả lập trong thiết kế sản phẩm công
nghiệp…
Bài toán xử lý thông tin trong quản trị mạng, các hệ thống phát hiện
tấn công, xâm nhập mạng.
…..
Một máy tính đơn, một nhóm các máy tính(cluster) hay thậm chí một siêu máy
tính chuyên dụng cũng không thể đáp ứng được nhu cầu tính toán, lưu trữ ngày
càng lớn như vậy. Một số bài toán cũng có thể được giải quyết nhưng rất khó khăn,
với chi phí rất cao mà không phải quốc gia, tổ chức nào cũng thực hiện được (đặc
biệt là các nước đang phát triển), còn những bài toán khác có thể nói là không thể
giải quyết được với công nghệ tính toán hiện nay.
Thực tế khiến người ta nảy sinh ý tưởng phải kết hợp các máy tính phân tán
khắp nơi trên thế giới trở thành một siêu máy tính khổng lồ nhằm tận dụng năng lực
tính toán, lưu trữ hiện đang lãng phí để giải quyết các bài toán phức tạp trên đây với
chi phí thấp hơn.
Trước đây, khi các công nghệ mạng chưa phát triển thì ý tưởng trên hầu như
chưa thực hiện được. Nhưng hiện nay, các công nghệ mạng máy tính đã phát triển
vượt bậc, hiệu năng mạng tăng gấp đôi sau mỗi 9 tháng, ý tưởng về “siêu máy tính”
toàn cầu đã có cơ sở để trở thành hiện thực. Đến những năm cuối thế kỷ XX, các dự
án nghiên cứu đầu tiên về lĩnh vực này đã khai sinh ra công nghệ Grid Computing.
Công nghệ Grid Computing ra đời được dự đoán là công nghệ nền tảng của thế
kỷ XXI, làm thay đổi cách thức chúng ta tính toán, giống như Internet đã từng làm
-2-
Chương 1. Mở đầu
thay đổi cách thức trao đổi thông tin trong thế kỷ XX. Công nghệ Grid Computing
đã mở ra cơ hội mới cho các nước không có nền công nghiệp thiết kế, chế tạo phần
cứng máy tính mạnh, tạo ra các siêu máy tính để giải quyết các bài toán của riêng
mình với chi phí thấp và độ làm chủ cao. Ở Việt Nam, nhu cầu ứng dụng công nghệ
thông tin vào các hoạt động nghiên cứu Khoa học-Kỹ thuật, quản lý Kinh tế-Xã hội
ngày càng cao, đòi hỏi phải xử lý những khối lượng dữ liệu lớn, khối lượng tính
toán khổng lồ với chi phí thấp (vì chúng ta còn nghèo, kinh phí đầu tư cho ngành
Công nghệ thông tin chưa cao). Do đó, việc nghiên cứu, phát triển ứng dụng công
nghệ Grid Computing vào thực tế được xem là một giải pháp quan trọng để giải
quyết các bài toán trên. Hiện nay, chúng ta mới đang đi những bước đầu tiên…
1.2. Vấn đề quản trị mạng
Ngày nay, mạng máy tính đã trở nên phổ biến khắp nơi với quy mô ngày càng
lớn. Do đó, công việc của bộ phận quản trị hệ thống mạng, đảm bảo cho hệ thống
hoạt động ổn định, hiệu năng cao, đáp ứng nhu cầu người dùng là một công việc hết
sức khó khăn. Để thực hiện tốt công việc của mình, bộ phận quản trị cần một hệ
thống theo dõi, giám sát các hoạt động trên mạng nhằm :
¾ Xác định các lỗi thiết bị, cấu hình trong hệ thống mạng.
¾ Tối ưu, quản lý hiệu quả tài nguyên mạng
¾ Lập tài liệu về các mức độ đe doạ đối với hệ thống, để lập kế hoạch đối
phó, giảm thiểu nguy cơ hệ thống bị xâm hại.
¾ Quản lý thông tin hoạt động của người dùng, phát hiện và ngăn chặn các
hoạt động xâm phạm hệ thống mạng.
Công việc quản lý trên đòi hỏi không những phải phân tích dữ liệu chạy trong hệ
thống mạng theo thời gian thực mà còn phải phân tích các dữ liệu ghi vết (log) về
các hoạt động trong hệ thống. Hiện nay, lượng dữ liệu lưu thông trong mạng máy
tính là rất lớn, nên 1 máy tính PC không thể thu thập và xử lý được mà cần một máy
lớn hoặc các thiết bị chuyên dụng hơn. Việc đưa vào sử dụng các thiết bị chuyên
dụng có chi phí rất cao, không thích hợp cho các hệ thống mạng vừa và nhỏ. Do đó,
hướng tiếp cận sử dụng công nghệ Grid Computing để tận dụng thời gian nhàn rỗi
-3-
Chương 1. Mở đầu
của các máy PC trong hệ thống mạng để xử lý thông tin, hỗ trợ các nhà quản trị
mạng được đưa ra.
1.3. Mục tiêu đề tài
Nhằm tìm hiểu, góp phần vào việc phát triển và ứng dụng công nghệ Grid
Computing vào thực tiễn, đề tài:
“Tìm hiểu công nghệ Grid Computing và ứng dụng thử nghiệm trong
bài toán quản trị mạng”
được thực hiện với một số mục tiêu:
+ Tìm hiểu về công nghệ Grid Computing hiện nay để có một bức tranh tổng
quan về công nghệ, các vấn đề, các hướng giải quyết chủ yếu của nó nhằm làm tiền
đề tham khảo cho việc ứng dụng, phát triển công nghệ Grid trong tương lai.
+ Cài đặt, tìm hiểu mô hình, kiến trúc, môi trường, cách thức lập trình và
phát triển ứng dụng của bộ Globus Toolkit, một bộ công cụ xây dựng Grid hàng đầu
hiện nay.
+ Tìm hiểu về quản trị mạng và các hệ thống quản trị mạng.
+ Nghiên cứu và đề xuất mô hình hệ thống quản trị mạng trên nền tảng công
nghệ Grid Computing. Xây dựng thử nghiệm một số chức năng điển hình của hệ
thống quản trị để hiểu biết thêm về kỹ thuật xây dựng và phát triển ứng dụng Grid.
Hệ thống quản trị mạng chỉ là một công cụ hỗ trợ, việc sử dụng thông tin, thiết lập
các chiến lược, chính sách quản trị là nhiệm vụ của các nhà quản trị mạng.
Các chương tiếp theo trình bày những vấn đề đã nghiên cứu, tìm hiểu được.
-4-
Chương 2. Tổng quan về công nghệ Grid Computing
Chương 2. Tổng quan về công nghệ Grid
Computing
2.1. Khái niệm Grid
2.1.1. Theo dòng lịch sử
Mặc dù công nghệ Grid Computing được nhắc đến rất nhiều trong thời gian gần
đây, nhưng thực ra nhiều ý tưởng cơ bản về Grid đã xuất hiện dưới dạng này hay
dạng khác trong lịch sử tính toán.
Ví dụ như ý tưởng “chia sẻ năng lực tính toán” đã xuất hiện từ những năm 6070 của thế kỷ XX, lúc đó toàn bộ năng lực tính toán được chia sẻ từ các máy
mainframe.
Năm 1965, những người phát triển hệ điều hành Multics (tiền thân của hệ điều
hành Unix) đã đề cập đến việc sử dụng năng lực tính toán như là một tiện ích, một
quan điểm rất gần với quan điểm về Grid hiện nay. Đó là một hệ thống cung cấp
năng lực tính toán tương tự như hệ thống cung cấp điện, nước hiện đang được sử
dụng trong cuộc sống hàng ngày. Người dùng khi muốn sử dụng tài nguyên tính
toán để xử lý công việc, chỉ cần cắm thiết bị vào hệ thống cung cấp, sử dụng và trả
tiền giống như khi cắm thiết bị điện vào lưới điện.
Tuy trước đó đã có nhiều ý tưởng về Grid nhưng nguồn gốc của Grid chính thức
được xác định vào năm 1990, khi thuật ngữ “siêu tính toán” (metacomputing) ra
đời, dùng để mô tả các dự án kết nối các trung tâm siêu máy tính của Mỹ nhằm kết
hợp sức mạnh xử lý của nhiều siêu máy tính lại với nhau.
Đến năm 1995, 2 dự án siêu tính toán quan trọng, ảnh hưởng lớn đến các công
nghệ nền tảng trong các dự án Grid ngày nay là FAFNER (Factoring via
Network-Enabled Recursion) và I-WAY(Information Wide Area Year) ra đời.
Khái niệm Grid ra đời ở phòng thí nghiệm Argonne National Laboratory vào
tháng 7/1997, sau đó được đưa vào quyển sách "The Grid: Blueprint for a New
Computing Infrastructure"
viết bởi tiến sỹ
-5-
Ian Foster (Argonne National
- Xem thêm -