Tài liệu Hadoop performance hddvsram v1.0

HONEYNET o BẢN BÁO CÁO Đề tài: Kiểm tra tốc độ put của HDFS trên (HDD vs Ram) GVHD: Thầy Lê Đình Việt Hải Nhóm: Internship - CNTT2017 TP.HCM. Ngày 29 tháng 12 năm 2017. 1. Tổng quan: Trong tài liệu này, em seẽ thực hiện đánh giá s ự khác biệt hi ệu suấất c ủa h ệ thốấng Hadoop v ới 2 mố hình khác nhau như sau:   Mố hình Hadoop Single Mode được cài đặt trên ổ c ứng HDD. Mố hình Hadoop Single Mode được cài đặt trên phấn vùng đ ược mount t ừ b ộ nh ớ RAM. Lưu ý:  Do cùng thực hiện trên Single Mode nên kêất nốấi gi ữa DataNode và NameNode seẽ là kêất nối LAN và ta seẽ khống quan tấm đêấn tốấc đ ộ truyêền nh ận d ữ li ệu c ủa chúng và xem nh ư 2 mố hình là bằềng nhau.  Ta cũng giả sử như cấấu hình phấền c ứng c ủa 2 mố hình tr ừ phấn vùng l ưu tr ữ là nh ư nhau 2. Test case: Trong bài Test này, trên 2 mố hình ta seẽ lấền l ượt th ực hi ện cấu l ệnh hadoop fs -put để đẩy các fle từ máy tnh lên hệ thốấng Hadoop. Các File seẽ có dung l ượng lấền l ượt là 200MB, 400MB, 800MB, 1GB, 2GB và 4GB. Ta seẽ thực hiện ghi nhận lại tổng th ời gian hoàn thành c ủa cấu l ệnh đó và ghi nh ận l ại kêất qu ả sau đó so sánh Cấu lệnh thực thi: time hadoop fs -put testfile.txt Cấu lệnh seẽ trả vêề cho ta 3 thống sốấ:    real: đấy là tổng thời gian hoàn thành cấu lệnh, cũng là thống sốấ mà ta quan tấm nhấất. user: đấy là tổng thời gian sử dụng trong user mode. sys: đấy là tổng thời gian sử dụng trong kernel mode. 3. Kết quả: 3.1. Mô hình trên HDD: Kích cỡ fle Thời gian (s) 200MB Lấền 1 Lấền 2 Lấền 3 Lấền 4 Trung bình real 3.945 3.936 3.981 3.245 3.777 user 4.500 4.480 5.036 4.323 4.585 sys 0.324 0.420 0.424 0.336 0.376 real 9.296 8.940 8.168 8.243 8.662 user 5.544 6.120 6.276 5.340 5.820 Tốấc độ (GB/s) 400MB Thời gian (s) sys 0.864 0.896 0.916 0.848 0.881 real 13.187 12.130 13.464 12.449 12.808 user 6.496 6.368 6.328 5.968 6.290 sys 1.304 1.272 1.020 1.184 1.195 real 17.480 19.020 16.639 17.220 17.590 user 6.884 8.516 6.540 6.588 7.132 sys 1.476 1.428 1.448 1.544 1.474 real 23.695 22.940 20.573 20.463 21.918 user 7.100 7.246 7.236 7.092 7.169 sys 1.696 1.776 1.712 2.060 1.811 real 66.111 49.258 45.924 44.634 51.482 user 10.164 9.804 9.588 10.136 9.923 sys 4.052 3.796 4.188 4.228 4.066 real 88.432 88.733 72.727 82.904 83.199 user 15.340 14.444 12.704 14.688 14.294 sys 7.716 7.504 6.560 8.504 7.571 Tốấc độ (GB/s) Thời gian (s) 600MB Tốấc độ (GB/s) Thời gian (s) 800MB Tốấc độ (GB/s) Thời gian (s) 1GB Tốấc độ (GB/s) Thời gian (s) 2GB Tốấc độ (GB/s) Thời gian (s) 4GB Tốấc độ (GB/s) 3.2. Mô hình trên RAM: Kích cỡ fle Thời gian (s) 200MB 400MB Tốấc độ (GB/s) Thời gian (s) Lấền 1 Lấền 2 Lấền 3 Lấền 4 Trung bình real 2.964 2.922 2.800 3.037 2.931 user 5.248 5.004 4.776 5.360 5.097 sys 0.352 0.416 0.460 0.412 0.410 real 3.288 3.308 3.331 3.290 3.304 user 5.760 5.604 5.800 5.668 5.708 sys 0.628 0.716 0.544 0.616 0.626 real 3.750 3.919 3.695 3.690 3.764 user 6.616 6.832 6.356 6.480 6.571 sys 0.804 0.804 0.812 0.824 0.811 real 4.112 4.193 4.259 4.451 4.254 user 6.820 7.056 7.080 7.016 6.993 sys 1.100 1.044 1.056 1.212 1.103 real 4.692 4.728 4.713 4.676 4.702 user 7.680 7.616 7.736 7.244 7.569 sys 1.444 1.404 1.360 1.496 1.426 real 6.614 6.599 6.674 6.496 6.596 user 9.384 9.644 10.696 9.424 9.787 sys 2.676 2.544 2.604 2.676 2.625 real 13.689 10.198 10.359 10.326 11.143 user 15.588 14.300 13.820 13.692 14.350 sys 5.768 4.668 5.136 5.028 5.150 Tốấc độ (GB/s) Thời gian (s) 600MB Tốấc độ (GB/s) Thời gian (s) 800MB Tốấc độ (GB/s) Thời gian (s) 1GB Tốấc độ (GB/s) Thời gian (s) 2GB Tốấc độ (GB/s) Thời gian (s) 4GB Tốấc độ (GB/s) 3.3. Bảng so sánh: Dưới đấy là bảng kêất quả tổng hợp của các bài Test: Kích cỡ fle 200MB 400MB Thời gian (s) Tốấc độ (GB/s) Thời gian (s) Tốấc độ (GB/s) real real Trên HDD Trên RAM 3.777 2.931 0.053 0.068 8.662 3.304 0.046 0.121 600MB 800MB 1GB 2GB 4GB Thời gian (s) Tốấc độ (GB/s) Thời gian (s) Tốấc độ (GB/s) Thời gian (s) Tốấc độ (GB/s) Thời gian (s) Tốấc độ (GB/s) Thời gian (s) Tốấc độ (GB/s) real real real real real 12.808 3.764 0.047 0.159 17.590 4.254 0.045 0.188 21.918 4.702 0.046 0.213 51.482 6.596 0.039 0.303 83.199 11.143 0.048 0.359 4.Nhận xét Từ kêất quả đo đạc được ta có thể đưa ra các nh ận xét sau:   Nhớ vào hiệu suấất đọc ghi tốấc độ cao của RAM so với HDD, ta thấấy ở tấất c ả các tr ường h ợp thì Tốấc độ của Mố hình sử dụng RAM đêều nhanh h ơn hẳn. Với các fle có dung lượng càng lớn, sự chênh lệch càng rõ r ệch. C ụ th ể: o Với fle 200MB: Tốấc độ của Mố hình RAM gấấp Tốấc đ ộ c ủa Mố hình HDD 1.28 lấền. o Với fle 400MB seẽ là 2.63 lấền. o Với fle 600MB seẽ là 3.38 lấền. o Với fle 800MB seẽ là 4.18 lấền. o Với fle 1GB seẽ là 4.63 lấền. o Với fle 2GB seẽ là 7.77 lấền. o Với fle 4GB seẽ là 7.48 lấền. HẾẾT