Tài liệu Nghiên cứu xây dựng hệ thống máy chủ audiovideo cho hậu kỳ sản xuất phim truyền hình

BỘ GIÁO DỤC VÀ ĐÀO TẠO TẬP ĐOÀN BƯU CHÍNH VIỄN THÔNG VIỆT NAM HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG --------------------------------------- BÙI NGỌC LONG NGHIÊN CỨU XÂY DỰNG HỆ THỐNG MÁY CHỦ AUDIO/VIDEO CHO HẬU KỲ SẢN XUẤT PHIM TRUYỀN HÌNH CHUYÊN NGÀNH : TRUYỀN DỮ LIỆU VÀ MẠNG MÁY TÍNH MÃ SỐ : 60.48.15 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TSKH. HOÀNG ĐĂNG HẢI HÀ NỘI – 2010 1 Chương 1 TỔNG QUAN 1.1. Đặt vấn đề Kỹ thuật số ứng dụng trong truyền hình đã làm thay đổi hoàn toàn quy trình công nghệ kỹ thuật truyền hình từ nhận dữ liệu cho tới xử lý, lưu trữ, phát sóng… Ngày nay, nhu cầu kết nối các thiết bị số với nhau và với các máy chủ Audio/Video ở các trung tâm phát thanh truyền hình thành một mạng đang trở thành một yêu cầu cấp bách đối với các Đài truyền hình lớn. Việc nghiên cứu xây dựng một hệ thống máy chủ Audio/Video và kết nối các thiết bị số thành mạng đang là một nhu cầu thực tế, mang lại những lợi ích thiết thực cho các Đài truyền hình. Qua khảo sát các công trình nghiên cứu tới nay cho thấy, các Đài truyền hình lớn của nước ngoài đều đã ứng dụng hệ thống máy chủ Audio/Video, có kết nối các hệ thống thành mạng với việc ứng dụng các công nghệ tiên tiến như Fibre Channel, SAN, RAID… Các Đài truyền hình trong nước mới bắt đầu áp dụng các công nghệ mới và hình thành mạng thiết bị. Tuy nhiên, vẫn chưa có công trình nghiên cứu nào đề cập đến vấn đề xây dựng hệ thống máy chủ Audio/Video phục vụ cho sản xuất phim truyền hình. Để thực hiện điều đó đòi hỏi cần có các nghiên cứu lý thuyết về kiến trúc hệ thống, thiết kế xây dựng mô hình hệ thống với các yêu cầu về các thiết bị, xử lý các luồng dữ liệu máy chủ, các chuẩn định dạng số, lưu trữ dữ liệu. Ngoài ra, việc áp dụng hệ thống máy chủ Audio/Video vào sản xuất hậu kỳ đòi hỏi phải xây dựng toàn bộ quy trình hoạt động (workflow) của hệ thống. Đó chính là vấn đề nghiên cứu đặt ra trong luận văn. 2 1.2. Mục tiêu và nội dung nghiên cứu của luận văn Mục tiêu nghiên cứu trong bài luận văn là nghiên cứu xây dựng một hệ thống máy chủ Audio/Video (Audio/Video Server System) cho hậu kỳ sản xuất phim truyền hình. Các vấn đề nghiên cứu được đặt ra đối với việc xây dựng hệ thống máy chủ Audio/Video gồm có:  Nghiên cứu các yêu cầu chung đối với kiến trúc hệ thống máy chủ.  Nghiên cứu các vấn đề về nhập dữ liệu vào hệ thống máy chủ.  Xây dựng hệ thống trên cơ sở mô hình hàng đợi nhiều server, công nghệ mạng lưu trữ SAN, kỹ thuật phân cụm (Clustering).  Áp dụng mô hình cụm server và công nghệ mạng SAN cho xây dựng một hệ thống máy chủ Audio/Video cho hậu kỳ sản xuất phim truyền hình. 1.3. Các kết quả nghiên cứu đạt được của luận văn  Nghiên cứu các vấn đề kỹ thuật trong xây dựng hệ thống máy chủ Audio/Video cho hậu kỳ sản xuất phim truyền hình. Tổng hợp được các quy trình hoạt động cần thiết của hệ thống.  Nghiên cứu kiến trúc các máy chủ, công nghệ server, các vấn đề về nhập dữ liệu vào hệ thống máy chủ, mã hóa tín hiệu, lưu trữ dữ liệu vào hệ thống, vấn đề chất lượng dịch vụ và quản lý băng thông, kiểm soát lỗi hệ thống.  Trình bày các chuẩn dữ liệu cần thiết trong quy trình hoạt động của hệ thống; phân tích, đánh giá được các phương án lưu trữ, tùy chọn RAID, lựa chọn chuẩn, phân cụm server.  Nghiên cứu cơ sở lý thuyết hệ thống, đề xuất áp dụng mô hình hàng đợi nhiều server, công nghệ mạng lưu trữ SAN, kỹ thuật phân cụm (Clustering) vào xây dựng hệ thống máy chủ 3 Audio/Video.  Xây dựng được một hệ thống máy chủ Audio/Video cho hậu kỳ sản xuất phim truyền hình trên cơ sở áp dụng mô hình phân cụm server và công nghệ mạng SAN; đề xuất lựa chọn server đảm bảo độ tin cậy và quy trình công tác của hệ thống; tính toán dung lượng lưu trữ. 1.4. Bố cục của luận văn Bài luận văn được bố cục thành 4 chương như sau:  Chương I: Trình bày vấn đề cần nghiên cứu, một số khái niệm và thuật ngữ chuyên ngành; trình bày mục tiêu và tóm tắt các nội dung nghiên cứu chính của luận văn.  Chương II: Các vấn đề kỹ thuật trong hệ thống máy chủ Audio/Video; các yêu cầu chung đối với hệ thống.  Chương III: Đề xuất áp dụng mô hình hàng đợi và công nghệ SAN cho hệ thống máy chủ Audio / Video.  Chương IV: Đề xuất một hệ thống máy chủ Audio/Video cho hậu kỳ sản xuất phim truyền hình.  Kết luận và hướng phát triển tiếp. Chương 2 CÁC VẤN ĐỀ KỸ THUẬT TRONG HỆ THỐNG AUDIO/VIDEO SERVER 2.1. Giới thiệu chung về hệ thống Audio/Video Server Một hệ thống Audio/Video Server thường bao gồm các thành phần chính như sau: Nhận tin (Ingets) - xem xét dữ liệu nào sẽ được thu nhận vào hệ thống và các chuẩn định dạng tín hiệu Video số. 4 Mã hoá (Encoding) - định dạng nén nào được sử dụng, DVCPRO, MPEG, DV… Các hình thức lưu trữ (Storage Options) – lưu trữ phân bố hay tập trung, hoặc cả hai, dạng RAID nào cần sử dụng. Vấn đề về băng thông, đường truyền, chia tải giảm tắc nghẽn (Load Sharing). Chiến lược kiểm soát hệ thống. Các hệ thống số đòi hỏi phải có chiến lược kiểm soát khác nhau. Khuyến nghị sử dụng các tiêu chuẩn công nghiệp để kiểm soát tính ổn định của thiết bị trong hệ thống. 2.2. Nhận dữ liệu vào hệ thống máy chủ Audio/Video Server Hiện nay người sử dụng có ít nhất 3 lựa chọn (option) để nạp dữ liệu cho server là: a) Nhận dòng dữ liệu; b) Truyền tệp; c) Nhận tín hiệu Audio/Video. 2.2.1. Nhận dòng dữ liệu (Streaming) Nhận streaming là kỹ thuật có nhiều ưu điểm so với phương pháp nhận theo từng tệp. Có hai loại chính: Streaming lưu trữ và streaming trực tiếp. Các tùy chọn dữ liệu có nén bao gồm: SDTI cho DV, SDTI-CP cho MPEG hoặc dòng truyền MPEG (MTS). Với dữ liệu nén SDTI và MTS, chất lượng dữ liệu được quyết định bởi người gửi (sender). Dữ liệu được nạp trực tiếp vào đĩa server bỏ qua các bộ mã hoá. 2.2.2. Truyền File Truyền file là dịch chuyển các nội dung file trong các mode đẩy “push” và kéo “pull” qua topo điểm-điểm hoặc điểm-nhiều điểm. Phương thức này có vai trò ngày càng tăng trong các kết nối server trong tương lai. 2.2.3. Nhận tín hiệu Audio/Video 5 Các tuỳ chọn video bao gồm video tương tự hoặc video số nối tiếp (SDI), ở đây ta chỉ xét định dạng tín hiệu Audio/Video số. Đó là kỹ thuật đã quá thân quen và là thông dụng cho các VTR và tất cả các dạng Server hiện nay. 2.3. Mã hoá tín hiệu Khi video được mã hoá, người sử dụng có thể chọn dạng nén và chất lượng nén. Các tuỳ chọn thông dụng nhất hiện nay là MPEG-2, và MPEG-IMX, DV, DVCPRO. Các tuỳ chọn khác là H.264, MPEG4…hiện nay cũng đang được quan tâm nhiều. 2.3.1. Nhu cầu nén tín hiệu Video số chỉ có thể được sử dụng rộng rãi khi nó yêu cầu không lớn về bộ nhớ cũng như dung lượng đường truyền; Đây chính là nguyên nhân và mục đích của nén tín hiệu. 2.3.2. Nén không tổn hao Nén không tổn hao là quá trình chỉ loại bỏ bớt phần dữ liệu dư thừa. Với phương pháp này khi giải nén, tín hiệu được khôi phục lại nguyên vẹn như thông tin ban đầu, chính xác đến từng bit. 2.3.3. Nén có tổn hao Nén có tổn hao không chỉ loại bỏ đi các thông tin dư thừa, các thông tin không phù hợp với khả năng cảm nhận của mắt người, mà còn loại bỏ cả một phần thông tin ít quan trọng và chỉ tái tạo lại ảnh gần đúng với ảnh gốc. 2.3.4. Chuẩn nén MPEG-2 Nén hiệu quả cho phép chất lượng cao ở tốc độ bit thấp. MPEG-2 là chuẩn nén được tiêu chuẩn hóa, cho phép các hệ thống MPEG khác nhau dùng cùng các file dữ liệu (bất kể dữ liệu được lưu trong file có thể cần phải được biến đổi như thế nào). 2.3.5. Nén DV và DVCPRO 6 Các hãng SONY và PANASONIC đã đưa ra các hệ thống DVCPro, DV và DVCAM [ ]. Các hệ thống này khép kín từ khâu Camera, VTR đến các bộ dựng NLE. Điểm chung của các hệ thống này là phương pháp nén DV 4:1:1 với tốc độ truyền 25 Mbits/sec hay 3,6MB/sec (do đó được gọi là DV-25) và cùng sử dụng giao diện DV (hay IEEE 1394, hay I-Link). 2.3.6. MPEG IMX (MPEG-50) Đây là một hệ thống khép kín của SONY bao gồm cả Camera, VTR và NLE để có thể xử lý thô từ A đến Z. Với tốc độ truyền 7MB/sec, gấp đôi MPEG-2, nhưng chỉ bằng 1/3 Digital-Betacam (20MB/sec), IMX sẽ thay thế DigiBeta để tạo ra sự đột phá trong kỹ thuật hậu kỳ phi tuyến. 2.3.7. Nén MPEG- 4 MPEG 4 phân tách từng thành phần trong luồng dữ liệu số. Việc mã hoá của MPEG 4 được thực hiện trên cơ sở các cảnh âm thanh hình ảnh (audiovisual scenes) được kết hợp từ các đối tượng nghe nhìn (media objects hay audiovisual object - AVO). MPEG 4 cho phép mỗi loại đối tượng này được mã hoá theo cách riêng để tối ưu hoá đặc điểm tự nhiên của chúng, và cho phép chúng được truyền đi đến người dùng như các dòng căn bản. 2.4. Vấn đề lưu trữ trên hệ thống Thường sau khi dữ liệu được nén, nó được lưu trên đĩa. Sự tiến bộ của công nghệ đĩa đã làm giảm giá thành lưu trữ rất nhiều kể từ khi các server đầu tiên được đưa ra thị trường. Các drive đĩa đầu tiên là các drive SCSI 2 – 4 GB. Bây giờ các drive chuẩn là 36 GB và 72 GB, và cao hơn. Các drive dựa trên Fibre Channel hiện có giá cạnh tranh với giá của các drive SCSI nhưng cho chỉ tiêu kỹ thuật tốt hơn. 2.4.1. Một số lưu ý khi xem xét vấn đề lưu trữ video 7 Lưu trữ video cần xem xét các thông số liên quan: tốc độ dữ liệu (data rate), giá thành lưu trữ, tốc độ truyền (transfer rate) và dung lượng lưu trữ cực đại. Các môi trường truyền thông (media) khác nhau sẽ cho các giải pháp khác nhau cho vấn đề lưu trữ. 2.4.2. Lưu trữ tập trung hay lưu trữ phân bố Một vấn đề quan trọng khác cần quan tâm là cấu trúc hệ thống với nhiều server như thế nào? Có một số tùy chọn: lưu trữ tập trung, lưu trữ phân bố hoặc cả hai. Giải pháp tốt nhất phụ thuộc vào ứng dụng. 2.4.3. Các tuỳ chọn RAID Có hai giải pháp RAID: RAID được trợ giúp bởi phần cứng và RAID chỉ dựa trên phần mềm. RAID dựa phần cứng có phần cứng riêng để tạo dữ liệu kiểm soát (parity data), và điều khiển tất cả các chức năng của RAID. RAID chỉ dựa trên phần mềm thực hiện tất cả các chức năng RAID bằng phần mềm, nhìn chung dùng bộ xử lý hệ thống chính. Có 3 dạng RAID thông dụng: RAID 1, 3 và 5. 2.5. Vấn đề về chất lượng dịch vụ và băng thông của hệ thống 2.5.1. Chất lượng của hệ thống trong thời gian thực Đối với hệ thống Audio/Video Server dùng cho sản xuất hậu kỳ, hai thông số thường được quan tâm là dung lượng của bộ lưu trữ và số lượng workstation có thể truy cập đến dữ liệu. Tuy nhiên, nếu hệ thống dùng cho các ứng dụng video và phim số trong thời gian thực thì cần phải chú ý đến yếu tố khác đó là chất lượng dịch vụ audio/video. 2.5.2. Các yêu cầu băng thông vào ra của hệ thống Audio/Video Server Có nhiều yếu tố cần xem xét khi thiết kế mạng server. Mỗi server sẽ có các thông số hoạt động như tốc độ bit cho mỗi kênh I/O… 2.6. Kiểm soát lỗi hệ thống 8 Nhu cầu kiểm soát lỗi và trạng thái của hệ thống thay đổi. Trước đây, các thiết bị kiểm soát thường là các monitor dạng sóng song việc hiển thị tín hiệu là hạn chế. Việc theo dõi thiết bị có nhiệm vụ lưu trữ và dịch chuyển tín hiệu là điều quan trọng. Trong các phương thức theo dõi thì SNMP là một sơ đồ được sử dụng rộng rãi. Đó là một chuẩn công nghiệp được thiết lập tốt cho việc theo dõi tình trạng của các máy tính và thiết bị liên quan với nó. 2.7. Kết luận Chương 2 đã đề cập đến các vấn đề chung của một hệ thống Audio/Video Server dùng cho sản xuất phim truyền hình sẽ bao gồm những thành phần gì? và hoạt động như thế nào? Những vấn đề cụ thể đã trình bày trong chương 2 gồm có các nguồn dữ liệu thu nhận vào hệ thống, các định dạng nén/mã hoá tín hiệu, phương thức lưu trữ và kiểm soát lỗi của hệ thống. Chương 3 ĐỀ XUẤT ÁP DỤNG MÔ HÌNH HÀNG ĐỢI VÀ CÔNG NGHỆ SAN CHO XÂY DỰNG HỆ THỐNG MÁY CHỦ AUDIO/VIDEO 3.1. Mở đầu Đối với một hệ thống máy chủ, thường có 4 vấn đề đặt ra trong thiết kế là: Quản lý các luồng dữ liệu / yêu cầu đến như thế nào? Quản lý, xử lý các tác vụ như thế nào tại các máy chủ đầu cuối? Quản lý dung lượng xử lý các máy chủ đầu cuối? Cấu hình các máy chủ đầu cuối. Phần 3.2 của bài đề xuất một mô hình hàng đợi áp dụng vào xây dựng kiến trúc hệ thống máy chủ Audio/Video. Phần 3.3 và 3.4 đề xuất ứng dụng công nghệ SAN và kỹ thuật phân cụm. Phần 3.5 trình 9 bày các yêu cầu của mô hình Audio/Video Server và phần 3.6 đề xuất topology SAN dùng cho hệ thống máy chủ Audio/Video. 3.2. Mô hình hệ thống máy chủ theo lý thuyết hàng đợi 3.2.1. Một số khái niệm trong lý thuyết hàng đợi Nếu gọi A là khoảng thời gian giữa các dữ liệu đến,  là tốc độ trung bình của dữ liệu đến, ta có thể có giá trị kỳ vọng (hay giá trị trung bình) của A là E[A] là: E[A] = 1/ . S là phân bố thời gian phục vụ, ta có thể có giá trị trung bình của S là E[S]. Theo lý thuyết hàng đợi, ta có thể viết được hệ số bình phương của phương sai (Squared Coefficient of Variation (SCV) cho các phân bố thời gian đến và phân bố thời gian phục vụ như sau: C A2  var( A) var(S ) 2 và CS  2 E[A] E[S ]2 (1) Trong đó var(X) thể hiện phương sai của biến ngẫu nhiên X. Để đơn giản hóa các tính toán, không mất đi tính tổng quát, ta giả thiết các tiến trình đến là phân bố Poisson. Như vậy, T sẽ tuân theo phân bố mũ với giá trị trung bình là 1/ , có thể viết tắt là T ~ Exp(). Gọi  là tải (load) hay tổng số tác vụ cần xử lý trong hệ thống,  là tốc độ phục vụ của hệ thống (dung lượng của mỗi máy chủ), ta có thể viết:   E[S ]  (2) 3.2.2. Tính toán thời gian trễ trong mô hình đa máy chủ Trong phần sau đây, luận văn trình bày một mô hình đa máy chủ đơn giản với chính sách lập lịch FCFS. Hệ thống máy chủ được giả thiết gồm K máy chủ, các tiến trình đến theo phân bố Poisson, các tiến trình phục vụ theo phân bố tổng quát G. 10 Mô hình M/G/K/FCFS là mô hình tương đối phổ biến cho hệ thống các máy chủ hiện nay . Giả thiết có K máy chủ tương tự nhau với dung lượng mỗi máy chủ là  và một bộ đệm FCFS. Các yêu cầu đến (dữ liệu đến) được đưa vào bộ đệm FCFS. Một máy chủ sẽ nhận tác vụ yêu cầu từ ô đầu hàng của bộ đệm. Các yêu cầu đến được xử lý tuần tự theo thứ tự đến của chúng. Đây cũng là phương thức xử lý phù hợp cho các tín hiệu Audio / Video đến, vì những ứng dụng này yêu cầu chặt chẽ về thứ tự các khung dữ liệu. Tính tổng quát của mô hình M/G/K/FCFS cho phép ta phân tích hệ thống và các vấn đề về hiệu năng của hệ thống. Trễ xử lý trong hệ thống máy chủ được tính theo công thức: E [D M / M / K / FC FS ]  J K  (1   ) 2 (9) 1 J  (8) K2 1 / (1   )    Ri i Ri   i  K 1 (10) 3.3. Ứng dụng công nghệ SAN trong xây dựng hệ thống máy chủ Audio/Video 3.3.1. Giới thiệu công nghệ SAN SAN (Storage Aera Networking) còn gọi là mạng lưu trữ là một mạng chuyên dụng, hoàn toàn tách biệt với các mạng LAN và WAN. SAN cho phép các server dữ liệu dùng được các ưu điểm của công nghệ I/O đĩa tốc độ cao mới như Ultra SCCI và Fibre Channel. 3.3.2. Các thiết bị I/O và điều khiển trong Server SAN Khi các yêu cầu I/O tăng thì mạng điều khiển cũng tăng. Đối với mỗi kênh audio/video thì phải có một cổng điều khiển cho trình ứng dụng điều khiển. 3.4. Hệ thống máy chủ Audio/Video với mạng SAN kênh quang 11 3.4.1. Kiến trúc kênh quang a. Lớp vật lý (Physical Layer) Kiến trúc Fibre Channel gồm các lớp độc lập như các giao thức mạng khác, và được chia thành 5 lớp đánh số từ 0 đến 4 (lớp 0 là lớp thấp nhất). Lớp vật lý là lớp 0 đến lớp 2 b. Các lớp trên (Upper Layers) • FC-3: định nghĩa các dịch vụ chung cho các node. Một dịch vụ đã được định nghĩa là multicast, một nơi phát đến nhiều nơi. • FC-4: định nghĩa sự ánh xạ giao thức lớp trên cùng. Các giao thức như: FCP (SCSI), FICON và IP có thể được ánh xạ đến dịch vụ truyền tải Fibre Channel. c. Cấu trúc liên kết (Topology) Fibre Channel kết nối các nodes với nhau thông qua 3 kiểu kết nối: Point-to-point, Loop, Switched. d. Các lớp dịch vụ FC cung cấp một hệ thống kết nối logic gọi là các lớp dịch vụ. Mỗi lớp dịch vụ được phân biệt bởi các giao thức Login khác nhau. Có 5 lớp dịch vụ bao gồm từ lớp 1 đến lớp 5. 3.4.2. Các thành phần chính trong cấu hình Video Server SAN SAN được tạo thành từ những thành phần phần cứng độc lập. Những thành phần này được kết nối với nhau hình thành nên mạng SAN và thường gồm những loại thiết bị như: hệ thống lưu trữ RAID, hub, switch, bridge, server, thiết bị dự phòng (backup device), card giao diện và cabling. Chúng được kết nối với nhau hình thành một hệ thống audio/video Server. 3.5. Các yêu cầu đối với mô hình Audio/Video Server SAN 3.5.1. Tính tương thích và các tiêu chuẩn mạng SAN 12 Thiết bị được sử dụng có rất ít sự tương thích, ví dụ các chuyển mạch Sự tương thích của các thiết bị Fibre Channel đã được cải thiện, mặc dù vậy đây vẫn là một thử thách lớn nhất khi thực hiện mạng SAN. 3.5.2. Kỹ thuật phân cụm cho lưu trữ trong máy chủ Clustering là một công nghệ máy chủ với khả năng chịu lỗi cao cung cấp tính sẵn sàng và khả năng mở rộng. Công nghệ này nhóm các server và tài nguyên chung thành một hệ thống đơn có khả năng miễn dịch lỗi và tăng hiệu năng hoạt động. Các máy trạm tương tác với nhóm các server như thể nhóm các server này là một hệ thống đơn. 3.5.3. Mạng SAN đồng nhất Mạng SAN đơn giản nhất là mạng SAN đồng nhất (Homogeneous SAN). Mạng SAN đồng nhất bao gồm chỉ các thiết bị của cùng một nhà sản xuất hoặc đối tác của nhà sản xuất đó. Các thiết bị của mạng hoạt động theo một hệ điều hành duy nhất. 3.5.4. Mạng SAN không đồng nhất Giải pháp phổ biến nhất nhưng cũng phức tạp nhất là thực hiện mạng SAN không đồng nhất (Heterogeneous SAN) với các thiết bị từ nhiều nhà sản xuất khác nhau. 3.6. Topology mạng SAN Tuỳ thuộc vào đặc điểm của các ứng dụng mà có nhiều topology (hoặc kiến trúc) khác nhau có thể được sử dụng cho mạng SAN. 3.6.1. Topology điểm-điểm Topology điểm-điểm là cấu hình đơn giản nhất có thể có cho mạng SAN. Cấu hình chung bao gồm một server được nối với một thiết bị lưu trữ đứng một mình. 3.6.2. Topology kiểu mạch vòng tuỳ biến 13 Một giải pháp đạt hiệu quả về giá thành cho mạng SAN gồm nhiều thiết bị khi lưu lượng dữ liệu tương đối nhỏ là xây dựng một mạng quanh một hub đơn lẻ, có các thiết bị hoạt động trong topology mạch vòng tùy biến (arbitrated loop). 3.6.3. Topology mạng chuyển mạch SAN Tất cả các mạng SAN quy mô lớn được dựa trên một chuyển mạch đường trục kết hợp với một số hub để tạo thành các public loop bên trong mạng chuyển mạch (fabric). Sử dụng các chuyển mạch cho hiệu quả rất cao vì không có tắc nghẽn bên trong chuyển mạch. 3.6.4. Topology dự phòng Dự phòng trong mạng Server lưu trữ có thể được thực hiện bằng một số phương pháp khác nhau và được thực hiện ở hai mức cơ bản, hoặc ở mức thiết bị hoặc ở mức mạng. 3.7. Kết luận Chương 3 trình bày về các đề xuất thiết kế hệ thống máy chủ Audio/Video với việc áp dụng mô hình hệ thống hàng đợi với K máy chủ; kiến trúc SAN, kỹ thuật phân cụm cho máy chủ. Những đề xuất trên được áp dụng để xây dựng một hệ thống máy chủ Audio/Video cho hậu kỳ sản xuất phim truyền hình ở chương tiếp theo. Chương 4. ĐỀ XUẤT MỘT HỆ THỐNG MÁY CHỦ AUDIO/VIDEO CHO HẬU KỲ SẢN XUẤT PHIM TRUYỀN HÌNH 4.1. Mở đầu Có thể hiểu một máy chủ (server) là một máy tính có bộ nhớ lớn, tốc độ cao, hoạt động như bộ lưu trữ dữ liệu và các chương trình ứng dụng trong mạng. Máy chủ cho Audio hoặc Video cũng là một máy tính như vậy. 14 Nội dung chương này sẽ phân tích, lựa chọn các cấu trúc máy chủ; phân tích các vấn đề về khả năng mở rộng và độ tin cậy trong hệ thống máy chủ để; trên cơ sở đó đề xuất phương án lựa chọn các máy chủ, xây dựng một hệ thống máy chủ Audio /Video phục vụ cho sản xuất hậu kỳ phim truyền hình. 4.2. Phân tích, lựa chọn các cấu trúc Audio/Video Server 4.2.1. Cấu trúc Server loại I Hình 4.1 mô tả loại Server cơ bản nhất có thể lựa chọn vào xây dựng hệ thống. Thực chất, loại server này hoạt động giống một máy tính nhưng với các yêu cầu vào/ra (I/O), đáp ứng thời gian và lưu trữ chuyên dụng. Bus kết nối tập trung và công suất CPU làm giới hạn chỉ tiêu kỹ thuật của kết nối loại này. Nhìn chung, các server loại này thường hỗ trợ ít hơn 15 kênh video băng thông cao (20 Mb/s). 4.2.2. Cấu trúc Server loại II Hình 4.2 mô tả cấu trúc server loại 2. Đó là cụm (cluster) các server loại 1. Thông thường cụm được tạo thành khi dùng vòng kênh sợi quang (Fibre Channel) hoặc mạng chuyển mạch (switch fabric). 4.2.3. Cấu trúc Server loại III Hình 4.3 mô tả cấu trúc server loại 3. Đây là cấu trúc kiểu lưu trữ chuyển mạch, còn được gọi là mạng lưu trữ (Storage Area Network – SAN). Một biến thể khác của lưu trữ chuyển mạch là lưu trữ gắn với mạng (Network Attached Storage – NAS). Với NAS, các tiểu hệ thống lưu trữ (Storage Subsystem) được thay bằng file server với tiểu hệ thống lưu trữ riêng của nó. Trong server loại 3, mỗi node I/O nối đến một lưu trữ chung khi dùng mạng chuyển mạch. 4.2.4. Cấu trúc Server loại IV 15 Hình 4.4 mô tả cấu trúc server loại 4, thường được ứng dụng trong streaming video qua mạng Internet. 4.3. Phân tích khả năng mở rộng và các vấn đề về độ tin cậy đối với Audio/Video Server 4.3.1. Khả năng mở rộng Tính mở rộng (scalability) chỉ khả năng mở rộng thông số của server khi cần thiết. Ví dụ lúc ban đầu chỉ cần trang bị server có 2 đầu vào, 4 đầu ra, gọi là 2 x 4. Tuy nhiên sau đó, do nhu cầu sử dụng, các câu hỏi đặt ra có thể là: liệu có thể nâng cấp nó thành 2 x8 hay không? Yếu tố nào ảnh hưởng đến tính mở rộng? Server loại nào có tính mở rộng tốt nhất? 4.3.2. Các vấn đề về độ tin cậy của hệ thống Server Có nhiều yếu tố ảnh hưởng đến độ tin cậy của hệ thống server, trong đó các khía cạnh sau là chính: Độ mạnh (robustness) của server và phần mềm tự động hóa; tính phức tạp và sự chặt chẽ (maturity) của phần mềm; chiến lược bảo vệ lưu trữ; các thành phần dự phòng (quạt, nguồn cung cấp, các codec…); các nút dự phòng, tất cả các loại có thể dùng nút dự phòng, cấu hình N + N hoặc N+1. 4.4. Xây dựng hệ thống Audio/Video Server cho hậu kỳ sản xuất phim truyền hình 4.4.1. Nhu cầu và định hướng chu trình công tác Bước đầu tiên trong lựa chọn server là xác định miền ứng dụng của nó, trả lời cho câu hỏi server cần cho mục đích gì? Ví dụ, Server dùng cho phát sóng (playback on-air server) là hoàn toàn khác với server cho sản xuất và server cho phát lại clip (playback clip server), cả trong các tiêu chí về dung lượng / chỉ tiêu kỹ thuật và giá thành. Bước thứ hai cần xem xét là giải pháp do nhà cung cấp sản phẩm đưa ra ứng với các chu trình công tác (work flow). 16 4.4.2. Các yêu cầu chung đối với hệ thống máy chủ a. hệ điều hành: MS-WINDOWS là hệ điều hành khá phổ biến nhất hiện nay và có sẵn bản Microsoft SQL Server tích hợp. b. Hệ thống phần cứng: Thiết bị phần cứng cho hệ thống máy chủ Audio/Video thường được chọn theo hướng sử dụng phần cứng của các hãng sản xuất thiết bị truyền hình chuyên dụng. Tuy nhiên, việc lựa chọn cấu hình phần cứng phải đáp ứng về khả năng mở rộng, khả năng thay thế và giá thành hợp lý. c. Hệ thống quản lý dữ liệu: Đối với hệ thống làm việc trên file, người ta quan tâm đến: định dạng file (file format), định dạng nén (codec), định dạng vật chứa (HDD, tape), dung lượng lưu trữ, các thông tin mô tả (metadata), mạng máy tính kết nối với hệ thống v.v… 4.4.3. Các yêu cầu kỹ thuật cụ thể đối với hệ thống Audio/Video cho sản xuất hậu kỳ Các yêu cầu chính gồm: 1. Dung lượng bộ lưu trữ, 2. Độ tin cậy 3. Số lượng client kết nối tới hệ thống và số lượng các client được truy cập theo thời gian thực; 4. Tốc độ dữ liệu trên SAN; 5. Phân mảnh dữ liệu, 6. Xử lý thời gian thực; 7. Lưu trữ near-line 4.4.4. Một số yêu cầu khác Một số yêu cầu khác gồm: Yêu cầu về định dạng dữ liệu Audio / Video; Yêu cầu mã hoá/nén tín hiệu;Yêu cầu về chất lượng dịch vụ 4.5. Tính toán hiệu năng cho hệ thống máy chủ Nội dung phần này trình bày một số tính toán hiệu năng cơ bản nhất cho hệ thống máy chủ và cho từng máy chủ riêng lẻ trên cơ sở lý thuyết hàng đợi. 17 Gọi các yêu cầu đến với tốc độ đến trung bình là  (đây là kỳ vọng của số các yêu cầu đến theo thời gian). Tốc độ phục vụ trung bình các tác vụ yêu cầu là . Tính toán hiệu năng cho một máy chủ: Số tác vụ (hay số khung dữ liệu) chờ trong bộ đệm máy chủ sẽ là [3]:   N  (k 1). pk  (1 )(k 1). k Hay N  k 1 k 1 2 (1   ) Thời gian chờ của các tác vụ trong hệ thống sẽ là: Tw  N 1 2   .    (1   )  (   ) Từ các công thức trên, có thể tính được dung lượng bộ đệm cần thiết trong mỗi máy chủ N để tránh tràn bộ đệm, thời gian trễ của các khung dữ liệu khi được máy chủ xử lý Tw. Tính toán hiệu năng cho hệ thống với k máy chủ: Tải  của hệ thống là:      K . K . Hàm Eclang F được tính theo công thức [2, 3]: F  1 P 1 P Trong đó, P là hàm xác suất Poisson (0< P<1) và P được tính K  1 ( K . ) i  i! theo: P  i  0 K ( K . ) i  i! i  0 Số tác vụ (hay số khung dữ liệu) chờ trong hệ thống máy chủ sẽ là: N  F .  (1   ) Thời gian chờ của các tác vụ trong hệ thống sẽ là : Tw  F TS . K (1   ) 18 Từ các công thức trên, ta có thể tính được tổng dung lượng bộ đệm cần thiết trong hệ thống máy chủ tối thiểu và thời gian trễ trung bình của các khung dữ liệu khi được hệ thống máy chủ xử lý. 4.6. Mẫu hệ thống Audio/Video Server cho hậu kỳ sản xuất phim truyền hình Hình 4.8 biểu diễn một server sản xuất trong hệ thống Audio / Video server dùng cho sản xuất mẫu hậu kỳ phim truyền hình. Trong hệ thống Audio/Video server này, nhiều định dạng có thể được nhận(ingest), lưu trữ và chia xẻ giữa các ứng dụng định hướng server khác nhau. Hình 4.8 Audio/Video Server cho sản xuất phim truyền hình 4.7. Đặc tính kỹ thuật và một số ví dụ minh hoạ hệ thống thực Hệ thống lưu trữ dùng chung thiết kế chuyên dụng cho môi trường sản xuất hậu kỳ chia sẻ. * Đặc tính kỹ thuật chính của hệ thống: - Số client real-time: lên tới 46. - Hỗ trợ các độ phân giải từ DV đến HD. Lên tới 2 single-stream client ở 1:1 10 bit HD. Lên tới 2 dual-stream client ở 1:1 8-bit HD. Lên tới 14 dual-stream client ở DNxHD 220 or 1:1 10-bit SD. Lên tới 18 dual-stream client at 1:1 8-bit SD. Lên tới 19 dual-stream 19 client ở độ phân giải DNxHD 145. Lên tới 46 client single stream ở độ phân giải DV25. - Cấu hình hệ thống hỗ trợ kết nối cáp quang (4 Gb), Gigabit Ethernet cấu hình linh hoạt. - Khả năng mở rộng lưu trữ lên tới 128 TB (64 TB mirrored). Mở rộng thêm tới 8 MEDIArray XT loại 16TB cho tổng dung lượng 128 TB. - Cộng tác thời gian thực: Tăng khả năng sản xuất, kế hoạch linh hoạt. - Quản lý lưu trữ FlexDrive: Tăng hoặc giảm lưu trữ bởi người sử dụng ở bất cứ thời gian nào, không ngắt quãng quy trình làm việc. - Chia sẻ MultiWrite: Cho phép nhiều người ghi đồng thời vào cùng volume ở cấp độ từng Frame. - UnityRaid: Phần mềm bảo vệ tư liệu: khả năng bảo vệ file sau khi đã ghi tư liệu - Khả năng AutoRecover cho phép tự động khôi phục tư liệu chạy trên nền. -Tính năng FlexDrive: Sửa chữa ổ đĩa Online và tự động sửa chữa cho ổ đĩa bị lỗi: Hệ thống được cấu hình với một hot spare, ổ đĩa được sửa chữa ngay cả khi hệ thống đang làm việc. - Khả năng quản lý ổ đĩa thông minh, chi phí hiệu quả. Băng thông tăng với tỉ lệ lưu trữ, tăng hiệu suất của mạng lưu trữ và tăng số máy trạm kết nối. * Cấu hình máy tính quản lý FileManager đi kèm: - Cấu hình máy chủ: Intel Pentium D915 2.8 GHz Dual Core Processor and 2 GB SDRAM, Windows 2003 OS, dual 80 GB System HDD, 16 Port PCIe RAID Controller, Internal 8x DVD, 24x CD-ROM Drive.