Tài liệu Nghiên cứu các phương pháp đánh giá chất lượng video trong các ứng dụng đa phương tiện

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ BÙI THỊ CẨM TÚ NGHIÊN CỨU CÁC PHƯƠNG PHÁP ĐÁNH GIÁ CHẤT LƯỢNG VIDEO TRONG CÁC ỨNG DỤNG ĐA PHƯƠNG TIỆN LUẬN VĂN THẠC SĨ ĐIỆN TỬ - VIỄN THÔNG Hà Nội - 2013 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ BÙI THỊ CẨM TÚ NGHIÊN CỨU CÁC PHƯƠNG PHÁP ĐÁNH GIÁ CHẤT LƯỢNG VIDEO TRONG CÁC ỨNG DỤNG ĐA PHƯƠNG TIỆN Ngành: Chuyên ngành: Mã số: Công nghệ Điện tử - Viễn thông Kỹ thuật Điện tử 60 52 70 LUẬN VĂN THẠC SĨ ĐIỆN TỬ - VIỄN THÔNG NGƯỜI HƯỚNG DẪN KHOA HỌC: TIẾN SĨ LÊ VŨ HÀ Hà Nội - 2013 MỤC LỤC LỜI CAM ĐOAN ..........................................................................................................3 LỜI CẢM ƠN ................................................................................................................4 MỤC LỤC ......................................................................................................................5 DANH MỤC BẢNG BIỂU ...........................................................................................8 DANH MỤC HÌNH VẼ.................................................................................................9 THUẬT NGỮ VIẾT TẮT ...........................................................................................10 CHƯƠNG 1. TỔNG QUAN VỀ CÔNG NGHỆ ĐA PHƯƠNG TIỆN VÀ CÁC ỨNG DỤNG ĐA PHƯƠNG TIỆN ............................................................................. 14 1.1 Công nghệ đa phương tiện 14 1.2 Một số ứng dụng đa phương tiện điển hình 14 1.2.1 1.2.2 1.2.2.1 1.2.2.2 1.2.2.3 1.2.2.4 1.2.2.5 Video call ...................................................................................................................... 14 Một số ứng dụng điển hình dựa trên IPTV ................................................................... 15 Dịch vụ hội nghị truyền hình ............................................................................................16 Video on Demand (VOD) .................................................................................................18 Truyền hình thời gian thực (Live TV), MobileTV .............................................................19 Dịch vụ hình ảnh và nhạc chờ đa phương tiện (MediaRingBackTone)............................20 Truyền hình giám sát (Video Surveillance) ......................................................................20 1.3 Mã hóa video trong các ứng dụng đa phương tiện 21 CHƯƠNG 2. NGHIÊN CỨU VỀ CHẤT LƯỢNG VIDEO CỦA CÁC ỨNG DỤNG ĐA PHƯƠNG TIỆN ....................................................................................... 23 2.1 Các yếu tố ảnh hưởng đến chất lượng video 23 2.1.1 2.1.2 2.1.3 2.1.4 2.1.5 2.1.6 2.1.7 Ảnh hưởng bởi hệ thống mã hóa/giải mã ..................................................................... 23 Giới hạn về băng thông ................................................................................................. 24 Mất gói tin..................................................................................................................... 24 Nghẽn tại máy chủ ........................................................................................................ 24 Jitter và Timing drift ..................................................................................................... 25 Ảnh hưởng của nhiễu .................................................................................................... 25 Suy hao đường truyền và fadding trong thông tin di động ........................................... 25 2.2 Vấn đề đánh giá chất lượng video trong các ứng dụng đa phương tiện 25 2.3 Thực trạng đo đánh giá chất lượng video trong các ứng dụng đa phương tiện ở Việt Nam 26 2.3.1 Thực trạng triển khai các dịch vụ đa phương tiện của một số nhà cung cấp dịch vụ tại Việt Nam 26 2.3.1.1 Tập đoàn VNPT ................................................................................................................26 2.3.1.2 Tập đoàn Viettel................................................................................................................26 2.3.1.3 FPT Telecom.....................................................................................................................26 2.3.1.4 VTC ...................................................................................................................................26 2.3.2 Vấn đề đo đánh giá chất lượng video trong các ứng dụng đa phương tiện .................. 27 CHƯƠNG 3. NGHIÊN CỨU TÌNH HÌNH CHUẨN HÓA PHƯƠNG PHÁP ĐÁNH GIÁ CHẤT LƯỢNG HÌNH ẢNH ................................................................. 28 5 3.1 Tình hình tiêu chuẩn hóa phương pháp đánh giá chủ quan 28 3.2 Tình hình tiêu chuẩn hóa phương pháp đánh giá khách quan 30 CHƯƠNG 4. PHƯƠNG PHÁP ĐÁNH GIÁ CHỦ QUAN CHẤT LƯỢNG VIDEO TRONG CÁC ỨNG DỤNG ĐA PHƯƠNG TIỆN ..................................... 32 4.1 Các điều kiện trong phương pháp đánh giá chủ quan 32 4.2 Một số phương pháp đánh giá chủ quan chất lượng hình ảnh video trong các ứng dụng đa phương tiện 36 4.2.1 4.2.2 4.2.3 4.2.4 4.2.5 4.2.6 4.2.7 Phương pháp đánh giá phân loại tuyệt đối (ACR) ........................................................ 36 Phương pháp đánh giá phân loại tuyệt đối với tham chiếu ẩn (ACR-HR) ................... 38 Phương pháp đánh giá phân loại suy giảm (DCR) ....................................................... 38 Phương pháp so sánh theo cặp (PC) ............................................................................. 40 Phương pháp thang đo chất lượng liên tục bằng tác nhân kích thích kép (DSCQS) .... 41 Phương pháp đánh giá chất lượng liên tục bằng tác nhân kích thích đơn (SSCQE) .... 42 Phương pháp đánh giá chủ quan chất lượng hình ảnh (SAMVIQ) .............................. 43 4.3 Tổng kết 44 CHƯƠNG 5. PHƯƠNG PHÁP ĐÁNH GIÁ KHÁCH QUAN CHẤT LƯỢNG VIDEO TRONG CÁC ỨNG DỤNG ĐA PHƯƠNG TIỆN ..................................... 47 5.1 Các mô hình tham chiếu trong phương pháp đánh giá khách quan 47 5.1.1 Mô hình tham chiếu đầy đủ ( Full _reference) ............................................................. 47 5.1.2 Mô hình tham chiếu rút gọn ( Reduce – Reference) ..................................................... 48 5.1.3 Mô hình không tham chiếu ( Non(Zero) _ reference) .................................................. 49 5.2 Một số phương pháp đánh giá khách quan chất lượng hình ảnh trong các ứng dụng đa phương tiện 49 5.2.1 Phương pháp đánh giá khách quan chất lượng hình ảnh video trong các ứng dụng đa phương tiện theo giải thuật FR-NTT ........................................................................................ 50 5.2.2 Phương pháp đánh giá khách quan chất lượng hình ảnh video trong các ứng dụng đa phương tiện theo giải thuật FR-PEVQ ..................................................................................... 51 5.2.3 Phương pháp đánh giá khách quan chất lượng hình ảnh video trong các ứng dụng đa phương tiện theo FR-SwissQual ............................................................................................... 53 5.2.4 Phương pháp đánh giá khách quan chất lượng hình ảnh video trong các ứng dụng đa phương tiện theo FR-Tektronix ................................................................................................ 54 5.2.5 Phương pháp đánh giá khách quan chất lượng hình ảnh video trong các ứng dụng đa phương tiện theo Yonsei ........................................................................................................... 54 5.2.6 Phương pháp đánh giá chất lượng hình ảnh video trong các ứng dụng đa phương tiện theo giải thuật NR-BLINDSII .................................................................................................. 54 5.2.7 Phương pháp đánh giá khách quan chất lượng hình ảnh video trong các ứng dụng đa phương tiện theo giải thuật NR- NIQE..................................................................................... 55 5.3 Hiệu năng của các phương pháp đo đánh giá chất lượng hình ảnh trong các ứng dụng đa phương tiện. 58 5.3.1 Hiệu năng các phương pháp theo mô hình tham chiếu đầy đủ (FR) ............................ 59 5.3.2 Hiệu năng các phương pháp theo mô hình tham chiếu rút gọn (RR) ........................... 59 5.3.3 Hiệu năng các phương pháp theo mô hình không tham chiếu (NR) ............................ 60 6 5.4 Mô phỏng phương pháp đánh giá chất lượng hình ảnh theo giải thuật NRNIQE 60 5.4.1 5.4.2 5.4.3 5.4.4 Môi trường cài đặt ........................................................................................................ 61 Dữ liệu hình ảnh thử nghiệm ........................................................................................ 61 Đánh giá PSNR dữ liệu hình ảnh thử nghiệm .............................................................. 68 Kết quả đánh giá dữ liệu hình ảnh thử nghiệm theo giải thuật NR-NIQE ................... 68 CHƯƠNG 6. KẾT LUẬN VÀ KHUYẾN NGHỊ ...................................................... 70 6.1 Kết luận 70 6.2 Khuyến nghị 71 PHỤ LỤC A .................................................................................................................74 HƯỚNG DẪN CHO NGƯỜI QUAN SÁT (ACR, ACR-HR, DCR, PC) ...............74 PHỤ LỤC B ..................................................................................................................76 CÁC HÀM MÔ PHỎNG PHƯƠNG PHÁP NIQE TRONG MATLAB ................76 PHỤ LỤC C .................................................................................................................80 CÁC THAM SỐ CHẤT LƯỢNG VIDEO ĐA PHƯƠNG TIỆN ........................... 80 C.1 Các tham số chất lượng Video 80 C.1.1 Các lớp Video ................................................................................................................. 80 C.1.2 Yêu cầu tốc độ khung hình (FR) đối với các ứng dụng .................................................. 80 C.2 Các tham số chất lượng khách quan 83 C.2.1 Các tham số luồng Video đa phương tiện ....................................................................... 83 C.2.2 Đánh giá chất lượng Video qua tỉ lệ mất khung I, P, B trong luồng Video .................... 83 C.2.3 Các tham số chất lượng truyền tải Video (Transport Metrics) ...................................... 84 C.2.4 Các tham số sửa lỗi ......................................................................................................... 85 C.2.5 Các tham số gói tin UDP tin cậy..................................................................................... 85 C.2.6 Các tham trễ và biến động trễ ......................................................................................... 85 C.2.7 Các tham số đánh giá theo TR 101 290 MPEG .............................................................. 86 C.3 Chuyển đổi kết quả đánh giá khách quan bằng PSNR sang MOS 87 C.4 Các tham số đối với MobileTV 87 C.5 Đánh giá độ lệch hình và tiếng 87 TÀI LIỆU THAM KHẢO...........................................................................................89 7 DANH MỤC BẢNG BIỂU Bảng 1 Các tiêu chuẩn kỹ thuật đặc trưng về hình ảnh trong hội nghị truyền hình. ................ 18 Bảng 2 Các chuẩn phổ dụng và các chỉ tiêu kỹ thuật tương ứng ............................................. 19 Bảng 3 Định dạng độ phân giải ................................................................................................ 19 Bảng 4 Tiêu chuẩn ITU về phương pháp đánh giá chủ quan chất lượng hình ảnh .................. 28 Bảng 5 Các điều kiện quan sát.................................................................................................. 33 Bảng 6 Các chuỗi kiểm tra áp dụng trong đánh giá chất lượng video của các ứng dụng đa phương tiện. .............................................................................................................................. 35 Bảng 7 Thang đo chất lượng 5 mức theo phương pháp ACR .................................................. 37 Bảng 8 Thang đo chất lượng 5 mức theo phương pháp DCR .................................................. 39 Bảng 9 Thang so sánh 7 mức theo phương pháp PC ................................................................ 40 Bảng 10 Hiệu năng của các phương pháp theo mô hình tham chiếu đầy đủ (FR)[6] .............. 59 Bảng 11 Hiệu năng của các phương pháp theo mô hình tham chiếu rút gọn (RR)[6] ............. 59 Bảng 12 Hiệu năng của các phương pháp theo mô hình không tham chiếu (NR) [7].............. 60 Bảng 13 PSNR của các hình ảnh thử nghiệm ........................................................................... 68 Bảng 14 Chỉ số NIQE chuỗi hình ảnh thử nghiệm (1) ............................................................. 68 Bảng 15 Chỉ số NIQE chuỗi hình ảnh thử nghiệm (2) ............................................................. 68 Bảng 16 Khuyến nghị áp dụng các phương pháp đánh giá ...................................................... 71 Bảng 17 Định nghĩa của các lớp video ..................................................................................... 80 Bảng 18 Chuyển đổi giá trị PSNR sang MOS .......................................................................... 87 8 DANH MỤC HÌNH VẼ Hình 1. Sơ đồ kết nối thiết bị điển hình cho Video conference ............................................... 17 Hình 2. Quá trình phát triển của các tiêu chuẩn mã hóa .......................................................... 22 Hình 3. Tổ chức tiêu chuẩn hóa phương pháp đánh giá khách quan ....................................... 31 Hình 4. Đánh giá chủ quan chất lượng hình ảnh ..................................................................... 33 Hình 5. Trình chiếu trong phương pháp ACR ......................................................................... 37 Hình 6. Ví dụ về đặc tính MOS trong phương pháp ACR....................................................... 38 Hình 7. Trình chiếu trong phương pháp DCR ......................................................................... 39 Hình 8. Trình chiếu trong phương pháp PC............................................................................. 40 Hình 9. Trình chiếu trong phương pháp DSCQS..................................................................... 41 Hình 10. Phân loại đánh giá DSCQS ....................................................................................... 42 Hình 11. Trình chiếu trong phương pháp SSCQE ................................................................... 43 Hình 12. Ví dụ về bố trí màn hình đánh giá SAMVIQ ............................................................ 44 Hình 13. Mô hình triển khai tham chiếu đầy đủ ...................................................................... 48 Hình 14. Mô hình tham chiếu rút gọn ...................................................................................... 49 Hình 15. Mô hình không tham chiếu ....................................................................................... 49 Hình 16. Giải thuật NTT trong đánh giá khách quan chất lượng video trong các ứng dụng đa phương tiện ............................................................................................................................... 50 Hình 17. Nguyên tắc hoạt động của các thiết bị đo chất lượng video theo giải thuật PEVQ .. 52 Hình 18. Cấu hình đo theo giải thuật PEVQ............................................................................ 53 Hình 19. MOS tương ứng với độ lệch hình và tiếng ............................................................... 88 9 THUẬT NGỮ VIẾT TẮT Viết tắt AAC AC-3 ACR ACR-HR AVI CIF D1 DCR DMOS DSCQS DSCS DSIS FR FRTV HDTV HE-AAC HRC ILG IPTV IPv4, IPv6 Chú giải tiếng anh Advanced Audio Codec Audio Compress -3 Absolute Category Rating Absolute Category Rating with Hidden Reference Audio Video Interleave Common Intermediate Format Chú giải tiếng Việt Giải mã âm thanh tiên tiến Chuẩn nén âm thanh 3 Phân loại tuyệt đối Đánh giá phân loại tuyệt đối với tham chiếu ẩn Định dạng AVI Định dạng trung gian phổ thông Độ phân giải toàn bộ màn hình Phân loại theo mức suy giảm Điểm đánh giá sai khác chất lượng trung bình Dgradation Category Rating Difference Mean Opinion Score Double Stimulus Continuous Quality Scale Double Stimulus Comparison Scale Double Stimulus Impairment Scale Full Reference Full Reference TeleVision High Definition TV High Eficiency ACC Hypothetical Reference Circuit VQEG’s Independent Laboratory Group Thang đo chất lượng kích thích kép liên tục Thang so sánh kích thích kép Internet Protocol on TV Truyền hình trên nền IP Internet Protocol version 4 / 6 Giao thức IP version 4 / 6 MAC MOS International Telecommunication Union Medium Access Control Mean Opinion Score MOSp Mean Opinion Score, predicted MP3 MPEG MS MSAN NR PC PDU PDV Moving Picture 3 Moving Picture Expert Group Multiplex Section MultiService Access Node No (or Zero) Reference Pair Comparison Protocol Data Unit Packet Delay Variation ITU 10 Tham chiếu đầy đủ Truyền hình tham chiếu đầy đủ Truyền hình độ nét cao Chuẩn âm thanh ACC hiệu quả Mạch tham khảo giả thiết Nhóm phòng thí nghiệm độc lập của VQEG Hiệp hội Viễn thông thế giới Điều khiển truy cập phương tiện Điểm đánh giá trung bình Điểm đánh giá trung bình được dự báo Chuẩn nến âm thanh MPEG Nhóm chuyên gia các hình ảnh động Phần ghép kênh Thiết bị truy cập đa dịch vụ Không tham chiếu So sánh theo cặp Đơn vị dữ liệu giao thức Biến động trễ gói PEVQ PHY PON PS PSNR PVR PVS QCIF QoE RMSE RR SAMVIQ SC SFR SRC SS SSCQE Perceptual Evaluation of Video Quality Physical (layer) Passive Optical Network Program Segment Peak Signal-to-Noise Ratio Personal Video Recorder Processed Video Sequence Đánh giá trực giác chất lượng Video Lớp vật lý Mạng quang thụ động Đoạn chương trình Tỷ số tín hiệu cực đại trên tạp nhiễu Thiết bị ghi Video cá nhân Trình tự xử lý Video Quarter Common Intermediate Format Quallity of Exprerience Root Mean Square Error Reduced Reference Subjective Asseccment Methodology for Video Quality Stimulus-Comparison Source Frame Rate Source Reference Channel or Circuit Single Stimulus Single Stimulus Continuous Quality Evaluation Định dạng phần tư màn hình Chất lượng dịch vụ Sai số bình phương trung bình gốc Tham chiếu rút gọn Phương pháp đánh giá chất lượng Video chủ quan So sánh kích thích Tốc độ khung gốc Kênh hoặc mạch tham chiếu gốc Kích thích đơn Phương pháp đánh giá chất lượng liên tục kích thích đơn SSMR Single Stimulus with Multiple Repetition Kích thích đơn với nhiều lần lặp lại UDP/IP User Datagram Protocol/Internet Protocol Giao thức UDP (xem IETF RFC 768 [B5]) / IP (see IETF RFC 791 [B6]) VOD Video On Demand VQEG Video Quality Experts Group Truyền hình theo yêu cầu Nhóm chuyên gia nghiên cứu chất lượng Video VQEG YUV Video Quality Experts Group Colour Space and file format Nhóm chuyên gia chất lượng Video Không gian màu và định dạng tệp 11 LỜI NÓI ĐẦU Với sự phát triển nhanh chóng của công nghệ, các ứng dụng đa phương tiện được phát triển hầu như ở mọi nơi. Các hãng cung cấp thiết bị cũng như các nhà cung cấp dịch vụ đều hướng tới việc cung cấp các ứng dụng đa phương tiện. Thực tiễn cho thấy các dịch vụ thông tin ngày nay không chỉ đơn thuần là cung cấp dữ liệu, số liệu mà đòi hỏi sự trực quan và tương tác cao. Dữ liệu đa phương tiện bao gồm text, đồ họa và đặc biệt là ảnh video… Do đó, các hình thức, loại hình, cũng như yêu cầu về chất lượng dịch vụ truyền thông đa phương tiện ngày càng phong phú, đa dạng. Việc đánh giá chất lượng ảnh, video sẽ góp phần quan trọng đối với chất lượng của các ứng dụng đa phương tiện được cung cấp. Cùng với sự phát triển mạnh mẽ của các ứng dụng đa phương tiện trên thực tế thì việc nghiên cứu các phương pháp đánh giá chất lượng của các ứng dụng này, cụ thể hơn là đánh giá chất lượng video, hình ảnh của các dữ liệu đa phương tiện là hết sức quan trọng và cần thiết. Do đó mục tiêu của luận văn này sẽ nghiên cứu các phương pháp đánh giá chất lượng video cho các ứng dụng đa phương tiện. Đối tượng nghiên cứu của luận văn là nghiên cứu các phương pháp đánh giá chất lượng Video cho các ứng dụng đa phương tiện, nghiên cứu các loại hình dịch vụ đa phương tiện, các chuẩn liên quan đến các lớp Video và chất lượng video của các tổ chức quốc tế. Ngoài ra, đối tượng nghiên cứu của luận văn còn bao gồm các tài liệu kỹ thuật, các kết quả nghiên cứu có liên quan đến lĩnh vực truyền thông đa phương tiện và các loại máy đo liên quan đến chất lượng Video và âm thanh. Nhằm mục đích nghiên cứu các phương pháp đánh giá chất lượng video trong các ứng dụng đa phương tiện, luận văn được xây dựng theo các nội dung như sau: CHƯƠNG 1: TỔNG QUAN VỀ CÔNG NGHỆ ĐA PHƯƠNG TIỆN VÀ CÁC ỨNG DỤNG ĐA PHƯƠNG TIỆN. CHƯƠNG 2: NGHIÊN CỨU VỀ CHẤT LƯỢNG VIDEO CỦA CÁC ỨNG DỤNG ĐA PHƯƠNG TIỆN. CHƯƠNG 3: NGHIÊN CỨU TÌNH HÌNH CHUẨN HÓA PHƯƠNG PHÁP ĐÁNH GIÁ CHẤT LƯỢNG HÌNH ẢNH CHƯƠNG 4: PHƯƠNG PHÁP ĐÁNH GIÁ CHỦ QUAN CHẤT LƯỢNG VIDEO TRONG CÁC ỨNG DỤNG ĐA PHƯƠNG TIỆN. CHƯƠNG 5: PHƯƠNG PHÁP ĐÁNH GIÁ KHÁCH QUAN CHẤT LƯỢNG VIDEO 12 TRONG CÁC ỨNG DỤNG ĐA PHƯƠNG TIỆN CHƯƠNG 6: KẾT LUẬN VÀ KHUYẾN NGHỊ Mục tiêu của luận văn là từ các kết quả nghiên cứu, thực hiện chương trình mô phỏng một trong những giải thuật đánh giá khách quan chất lượng video trong các ứng đụng đa phương tiện, làm nền tảng cơ bản phát triển một hệ thống đánh giá chất lượng hình ảnh. Các kết quả mô phỏng được trình bày trong chương 5. Với lượng thời gian có hạn, em đã nỗ lực thu thập tài liệu và xử lý thông tin liên quan đến các phương pháp đánh giá chất lượng video cho các ứng dụng đa phương tiện. Tuy nhiên, do việc đánh giá chất lượng video trong các ứng dụng đa phương tiện là một vấn đề mới mẻ và phức tạp với nhiều phương pháp đánh giá đa dạng, phong phú và còn đang được tiếp tục nghiên cứu, nên một số nội dung trong luận văn chưa được chi tiết và không thể tránh khỏi những thiếu sót. Em hy vọng nhận được nhiều ý kiến đóng góp để luận văn được hoàn thiện và tiếp tục phát triển. Trong quá trình thực hiện luận văn, em đã nhận được sự hướng dẫn hết sức tận tình của Thầy giáo – Tiến sĩ Lê Vũ Hà, một lần nữa em xin chân thành cảm ơn Thầy đã hướng dẫn, giúp đỡ để em có thể hoàn thành luận văn tốt nghiệp. Học viên Bùi Thị Cẩm Tú 13 CHƯƠNG 1. TỔNG QUAN VỀ CÔNG NGHỆ ĐA PHƯƠNG TIỆN VÀ CÁC ỨNG DỤNG ĐA PHƯƠNG TIỆN 1.1 Công nghệ đa phương tiện Nhiều quốc gia đã bắt đầu triển khai hệ thống quảng bá số cho phép cung cấp các ứng dụng đa phương tiện và quảng bá dữ liệu bao gồm video, âm thanh, hình ảnh tĩnh, văn bản và đồ họa. Hệ thống quảng bá phân phối các ứng dụng đa phương tiện có một số đặc điểm khác với các hệ thống truyền hình khác đang sử dụng hiện nay, đó là việc truy nhập thông tin có thể thực hiện thông qua bộ thu cố định hoặc di động; tỷ lệ khung hình cũng có thể cố định hoặc thay đổi, kích thước hình ảnh có phạm vi thay đổi lớn (ví dụ: từ SQCIF đến HDTV); video thường được nhúng với âm thanh, văn bản; video có thể được xử lý bằng các bộ mã hóa video tiên tiến và khoảng cách quan sát dài hay ngắn phụ thuộc vào ứng dụng. Và do đó cơ sở hạ tầng hệ thống quảng bá các dịch vụ đa phương tiện đặc trưng bởi việc sử dụng bộ thu cố định hay di động, tỷ lệ khung hình cố định hay biến đổi, định dạng hình ảnh khác nhau, bộ giải/mã hóa video tiên tiến, mất gói tin, v..v; Vấn đề đối với các dịch vụ đa phương tiện xác định là các yêu cầu đặc trưng cho từng loại hình dịch vụ và xác nhận sự phù hợp của giải pháp kỹ thuật cho từng dịch vụ tương ứng với yêu cầu đặc trưng của dịch vụ đó; Các dịch vụ băng rộng và truyền thông đa phương tiện cho máy tính cá nhân và điện thoại di động đã được mở rộng nhanh chóng và mạnh mẽ. Việc cung cấp dịch vụ cho khách hàng với một mức chất lượng thích hợp đòi hỏi công nghệ đánh giá chất lượng có thể đo lường chính xác chất lượng của video trong dịch vụ đa phương tiện. Để hiệu quả thiết kế và quản lý các dịch vụ chất lượng dịch vụ xem xét, chúng ta cần một công nghệ đánh giá chất lượng video cho phép đánh giá tự động chất lượng này. Việc đánh giá chất lượng cho các ứng dụng truyền hình đã được nghiên cứu và sử dụng rộng rãi, ví dụ bởi Nhóm các chuyên gia chất lượng video (VQEG). Gần đây, với sự phát triển của các ứng dụng đa phương tiện, thì việc nghiên cứu và áp dụng các kết quả trong công nghệ đánh giá chất lượng video cho các ứng dụng luồng Internet đang là vấn đề được quan tâm. 1.2 Một số ứng dụng đa phương tiện điển hình 1.2.1 Video call Video Call là dịch vụ thoại thấy hình, cho phép các thuê bao khi đang đàm thoại có thể nhìn thấy hình ảnh trực tiếp của nhau thông qua camera của thiết bị di động. 14 Điện thoại truyền hình (video call) là một trong các ứng dụng đa phương tiện đột phá trong lĩnh vực thông tin truyền thông. Thay vì chỉ giao tiếp thuần túy bằng tín hiệu thoại thì giờ đây ta có thể nhìn thấy và nói chuyện với nhau. Điện thoại truyền hình (video call) thông thường bao gồm 2 hoặc 3 luồng giao thức truyền theo thời gian thực (RTP) trực tiếp thông qua mạng IP. Các luồng giao thức truyền: - Audio (được mã hóa trong chuẩn mã hóa thoại G.722 và G.728). Video (mã hóa theo chuẩn H.261 và H.263) ở các cổng khác nhau. Điều khiển camera từ xa (FECC – far-end camera control) (tùy chọn). Trong Video call, mã hóa video bao gồm H.261(kiểu mã hóa cũ) và H.263 (kiểu mã hóa mới) được sử dụng để mã hóa video trên nền IP. Các loại mã hóa này bao gồm các thông số và giá trị sau: - Tốc độ mã hóa bit: 64kbps, 320 kbps. Các tốc độ bit này có thể là bội số bất kỳ của 100bps. Mã hóa:  Độ phân giải ¼ khung hình (Onequarter Common Interchange Format QCIFResolution 176x144)  Định dạng khung hình (Common Interchange Format – CIFResolution 352x288)  Định dạng 4 khung hình – (4CIF Resolution 704x576)  Định danh phụ của QCIF (SQCIF -Resolution 128x96)  Định dạng 16CIF (Resolution 1408x1152) - Tốc độ khung hình: 15 khung hình/s (fps), 30 fps. Ứng dụng video call còn được sử dụng kết hợp với nhiều ứng dụng đa phương tiện khác như hội nghị truyền hình (VC), video theo yêu cầu (VOD)… 1.2.2 Một số ứng dụng điển hình dựa trên IPTV Hệ thống IPTV phát triển dựa trên hệ thống mạng băng thông rộng đang triển khai, có khả năng cung cấp được 05 nhóm dịch vụ như sau:  Dịch vụ truyền hình quảng bá gồm các dịch vụ: - Truyền hình trực tiếp ( Live TV); Truyền hình phát lại (Time-shifted TV); Kênh ảo VoD (Virtual channel from VoDs) NVoD (near Video on Demand); Truyền hình di động (Mobile TV).  Dịch vụ theo yêu cầu (on demand), bao gồm các dịch vụ: 15 - Video theo yêu cầu (Video on Demand – VoD); Truyền hình theo yêu cầu (TV on Demand – TVoD); Trò chơi theo yêu cầu (Games on Demand); Nghe nhạc theo yêu cầu (Music on Demand); Karaoke theo yêu cầu (Karaoke on Demand).  Các dịch vụ tương tác (interactive), bao gồm các dịch vụ: - PVR (Personal Video Recorder), cPVR (Client PVR); nPVR (Networked PVR); Dự đoán và bình chọn (Guess and Voting); Giáo dục qua truyền hình (TV education); Thương mại trên truyền hình; Chức năng tương tác qua mobile. Dịch vụ thông tin và truyền thông, bao gồm các dịch vụ: Internet trên TV (Web browser); Cung cấp thông tin qua truyền hình (TV information); Nhắn tin qua truyền hình (TV Messaging); Hội nghị truyền hình (video conference); Điện thoại truyền hình (Video phone);  Các dịch vụ gia tăng khác , bao gồm các dịch vụ: - Tin nhắn SMS/MMS; TV Mail; Chia sẻ nội dung (media sharing); Video blog; Giám sát mọi nơi (global monitoring); Game online (multiplayer games). Sau đây nghiên cứu chi tiết của một số dịch vụ điển hình. 1.2.2.1 Dịch vụ hội nghị truyền hình Dịch vụ hội nghị truyền hình (video conference) - một trong những ứng dụng đa phương tiện được sử dụng rộng rãi ngày nay, là dịch vụ được triển khai và sử dụng dịch vụ dựa trên các công nghệ mạng truyền thông tiên tiến như IP, ATM hay ISDN. Dịch vụ này có khả năng truyền hình ảnh, âm thanh trực tuyến giữa nhiều điểm trên mạng không giới hạn về khoảng cách địa lý.  Truyền hình ảnh: Cho phép tùy biến từ 1 – 40 hình/ s, nâng cao chất lượng hình ảnh khi đường truyền tốt: - QCIF Video (176x144 điểm ảnh): 80Kbps. CIF Video (352x288 điểm ảnh): 150Kbps. VGA Video (640x480 điểm ảnh): 300Kbps. 16  Thiết kế đường truyền Hệ thống thiết bị hội nghị truyền hình là một hệ thống thiết bị điện tử (bao gồm cả phần cứng và phần mềm) sử dụng công nghệ kỹ thuật số, nén mã hóa và giải mã (coder/decoder) âm thanh và video trong thời gian thực. Giải pháp hội nghị truyền hình dựa trên công nghệ IP với sự hỗ trợ nhiều giao thức (H.320, H.323, SIP, SCCP) cho phép triển khai hệ thống Hội nghị truyền hình tiên tiến nhưng vẫn tận dụng được cơ sở hạ tầng có sẵn. Hình 1. Sơ đồ kết nối thiết bị điển hình cho Video conference Thiết bị cơ bản bao gồm: 1. Camera - Thu tín hiệu hình ảnh. 2. Micro - Thu tín hiệu âm thanh. 3. DECODE - Xử lý mã hóa nhận và truyền tín hiệu âm thanh và hình ảnh và truyền qua đường truyền. 4. Màn hình hiển thị - Hiển thị hình ảnh của các phòng họp từ xa. 5. Loa - Phát tín hiệu âm thanh của các phòng họp từ xa. 6. MCU - Thiết bị quản lý và xử lý đa điểm 17 7. Lưu Trữ - Ghi lại nội dung cuộc họp. 8. Show Present - Thường là phần mềm có chức năng trình chiếu tài liệu tại một máy tính lên hình ảnh của hội nghị. Bảng 1 Các tiêu chuẩn kỹ thuật đặc trưng về hình ảnh trong hội nghị truyền hình. Các tiêu chuẩn đóng gói hình ảnh VDOnet,VDOwave,MPEG4 Có thể thay đổi theo yêu cầu của client 160 x 120 ( QCIF) Độ phân giải hình ảnh 320 x 240 (CIF) 640 x 480 (VGA) 1280 x 720 ( 720P) Tốc độ truyền ảnh:hình/s (frm/s) 1.2.2.2 480 x 270 (1/4 HD) Mặc định là 15 hình/s 960 x 540 (1/2 HD) Dải điều chỉnh cho phép từ: 1 – 40 hình/ s 1920 x 1080 (Full HD) Độ delay hình ảnh tối đa 500 milisecond Video on Demand (VOD) VoD là hệ thống cho phép người dùng lựa chọn và xem các nội dung video hoặc âm thanh theo yêu cầu. VoD hồi đáp thắc mắc được phát ra bởi một thuê bao qua thiết bị set-top box hoặc PC, các luồng hồi đáp là mỗi chuỗi các gói unicast tới địa chỉ IP của thiết bị set-top box hoặc máy tính cá nhân. Điển hình, trạm quản lý thuê bao sẽ hiển thị một danh sách các sự kiện VoD từ một thuê bao có thể lựa chọn chương trình. Cũng phương pháp như vậy, luồng gói dữ liệu IP sẽ biểu diễn một truyền dẫn unicast tới thiết bị set-top box hoặc máy tính cá nhân của thuê bao. RTSP được sử dụng trong các ứng dụng VoD để khách hàng truy cập, điều khiển nội dung lưu trữ tại VoD server. VoD thực chất là liên lạc một-một được tạo ra sử dụng unicast. Unicast cho phép thực hiện dịch vụ VoD và gửi đến khách hàng đơn lẻ. Hai thành phần quan trọng của một dịch vụ VOD là dịch vụ di động và phiên di động. Dịch vụ di động đề cập đến khả năng truy cập một dịch vụ từ các thiết bị khác qua sử dụng các mạng truy cập khác nhau. Dịch vụ di động True cũng yêu cầu chuyển vùng, tức là không chỉ cho phép các phương pháp truy cập khác nhau cho người sử dụng 18 thiết bị khác nhau, mà còn cho phép các UE và để kết nối thông qua mạng lõi IMS quản lý bởi các nhà khai thác khác. Phiên di động là đặc tính cho phép người dùng kết thúc việc xem các video giữa các phiên và sau đó tiếp tục xem từ cùng một vị trí bằng cách sử dụng một UE. Điều này có nghĩa rằng thời gian hiện tại (thiết lập) trong bộ phim cần phải được lưu trong mạng khi chấm dứt phiên ban đầu, cho phép các MF để bắt đầu streaming bộ phim từ các ô đã lưu thiết lập khi bộ phim được phát trên các thiết bị của người dùng kế tiếp.  Chuẩn nén hình ảnh trong VoD Bảng 2 Các chuẩn phổ dụng và các chỉ tiêu kỹ thuật tương ứng Định dạng video H.261 Sốkhung hình 20-30 Tốc độ Định dạng độ phân giải (Kbps) 384-2000 QCIF, CIF H.263 20-30 28.8-768 MPEG-1 30 400-1500 SQCIF, QCIF, CIF, 4CIF, 16CIF QCIF, CIF, 4CIF MPEG-2 30 2000-6000 4CIF, 16CIF QCIF, CIF MPEG-4 30 28.8-500 Bảng 3 Định dạng độ phân giải 1.2.2.3 Định dạng độ phân giải PixelxLines SQCIF QCIF CIF 4CIF 16CIF 128x96 176x144 352x288 704x480 1408x1152 Truyền hình thời gian thực (Live TV), MobileTV Truyền hình thời gian thực (Live TV) là một ứng dụng mà người sử dụng có thể truy cập các nội dung về truyền hình thông qua mạng 3G. Luồng Video chất lượng cao thời gian thực có thể được phát thông qua dịch vụ Video Call trong mạng 3G hoặc có thể thực hiện qua kết nối đến hệ thống WAP Portal. Đây được hiểu là dịch vụ truyền hình số trên nền mạng IP cung cấp dạng phát quảng bá (Broadcast) những chương trình truyền hình được thu lại từ hệ thống truyền hình mặt đất, truyền hình cáp, truyền hình vệ tinh hoặc kênh truyền hình riêng tới khách hàng. Các kênh truyền hình được hỗ trợ tính năng trả tiền theo từng kênh hoặc theo từng thời điểm người xem muốn xem (Pay-per-View – PPV). Set-top-box (STB) có giao diện 19 hướng dẫn xem chương trình và kế hoạch phát sóng chương trình TV cập nhật dễ dàng. Người xem có thể chuyển kênh thuận tiện trên STB tại đầu cuối của khách hàng. 1.2.2.4 Dịch vụ hình ảnh và nhạc chờ đa phương tiện (MediaRingBackTone) Hình 2. Mô hình cuộc gọi hình ảnh và nhạc chờ đa phương tiện (Media RingBackTone) Quy trình thực hiện cuộc gọi Video RingBackTone như sau: - Khách hàng có thể đăng ký dịch vụ hình ảnh và nhạc chờ đa phương tiện. Khi có cuộc gọi đến số điện thoại của khách hàng thì cuộc gọi sẽ được định tuyến đến hệ thống Video Ring BackTone thông qua Video Gateway. Người gọi đến sẽ nhận được Video Clip do khách hàng đăng ký dịch vụ đã chọn lựa trong quá trình thiết lập cuộc gọi. Khi cuộc gọi được thiết lập, Video Clip sẽ được giải phóng và cuộc gọi được kết nối. 1.2.2.5 Truyền hình giám sát (Video Surveillance) Dữ liệu giám sát (hình ảnh video) được truyền từ IP Camera về các máy chủ NVR (Network Video Recorder – là một máy chủ được cài đặt phần mềm NVR), ở đây dữ liệu video được xử lý một cách real-time và cung cấp các chức năng xử lý hình ảnh thông minh hỗ trợ chức năng giám sát cho hệ thống trung tâm. Do hệ thống hoạt động trên nền IP nên chỉ cần máy chủ kết nối với internet, khách hàng hoàn toàn có thể quan sát được camera ở mọi lúc, mọi nơi. Dịch vụ Video Surveillance cho phép khách hàng dễ dàng quan sát hình ảnh, video qua giao diện web và quản lý tập trung hàng trăm camera qua hệ thống quản lý giám sát tập trung (Central Monitoring System). 20 Hình 3. Mô hình kết nối dịch vụ truyền hình giám sát Một ứng dụng khác của dịch vụ truyền hình giám sát là Mobile Camera của giúp cho khách hàng có thể xem được trạng thái giao thông tại các nút giao thông.Dịch vụ này đã được triển khai tại Hà Nội và TP. Hồ Chí Minh, góp phần vào việc giải quyết ùn tắc giao thông đô thị. Hay IP camera hiện tại được rất nhiều hộ gia đình, cá nhân sử dụng để có thể quan sát căn hộ của mình, khi cần thiết, từ nơi làm việc. Một trong những chức năng chính của dịch vụ truyền hình giám sát là phân tích hình ảnh thông minh:       Ghi hình khi xuất hiện chuyển động (Motion Detection). Chụp ảnh khuôn mặt. Phát hiện vật lạ trong khu vực giám sát. Phát hiện mất đồ trong khu vực giám sát. Đếm người ra vào. Phát hiện xâm nhập vào khu vực cấm. 1.3 Mã hóa video trong các ứng dụng đa phương tiện Mã hóa và giải mã video là một trong những khâu quan trọng trong các ứng dụng đa phương tiện. Hiện tại có hai hệ thống tiêu chuẩn chính trong việc thiết lập các tiêu chuẩn nén video. Đó chính là ITU (International Telecommunications Union) và MPEG (Motion Picture Experts Group), trong đó các tiêu chuẩn của MPEG được sử dụng chủ yếu trong các ứng dụng đa phương tiện. Trong những năm qua cả hai hệ thống tiêu chuẩn này đều đưa ra các tiêu chuẩn cho việc mã hóa và giải mã video. 21 Hình 2. Quá trình phát triển của các tiêu chuẩn mã hóa Trong đó, MPEG-4 được thiết kế đặc biệt cho việc nén hình ảnh và âm thanh, tiêu chuẩn này cho phép cung cấp các dịch vụ và nội dung có chất lượng từ thấp cho đến chất lượng cao qua các môi trường truyền tải khác nhau như: băng rộng, không dây, chuyển mạch gói. MPEG-4 thực sự là một tập các tiêu chuẩn công nghệ nhằm đảm bảo chất lượng dịch vụ từ nhà cung cấp dịch vụ nội dung đến người dùng cuối. MPEG-4 bao gồm các thành phần sau: - Hệ thống MPEG-4; - Hệ thống hình ảnh MPEG-4; - Hệ thống âm thanh MPEG-4; - Cơ cấu phân phối đa phương tiện (DMIF). Trong MPEG-4, âm thanh và hình ảnh có thể được lưu trữ và truyền riêng biệt, thiết bị đầu cuối cần phải có khả năng kết hợp các thành phần riêng biệt này dữ liệu đa phương tiện thực sự để trình diễn. Thành phần hệ thống MPEG-4 mô tả mối liên hệ giữa hai thành phần âm thanh và hình ảnh, cho phép tổng hợp lại nội dung đa phương tiện tại đầu cuối. 22