Tài liệu Bài giảng kỹ thuật audio - video - ts. nguyễn duy nhật viễn

AUDIO-VIDEO Jun, 2004 Audio-Video Engineering TÀI LIỆU THAM KHẢO • CMPT 365 Course Contents, Spring 2000, http://www.cs.sfu.ca/CourseCentral/365/li/index.html • “Principles of Digital Audio”, Ken C.Pohmanm Fourth Edition McGraw-Hill. • “Digital Video processing”, A. Murat Tekalp, University of Rochester, Prentice Hall PTR. • “Multimedia processing”, Andrew Calway, COMS72200. • “Fundamentals of Digital Image Processing”., Anil.K.Jan, Prentice Hall, 1996. • MPEG Home Page, http://www.cselt.it/mpeg/ Audio-Video Engineering NỘI DUNG • TỔNG QUAN • KỸ THUẬT AUDIO • KỸ THUẬT VIDEO Audio-Video Engineering AUDIO-VIDEO CHƯƠNG1 TỔNG QUAN Audio-Video Engineering TỔNG QUAN • TỔNG QUAN VỀ MULTIMEDIA • KHÁI NIỆM CHUNG VỀ AUDIO VÀ VIDEO • HỆ THỐNG AUDIO-VIDEO • MỘT SỐ VẤN ĐỀ VỀ TÍN HIỆU Audio-Video Engineering TỔNG QUAN VỀ MULTIMEDIA • Lịch sử phát triển của hệ thống đa môi trường ! Cuộc sống hiện đại, nhu cầu trao đổi thông tin ngày càng tăng. ! Hệ thống đa môi trường đầu tiên là báo, tạp chí với môi trường là văn bản, đồ hoạ và hình ảnh. ! Năm 1895, Guglemo Marconi phát minh ra máy radio ở Pontechio – Ý. Năm 1901, tín hiệu vô tuyến được ông truyền qua Đại Tây Dương và phát minh ra máy điện tín, radio là môi trường chuyển tải tín hiệu audio quảng bá hiện nay. ! Truyền hình, môi trường truyền thông của thế kỷ 20, truyền hình ảnh và âm thanh đến mọi nơi trên thế giới, mang thông tin cần thiết cho cuộc sống của con người. ! Các hệ thống máy tính tích hợp nhiều dạng môi trường số khác nhau với khả năng biểu diễn, tương tác với các dạng thông tin, là một tiềm năng lớn phục vụ nhu cầu trao đổi thông tin với chất lượng cao của xã hội. Audio-Video Engineering TỔNG QUAN VỀ MULTIMEDIA • Siêu phương tiện và đa phương tiện (hypermedia – multimedia) ! Siêu văn bản (hypertext) là văn bản có chứa các liên kết đến một văn bản khác. Thuật ngữ này được phát minh bởi Ted Nelson (1965). Siêu văn bản là một văn bản không tuyến tính. ! Siêu văn bản là một tài liệu không tuyến tính, bằng cách kích vào một điểm nóng nào đó trên văn bản, nó có thể chuyển đến một tài liệu hay một văn bản khác, rồi có thể quay về, thuận tiện cho người đọc trong việc duyệt văn bản hoặc muốn tổng quan một văn bản từ phần mục lục. ! Hypermedia: Siêu phương tiện không bị ràng buộc như hypertext. Nó có thể bao gồm nhiều phương tiện truyền thông khác nhau như đồ thị, hình ảnh, âm thanh, hoạt hình và ảnh động. Thuật ngữ này cũng được Ted Nelson phát minh. ! Multimedia: Đa phương tiện là thông tin máy tính có thể được mô tả bằng audio, viedo hay hoạt hình ngoài những phương tiện truyền thống. ! Siêu phương tiện có thể được xem là một trong những ứng dụng của đa phương tiện. Audio-Video Engineering TỔNG QUAN VỀ MULTIMEDIA Đồ hoạ Văn bản thường (tuyến tính) Âm thanh Siêu văn bản Video Siêu môi trường Hình 1-1 Hypertext, Hypermedia Audio-Video Engineering TỔNG QUAN VỀ MULTIMEDIA • Ví dụ một số ứng dụng multimedia: ! ! ! ! ! ! ! ! ! Hệ thống xây dựng và soạn thảo video số. Tạp chí điện tử. Trò chơi. Thương mại điện tử. Truyền hình tương tác iTV. Truyền hình hội nghị. Truyền hình theo yêu cầu. Thực tế ảo. … Audio-Video Engineering TỔNG QUAN VỀ MULTIMEDIA • ! Các dạng môi trường và tín hiệu: Các dạng môi trường được phân loại thành môi trường liên tục, rời rạc dạng môi trường lên tục rời rạc audio video images thu nhận animation text tổng hợp graphic gốc tín hiệu Hình 1-2 Dạng môi trường Audio-Video Engineering . TỔNG QUAN VỀ MULTIMEDIA Hình 1-3 Thu nhận và tổng hợp Audio-Video Engineering KHÁI NIỆM CHUNG VỀ AUDIO VÀ VIDEO • Âm thanh (audio) ! Âm thanh: ! Là dao động sóng âm gây ra áp lực làm dịch chuyển các hạt vật chất trong môi trường đàn hồi làm tai người cảm nhận được các dao động này. ! Tai người có thể nghe được trong khoảng tần số từ 20Hz đến 20kHz. ! Âm thanh tự nhiên: ! Là sự kết hợp phức giữa các sóng âm có tần số và dạng sóng khác nhau. ! Dải động của tai: ! Giới hạn bởi ngường nghe thấy (0dB) đến ngưỡng đau (120dB) của người. ! Ngưỡng nghe tối thiểu: ! Là mức thấp nhất mà tai người có thể cảm nhận được âm thanh tuỳ thuộc vào từng người, mức áp lực và tần số của âm thanh. ! Hiệu ứng che khuất âm thanh: ! Là hiện tượng âm thanh mà tại đó ngưỡng nghe thấy của một âm thanh này được tăng lên trong khi có mặt của một âm thanh khác (khó nghe hơn). Được sử dụng trong kỹ thuật nén. Audio-Video Engineering KHÁI NIỆM CHUNG VỀ AUDIO VÀ VIDEO ! Hướng âm thanh: ! Tai và não có thể giúp ta xác định hướng âm thanh, điều này có thể ứng dụng để tạo các hiệu ứng âm thanh như stereo, surround. ! Vang và trễ: ! Vang là hiện tượng kép dài âm thanh sau khi nguồn âm đã tắt. ! Trễ là thời gian τ âm thanh phản xạ đến đích so với âm thanh trực tiếp. Nếu τ>50ms thì trễ đó gọi là tiếng vọng. Biên độ của âm thanh cứ sau 1 lần phản xạ thì bị suy giảm. ! Âm nhạc: ! Là âm thanh có chu kỳ ở những tần số mà tai người cảm nhận một cách dễ chịu, êm ái, được kết hợp một cách phù hợp. ! Âm nhạc gồm cao độ, âm sắc và nhịp điệu. ! Video ! Tín hiệu video: ! Là sự tái tạo ảnh tự nhiên với những khoảng cách về không gian, thời gian hoặc cả hai. Ảnh tự nhiên được tạo nên từ các nguồn sáng mặt trời hay ánh sáng nhân tạo phản xạ lên các vật thể mà ta có thể nhìn thấy được. Audio-Video Engineering KHÁI NIỆM CHUNG VỀ AUDIO VÀ VIDEO ! Ảnh: ! Là một ma trận các điểm ảnh mang thông tin về độ chói và màu sắc. ! Sự lưu ảnh: ! Khả năng lưu hình của mắt trong một giây. Mắt có thể lưu được 24 hình trong một giây. Dựa vào đặc tính này mà người ta chọn số hình trong một giây của ảnh động không quá lớn, mà cũng không được nhỏ hơn độ lưu ảnh của mắt để không thấy hình ảnh nhấp nháy hay không liên tục. ! Độ chói: ! Là biên độ của thành phần trong ảnh (pixel). ! Ví dụ tín hiệu chói Y được tổng hợp bởi các tín hiệu RGB theo công thức: EY=0,299ER+0,587EG+0,114EB (1-2) ! Thông tin màu được xác định: EB-EY=0,587EG+0,889EB+0,229ER ER-EY=0,587EG+0,114EB+0,701ER (1-3) ! Độ tương phản: ! Tỷ số của độ chói thành phần sáng nhất so với độ chói của thành phần tối nhất. Audio-Video Engineering HỆ THỐNG AUDIO-VIDEO • Hệ thống audio tương tự Nguồn âm Tiền khuếch đại Xử lý Khuếch đại Lưu trữ Xuất Hình 1-4 Hệ thống audio tương tự • Hệ thống video tương tự Ảnh tái tạo Cảnh tự nhiên Ống kính Chuyển đổi ảnhtín hiệu Xử lý tín hiệu Lưu trữ hoặc truyền dẫn Tạo xung đồng bộ Xử lý tín hiệu Tách xung đồng bộ Hình 1-5 Hệ thống Video tương tự Audio-Video Engineering Chuyển đổi tín hiệu- ảnh Mắt người HỆ THỐNG AUDIO-VIDEO • Hệ thống audio-video số: Nguồn tín hiệu analog Xử lý Lưu trữ Truyền dẫn ADC DAC Bộ hiển thị, xuất tương tự Hình 1-6 Hệ thống audio-video số • Các thành phần của hệ thống: Bộ phận thu: Quá trình thu tín hiệu audio hoặc video từ âm thanh hay cảnh tự nhiên vào môi trường lưu trữ được gọi là quá trình thu. Điều này có thể thực hiện bởi micro thu âm hay camera thu hình. Micro và Camera là các thiết bị thu tín hiệu và chuyển tín hiệu (âm thanh hoặc ảnh) sang tín hiệu điện tương tự. Đối với các hệ thống số phải thực hiện việc chuyển đổi tương tự sang số. Lưu trữ: Thiết bị lưu trữ là băng từ hoặc đĩa từ. Có thể là các thiết bị riêng biệt sử dụng với muc đích thuận tiện và yêu cầu một chất lượng nào đó. Xử lý tín hiệu: Điều chỉnh đặc tuyến tần số, màu sắc, tạo hiệu ứng.. Truyền dẫn: Truyền tín hiệu từ vị trí này sang vị trí khác với một khoảng cách không gian nào đó qua một môi trường truyền dẫn nào đó. Audio-Video Engineering MỘT SỐ VẤN ĐỀ VỀ TÍN HIỆU • Tín hiệu và hàm ! Tín hiệu tương tự là hàm theo thời gian. Biên độ ! Biên độ âm thanh được biểu diễn bằng mức f(t0) độ âm thanh tại thời điểm đã cho. ! Tín hiệu được biểu diễn bằng hàm f(t). • Tín hiệu có chu kỳ • Phân tích Fourier Thời gian t t0 ! Sự lặp lại trong một khoảng thời gian ngắn nhất không đổi gọi là chu kỳ T. Hình 1-7 Biểu diễn biên độ-thời ! Tần số là nghịch đảo của chu kỳ: u=1/T. gian Trong thực tế, rất ít khi ta có được một tín hiệu đơn tần, mà thông thường là các tín hiệu phức tạp, kết hợp bởi nhiều tần số và các hài của nó. Tuy nhiên, ta có thể phân tích chúng thành tổng hợp của các tín hiệu đơn tần. Đó là phân tích Fourier. ! Việc phân tích Fourier cho kết quả là tổng của các hàm sin và cosin của các tần số khác nhau. ! Audio-Video Engineering MỘT SỐ VẤN ĐỀ VỀ TÍN HIỆU • Phân tích Fourier một chiều: F (u ) = ∞ ∫ f (t )e− j 2π ut dt −∞ f (t ) = • Biên độ và pha ∞ ∫ F (u )e −∞ j 2π ut du (1-4) (1-5) ∞ f (t ) = 2 F (u ) cos[ 2π + θ (u )]du • Trong thực tế, F(u) là một số phức: ∫0 F(u)=FR -(u) + jFI (u) • Trong đó, FR-(u) và FI(u) là phần thực và phần phức. • Biên độ được xác định như sau: F (u ) = FR2 (u ) + FI2 (u ) • Pha được xác định như sau: • Khi đó với θ (u ) = arctan( e = cos t + j sin t jt • Như vậy, với tín hiệu thực: thì: FI (u ) ) FR (u ) F (u ) = FR (u ) + jFI (u ) = F (u ) e jθ (u ) ∞ f (t ) = 2 ∫ F (u ) cos[ 2π + θ (u )]du 0 Audio-Video Engineering (1-6) (1-7) (1-8) (1-9) (1-10) MỘT SỐ VẤN ĐỀ VỀ TÍN HIỆU • Phổ tần số ! Sự phân bố của |F(u)| gọi là phổ tần của tín hiệu. ! Tín hiệu biến thiên chậm thì phổ tần tập trung ở tần số thấp và ngược lại. Từ đó hình thành tín hiệu tần số thấp và tần số cao. • Tín hiệu Audio và Video !Tín hiệu âm thanh thường là tín hiệu một chiều. !Tín hiệu ảnh là tín hiệu hai chiều. !Tín hiệu Video là tín hiệu 3 chiều. !Với các chiều khác nhau, ta sẽ có số biến khác nhau tương ứng. !Chuyển đổi Fourier 2 chiều !Với các biến u, v trong mền tần số. !Chuyển đổi ngược: f ( x, y ) = !Với : F (u , v ) = ∞ ∞ ∫ ∫ f ( x , y )e − j 2π ( ux + vy ) − ∞− ∞ dxdy (1-11) ∞ ∞ j 2π ( ux + vy ) ( , ) F u v e dudv ∫ ∫ (1-12) e − j 2π (ux + vy ) = e − j 2πux e − j 2πvy (1-13) − ∞− ∞ Audio-Video Engineering MỘT SỐ VẤN ĐỀ VỀ TÍN HIỆU !Do đó, phân tích Fourier 2 chiều theo hai biến x, y là: ∞ ∫ Fx (u , y ) = f ( x, y )e − j 2πux dx −∞ F (u , v ) = !Đối với tín hiệu thực f(x,y): (1-14) ∞ − j 2πvy ( , ) F u y e dy ∫ x −∞ ∞∞ f ( x, y ) = 2∫ ∫ | F (u, v) | cos[2π (ux + vy ) + θ (u , v)]dudv (1-15) 0 0 • Màu sắc: Việc kết hợp các màu khác nhau tạo nên một màu mới. Thông thường, chọn các màu cơ bản để kết hợp, ví dụ RGB Hình 1-8 Lý thuyết 3 màu RGB Audio-Video Engineering