Tài liệu LÝ THUYẾT THÔNG TIN

LÝ THUYẾT THÔNG TIN Nguyễn Thị Hậu NỘI DUNG HP Những khái niệm chung  Lý thuyết mã  Mã hóa nguồn-Mã thống kê tối ƣu  Mã hóa kênh-Mã phát hiện và sửa sai  TÀI LIỆU THAM KHẢO Giáo trình Lý thuyết thông tin, Đặng Văn Chiết, Hà Quốc Trung, NXB Bách Khoa Hà Nội  Giáo trình Lý thuyết thông tin, Hồ Văn Quân, NXB Đại học Quốc gia Tp.Hồ Chí Minh  Schaum’s Outline Theory and Problems of Analog and Digital communications, Hwei P.Hsu, McGrawHill  Digital communications, John G.Proakis, McGrawHill  HÌNH THỨC ĐÁNH GIÁ Chuyên cần:10%  Điểm kiểm tra giữa kì:40%  Điểm thi cuối kì (trắc nghiệm và tự luận):50% (SV không đƣợc sử dụng tài liệu)  Điểm thƣởng (đƣợc cộng vào điểm giữa kì):   SV tích cực làm bài tập tại lớp HỌC PHẦN LIÊN QUAN  Xác suất thống kê CHƢƠNG 1: NHỮNG KHÁI NIỆM CHUNG NHỮNG KHÁI NIỆM CHUNG Thông tin là gì?  Vai trò của thông tin  Mô hình của Hệ thống truyền tin  Những vấn đề cơ bản của hệ thống truyền tin  Rời rạc hóa nguồn tin liên tục  Độ đo thông tin và lƣợng tin  Entropy và các tính chất của entropy  Kênh truyền rời rạc không nhớ DMC, Ma trận kênh, Thông lƣợng của kênh truyền  THÔNG TIN LÀ GÌ? THÔNG TIN LÀ GÌ?  Một số ví dụ: THÔNG TIN LÀ GÌ? Hai ngƣời nói chuyện với nhau. Cái mà trao đổi giữa họ đƣợc gọi là thông tin  Một ngƣời đang xem tivi/nghe đài/đọc báo, ngƣời đó đang nhận thông tin từ đài phát/báo  Quá trình giảng dạy trên lớp  Máy tính nối mạng và trao đổi dữ liệu với nhau  Máy tính nạp chƣơng trinh dữ liệu từ đĩa cứng vào RAM để thực thi  Sử dụng điện thoại di động để gọi/nghe/gửi tin nhắn ….  THÔNG TIN LÀ GÌ? Thông tin là cái đƣợc truyền từ đối tƣợng này đến đối tƣợng khác để báo một “điều” gì đó. Thông tin chỉ có ý nghĩa khi “điều” đó bên nhận chƣa biết.  Thông tin xuất hiện dƣới nhiều dạng âm thanh, hình ảnh, …. Những dạng này chỉ là “vỏ bọc” vật chất chứa thông tin. “vỏ bọc” là phần xác, thông tin là phần hồn.  Ngữ nghĩa của thông tin chỉ có thể hiểu đƣợc khi bên nhận hiểu đƣợc cách biểu diễn ngữ nghĩa của bên phát.  Một trong những phƣơng tiện để diễn đạt thông tin là ngôn ngữ  THÔNG TIN LÀ GÌ?      Vậy thông tin là một hiện tƣợng vật lý, nó thƣờng đƣợc tồn tại và đƣợc truyền đi dƣới dạng một vật chất (tín hiệu) nào đó. Có hai trạng thái của thông tin: truyền và lƣu trữ. Môi trƣờng truyền/lƣu trữ đƣợc gọi chung là môi trƣờng chứa tin hay kênh tin. Những thông tin khi truyền đi đƣợc mang dƣới những dạng năng lƣợng (vật mang-carrier) khác nhau nhƣ: âm điện, sóng điện từ, sóng ánh sáng… Vật mang – carrier đã chứa thông tin trong nó là một đại diện của thông tin (tín hiệu – signal) Thông tin là một quá trình ngẫu nhiên vì vậy LTTT là lý thuyết ngẫu nhiên của tin tức có nghĩa là nó xét tính bất ngờ của tin tức đối với nơi nhận tin. VAI TRÒ CỦA THÔNG TIN Trong cuộc sống con ngƣời luôn có nhu cầu trao đổi thông tin với nhau (truyền tin-communication).  Thông tin trở thành một nhu cầu cơ bản, một điều kiện cần cho sự tồn tại và phát triển.  Khi KHKT-XH ngày càng phát triển, thông tin càng thể hiện đƣợc vai trò quan trọng của nó đối với chúng ta.  HP LÝ THUYẾT THÔNG TIN NGHIÊN CỨU NHỮNG GÌ? Ở góc độ khoa học kỹ thuật, LTTT nghiên cứu nhằm tạo ra một “cơ sở hạ tầng” tốt cho việc truyền thông tin chính xác, nhanh chóng và an toàn; lƣu trữ thông tin 1 cách hiệu quả.  Ba lĩnh vực nghiên cứu cơ bản:     Mã hóa chống nhiễu Mã hóa tối ƣu (mã hóa nguồn hay nén dữ liệu) Mật mã hóa ỨNG DỤNG Cuộc cách mạng công nghệ thông tin đang xảy ra, sự phát triển mạnh mẽ của các phƣơng tiện mới về truyền thông, lƣu trữ thông tin làm thay đổi xã hội ngày càng sâu sắc.  Những ứng dụng phổ biến của lý thuyết thông tin là truyền thông và xử lý thông tin: truyền thông, bảo mật, nén, lƣu trữ, phục hồi, dự đoán thông tin….  MÔ HÌNH CỦA HỆ THỐNG TRUYỀN TIN  Sự Truyền tin:   Là sự dịch chuyển thông tin từ điểm này (nguồn phát) đến điểm khác (nguồn nhận) trong một môi trƣờng xác định (kênh truyền). Nguồn phát (nguồn tin): Nơi sản sinh ra hay chứa các tin cần truyền đi.  Là tập hợp các tin mà hệ thống truyền tin dùng để lập các bản tin hay thông báo (Message) để truyền tin.  Message là một dãy các tin của nguồn đƣợc truyền đi với một phân bố xác suất nào đó.  MÔ HÌNH CỦA HỆ THỐNG TRUYỀN TIN  Thông tin có thể gồm nhiều loại nhƣ: 1. 2. 3. 4.  Một dãy kí tự nhƣ trong điện tín của các hệ thống gửi điện tín Một hàm theo biến thời gian f(t)nhƣ trong radio, điện thoại Một hàm theo thời gian và các biến khác f(t,x,y…) ví dụ nhƣ trong tivi trắng đen ở đây thông tin có thể đƣợc nghĩ nhƣ một hàm f(x,y,t) của tọa độ hai chiều và thời gian biểu diễn cƣờng độ ánh sáng tại điểm (x,y) trên màn hình và thời gian t. Một vài hàm của một vài biến nhƣ trong trƣờng hợp tivi màu ở đây thông tin bao gồm 3 hàm f(x,y,t); h(x,y,t); g(x,y,t) biểu diễn cƣờng độ ánh sáng của 3 thành phần màu cơ bản RGB (Red (đỏ), Green (xanh lá cây), Blue (xanh lam)) Thông tin trƣớc khi truyền đi có thể đƣợc yêu cầu mã hóa để nén, chống nhiễu, bảo mật…. MÔ HÌNH CỦA HỆ THỐNG TRUYỀN TIN Nếu tập hợp tin là hữu hạn thì nguồn sinh ra nó đƣợc gọi là nguồn rời rạc  Nếu tập tin là vô hạn thì nguồn sinh ra nó đƣợc gọi là nguồn liên tục  Nguồn tin có 2 tính chất: tính thống kê và tính hàm ý  Với nguồn rời rạc tính thống kê biểu hiện ở chỗ xác suất xuất hiện các tin là khác nhau.  Tính hàm ý thể hiện ở chỗ xác suất xuất hiện của một tin nào đó sau một dãy tin khác nhau nào đó là khác nhau.  MÔ HÌNH CỦA HỆ THỐNG TRUYỀN TIN       Kênh truyền: là môi trƣờng truyền tin từ nơi phát đến nơi nhận Là một khái niệm trừu tƣợng đại diện cho hỗn hợp tín hiệu và tạp nhiễu, trong kênh diễn ra sự lan truyền của tín hiệu mang tin và chịu tác động của tạp nhiễu. Khi tín hiệu đi qua kênh tin thì năng lƣợng và dạng của tín hiệu cũng bị thay đổi do tác dụng của tạp nhiễu hoặc do phƣơng thức lan truyền đã tác động lên các thông số vật lý của kênh truyền Tạp nhiễu là đặc tính chung của kênh truyền Phân tích, phân loại kênh truyền dựa vào sự phân tích và phân loại tạp nhiễu. 2 loại nhiễu hay gặp:   Nhiễu cộng Nhiễu nhân MÔ HÌNH CỦA HỆ THỐNG TRUYỀN TIN  Các dạng cơ bản của kênh truyền phân loại theo tạp nhiễu: Kênh truyền có tác động nhiễu cộng là chủ yếu  Kênh truyền có tác động nhiễu nhân là chủ yếu  Kênh truyền có tác động nhiễu cộng và nhiễu nhân   Kênh có hiệu ứng Doppler