Tài liệu Cơ sở lý thuyết truyền tin. tập 1

ĐẶNG VẢN c H U Y Ế T (chủ bién) - N G U Y Ễ N TU Ấ N ANH cơ sở LÝ THUYẾT TRUYỀN TIN Tập một ( T á i b à n lá n t h ứ n a m ) NHÀ X U Ấ T BẢN G IÁ O DỤC Lời nói đầu Kê từ n h ữ n g n ăm 1970, sự th â m n h ậ p lẫ n n h a u của hai lĩnh vực khoa học máy t ín h và tru y ề n thông đả làm th ay đổi sâu sắc các lĩnh vực công n g hệ và sản x u ất, và m ột k ế t quả tấ t yêu là một n g à n h công nghiệp m áy t í n h - t r u y ề n th ô n g (C o m p u ter-C o m m ư n icatio n ) ra đời. C h ín h nhò sự hòa trộ n m an g tín h cách m ạ n g này, r ấ t n h iều lĩnh vực kh o a học, công n g h ệ đã có n h ữ n g cơ sở đế p h át triể n m ạn h mẽ. T ro ng bổi cả n h củ a sự p h á t triể n b ù n g nổ này, n h ữ n g hiếu b iết vê lý th u y ế t th ô n g tin (In íbrm ation Theory), về tru y ề n thông n g àv c àn g q u a n trọ n g và cần được xem xét tron g ho àn cản h mới. Q ua nhiều n ă m làm công tác g iảng dạy, với t h a m vọng có m ột tài liệu làm giáo t r ìn h cho s in h viên chu yên n g à n h Điện tử -V iễn th ô n g và Công n g h ệ T hông tin, tài liệu th a m k h ảo cho các kỹ sư thuộc n h ữ n g chuyên n g à n h trê n , c h ú n g tôi cố gắng biên soạn cuốn sách này. C h ủng tôi giả th iế t rà n g các độc giả xem cuốn sách n ày là n h ữ n g người đ ã có cơ sở n h ấ t đ ịn h vể Giải tích, về Đại số tu y ên tín h và Xác s u ấ t. N h ữ n g cơ sỏ T oán học th eo c h ú n g tôi là h ế t sức 311an trọng và được dùng có tín h x u yên su ố t cả cuốn sách hoặc từ n g p h ầ n sẽ được c h ú n g tôi tr ìn h bày trong cuốn sách này. Cở sỏ T oán học của cuốn sách này là Xác s u ấ t và Q u á trìn h N g ẫu nhiên với n h ữ n g lu ậ t p h â n b ố xác s u ấ t h ết sức q u a n trọ n g tro n g việc t r ì n h bày các vấn đề của :uon sách. V Cu ôn sách n ày sẽ được ch ia t h à n h h ai tập. S a u khi t r ì n h b ày c h u n g về hệ th ố n g tru y ề n tin và :áe khái niệm c h u n g liên q u a n đ ến nó, c h ú n g tôi sẽ tr ìn h bày các p h ầ n củ a cu ôn sách theo t r ậ t tự là các vấn đề ch u n g trước, các v ấ n đề cụ t h ể sau. Khi trìn h bày các v ấ n đ ề ch un g , ch ú n g tôi sẽ theo tr ậ t tự: nguồn tin trước, k ê n h tin sau . Các v ân đ ề phôi hợp giữa n g u ồ n và k ê n h sẽ được xét sau khi đã có n h ữ n g hiểu b iết về ng u ồ n và k ên h . Cấu trú c tập 1 n h ư sau: Chương 1 : N h ữ n g k h á i n i ệ m c h u n g . C hư ơ ng n à y giói th iệ u n h ữ n g kltói niệm và các v ân iề cơ bản tro ng lý th u y ế t tr u y ề n tin. Chương 2 : X á c s ụ ấ t v à q u á t r ì n h n g ẫ u n h i ê n , tro n g chương n à y ta xây d ự n g n h ữ n g cơ sỏ Toán học Gần th iế t cho việc k h ảo s á t các hệ th õ n g tr u y ề n tin. Chương 3: T h ô n g t i n v à l ư ợ n g t i n , tr ìn h bày v ấ n đ ề đ ịnh lượng th ô n g tin của các n g u ồ n in. Chương 4: M ã h i ệ u . T ro ng chương n ày ta tậ p t r u n g vào các k h ái n iệm và đ in h n g hía về mã, :ác điều kiện và yêu cầu đối với m ã hiệu. Chương 5: M ã h ó a n g u ồ n , n g h iê n cứu v ấn đề m à hóa ngu ồn tr ê n cd sở mô h ìn h to án học củ a Ìguồn và các k h ái niệm về lượng tin đ ã xét tro n g chương 3 . Chương 6 : T í n h i ệ u v à h ệ t h ô n g t r u y ề n t i n . Chương n à y t r ì n h bày các tín hiệu và hệ hông thường gặp khi tru y ề n th ô n g tin q u a k ê n h tr u y ề n th ô n g cù n g việc biểu diễn các tín hiệu liều chế và các đặc tính về p h ổ của chúng. Chương 7: C â u t r ú c t h u t ô i ư u c h o k ê n h c ó n h i ễ u c ộ n g g a u s s i a n , . n g h iê n cứu việc th iế t ;ẽ và đ á n h giá độ hiệu quả của các bộ th u tôi ưu cho các p hư ơng p h á p điều chê tro n g kỏnh có ìhiẻu cộng g aussian. Chương 8 : D ồ n g bộ. C hương n à y n g h iê n cứu các phương p h á p đồng bộ v ậ t m a n g v à dồng bộ :ý hiệu ỏ đ ầu thu. 3 Trong tập 2 chúng tỏi sẽ trình bày vê mã hóa kênh, hệ thông truyền tin vói kênh có băng lẩn hạn chế, các hệ thông truyền tin nhiều kênh, nhiều vật m ang và n hiều người sứ dụng, vân để trải phố, hệ thông truyền tin có iầđing và cuối cùng là giới thiệu về mủ m ật được xem n h ư là một loại mã trong hệ thông truyền tin. Do hạn ch ế vê thòi gian, lần đầu biên soạn cuốn sách này, chúng tôi không trá n h khỏi các thiếu sót, rất mong các độc giả thông cảm và góp ý dể cho nhữ ng lần biên soạn sau sè tốt hơn. Cuối cùng, xin lưu ý dộc giả vê cách đ á n h sô các tiêu đề để tiện cho việc tra cứu. Trong mỗi chương, các mục lớn được đánh số bằng hai sô, ví dụ 3-2 chỉ mục lốn hai trong chương 3; 3-2-4 chí mục bôn của mục lổn hai trong chương 3. Các công thức và hình vẽ dược đ á n h sô bàng ba sô, số đầu chỉ chương, số thứ hai chỉ mục lớn, số thứ ba chỉ thứ tự của công thức hay hình vẽ trong mục lớn đó. C húng tôi chân th à n h cám ơn ông Nguyễn Thúc Hải, bà Hồ Anh Túy đã d à n h thời gian đóng góp những ý kiến quý báu cho chúng tôi khi biên soạn cuốn sách này. C á c t á c g iả t -1 N H Ử N G KHÁI N I Ệ M C H U N G CHƯƠNG 1 NHỮNG KHÁI NIỆM CHUNG T h ô n g tin (tiêng Anh là " In íb rm a tio n ”, còn được dịch là tin tức) là v ậ t liệu đầu tiên được gia cóng tro ng một hệ th ô n g t ru y ề n tin. Hiện nay chưa có một định ngh ĩa đầy đủ và súc tích cho khai niệm th ô n g tin. C h ú n g ta tạ m sử d ụ n g khái niệm sau làm định nghía về thô ng tin : Thông tin là s ự cảm hiếu của con người về t h ế giới x u n g q u a n h (thông qua sự tiếp xúc với nó). N hư vậy th ôn g tin là h iểu biết của con ngưòi và càng tiếp xúc VỚI môi trư ờng xung q u a n h con người càng hiểu biết và làm tă n g lượng th ô n g tin th u n h ậ n được. Trong cuộc sông, con người luôn có n h u cầu trao đổi thông tin với n h a u , có n g h ĩa là có nhu cầu tru y ề n tin (C om m u nication ) với nhau . N h ữ n g th ôn g tin khi tru y ề n được m ang dưới n h ữ n g c'ạng n ă n g lượng khác n h a u n h ư âm điện, sóng điện từ, sóng á n h sáng... N h ữ n g d ạng n ăn g lượng dược d ù n g đê m a n g tin n à y được gọi là vật m a n g (Carrier). Nó là một quá trìn h vật lý cụ thế. Vật m a n g đã chứ a th ô n g tin tro n g nó là một đại diện của thông tin và nó được gọi là tín hiệu (Signal). Cho nên trưốc đây k h i k h ái niệm "thông t i n ” chưa được xác định cụ th ể n hư hiện nay, người ta v ẫn n g h iên cứu đ ịn h lương các hệ th ôn g tru y ề n tin b ằn g cách tín h toán và thực nghiệm trê n sự biến đổi n à n g lượng m an g tin tro n g các hệ thông đó. T rên q u an điểm n ăn g lượng. lý t h u y ế t m ạch điện, lý th u y ế t tín hiệu đã giải quyết n h ữ n g vấn đề tổng q u á t về ph ân Lích và tổng hợp m ạch v à tín h iệu , và nhò đó kỹ t h u ậ t tru y ề n tin đã có n h ữ n g bước tiến bộ khá dài. N h ư n g đồng thời với sự p h á t t r iể n m ạ n h mẽ của m ình, n g àn h kỹ t h u ậ t tru ý ể n tin đã làm nảy sinh ra n h iều v ấ n để m à n h ữ n g lý th u y ế t xây dựng trê n q uan điểm n ă n g lượng không giải thích được trọn vẹn, n h ư vấn đề mối liên hệ cơ b ản giữa các hệ thông tru y ề n tin sử d ụ n g n h ữ n g n ăn g lượng k h ác n h a u , n h ư v ấ n để bảo tồn thô ng tin tro n g các hệ th ôn g th ôn g tin vũ trụ trong đó l ã n g lương tải tin r ấ t n hỏ bé, n h ư v ấn đề đ ảm bảo tốc độ tru y ề n tin n h a n h và chín h xác trong :ầc hệ th ô n g tr u y ề n s ố liệu, n h ư gia công thông tin tro ng các th iế t bị tín h toán điều khiển... Nói u ộ t cách khác p h ải xây d ự n g n h ữ n g tiêu ch u ẩ n ch u n g để có th ể đ á n h giá và so s á n h các hệ -hông tru y ề n tin, giải quy ết n h ữ n g v ấn đề cơ b ản của sự tru y ề n tin là: tốc độ tru y ề n tin và k hả lã n g chông n h iễ u của hệ thông, th i ế t lập n h ữ n g mô h ìn h hệ th ố n g tru y ề n tin thực, chỉ ra các phương hướng cải tiến có hiệu quả. ỉ)ể tr ả lời được n h ữ n g điểu nói trê n một cách rõ rà n g và ngắn gọn, các lý th u y ế t xây dựng ,rên q u an điểm n ă n g lượng cần p h ải được bổ su n g b ằng nh ữ ng lý th u y ế t xây dựng trê n qu an ìiểm th ô n g tin. T ro n g chương n à y sẻ giối th iệu mô h ìn h tống q u á t của m ột hệ thô n g tru y ề n tin, 'ác vấn đê lý t h u vết cd b ản m à hệ th ô n g đề ra và các chức n ă n g của các k h â u ch ính trong hệ hỏng tru y ề n tin. 1-1. HỆ THỐNG TRUYỀN TIN N hững hệ th ô n g tru y ề n tin cụ t h ể m à con ngưòi đã sử d ụ ng và k h ai th ác có r ấ t nhiều dạng, 'à khi p h â n loại chúng, người ta cũ ng có th ể dựa trê n nhiều cơ sở khác n h au , Vídụ trê n cơ sở lảng lượng m a n g tin người ta có t h ể p h â n hệ th ôn g tru y ề n tin t h à n h các loại : - Hệ th ôn g đ iện tín d ù n g n ă n g lượng điện một chiều - Hệ th ô n g th ô n g tin vô tu y ế n điện d ùn g n ăn g lượng sóng điện từ NHỮNG KHÁI NI ỆM C HUNG -Hệ thông t hông tin quang n ăng (hệ thống báo hiệu, thông tin hồng ngcại, l a s e r , ‘áp quang...) -Hệ thông thông tin dùng sóng âm, siêu âm, (năng lượng cơ học)... C húng ta cũng có thể p h ân loại hệ thông truyền tin dựa trên cơ sở biêu hiện bên ngoàù Ún thông tin như: -Hệ thông tru yền sô liệu -Hệ thông tru yền hình -H ệ thông thông tin thoại... N hững phương pháp p h ân loại trê n dựa theo nhu cầu kỹ th u ật, giúp các cán bộ kỹ tlu ậ t n h ận thức vấn đề một cách cụ th ể và tìm hiểu khai thác các loại hệ thông được dê dàng. Sự [hân loại n h ư vậy đã được ứng dụng rộng rãi và gần như thông n h ấ t trong các tài liệu và sáicl kỹ thuật. N hưng ở dây để đảm bảo tính logic của vấn đề được trìn h bày, chúng ta căn cứ đặc đêm của thông tin đưa vào kênh để p hân loại các hệ thông tru yền tin và n h ư vậy chúng ta p hâm iàm hai loại hệ thông tru y ền tin: -Hệ thông tru y ền tin ròi rạc -Hệ thông truy ền tin liên tục C húng ta có th ể định nghĩa: Truyền tin (Transmission) là dịch chuyển thông tin từ điếnnnày đến điểm khác trong một môi trường xác định. Hai điểm này sẽ được gọi là điếm nguóin tin (Iníbrm ation Source) và điểm nhận tin (Iníorm ation Destination). Môi trường tru yểm tin (Transmission Media) còn được gọi là kênh tin (Channel). Sơ dồ khôi chức n ă n g của một hệ thông truy ền tin tổng quát gồm có ba k h âu chính: mguồn tin, kênh tin và n h ận tin (hình 1 - 1 - 1 ). H ìn h 1-1-1: Sơ đồ khối chức n ăng hộ thông tru y ề n tin Trong sơ đồ này: Nguồn tin là nơi sản sinh ra hay chứa các tin cần truyền đi. Khi một đường truyền tin được th iết lập để truyền tin từ nguồn tin đến n h ậ n tin, một dỗãy cá< phần tử cơ sở (các tin) của nguồn sẽ được truyền đi với một phân bô xác x u ấ t nào đó. Dã\y nà; được gọi là một bản tin (Message). Vậy ta có th ể định nghĩa: Nguồn tin là tập hợp các tin Wĩà hy thống truyền tin d ù n g đ ể lập các bán tin khác nhau đê truyền tin. Kênh tin là môi trường lan truyền thông tin. Để có th ể lan truyền được thông tin trorụg mộ môi trường v ật lý xác định, thông tin phải được chuyển th à n h tín hiệu thích hợp với môi tirưòn; truyền lan. Vậy kênh tin là nơi hình th à n h và tru y ề n tín hiệu m ang tin đồng thòi ỏ đấy siinh r; các tạp nhiều phá hủy thông tin. Trong lý th u y ế t truyền tin kênh là một khái niệm trừ u ìtượn đại biểu cho hổn hợp tín hiệu và tạp nhiễu. Từ khái niệm này, sự phân loại kênh sẽ dễ dàn^g hơr mặc dù trong thực tế các kênh tin có r ấ t nhiều dạng khác nhau, ví dụ : -Truyền tín hiệu theo các dây song hành, cáp đồng trục, ông dẫn sóng. -Tín hiệu tru y ề n lan qua các tầng điện ly, không hoặc có phản xạ. 6 N H Ử N G KHÁI N I Ệ M CHƯNG - Tín hiệu tru y ề n lan qua các tầ n g đốì lưu, không hoặc có p h ả n xạ và khúc xạ. ~ Tín hiệu tru y ề n lan trê n m ặ t đất, tron g đất. ~ Tín hiệu tru y ề n lan tro n g nưốc... T h u tin là cơ cảu khôi p h ụ c thông tin ban đ ầ u t ừ tín hiệu lấy ở đ ầ u ra của k ê n h . Đe tìm hiểu chi tiết hơn ch ún g ta đi sâu vào các khôi chức n ăn g của sơ đồ trê n và xét đến nh iệm vụ của từ n g khôi. 1-1-1. Nguốn tin nguyên thủy N g u ồ n tin nguyên th ủ y là tập hợp n h ữ n g tin n guyên th ủ y (chưa qua một phép biến đổi n h ân tạo nào) ví dụ n h ư tiếng nói, âm nhạc, h ìn h ảnh, các biến đổi k hí tượng... Các tin nguyên th ủy p h ần n h iề u là n h ữ n g h àm liên tục theo thòi gian f(t) hoặc là n h ữ n g h àm biến đối theo thời gian và một hoặc n hiều th ôn g sô" khác n h ư h ìn h ả n h đen trắ n g h(x, y, t), tro ng đó X, y là các tọa độ không g ia n của hình, hoặc n h ư các th ôn g tin khí tượng: g(Ảt , t) trong đó , (i = 1 , 2 , n) là các th ôn g sô' k h í tượng n h ư n h iệ t độ, độ ẩm, tốc độ gió... T h ô n g tin n g u yên th ủ y cũng có th ể là các hệ h àm theo thời gian và các thông sô" n hư trưòng hợp th ô n g tin h ìn h ả n h màu: f( x ,y ,z ) • g(x,y.z) h(x,y,z) T hô ng thvíòng các tin ng uyên th ủ y m an g tín h c h ấ t liên tục theo thời gian và mức; ng hĩa là có thê biểu diễn một th ô n g tin nào đó đưối d ạng một h à m s(t) tồn tại tro ng q u ãn g thời gian T và lấy các trị b ất kỳ tro n g p h ạ m vi (smin, smax) (hình 1 - 1- 2 ) sít) H ì n h 1-1-2: Ví dụ về một tín hiệu nguyên thủ y N h ừ n g tin n g u yên th ủ y có thế được đưa trực tiếp vào kênh để tru y ề n đi. C ũng có thể bằng nhừng ph ép biển đối n h â n tạo n hư ròi rạc hóa theo thời gian và theo mức rồi đưa vào kênh truyền. Lúc này tin trước khi vào k ên h đã trở th à n h tin ròi rạc. N guồn tin lúc này gọi là nguồn tin rời rạc và k ê n h tin được gọi là kênh tin rời rạc đê p h ân biệt với trường hợp đưa tin liên tục vào k ên h gọi là nguồn liên tục và kênh liên tục. Bảng chữ của m ột ngôn ngữ, các tin tro ng hệ thông điện tín, các lệnh điều kh iển trong hệ thống điều khiển là n h ữ n g tin nguyên th ủ y có tín h ch ất rời rạc. Sự p h â n biệt về b ản c h ấ t của nguồn rời rạc với nguồn liên tục là số" lượng các tin trong nguồn rời rạc là h ữ u h ạ n và số" lượng các tin trong nguồn liên tục không đếm được. NHỬNG KHẢI NIỆM CHƯNG Nói chung các tin rời rạc, hoặc n guyên th ủ y rời rạc, hoặc n gu yên th ủ y liên tục đả được rời rạ hóa, trước khi dưa vào kênh thông thường đều qu a th iế t bị m ã hóa. Thiết bị má hóa biến đối tập hợp tin n g u y ên th ủ y th à n h tậ p hợp n h ữ n g tin thích hợp với đặ điểm cơ bản của kênh nh ư k h ả n à n g cho q ua (thông lượng), tính ch ất tín hiệu (dạng, cấu trú phổ, tính thông kê...) và tạp nhiễu. Tóm lại m ã hóa là p hép biến đổi tín h thông kê và tính chôn nhiễu của nguồn tin. Với nhữ ng khái niệm và định n gh ĩa trê n , ch ú n g ta có th ể xây dựng mô hình toán học ch nguồn rời rạc. Một bảng các tin x u ấ t p h á t từ một ng uồ n tin nào đó đều p h ả n án h tín h ch ất thông kê củ nguồn đó. Bảng tin càng dài sự p h ản á n h càn g t r u n g thực. C h ú n g ta có th ể xem một bảng tin c thể là một thể hiện của một nguồn. Vì tại m ột thời điểm xác địn h nguồn có thê tạo ra một ti ngẫu nhiên đôi với người quan sát, n ê n theo q u a n điểm to án học có thế xem nguồn tin (nguồ tạo ra các bảng tin) là cấu trúc thông kê của một q uá trìn h n gẫu nhiên. N h ư vậy đê xác địn một nguồn tin, hay nói cách khác để xác đ ịn h cấu trú c th ô n g kê của một q u á trìn h ngẫu nhiêỉ chúng ta cần phải biết được các quy lu ậ t th ô n g kê củ a quá trìn h . Trường hợp một nguồn rời rạc, b ản g tin là m ột dãy các ký hiệu k ế tiếp của một bộ chữ (bộ k hiệu) gồm một sô' m ký hiệu hữu h ạn gọi là bộ chừ A: A = {a,} với / = 1 ,2 , m. Bảng tin là một dãy ký hiệu vô h ạ n h ay hữ u h ạ n ở hai phía: X = (...X.2X ịXoXịX^..) —x .ịíX.ịXịP ịXị .: là ký hiệu a n ỉ = 1, 2,..., m b ấ t kỳ củ a bộ chữ A được p h á t đi ỏ thòi điểm t.2, t.Ị, t C í/. t2,ĩ.. Trong thực t ế bảng tin có b ắt đầu và kết. th ú c cho n ên b ả n g tin là một dây các ký h iệ u h í hạn X = (XjX2... x n) X được gọi là một khối n chiều, tập hợp của các khối n chiều với các đặc tín h thống kê của chúi sẽ xác định cấu trúc thông kê của ng uồ n tin. Nói cách khác biết được tậ p hợp các X (ký hi( bằng X*) và xác s u ấ t x u ấ t hiện của các b ả n g tin p(X ) sẽ q u y ế t định dược tín h ch ât thông k ê CI nguồn. Do vậy trong trường hợp này nguồn tin là một trư ờng xác s u â t hữu h ạ n (a , p(x )}. Troi một trường hợp hẹp hơn, nếu xác s u ấ t x u ấ t hiện các ký hiệu tron g b ản g tin dộc lập với nhatu, c cần biết bộ chữ A và xác s u ấ t x u ất hiện của các ký hiệu p ( a j , a, e A cũng đủ đê xác địnhi tíi chất thông kê của nguồn, lúc đó nguồn là trư ờng xác su ấ t h ữ u h ạn {A, p}, (p viêt t ắ t cho p(a dị e A, i — 1, 2,..., m). Khi chúng ta ròi rạc hóa một nguồn liên tục, ch ú n g ta th a y một. th ể hiện x(t) của nguồn (m bảng tin liên tục) b ằng một dàv hoặc một khôi ìĩ chiều X n ê u thời gian q u a n sá t là hữ u hạ Trong đó bộ chữ A của khôi là tập hợp các giá trị lượng tử hóa được của x(t). N hư vậy sự nòi r hóa được thực hiện thông qua hai khâu: gián đ c ạ n hóa theo thời gian và lượng tử hóa theo nnứ( Theo nhữ ng điều đã trìn h bày ở tr ê n ng uồ n tin có cấu trú c thô ng kê của một quá trìn h ng; nhiên. Mỗi nguồn tin (quá trìn h ngẫu n hiên) được xác đ ịn h bởi một cập tập giá trị X và cấiu tr thống kê của chúng p(x*). Những nguồn tin thư ờ n g gặp thư ờng có tín h chất của một quá trì] ngẫu nhiên dừng và nhiều khi lại có tín h ergodic. Đôi với các nguồn tin ergodic mỗi thêĩ hi (mỗi bảng tin) ghi n h ậ n được trong m ột thời gian đủ dài có th ê tiêu biểu cho nguồn và chủing có th ể cản cứ vào một th ể hiện để xác đ ịn h được cấu trúc th ô n g kê của nguồn. Điểu này có mộ nghĩa quan trọng trong thực tiễn. 8 N H Ữ N G KHÁ ĩ N I Ệ M C HƯ N G í)ể nghiên cứu định lưựng ngu ồn tin cũn g n h ư hệ thống tru y ề n tin, chúng ta có thế mô hình hóa toán học nguồn tin b an g bôn q u á trìn h s a u : Quá trình nqẫỉí nhiên liên t ụ c : N guồn tiến g nói, âm nhạc, hình ản h lả tiêu biếu cho quả trìn h nay. Trong các hộ th ôn g th ô n g tin thoại, tru y ề n th a n h , tru y ề n hình với các tin hiệu điểu biên, diều tán th ô n g thường c h ú n g ta gặp các n g u ồ n n h ư vậy. Qua trinh ngẫu nhiên rời r ạc: Một q u á trìn h n g ẫu nhiên liên tục sau khi dược lượng tử hóa th eo mức sỗ trỏ th à n h quá trìn h này. Một n gân ngừ, tín hiệu điện tín, các lệnh điểu khiến là nguÔ 11 rời rạc loại này. Dãy ngảu nhiên liên tụ c : Đảy là trư ờ n g hợp một nguồn liên tục dã được gián đoạn hóa theo thoi gian, nhu thường gặp tro n g các hệ th ò n g tin xung diều biên xung (PAM -Pulse A m plituđe M ođulaUon), đieu plìíì xuiì.^ (F*P]V1), cỉiGH t ũ. 11 xmiị£ (I^I4j\'l)...kỊioii§, ỈD liĩờ iì^ til hOcì. 1 Dãy ngẫu nhiên rời rạc: T ro n g các hệ th ô n g th ô n g tin xung có lượng tử hóa n h ư điều biên (pha. tần) xung lượng tử hóa, điều x u n g m ã (PCM). 1-1-2. K ê n h tin C h ú n g ta đểu biết ràng, cho đ ến n a y khoa học th ừ a n h ậ n ràng: vật c h ấ t chỉ có th ể dịch ch uy ển từ điểm n ày đến một điểm khác tro n g m ột môi trường thích hợp và dưới tác động của một lực thích hợp. T ron g quá trìn h dịch c h u y ể n của các "hạt" v ậ t chất, n h ữ n g th ôn g tin vê nó hay chứ a tro n g Ĩ1Ó sỗ được dỊch ch u y ển theo. Đ ây chín h là bản ch ất của sự lan tru y ề n thông tin. Vậy c h ú n g ta có thể nói r à n g việc tr u y ề n tin ch ín h là sự dịch chuyển của dòng các " h ạ t” vật chất m an g tin (tín hiệu) trong mõi trư ờ n g tru y ề n tin. Trong quá trìn h tru y ề n tin, hệ thông tru y ề n tin phải g án được thô ng tin lên các dòng v ậ t c h ấ t tạo th à n h tín hiệu và lan tru y ề n nó đi. Việc tín hiệu lan tru y ề n tro n g m ột môi trư ờ n g xác đ ịn h chính là dòng các "hạt" v ậ t chất, chịu tác động của lực, lan tru y ề n tro n g m ột cấu trú c xác đ ịn h của môi trư ờng (một m ạn g các h ạ t đặc tru n g cho môi trương). Dòng v ật c h ấ t m a n g tin này, ngo ài tác động để dịch chuyển, còn chịu các tác động của các lực không m ong m u ốn s ẵ n có tro n g củ n g n h ư ngoài môi trư ờng và chiu va dập với các "hạt" của môi trương. Đ ây c h ín h là n h ữ n g n g u y ên n h â n làm biến đổi dòng v ậ t ch ất không mong muôn hay là n g uy ên n h â n gây ra n h iễ u (noise) trong quá trìn h tru y ế n tin. Kõnh tin có t h ể hiểu là m ột môi trư ờ n g để h ìn h t h à n h tín hiệu m an g tin và lan tru y ề n tín hiệu m an g tin. T ro ng kênh diễn r a sự t ru y ề n lan của tín hiệu m ang tin và chịu tác động của tạp nhiễu. Đê mô tả kênh ch ún g ta chỉ cần d ự a vào đặc diêm tín hiệu tro n g k ê n h và tạp nhiễu tiêu biếu cho môi trư ờ ng tru y ề n lan của k ê n h dó. Các môi trư ờ ng tru y ề n lan các tín hiệu là rát khác nhau. V ấn đổ đ ặt ra là từ các d ạ n g k h ác n h a u đó tìm ra được n h ữ n g điểm c h u n g để có thê tông q u át hóa dược về kênh. Ta biết rà n g tín hiệu có th ể t r u y ề n lan tro n g n h iề u môi trường khác nhau. Khi tín hiệu đi qua các môi trư ờ ng n h ư vậy ngoài sự biên đôi về n ă n g lượng, d ạn g của tín hiệu củng bị th a y dôi do tác động của tạp nhiễu tồn tại tro n g các môi trư ờ n g vật ]ý đó hoặc do phương thức tru y ề n lan, sự biên dổi các th ô n g số vặt ỉý củ a môi trư ờ ng gây ra sự điểu c h ế tín hiệu không cần thiết. Rõ ràng í ác dộng của nhiễu lên tín hiệu tiêu biểu cho môi trư ờng tru y ề n la n của tín hiệu. Vậy có thế lấy tạp n h iễu làm đặc tín h c h u n g của môi trư ờ n g tru y ề n lan và lấy sự p h ân tích, p h ân loại tạp nhiễu để p h a n tích và p hân loại môi trường. T u y r ằ n g trong thực t ế môi trư ờ ng truy ền lan rấ t khác n h au , ch ú n g ta vẫn có th ể q uy n ạ p về các d ạ n g cơ bản sau: -Mỏi trường tro n g dó tác động n h iễ u cộng là chủ yếu; -Mỏi trường tro n g đỏ tác động n h iễ u n h â n là ch ủ yếu; -Môi trường gồm cả n h iễu cộng và n h iễ u n h â n . a sơ LTTT/1 .A 9 N H Ữ NG KHÁI NIỆM C H U N G Ngoài ra trong trường hợp sự truyền tin xảy ra giữa hai vật di động so với nhau, tín hiệu sẽ bị điều tầ n phụ do hiệu ứng Doppler gây nên, chủng ta xếp riêng một loại gọi là kênh có hiệu ứng Doppler. Tóm lại đê mô tả kênh chúng ta dùng một m ạng hai cửa và sự q u an hệ giữa tín hiệu đầu ra với tín hiệu đầu vào như trê n hình 1-1-3. S J t ) ---------► Kênh ---------► S r(t) H ì n h 1-1-3: Mô hìn h kênh với tín hiệu vào và tín hiệu ra Với giả thiết rằn g m ạng hai cửa này có hàm tru y ề n đơn vị (bằng 1) trê n mọi tần sô" và trên toàn miền thòi gian, chúng ta có: S r(t)=Nn(t)Sv(t) + N c(t) trong đó N n(t) ký hiệu cho nhiễu n h ân và N c(t) ký hiệu cho nhiễu cộng. N hiễu cộng sinh ra một tín hiệu n gẫu nhiên không mong muôn và tác động cộng thêm vào tín hiệu ở đầu ra. Nhiễu cộng là do các nguồn nhiễu công nghiệp và vũ trụ tạo ra, luôn luôn tồn tại tro ng các môi trường tru y ề n lan của tín hiệu. Dải phổ của nhiễu cộng r ấ t rộng, cho nên với b ất kỳ tín hiệu có phô ỏ đoạn tầ n sô' nào, chúng cũng tạo th à n h một nền trù m lên tín hiệu. N h iều nhân, tác động n h â n vào tín hiệu, gây ra do phương thức tru y ề n lan của tín hiệu, hay là sự th a y đổi thông sổ' v ật lý của bộ phận môi trường truyền lan khi tín hiệu đi qua. Trong trư ờ ng hợp đầu nhiễu sẽ tác động n h a n h lên tín hiệu, và tác động chậm trong trường hợp thứ hai vì các biến động của môi trường thường xảy ra với những chu kỳ vài p h ú t đên vài giò hoặc hơn nữa. Hiện tượng này thường gặp trong khi th u các tín hiệu vô tuyến ở dải sóng ngắn, bằng nhiều con đường tru y ề n lan khác nhau, tùy theo sai trìn h (dài ngán khác n h au ) của các đưòng đó th a y đổi làm cho tổng cường độ điện trường ở đầu th u biến đổi, gây ra biên độ tín hiệu thu khi lớn khi bé và đôi khi m ất hẳn, chúng ta gọi là hiện tượng pha đing (fading). • Các k ên h tin trong thực tê không đảm bảo đặc tín h xung hoặc đặc tính tầ n sô đơn vị nêr công thức tính tín hiệu ra là : S r(t)=Nn(t)Sv(t)'H(t) + N c(t) ở đây H(t) là đặc tín h xung của kênh. Đặc tính kênh không lý tưởng này sẽ gây ra một SỊ biến d ạn g của tín hiệu ra so vối tín hiệu vào, gọi là méo tín hiệu, và méo lại là một nguồn nhiêi tron g quá trình tru y ề n tin. Tín hiệu đầu vào của các kênh truy ền hiện nay là những dao dộng cao số biến đổi theo quy lu ật của thông tin. Các thông số có thê là biên độ, tần động có thể là liên tục hoặc gián đoạn, nếu là gián đoạn sẽ có nhữ ng dãy thông sô xung thay đổi theo thông tin như biên độ xung, tần số lặp lại, thời tầ n với nhữ ng thôn* sô' hoặc góc pha. Da< xung cao tần V I cái Ớ điểm xuảt hiện... Trường hợp dao động liên tục biểu thức tổng q u át của tín hiệu có dạng sau : S v(t) - a(t) cos[(Át) - ữt)] Các thông số biên độ a(t), tầ n sô' cư(t), hay góc pha ữt) biến đối theo quy lu ậ t của thông tin đ m ang tin và nhiễu tác động sẽ làm thay đôì các thông số này làm sai lạc thông tin. Theo mô hình m ạng 2 cửa của kênh tin, nếti đầu vào chúng ta đưa vào tin x(t) với xác suá x u ấ t hiện píx) chúng ta sẽ nh ận được ờ đầu ra một tin y(t) V I xác s u ấ t x u ấ t hiện pịy) đại diệ: Ó cho x(t). VỚI yêu cầu tru y ề n tin ch ính xác, ch ún g ta cần y(t) phải là đại diện của xịt), hay xá< 10 2cơ Sd L T T l N H Ữ N G KHÁI N I Ệ M C H Ư N G suất n h ậ n được y(t) là đại diện của xịt) khi tru y ề n X(t) là p(y Ix) = 1 . Điều này vónh khôn g có nhiễu. Khi k ên h có nhiễu, có th ể trê n đầu ra của kênh ch ún g ta in khác vói tin được p h át, có nghĩa là xác s u ấ t dê n h ậ n dược y(t) là dại diện của 0 p(yixr /, và liêu nhiễu càn g lớn, xác s u ấ t này càng nhỏ. Vậy có th ể sử dụ n g le dạc trư n g cho đặc tín h tru y ề n tin của kênh. chỉ có được khi n h ậ n được một xịt) là p(y ỉ x), xác suất p( y \x) 1-1-3. Nhận tin N hận tin là đ ầ u cuôi của hệ thông tru y ề n tin. N h ậ n tin thương gồm có bộ n h ậ n biết thông tin lược ph át và xử lý th ôn g tin. Bộ xử lý thông tin có thể là người, củng có th ể là th iế t bị (th iêt bị ;h\ giữ, m áy tín h diện tử). N ếu bộ p h ậ n xử lý thông tin là th iết bị tự dộng ch úng ta có m ột h ệ hống tru y ề n tin t ự động. Vì tín hiệu n h ậ n được ở đ ầu ra của kên h là một hỗn hợp tín hiệu và tạ p n h iễu sảy ra tro n g íỗnh, nên nói ch u n g tín hiệu ra không giống vói tín hiệu đưa vào kênh. N hiệm vụ ch ín h cần hực hiện tại n h ậ n tin là từ tín hiệu n h ậ n ditợcy(t) phải xác định được xịt) nào được đưa vào đ ầu rào của kênh. Bài toán n ày được gọi là bài toán th u hay phục hồi tín hiệu tại điểm thu. 1-1-4. Những vấn để cơ bản của hệ thống truyển tỉn Trong p h ầ n tr ê n ch ú n g ta đâ p h â n loại các hệ thông tru y ề n tin làm hai nhóm chính, một là ìhỏm các hệ th ố n g tru y ề n tin rời rạc và hai là nhóm các hệ thông tru y ề n tin liên tục. Khi nói lên sơ đồ khối chức n ă n g của hệ thống tru y ề n tin có đề cập đến biểu thức S r( t ) - N n(t)S'Jt) +Ni,(t) ổng q u á t mô tả k ên h tin. T rong biểu thức đó tù y theo dạng của S J t ) , ch ú n g ta có k ên h tin ròi •ạc hoặc liên tục. S au đây, c h ú n g ta sẽ dựa trê n sự p h ân loại n h ư vậy dể p h â n tích các vấn để cờ >ản của hệ th ô n g tru y ề n tin. Trước hết, ch ú n g ta liệt kê các vấn đề cơ bản liên q u an đến q u á rình tru y ề n tin. Các vấn đê cơ bản của hệ thông tru y ề n tin gồm có : (!) Hiệu s uất truyền t i n , hay là tốc độ tru y ề n tin của hệ thống. Đó là lượng thông tin hệ th ô n g ho phép (hay có thê) tru y ề n đi tro ng một đơn vị thòi gian, (2) Độ chinh xác truyền t i n , nói cách khác là khả n ăn g chống n h iễ u của hệ thông. Yêu cầu tối đa với bất kỳ một hộ thông tru y ề n tin nào là thực hiện đưực sự tru y ề n tin n h a n h hóng và chính xác. N h ữ ng cơ sở lý th u y ế t nối ở trong các p h ần sau giải đáp n h ữ n g vấn đề này. síhững khái niệm về lý th u y ế t thông tin cho biết giới h ạn tốc độ tru y ề n tin trong một kên h tin, Ighĩa là khôi lượng th ô n g tin lớn n h ấ t mà k ên h cho tru y ền qua VỚI m ột độ sa i n h ầ m n h ỏ tù y ý. Khi sự tru y ề n tin t-iến h à n h trê n nh ữ n g cự ly rất lớn, người ta thường d ù n g n ăn g lượng m a n g in là sóng điện từ. Trong trường hợp này nếu cồng suất máy p h á t bí h ạ n chế, nàng Uíọng tín liệu va tạp n h iễu ở đầu th u sẽ xấp xỉ bàng nh au , một vân để lý th u y ế t đ ặt ra là xác dinh cấu rúc của thiết bị th u tín hiệu lý tưởng, ng hĩa là có th ể p h á t hiện và tách tín hiệu trong nền tạ p m lỏn. Đó là một nội d u n g lớn của lý th u y ế t chông nhiễu. Trong n h ữ n g m ục sau sẽ giới th iệu chức n â n g của khôi liên q u an đến nguồn Un và kó'ih tin: .hối mả hóa và giải mâ của nguồn và kênh, khôi diều chê và giải điểu chê của kênh. Trong n h iều trư ờ ng hợp nguồn tin ngu yên th ủy là liên tục n h ư n g cỉùng kênh rơi rạc để ruyển tin. Vậy nguồn liên tục trước khi mã hóa phải được ròi rạc hóa. Đe xác minh phóp biên ối nguồn liên tục th à n h nguồn ròi rạc là một phép biến đối tương dương 1-1 vê m ặt thò ng tin, rước tiên chưng ta khảo sát cơ sơ lý th u y ế t của phép rời rạc hóa gồm các định lý lấy m ẩu và quy liật lượng tử hóa. Sự xác m inh tín h đủ ng đắn vê phương diện lý th u y ế t phép rời rạc hóa là một phép b en đôi ương dương kh ô n g n h ữ n g có một ý nghĩa to lớn về thực nghiệm , mà về m ặt lý thu yết t ù n g có 11 N H Ữ N G KHÁI N I Ệ M C H Ư N G m ộ t ý n g h ĩa rõ rệt. N hò đó m à n h ữ n g điều đă được k h ả o sát và k ế t lu ậ n tro n g các hệ th ô n g rò bi rạ c có t h ể mỏ rộn g tro n g các hệ th ố n g Hên tục m à sự k h ả o s á t trự c tiôp sẽ lảm n ả y sin h nhiềuu v ấ n đê kh ó k h ă n về p h ư ơ n g pháp. 1-2. RỜI RẠC HÓA MỘT N G U ồN TIN LIÊN TỤC T ro n g các hệ th ô n g tru y ề n tin m à đ ầ u cuối (đ ầu thu) là n h ữ n g th iê t bị xử lý th ô n g tin rời rạoc (ví d ụ m áy tín h số) n h ư các h ệ th ố n g tr u y ề n số liệu, h a y là các hệ th ô n g th ô n g tin c h u y ê n tiêpp đ iều m ả xung, n g u ồ n tin có th ể là ròi rạc hoặc liên tục. N ếu các ng uồ n tin là liên tục, n h ả t th iế H trước k hi dư a tin vào k ê n h p h ả i th ô n g q u a m ột p h é p b iên cỉôi liên tục t h à n h ròi rạc. S a u đó sẽ ájip d ụ n g các p h ư ơ n g p h á p m ã hóa để đ á p ứng được các chỉ tiêu kỹ t h u ậ t củ a hệ th ô n g tr u y ề n tin c tụ th ể. P h é p b iến đối n g u ồ n tin liên tục t h à n h rời rạc gồm h ai k h â u cơ bản: m ột là k h â u rời rạc hóóa th e o thời g ian h a y còn gọi là k h â u lấy m ẫ u , hai là k h â u lượng tử hóa th eo mức (viêt t ắ t lượng t i ử hóa). Cơ sở lý t h u y ế t của p h ép b iến đổi n à y gồm các đ ịn h lý lấy m ẫ u và lu ật lượng tử hóa. 1-2-1. Lấy mẫu L ấ y m ẫ u m ột h à m tin, có n g h ĩa là tríc h từ h à m đó ra các m ẫu tạ i n h ữ n g thòi đ iểm thòi g ia m n h ấ t đ ịn h . Nói m ộ t cách k h ác th a y h à m tin liên tục b ằ n g m ột Hàm ròi rạc là n h ữ n g m ẫ u c ủ ia h à m tr ê n lấy tại n h ữ n g thời điểm g ián đoạn. V ân dề đ ặ t ra ỏ d â y là x ét các đ iêu k iện đê cho ssự t h a y t h ế đó là m ột sự th a y t h ế tư ơng dương. T ư ơ ng đư ơng ở d ây là về ý n g h ĩa th ô n g tin, n g h ía llà h à m t h a y t h ế k h ô n g bị m ấ t m á t th ô n g tin so với h àm được th a y thê. T ro n g các ch ư ơng sa u c h ú n g ta sẽ k h ả o s á t kỹ hơn vê v ấ n dề ròi rạc hóa m ộ t n g u ồ n tin (n u ộ t q u á t r ì n h n g ẫ u nhiên), ở đâv c h ú n g ta n êu ra tin h th ầ n của đ ịn h lý lấy m ẫ u th e o thời gian: M ột h à m s(t) có p h ô h ữ u hạn, k h ô n g có th à n h p h ầ n tần s ố lớn hơn (0,ỉtax, có thê được t h a y tì hê b ằ n g các m ẫ u của nó lây tại n h ữ n g thời đ i ể m cách n h a u m ộ t k h o ả n g Át < /r/ comax. 1-2-2. Lượng tử hóa H à m sịt) là một t h ể h iện của một ng uồ n tin liên tục, có biên độ b iến đổi liên tục tro n g p h ạ m i (s m » s m a x ) - T a p h â n chia p h ạ m vi đó t h à n h một số’ mức n h ấ t đ ịn h , đ á n h số các mức từ s uiuii = m s 0 s Ịf s , s ẩ = s uiax. Việc gián đ o ạn hóa sự biến đối biên độ của sít) là cho biên độ lấy mức s, n h i ấ t > ủ đ ịn h k h i nó tá n g hoặc g iảm g ần đến mức đó. N h ư vậy sít) sê trỏ t h à n h m ộ t h à m b iên đôi tiu eo bậc t h a n g gọi là h à m lượng tử hóa s (t). Khi số th ứ tự các múc dã có q u y ước trước, việc gửi đi m ột h à m liên tục trở t h à n h gửi đi n h ữ n g con sô ỏ n h ữ n g thời điểm tư ơng ứng. T h e o các con sỏ ‘đỏ có t h ể dễ d à n g khôi p h ụ c lại h à m lượng tử hóa s'(t). S ự chọn lựa các mức th ích đ á n g sè là m giảư n sự k h á c n h a u giữa s'(t) và s(t), gọi là sai s ố lượng tứ, đồng thòi giảm sai n h ầ m tro n g q u á tri inh t r u y ề n tin. V1 Với p h é p lượng tử hóa, n g u ồ n tin liên tục trỏ t h à n h ròi rạc với bộ c h ừ A là tậ p hợp h ữ u haạn các m ức lượng tử, một tin (bảng tin) gửi đi củ a ng u ồ n sẽ trỏ t h à n h m ột d ãy h ữ u h ạ n các rmức (dưới d ạ n g các con sô" hoặc các ký hiệu). 1-1 -: w i,ìY1 hay ìog(l/p(Xị)) không âm. Thêm nữa khi một tin luôn luôn xuất hiện thì lượng tin n h ậ n được khi này bằng 0, ta C.Ì1 kiểm tra điều kiện này. Rõ ràng khi p ( X ị ) - 1 thì log ( 1 / p ( x j ) = 0 Vậy hàm log ( l / p ( x j ) dược chọn làm độ do thông tin hay lượng đo thông tin của một tin cái nguồn. Lượng do thông tin của một tin X, của nguồn thường được ký hiệu là I(xJ: I(xJ - log(Hp(Xị)) Trong công thức xác định độ đo thông tin này, cơ sổ* của hàm loga chưa được chí ra. Tùy vào cơ sô của hàm log này ta sẽ có các đơn vị đo độ lớn thông tin xác định. Hiện nay người ta thường dùng các đơn vị đo sau đây: Bít hay đơn vị nhị p h ân khi cơ số loga là 2; N a t hay đơn vị tự nhiên khi cơ số loga là e; Hartley hay đơn vị th ập phân khi cơ sô" loga là 10. Ví dụ nguồn A có m ký hiệu đẳng xác suất, một tin do nguồn A hình th à n h là một dãy n kỹ hiệu a, bất kỳ (aị e A). Chúng ta sẽ xác định lượng tin chứa trong một tin như vậy. Trước tiên hãy tim lượng tin chứa trong một tin a,. Do đẳng xác s u ấ t nên mỗi tin a, đều có xác s u ấ t là 1 //rĩ, vậy: I ( aj = log/n Lượng tin chứa trong một dãy X gồm n ký hiệu bằng n lần lượng tin của một ký hiệu (vì chúng đắng xác suất): / (x) = n logra Đơn vị lương tin tùy theo cách chọn cơ số của log, là bit, nat, hay H artley nếu cơ số là 2, e hay 10. Rỏ ràng khi m ký hiệu của nguồn có nh ữ ng xác s u ấ t khác nh au và không độc lập thông kê với n h au thì lượng tin riêng từng ký hiệu phụ thuộc vào xác suất xu ất hiện p(a,) của nó: I (aj - lo g— p(a,) Và lượng tin chứa trong một dãy ký hiệu của nguồn không những phụ thuộc xác s u ấ t xuất hiện từng ký hiệu, mà còn phụ thuộc vào xác s u ấ t có điểu kiện. Khái niệm này sẽ được để cập đến một cách cặn kẽ hơn trong các chương sau. 1-4. MÃ HÓA Mã hóa là một phép biến đối cấu trúc thông kê của nguồn. Phép biến đối ấy tương đương trên quan điểm thông tin, và n h ằm mục đích cải tiến các chỉ tiêu kỹ th u ậ t của hệ thống tru yền tin. Nói một cách khác, lóp tin ở đầu vào th iết bị mã hóa được th ay t h ế bằng một lớp tin khác tương đương và kinh tế hơn, nh ư tốc độ hình th à n h tin gần vối khả n ăn g cho thông qua của kênh hơn, tính chông nhiễu của tin khi truyền qua kênh củng tăng lên. Với khái niệm mã hóa nh ư trên, thì phép ròi rạc hóa là một ví dụ mã hóa đơn giản, biến đổi tin liên tục ở đ ầu vào th à n h một lớp tương đương tin rời rạc. Chúng ta luôri lưu ý là tương đương ỏ đây có*nghĩa là phép biến đổi 14 NHỬNG KHÁI NIỆM CHUNG không thay đôi lượng tin. Ví dụ chúng ta có một nguồn tin có bôn tin đảng xác s u ấ t với sơ đc thông kê nh ư sau: raì a2 a3 a x I I I 4 4 4 Lượng tin I(at) chứa trong một tin của A bằng: l i a ) - I X - log2 114) - 2 bit Bằng một phép m ã hóa n hư sau: 6161 a< 6ị 62 a- bA a b‘b'2 i chúng ta đổi t h à n h một nguồn tin mới gồm có hai ký hiệu đẳng xác suất: B= *1 1 2 b2 1 2 Lượng tin chứa tro ng một tin của B cùng vẫn bàng lượng tin chứa trong tin tương ứng của A, ví dụ tin Òị Òị tương ứng vói tin aj trong A: Kbibi) = 21og 22 = 2 (bit) Nói chung khi m ã hóa một tin một dày ký hiệu: X của nguồn A bằng một tin y của nguồn B, chúng ta đã thay X = (xh x 2, xj trong đó Xj = a, b ấ t kỳ, a t e A , i = 1, 2,..., m , j = 1, 2,..., n bằng một dãy ký hiệu: y = (yi>y2->y’n ) vỏ)ỵỊ = bj b ấ t kỳ 6 , e B, i = 1 , 2 ..., m \ j = 1 , 2,..., n Sự biên đôi đó p hải đảm bảo một đôì một và lượng tin chứa t r o n g X v ầ y bằng n hau I(x) = nìogm = I(y) = n l o g m ' Đẳng thức này viết vối giả th iết các ký hiệu trong nguồn A củng như các ký hiệu trong nguồn B đều đăng xác suất. Thông qua phép mã hóa scí ký hiệu của nguồn bị thay đổi, từ m trỏ thành m và sô ký hiệu trong một tin mà người ta gọi là từ mã củng được th ay đổi: n trở th à n h n \ Độ phức tạp của th iế t bị m ã hóa phụ thuộc vào số ký hiệu ra' của nguồn và sô' ký hiệu n ' trong một từ, nói chính xác hơn độ phức tạp của thiết bị mã hóa tỷ lệ với tích m ' n \ Điểu này chúng ta có thê hiếu bàng cách mô tả một thiêt bị mã hóa đơn giản như sau. Để tạo ra nh ữ ng mã hiệu có n ' mã và mỗi mã có th ể có m ' trị b ất kỳ chúng ta, th iế t lập một sơ đồ khôi n hư trong hình 1- 4- 1 . .ríl), xỉ2 .... xíM các dãy (tin) có th ể có của nguồn A, tổng số*bằng M = m n > ) y {ĩ\ y i2) •••> y M các từ mà tương ứng của nguồn B, tổng số là M ' = m n ) hợp phép mã hóa là m ột-m ột. và bằng M trong trường : NHỮNG KHÁI NIỆM CHƯNG Như vậy để mã hóa thiết bị cần có m ' n ' khôi mạch, mỗi khôi mạch đại biếu một trị của một mã trong mà hiệu. Vấn đề đ ặt ra ỏ đây là chọn sô trị của một mà m ' (còn gọi là cơ sỏ cua mà, V \ thực chất là số ký hiệu của nguồn mới) phải chọn như th ế nào dể cho thiêt bị đơn giản, nghĩ;: 11 cho tích m 'n ' tôi th iểu với điều kiện lượng tin của từ mã không dôi. / (y) = n'\og m ' = ỉ(x) rn 'n ' = m 'I(x) /logm Tích m 'n ' sẽ nhỏ n h ấ t khi m ’ = e = 2,7, diều này nói lên lý do trong thực tê người ta thưòng chọn các loại mả hiệu cơ s ố hai, hoặc ba, n h ư ng thông thường là loại mà hiệu cơ sô hai (m' - 2 ), gọi là m ã nhị phân. Sau đây ta sẽ tập tru n g trìn h bày loại mà nhị phán. n cột x tn X ,( 2 ) (2 ) n ì hàng b, b, H ì n h 1-4-1: Mô hình một thiết bị mã hóa đơn giản 1-5. Đ IỀ U C H Ế VÀ G IẢI Đ IỀ U C H Ế Trong các hệ thông tru y ề n tin liên tục, các tin hình th à n h lừ nguồn tin liên tục dược biên dối th à n h các đại lượng điện (áp, dòng) và chuyến vào kênh ví dụ như trường họp diện thoại trong th à n h phô. Khi muôn chuyên các tin ây qua một cự ly lớn, phải cho qua một phép biẽn dôi khác gọi là điều chế. Điều ch ế có nghĩa là chuyển t hông tin th à n h một dạng nàng lượng thích hợp với môi trường tru y ề n lan, trong đó dạng n ăng lượng được dùng ít bị tôn hao và ít bị biôn dạng do tác động của nhiễu. Thực chất của phép điều chế là biên đổi một hoặc nhiều thông sô của dạng năng lượng dà chọn theo quy lu ật đặc trư n g cho thòng tin. Ví dụ sự thông thoại giữa các th àn h phô vói n h au được thực hiện bằng các đường tải ba, trong dó quy luật thông tin diều khiển sự biến đổi của một thông số (biên độ, tần sổ) của nàng lượng dòng điện xoay chiếu tẩn số t hấp (vào khoảng vài chục KMz). Thông tin vối cự ly xa hơn sẽ được thực hiện bằng các đường t hông tin vỏ tuyến điện, ỏ dày quy lu ậ t thông tin điều khiển một hoặc nhiều thông sô" của n ăn g lượng trường điện từ cao tần. Đôi với các hộ thông tru y ề n tin rời rạc, quy luật mã hiệu điều khiển một hoặc nhiều thông sô của năng lượng được dùn g để m ang tin. Ví dụ trong trường hợp diện báo thông thường, quy luật mã hiệu điều khiển biên độ dòng một chiều. Và với các dạng năng lượng khác n h ư dòng diện xoay chiểu hay sóng điện từ, chúng ta sẽ có các hệ thông tru yền tin bằng điện báo tài ba hoặc thông tin vô tuyến điện điều chế mà. 16 N H Ữ N G KHÁI N I Ệ M C H U N G Phép diều chế, ngoài việc chọn năn g lượng thích hợp với sự truyền lan trong môi trường (sóng điộn từ ) còn có nhiệm vụ là tùy theo tính chất của tạp nhiễu trong kênh mà xây cỉựng một hệ thống tín hiệu có dộ phân biệt với nhau rỏ ràng, đê quá trình giải diếu chế có thô dễ dàng nhận dạng được dù có bị tạp nhiễu biến dạng di phần nào. Các phương pháp điều chế thường dù ng đôi với tin liên tục là điều c h ế biên độ (AMAmplitude Modulation), điều chẽ đơn biên (SSB-Single Side Bande), điều chê tẩn sô (FMFn>(ỊU(Micy Modulation) và điều c h ế góc ph a (PM-Phase Modulation) cao tần; dê tảng tính chông nhiều người ta còn d ù n g đến nh ững phương pháp diều chế kép. Ngoài phép diều chê cao tần có thôm một điểu chế p h ụ như là điểu chê xung, (điều chế các thông số của một dãy xung tuần hoàn, cỏ chu kỷ lặp lại thoá mãn điều kiện đả nêu ra trong định lý lấy mầu) như điều chê góc pha x u n g (PPM-Pulse Phase Modulation), điều c h ế độ rộng xung (PDM- Pulse Duration Modulation), điều c h ế tần s ố xu n g (PFM-Pulse Frequencv Modulation) và điều chê biên độ xung (PAM-Pulse Amplitude Modulation). Một phương pháp điều chế phụ được thường dùng là điều cho m ã x u n g (PCM-Pulse Code Modulation) và điều ch ếd elta (DM-Delta Modulation). Khi đó đã biên tin liên tục th à n h tin rời rạc, và sự điều ch ế cao t ầ n hoàn toàn giống nh ư trường hợp các hệ thông tru yề n tin rời rạc. N hừ ng năm gần đây, do sự phát triển của lý thuyết thông tin và lý thuy ết tín hiệu, người ta băt đẩu dù ng các tín hiệu dải rộng (tín hiệu giả nhiễu, có phô và hàm tương q u a n giông tạp âm trắng). Một phương ph áp điểu chế được nghiên cứu và áp dụng trong kỹ t h u ậ t thông tin một cách có hiệu quả là phương pháp điêu chế giả nhiễu. Đôì vói tin ròi rạc, các phương pháp điều c h ế cao tần củng giông như trường hợp t.hcng tin liên tục, như n g làm việc gián đoạn theo thòi gian, gọi là m aníp hay khóa dịch. Cụ th ể có các phương pháp m a n íp biên độ (ASK-Amplitude Shift Kev), m aníp p h a (PSK-Phase Shiít Key) và m aníp tần s ố (FSK-Frequency Shift Key). Với PSK và FSK còn có phương pháp m a n íp pha tương đôi (DPSK-Diíĩerential PSK), hoặc là điều chế pha khác với quy luật maníp (hăng sô trong độ rộng một xung), ví dụ lu ật tuyến tính hay bình phương trong độ rộng một xung. Điều chê nhiễu củng điíỢe dù ng như một điêu chê phụ đối với tin ròi rạc đế tăn g cường tính chông nhiều của tín hiệu. Giải điều chế là phép biên đổi ngược của phép điều chế, điều khác là tín hiệu đ ầ u vào của thiết bị giải điều chê không phải chỉ là tín hiệu đầu ra của thiết bị điều chế, mà là »T»ột hỗn hợp tín hiệu điều chê và t ạ p nhiễu. Nhiệm vụ của thiết bị giải diều chế là từ trong hỗn hợp đó lọc ra được thông tin dưới dạng một hàm điện áp liên tục hoặc là một dãy xung điện rời rạc giống như thông tin ỏ đầu vào thiết bị điều chế, với sai số trong phạm vi cho phép. Về phương p h á p giải điểu chế, nói cách khác phép lọc tin, tùy theo hỗn hợp tín hiệu nhiễu và các chi tiêu tỏi ưu về sai sô' (dộ chính xác) phải đạt được mà chúng ta có các phương pháp lọc tin thông thường n h ư tách sóng biên độ, tách sóng t ầ n số, tách sóng pha, tách sóng đồng bộ, lọc tin (xác định) liên kết (coherent), lọc tin bằng phương pháp tương quan, lọc tôi ưu... 3cơ so L TTT /1.A 17 XÁC SUẤT VÀ QUÁ T R Ì N H NGẤU N HI Ê N ................................... .....— ........-..............................% CHƯƠNG 2 XÁC SUẤT VÀ QUÁ TRÌNH NGAU n h iê n Lý th uy ết xác s u ấ t và quá trìn h ngẫu nhiên là công cụ toán học chủ yêu đê nghiên cứu các h thông tru y ề n tin. Nó được dùng trong việc mô hình hóa thông kô các nguồn tin, lượng tử hó nguồn và mô tả các quá trình truy ền tin, n h ậ n tin. Trong chương này chúng ta chỉ trìn h bày mc số kiến thức cơ bản về lý thuyết xác s u ấ t và các quá trìn h ngẫu nhiên để r ú t ra n h ữ ng kêt qu cần thiết cho việc ứng dụng vào nghiên cứu các hệ thông truyền tin. 2-1. XÁC SUẤT 2-1-1. Định nghĩa vể xác suất Chúng ta bắt đầu bằng một phép thử gieo xúc xắc. Tập các giá trị có th ể x u ất hiện khi gic xúc xác sẽ là: s = {1,2, 3, 4, 5, 6} (2- 1- 1) ở đây mỗi giá trị x u ất hiện chính là số lượng điểm chấm có trên m ật ngửa của con xúc xắc. Khi ta gieo một hoặc một sô^ con súc xác thì một tập con các giá trị của s sẽ x u ấ t hiện. Chún ta sẽ gọi việc x u ât hiện này là một sự kiện, nói cách khác sự kiện là một tập con b ấ t kỳ của s. ^ dụ, ta định nghĩa sự kiện A là việc xu ất hiện hai giá trị 2 và 4 như sau: A = {2,4} (2-1-2) Sự kiện bù của sự kiện A, ký hiệu là A , là tập con gồm các p h ần tử của s n h ư n g không thiu A. Ví dụ vối A ở (2-1-2): Ã = {1, 3, 5, 6} (2-1-3) Hai sự kiện được gọi là loại trừ nha u nếu chủng không chửa một giá trị chung nào.Ví dụ sự kiện A và B dưới dây là loại trừ nhau: hi A = {1 , 3} B = {2, 4, 6} (2-1-4) Hai sự kiện bù n h au (A và A ) là loại trừ nhau. Hợp (Union) của hai sự kiện là sự kiện chứa tấ t cả các giá trị có trong cả hai sự kiện. Phí hợp được ký hiệu “ u Ví dụ nếu: A = {1,2] B = {1, 3t 6 } thì sự kiện hợp là: C = A u B = { l,2 , 3, 6 } (2-1-5) Tất nhiên, chủng ta c ó A u A = s . Giao (Intersection) của hai sự kiện là sự kiện chứa các giá trị chung trong hai sự kiện. Phc giao hai sự kiện được ký hiệu là “rY\ Ví dụ nếu: 18 3 c o s ở L T T T /‘ XÁC SUẤT VẢ QUÁ T R Ì N H NGẢƯ N H IÊ N A = {2, 4, 5} 5 = 11,2,4,6} t ì sự kiện giao là: C = A n B = {2, 4} (2-1-6) Đương nhiên giao của hai sự kiện loại trừ nhau c \ o ta sự kiện rỗng, ký hiệu là 0 . V dụ: A n / í = 0 . Liỏn quan đôn sự kiện A thuộc tập s chúng ta định nghĩa xác s u ấ t xu ất hiện của sự kiện A, k' hiộu là P(A). Xác s u ấ t x uất hiện P(A) của sự kiện A dược định nghĩa là khả năng xu ất hiện sự kiện A (khả n.ng xuất hiện các giá trị thuộc tập con A) khi thực hiện một phép th ử có liên quan đến sự kiện i4(hav khi thực hiện phép thử có tập s các giá trị có thê xuất hiện mà các giá trị thuộc A là tập c 0 hoặc P(B) > 0. Kết hợp (2-1-11) và (2-1-12) ta có : P(A, B) = P(A).P(B \A) = P(B).P(A IB) (2-1-13) Bây giờ, nếu thực hiện một phép thử đơn lẻ mà trong đó hai sự kiện A và B cùng xuất hiệ thì xác su ấ t đồng thòi được quan niệm là xác s u ấ t x u ất hiện của A n B, P(A,B) = P(Ar\B). Tron trường hợp này. nếu A và B loại trừ n h a u A n B = 0 , thì P(A, Bì = 0, dẫn đôn P ( A /B ) = 0. Tươn tự nếu A là tập con của B thì: P(A IB) = P(A) /P(B) W ì A r \ B = A nếu B là tập con của A , A n S = B, thì P ( A \B ) = P ( B )/P (B )= 1 Một q uan hệ thường d ùn g của xác s u ấ t có điều kiện là công thức Bayes. Công thức này rằng, nếu các sự kiện A t , i = 1, n là loại trừ n hau ỦA =s Ỉ=1 và B là một sự kiện x u ấ t hiện đồng thời vối các sự kiện A ì và P(B) > 0 thì: 20 n XÁC SUẤT VÀ QUÁ T R Ì N H NGẢƯ NHI ÊN P{AI \B ) = P ( A , . B ) I P { B ) = ỵ P ( B \ A J )P(Aj) j= ỉ - ^ - (2-1-14) Trong hệ thông truy ền tín hiệu sô, các sự kiện A, sẽ được coi là các tin có thế được phát, B được CO là tin n h ậ n được khi phía nguồn p h át tin A, và có nhiễu tác động, xác s u ấ t P(A, IB) được I CO là xác su ất để nguồn tin ph át tin A t khi phía th u đã n hận được B. Trong công thức Bayes, I P (2-1-17) 2-1-2. Biến ngẫu nhiên, hàm phân bỏ xác suất và hàm mật độ phân bô xác suất Gia th iê t rà n g một thực nghiệm có tập giá trị s và s là một phần tử của nó, s € s , chúng ta sẽ định nghĩa một h àm X(s) có miền xác định là s và miền giá trị của nó là một khoảng trên trục thực. Hàm X(s) được gọi là một biến ngẫu nhiên. Ví dụ nếu chúng ta tun g một dồng xu có hai m ặt sấp (H) và ngửa (T). tập s = {H, T}. Ta định nghĩa một hàm: í 1 (s = H ) ‘ X(s) = ị 1-1 (S = T) (2-1-18) Đây chính là m ột biên sô" ngẫu nhiên có th ể lấy giá trị 1 hoặc -1 tù y theo kết quả tung đồng tiền. Biến ngẫu n h iên này dược gọi là biến ngẫu nhiên rời rạc. Trong nhiều trường hợp vật lý, các thực nghiệm sê cho một biến có giá trị liên tục như trong trường hợp đo diện áp nhiễu của bộ khuếch đại điện tử chẳng hạn. Lúc này tập giá trị s là hên tuc và ta có thể đ ịn h nghĩa hàm X(s) = s. Hàm X(s) này là một biến ngẫu nhiên liên tục. Đê đơn giản cho cách ghi hiến ngẫu nhiên, từ nay X(s) sẽ được viêt là X. Giả th iết chúng ta đã có biến ngẫu nhiên A\ và sự kiện để cho biến ngẫu nhiên X nhỏ hơn một giá trị X, IX - Xem thêm -