Tài liệu Phân tích bayes theo chuẩn l1

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP.HCM Cao Thị Hồng Nhung PHÂN TÍCH BAYES THEO CHUẨN L1 LUẬN VĂN THẠC SĨ TOÁN HỌC Thành phố Hồ Chí Minh – 2012 BỘ GIÁO DỤC VÀ ÐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP.HCM Cao Thị Hồng Nhung 1 PHÂN TÍCH BAYES THEO CHUẨN L Chuyên ngành: Toán Giải Tích Mã số: 60 46 01 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC GS. TS. ĐẶNG ĐỨC TRỌNG Thành phố Hồ Chí Minh – 2012 LỜI CẢM ƠN Sau hai năm học tập tại đại học Sư phạm Tp.HCM chuyên ngành toán Giải tích với sự quan tâm, giúp đỡ tận tình của thầy cô, gia đình và bạn bè, hôm nay em hoàn thành khóa học với luận văn tốt nghiệp này. Em xin bày tỏ lòng biết ơn chân thành, sâu sắc đến:  Cha mẹ đã luôn quan tâm dạy bảo, lo lắng cho con trên mỗi bước đường đời và là chỗ dựa vững chắc để con hoàn thành tốt luận văn.  Thầy Đặng Đức Trọng – người đã tận tình hướng dẫn luận văn cho em. Là một học viên chuyên ngành giải tích nên kiến thức về lĩnh vực Xác suất - Thống kê vẫn còn nhiều hạn chế, thầy đã dành nhiều thời gian chỉ dạy, hướng dẫn và giúp đỡ em suốt cả quá trình thực hiện luận văn, đó là nguồn động lực vô cùng lớn để em có thể hoàn thành đề tài của mình. Em thật sự rất biết ơn thầy!.  Thầy Chu Đức Khánh và Thầy Đinh Ngọc Thanh. Hai thầy đã tận tình quan tâm giúp đỡ và chỉ dẫn chúng em trong nghiên cứu khoa học. Qua đó em cũng xin cảm ơn ThS. Nguyễn Văn Phong cùng các anh chị trong “nhóm seminar”, đã cùng nhau trao đổi với em về đề tài này.  Các thầy trong Khoa Toán – tin trường Đại học Sư phạm TPHCM, đã tận tình giảng dạy chúng em, cùng các thầy cô Phòng Sau đại học đã tạo điều kiện cho chúng em trong hai năm học Cao học vừa qua.  Cuối cùng xin cảm ơn tất cả các bạn đã giúp đỡ, đóng góp ý kiến để luận văn được hoàn chỉnh hơn. Xin chân thành cảm ơn tất cả!. Tp Hồ Chí Minh, tháng 9 năm 2012 Cao Thị Hồng Nhung MỤC LỤC LỜI CẢM ƠN DANH MỤC DỊCH MỘT SỐ THUẬT NGỮ TIẾNG ANH PHẦN MỞ ĐẦU CHƯƠNG I. KIẾN THỨC CHUẨN BỊ .....................................................................1 1.1 Lý thuyết xác suất ..............................................................................................1 1.2 Định lý Bayes.....................................................................................................5 1.3 Phép biến đổi các biến ngẫu nhiên ....................................................................7 1.4 Các số đặc trưng của biến ngẫu nhiên ..............................................................8 1.5 Một số phân phối của biến ngẫu nhiên ............................................................10 1.6 Hàm Lauricella D ............................................................................................15 1.7 Lý thuyết và phương pháp phân tích Bayes ...................................................17 1 CHƯƠNG II. PHÂN TÍCH BAYES THEO CHUẨN L ........................................30 2.1 Hệ số chồng lấp và sai số Bayes giữa hai hàm mật độ trong R .......................30 2.2 Phân tích Bayes cho tỷ lệ trộn trong phân loại và nhận dạng hai tổng thể ......42 2.3 Khoảng cách L1 giữa hai hàm mật độ xác suất ................................................54 2.4 Khoảng cách L1 giữa hai tổng thể ....................................................................57 2.5 Ví dụ cụ thể trong phân tích tỷ lệ trộn π ........................................................59 CHƯƠNG III. CẬN CỦA SAI SỐ BAYES TRONG BÀI TOÁN PHÂN LOẠI ...66 3.1 Cận cho sai số Bayes trung bình ......................................................................67 3.2 Phân tích hậu nghiệm.......................................................................................74 3.3 Ví dụ cụ thể ......................................................................................................76 KẾT LUẬN ...............................................................................................................80 TÀI LIỆU THAM KHẢO .........................................................................................82 DANH MỤC DỊCH MỘT SỐ THUẬT NGỮ TIẾNG ANH Population: tổng thể. Observation: quan sát. Observable: quan sát được. Unobservable: không quan sát được. Prior probability: xác suất tiên nghiệm. Posterior probability: xác suất hậu nghiệm. Marginal probability: xác suất lề. Conjugate family prior: họ phân phối tiên nghiệm liên hợp Classification: phân loại. Misclassification: phân loại sai. Likelihood function: hàm hợp lý. Cost of misclassification: giá của phân loại sai. Expected cost of misclassification (ECM): kỳ vọng giá phân loại sai. Overlapping coefficient: hệ số chồng lấp. Incomplete Beta function: hàm Beta khuyết. Binomial distribution: phân phối nhị thức. Predictive distribution: phân phối dự đoán. Improper: tầm thường. Credible interval: khoảng tin cậy. Bayes inference: suy diễn Bayes Decision theory: lý thuyết quyết định. Decision rule: quy tắc quyết định. Actions: các tác động. Loss function: hàm tổn thất. Mean squared error: sai số bình phương trung bình. Normalizing constant: hằng số chuẩn hóa. Proportional: tỷ lệ. Effectiveness: tính hiệu quả PHẦN MỞ ĐẦU 1 Lý do chọn đề tài Trong thực tế có nhiều vấn đề đòi hỏi chúng ta phải giải quyết bài toán phân loại và phân biệt các tổng thể H1 và H 2 , do đó vấn đề này được rất nhiều nhà toán học quan tâm trên lý thuyết cũng như ứng dụng. Có rất nhiều phương pháp để giải quyết bài toán phân loại đã được đề cập chẳng hạn phương pháp phân loại dựa vào phương pháp phân tích phân biệt của R.A. Fisher (1936), tiêu chuẩn tỷ số hợp lý của T.W. Aderson (1984) [1], phương pháp sai số Bayes đề cập bởi T.P. Logan (1993) và cũng được nhắc đến bởi nhóm tác giả Pham-Gia, N. Tukkan và A. Bekker (2006) [6],…Trong số đó phương pháp Bayes được xem là có hiệu quả hơn hết vì nó tính được xác suất sai lầm trong quá trình phân loại. Trong bài toán phân loại và phân biệt, nghiên cứu sai lầm luôn là vấn đề quan trọng được đặt ra vì nó là tiêu chuẩn để đánh giá việc giải quyết bài toán tốt hay không. Số đo trong phương pháp Bayes gọi là sai số Bayes ( Pe ) và phân loại là tốt nhất khi sai số Bayes là nhỏ nhất. Hơn nữa các tiêu chuẩn phân loại bài toán còn dựa trên sự đánh giá khoảng cách giữa các phần tử hay hàm mật độ xác suất, do đó việc chọn một khoảng cách thích hợp thuận lợi trong xử lý và tính toán luôn được quan tâm đặc biệt. Có nhiều khoảng cách được đưa ra nhưng tối ưu nhất là khoảng cách L1 giữa các hàm mật độ được đề cập bởi Pham-Gia et. al. (2006) [6]. Thông qua khoảng cách này sai số Bayes (cũng như mối quan hệ giữa các đại lượng trong bài toán phân loại và phân biệt) được đề cập. Trong phương pháp phân loại này người ta còn đặc biệt quan tâm đến tổng thể H 3 chứa những phần tử chung của H1 và H 2 , kết hợp từ mỗi tổng thể với tỷ lệ nào đó. Giả sử trên H1 và H 2 ta quan sát biến ngẫu nhiên X , ký hiệu f1 ( x ) , f 2 ( x ) là hàm mật độ xác suất tương ứng trên hai tổng thể và gọi π là tỷ lệ trộn của những phần tử H1 trong H 3 ( 0 ≤ π ≤ 1) , khi đó hàm mật độ xác suất của biến ngẫu nhiên X trên tổng thể H 3 có dạng: g = ( x ) π f1 ( x ) + (1 − π ) f 2 ( x ) , trong đó 1 − π là tỷ lệ trộn của những phần tử H 2 trong H 3 . Tham số π thường không được biết một cách chính xác, vì vậy vấn đề cần quan tâm ở đây là ước lượng π . Ước lượng này đã được nghiên cứu bởi McLachlan và Basford (1988); Everitt (1985) dựa trên phương pháp cực đại tỷ số hợp lý và phương pháp mômen. Trước đó James (1978) đã dựa trên thực tế để ước lượng π nhưng đáng chú ý phải kể đến là phương pháp Bayes của nhóm tác giả Pham-Gia, N. Tukkan và A. Bekker (2006) [6], phương pháp này cho phép chúng ta ước lượng π với giả thiết π có luật phân phối xác suất tiên nghiệm cụ thể chọn trước. Với mong muốn tìm hiểu, nghiên cứu những vấn đề đã nêu, dựa trên hai bài báo [6] và [7], chúng tôi thực hiện đề tài: “PHÂN TÍCH BAYES THEO CHUẨN L1 ” 2 Mục đích nghiên cứu Đề tài nhằm trình bày phương pháp phân loại phần tử quan sát vào một trong hai tổng thể trên R theo chuẩn L1 , từ đó thực hiện phân tích Bayes và tìm hàm mật độ hậu nghiệm cho tỷ lệ trộn π trong hỗn hợp. Đồng thời tìm phân phối cho khoảng cách L1 giữa hai hàm mật độ trên hai tổng thể cũng như khoảng cách giữa hai tổng thể. Xác định chặn trên và chặn dưới cho sai số Bayes trong phân loại, đó là cận Lissack – Fu và cận Bhattacharyya, qua đó đánh giá sự ảnh hưởng của các phân phối tiên nghiệm của π trên hai loại cận này. 3 Đối tượng và phạm vi nghiên cứu Đề tài chủ yếu tập trung phân tích các khái niệm, định lý trên R và theo chuẩn L1. Dựa vào phương pháp Bayes để phân tích tỷ lệ trộn π trong hỗn hợp. Các tổng thể với biến ngẫu nhiên có phân phối chuẩn, mũ, beta và mô hình dữ liệu có phân phối nhị thức. 4 Phương pháp nghiên cứu Phương pháp phân tích: Phân tích đề tài để xác định đối tượng và phạm vi nghiên cứu. Dựa trên các bài báo, tài liệu tham khảo để phân tích làm rõ vấn đề cần nghiên cứu. Phương pháp tổng hợp, khái quát hóa: Tổng hợp, khái quát các vấn đề đã phân tích. 5 Nội dung nghiên cứu Luận văn chia làm 3 chương Chương I. Kiến thức chuẩn bị Nội dung chương trình bày các kiến thức cơ bản về xác suất, định lý Bayes, lý thuyết và phương pháp phân tích Bayes làm cơ sở nghiên cứu cho các chương sau. Chương II. Phân tích Bayes theo chuẩn L1 Nội dung: Trình bày phương pháp phân loại phần tử quan sát vào một trong hai tổng thể trên R theo khoảng cách L1 . Phân tích tỷ lệ trộn π của những phần tử thuộc H1 trong hỗn hợp H 3 theo phương pháp Bayes với giả thiết π có một phân phối tiên nghiệm cho trước và dựa vào dữ liệu để phân tích hậu nghiệm cho π . Đồng thời dựa trên khoảng cách L1 để tìm phân phối cho khoảng cách giữa hai hàm mật độ trên hai tổng thể và phân phối giữa hai tổng thể. Chương III. Cận của sai số Bayes trong bài toán phân loại Trong chương này nêu hai dạng cận của sai số Bayes đó là cận Lissack – Fu và cận Bhattacharyya trong sự phân loại quan sát phần tử vào một trong hai tổng thể xác định. Đồng thời đưa ra khái niệm các phép đo tính hiệu quả để đánh giá sự thực hiện của một phân phối và so sánh giữa hai phân phối tiên nghiệm. 1 CHƯƠNG I KIẾN THỨC CHUẨN BỊ 1.1 Lý thuyết xác suất 1.1.1 Khái niệm xác suất Cho Ω là không gian mẫu,  là một σ − đại số trên Ω , khi đó hàm P :  → R được gọi là một phân phối xác suất hoặc một độ đo xác suất nếu nó thỏa mãn 3 tiên đề sau: i) P ( A ) ≥ 0 với mọi A∈  . ii) P ( Ω ) =1. iii) Nếu có các Ai ∈  , i = 1,..., n và Ai ∩ Aj =∅, ∀i ≠ j , thì ∞  ∞ P   Ai  = ∑ P ( Ai ).  i =1  i =1 , P ) được gọi là một không gian xác suất, tập A∈  là Khi đó một bộ ba ( Ω,  các biến cố và P ( A ) là xác suất của biến cố A . 1.1.2 Biến ngẫu nhiên Một biến ngẫu nhiên (hay còn gọi là một đại lượng ngẫu nhiên) là một ánh xạ X : → R , trong đó với mỗi sự kiện A∈  , X ( A ) sẽ nhận tương ứng một số thực a . Cho B ⊂ R , ta định nghĩa ( ) P ( X ∈ B) = P X −1 ( B ) . 1.1.3 Hàm phân phối và hàm mật độ 1.1.3.1 Định nghĩa. Giả sử X là biến ngẫu nhiên trên ( Ω,  , P ) . Hàm phân phối tích lũy hay gọi tắt là hàm phân phối (viết tắt cdf) của X là hàm F : R → [ 0,1] xác định bởi F= ( x) P ( X ≤ x) . 2 1.1.3.2 Định nghĩa. Biến ngẫu nhiên X được gọi là rời rạc nếu X nhận hữu hạn hoặc đếm được các giá trị xi , i = 1, 2,... . Khi đó hàm mật độ của X được định nghĩa bởi f= ( x ) P= ( X x) . ∑ f (x ). Như vậy, ta có mối quan hệ F ( x = ) P ( X ≤ x =) xi ≤ x i 1.1.3.3 Định nghĩa. Biến ngẫu nhiên X được gọi là liên tục nếu tồn tại một hàm f ( x ) sao cho i) f ( x ) ≥ 0 với mọi x. +∞ ii) ∫ f ( x ) dx = 1 . −∞ iii) Với mỗi số a, b sao cho a ≤ b ta có b P (a < X < b) = ∫ f ( x ) dx . a Khi đó hàm f ( x ) được gọi là hàm mật độ (pdf) của biến ngẫu nhiên X . Từ đó F ( x= ) P ( X ≤ x =) x ∫ f ( t ) dt −∞ f ( x) = F '( x) . và 1.1.3.4 Một số tính chất. Giả sử F là hàm của biến ngẫu nhiên X . Khi đó i) 0 ≤ F ( x ) ≤ 1, ∀x . ii) F ( x ) không giảm. iii) lim F ( x ) = 0 , lim F ( x ) = 1 . x →−∞ x →+∞ iv) P ( x < X ≤ y= ) F ( y) − F ( x) . v) P ( X > x ) =− 1 F ( x) . vi) Nếu X là liên tục, khi đó 3 F ( b ) − F ( a )= P ( a < X < b )= P ( a ≤ X < b ) = P ( a < X ≤ b )= P ( a ≤ X ≤ b ) . 1.1.4 Phân phối đồng thời cho hai biến ngẫu nhiên 1.1.4.1 Định nghĩa. Cho X và Y là hai biến ngẫu nhiên độc lập rời rạc. Định nghĩa hàm mật độ đồng thời bởi f ( x= , y ) P= = Y y ) . Ký hiệu ( X x và X x= ,Y y ) . = P ( X x= và Y y ) có thể được viết lại P (= 1.1.4.2 Định nghĩa. Giả sử X và Y là các biến ngẫu nhiên liên tục, ta gọi hàm f ( x, y ) là hàm mật độ đồng thời cho cả hai biến ngẫu nhiên liên tục X và Y nếu i) f ( x, y ) ≥ 0 với mọi ( x, y ) . +∞ + ∞ ii) ∫ ∫ f ( x, y ) dxdy = 1. −∞ −∞ iii) Với bất kỳ tập A ⊂ R x R , ta có P ( ( X , Y ) ∈ A) = ∫∫ f ( x, y ) dxdy . A Nếu X , Y là hai biến ngẫu nhiên độc lập ta có f ( x, y ) = f X ( x ) fY ( y ) với tất cả các giá trị của x và y . 1.1.5 Phân phối lề 1.1.5.1 Định nghĩa. Nếu X , Y là các biến ngẫu nhiên rời rạc có phân phối đồng thời với hàm mật độ f ( x, y ) . Khi đó hàm mật độ lề cho biến ngẫu nhiên X được định nghĩa bởi f X ( x= ) P ( X= x=) ∑ P ( X= y x, Y= y= ) ∑ f ( x, y ) y và hàm mật độ lề cho biến ngẫu nhiên Y được định nghĩa fY ( y= ) P (Y= y=) ∑ P ( X= x x, Y = y= ) ∑ f ( x, y ) . x 1.1.5.2 Định nghĩa. Đối với biến ngẫu nhiên X , Y liên tục, ta có các hàm mật độ lề f X ( x ) = ∫ f ( x, y ) dy và fY ( y ) = ∫ f ( x, y ) dx . 4 Chú ý. Trong trường hợp X liên tục và Y rời rạc. Ta có hàm mật độ lề của biến ngẫu nhiên liên tục X xác định bởi f X ( x ) = ∑ y f ( x, y ) và hàm mật độ lề của biến ngẫu nhiên rời rạc Y xác định bởi fY ( y ) = ∫ f ( x, y ) dx . 1.1.6 Các biến ngẫu nhiên độc lập và có điều kiện 1.1.6.1 Định nghĩa. Hai biến ngẫu nhiên X và Y được gọi là độc lập nếu với mọi tập A và B trong R , ta có P ( X ∈ A, Y ∈ B )= P ( X ∈ A ) P (Y ∈ B ) . Ngược lại ta nói X và Y là phụ thuộc. Nếu X và Y là hai biến ngẫu nhiên liên tục có hàm mật độ f X ( x ) và fY ( y ) , khi đó X và Y là độc lập chỉ khi f ( x, y ) = f X ( x ) fY ( y ) . 1.1.6.2 Xác suất có điều kiện Định nghĩa. Nếu biến ngẫu nhiên X và Y là rời rạc, khi đó xác suất có điều kiện của biến ngẫu nhiên X được cho bởi quan sát Y = y xác định bởi P ( X= x Y = y= ) P (= X x= ,Y y ) P (Y = y ) . Từ đó dẫn đến định nghĩa mật độ có điều kiện f ( x y= ) P ( X= x Y= y=) ,Y y ) P (= X x= = P (Y = y ) f ( x, y ) fY ( y ) , với fY ( y ) > 0 . Định nghĩa. Nếu biến ngẫu nhiên X và Y là liên tục thì hàm mật độ có điều kiện là f ( x y) = và f ( x, y ) fY ( y ) , fY ( y ) > 0 P ( X ∈ A Y =y ) =∫ f ( x y ) dx . A Khi X liên tục và Y rời rạc ta có hàm mật độ có điều kiện của X khi Y = y được cho bởi 5 = f ( x y) f ( x, y ) f ( x, y ) = fY ( y ) ∫ f ( x, y ) dx . Tương tự, phân phối có điều kiện của Y = y khi x đã cho xác định bởi = f ( y x) f ( x, y ) = fX ( x) f ( x, y ) ∑ f ( x, y ) . y 1.1.6.3 Phân phối đa thức Lấy X = ( X 1 , X 2 ,..., X n ) trong đó X i , i = 1,..., n là các biến ngẫu nhiên thì X được gọi là một vectơ ngẫu nhiên. Giả sử f ( x1 , x2 ,..., xn ) là hàm mật độ đồng thời của các biến X i , i = 1,..., n , khi đó ta có thể định nghĩa phân phối lề, phân phối có điều kiện của chúng giống như đối với trường hợp hai chiều. Các biến ngẫu nhiên X 1 , X 2 ,..., X n là độc lập nếu n ∏ P(X P ( X 1 ∈ A1 ,..., X n ∈ = An ) i =1 i ∈ Ai ) , n f ( x1 , x2 ,..., xn ) = ∏ f X i ( xi ) . i =1 Định nghĩa. Nếu X 1 , X 2 ,..., X n là các biến ngẫu nhiên độc lập và mỗi X i , i = 1,..., n có cùng một phân phối với hàm phân phối F thì ta nói X 1 , X 2 ,..., X n là phân phối độc lập và đồng nhất (viết tắt iid) và được viết X 1 , X 2 ,..., X n  F . Nếu F có hàm mật độ f thì có thể viết X 1 , X 2 ,..., X n  f . X 1 , X 2 ,..., X n còn được gọi là một mẫu ngẫu nhiên kích thước n từ F . 1.2 Định lý Bayes 1.2.1 Quy tắc nhân. Giả sử A và B là hai sự kiện trong cùng một phép thử. Ký hiệu P ( A ∩ B ) như một xác suất kết hợp của sự kiện A và B , khi đó theo công thức xác suất có điều kiện ta có P ( B A) = P ( A ∩ B) P ( A) . 6 Bây giờ ta xét sự kiện A như một sự kiện không quan sát được và nó có thể xảy ra hoặc không xảy ra. Còn B được xét như một sự kiện được quan sát. Như vậy sự kiện B có thể xảy ra cùng với sự xuất hiện của sự kiện A hoặc phần bù của A . Công thức trên có thể viết lại như một quy tắc nhân: P ( A ∩ B) = P ( B A) P ( A) . 1.2.2 Định lý Bayes đối với các sự kiện. Giả sử A và B là hai sự kiện trên không gian xác suất ( Ω,  , P ) với ( P ( B ) > 0 ) , khi đó công thức Bayes xác định bởi P( A | B) = P ( B | A) P ( A) . P( B) Trong đó vai trò của A, B được xét như trong quy tắt nhân. Ta có P ( A ) là xác suất của riêng sự kiện A không xét đến B , P ( B ) là xác suất của riêng sự kiện B khi chưa biết sự kiện A xảy ra, P ( A B ) là xác suất của sự kiện A khi biết sự kiện B đã xảy ra, P ( B A ) là xác suất của sự kiện B khi sự kiện A xảy ra hoặc không xảy ra. Nếu { A1 , A2 ,..., An } là hệ đầy đủ các sự kiện và B là sự kiện bất kỳ trong cùng một phép thử, định lý Bayes có thể phát biểu = P ( Ak B ) P ( Ak ) P ( B Ak ) = P ( B) P ( Ak ) P ( B Ak ) n ∑ P( A ) P(B A ) i =1 i , (1 ≤ k ≤ n ) , i n với P ( B ) = ∑ P ( Ai ) P ( B Ai ) là công thức xác suất toàn phần. i =1 1.2.3 Trường hợp các biến ngẫu nhiên rời rạc. Định lý Bayes phát biểu như một phân phối có điều kiện X x) ( X x ) P= P (= X x= , Y y ) P= (Y y= P ( X= x Y = y= = . ) = P (Y y= P (Y y ) ) 1.2.4 Trường hợp các biến ngẫu nhiên liên tục. Định lý Bayes phát biểu như một hàm mật độ có điều kiện 7 f ( x y) = fX ( x) f ( y x) fY ( y ) . 1.3 Phép biến đổi các biến ngẫu nhiên Giả sử X là một biến ngẫu nhiên với hàm mật độ f và hàm phân phối F . Giả sử Y = r ( X ) là hàm của biến ngẫu nhiên X . Vấn đề : Xác định hàm mật độ và hàm phân phối cho biến ngẫu nhiên Y . 1.3.1 Đối với trường hợp các biến ngẫu nhiên rời rạc. Hàm mật độ của Y được xác định bởi f ( y= ) P (Y= y=) P ( r ( X=) Y ) ({ }) ( ) = P w : r ( X ( w= ) ) y= P X ∈ r −1 ( y ) . 1.3.2 Đối với trường hợp các biến ngẫu nhiên liên tục. Hàm mật độ f của Y được tìm theo các bước sau {w : r ( X ( w)) ≤ y} . i) Với mỗi y ,= tìm tập Ay ii) Tìm hàm phân phối xác suất F ( y )= P (Y ≤ y )= P ( r ( X ) ≤ y ) ({ }) ∫ = P w : r ( X= ( w)) ≤ y iii) Ay f ( x ) dx. Hàm mật độ xác suất chính là f ( y ) = F ' ( y ) . Chú ý. Khi r là hàm tăng hoặc giảm nghiêm ngặt thì r có hàm ngược s = r −1 . Khi đó hàm mật độ f của Y có thể xác định f ( y) = ds ( y ) dy f ( s ( y )) . 1.3.3 Trường hợp nhiều biến ngẫu nhiên. Giả sử Z = r ( X , Y ) là hàm của hai biến ngẫu nhiên X và Y , chẳng hạn X , X + Y , max { X , Y } hay min { X , Y } . Khi đó Y hàm f ( z ) của Z được xác định như sau i) = Với mỗi z , tìm tập Az {(u, v ) : r ( X (u ) , Y ( v )) ≤ z} . 8 ii) Tìm hàm phân phối xác suất F ( z )= P ( Z ≤ z )= P ( r ( X , Y ) ≤ z ) = P ({(u, v ) : r ( X (u ) , Y ( v )) ≤ z}) = ∫ ∫ f ( x, y ) dxdy. Az iii) Hàm mật độ xác suất chính là f ( z ) = F ' ( z ) . Đặc biệt. Giả sử X liên tục có hàm mật độ f ( t ) , Y có hàm mật độ g ( t ) và X , Y độc lập. Khi đó hàm mật độ f ( z ) của Z= X + Y được xác định như sau = f (z) +∞ ∫ f ( z − t ) g ( t ) dt hoặc f (z) = −∞ +∞ ∫ f ( t ) g ( z − t ) dt . −∞ 1.4 Các số đặc trưng của biến ngẫu nhiên 1.4.1 Kỳ vọng của biến ngẫu nhiên Kỳ vọng của biến ngẫu nhiên X , ký hiệu E ( X ) được định nghĩa như sau i) E ( X ) = ∑ x xf ( x ) nếu X rời rạc. ii) E ( X ) = ∫ xf ( x ) dx nếu X liên tục. Chú ý i) Giá trị trung bình hay giá trị kỳ vọng của X có thể được ký hiệu E(X= ) EX= µ= µ X . ii) Nếu biến ngẫu nhiên Y là một hàm theo X : Y = r ( X ) . Khi đó = E (Y ) E= ( r ( X )) và = E (Y ) E= ( r ( X )) ∑ r ( x) f ( x) x ∫ r ( x ) f ( x ) dx nếu X rời rạc nếu X liên tục. Tính chất của kỳ vọng i) Nếu X 1 , X 2 ,..., X n là các biến ngẫu nhiên và a1 , a2 ,..., an là các hằng số. Khi đó  n  n E  ∑ ai X i  = ∑ ai E ( X i ) . =  i 1=  i1 ii) Nếu X 1 , X 2 ,..., X n là các biến ngẫu nhiên độc lập, khi đó 9  n  n E ∏ Xi  = ∏ E ( Xi ) . =  i 1=  i1 iii) Nếu X = ( X 1 , X 2 ,..., X n ) là vectơ ngẫu nhiên, khi đó trung bình của X được định nghĩa bởi E ( X ) = ( E ( X 1 ) , E ( X 2 ) ,..., E ( X n ) ) . Bất đẳng thức đối với kỳ vọng i) Định lý (Bất đẳng thức Cauchy – Schwartz). Nếu biến ngẫu nhiên X và Y có phương sai hữu hạn, khi đó ( ) ( ) E XY ≤ E X 2 E Y 2 . ii) Định lý (Bất đẳng thức Jensen). Nếu f là một hàm lồi trên R, nghĩa là với ∀x, y ∈ R và α ∈ [ 0,1] : f α x + (1 − α ) y  ≤ α f ( x ) + (1 − α ) f ( y ) , khi đó E  f ( X )  ≥ f  E ( X )  . Nếu f là một hàm lõm, khi đó E  f ( X )  ≤ f  E ( X )  . iii) Định lý (Bất đẳng thức liên kết). Giả sử X là biến ngẫu nhiên và f , g là hai hàm đơn điệu không giảm trên R, khi đó E  f ( X ) g ( X )  ≥ E  f ( X )  E  g ( X )  . Nếu f là một hàm đơn điệu tăng và g là một hàm đơn điệu giảm, khi đó E  f ( X ) g ( X )  ≤ E  f ( X )  E  g ( X )  . Các bất đẳng thức trên áp dụng đối với tất cả các kỳ vọng tồn tại và hữu hạn. 1.4.2 Phương sai của biến ngẫu nhiên Phương sai của biến ngẫu nhiên X với trung bình µ , ký hiệu Var ( X ) hoặc σ 2 được định nghĩa bởi = σ 2 E(X − µ) . 2 Từ đó = σ2 ∑ x x 2 f ( x ) − µ 2 nếu X rời rạc 10 = σ2 và ∫ x f ( x) − µ 2 2 nếu X liên tục. Độ lệch chuẩn của biến ngẫu nhiên X được xác định σ X = Var ( X ) . Nếu biến ngẫu nhiên Y là một hàm theo X : Y = r ( X ) . Khi đó = Var (Y ) Var = ( r ( X )) và = Var (Y ) Var = ( r ( X )) ∑ r ( x ) f ( x ) −  E (Y ) 2 2 x nếu X rời rạc ∫ r ( x ) f ( x ) dx −  E (Y ) nếu X liên tục. 2 2 Tính chất a 2 Var ( X ) . i) Nếu a và b là các hằng số, khi đó Var ( aX + b ) = ii) Nếu X 1 , X 2 ,..., X n là các biến ngẫu nhiên độc lập và a1 , a2 ,..., an là các hằng số, khi đó  n  n Var  ∑ ai X i  = ∑ ai 2 Var ( X i ) . =  i 1=  i1 1.5 Một số phân phối của biến ngẫu nhiên 1.5.1 Phân phối của biến ngẫu nhiên rời rạc 1.5.1.1 Phân phối đều. Với số nguyên k > 1 , giả sử biến ngẫu nhiên X có hàm mật độ được cho bởi f= ( x) 1 = , x 1,..., k k và f ( x ) = 0 trong trường hợp ngược lại. Khi đó ta nói X có phân phối đều trên {1, 2,.., k } . 1.5.1.2 Phân phối Bernoulli. Trong một phép thử biến ngẫu nhiên X chỉ nhận hai giá trị 1 và 0. X nhận giá trị 1 với xác suất thành công là p ( 0 ≤ p ≤ 1) và nhận giá trị 0 trong trường hợp ngược lại, ta có P ( X = 1) = p, P ( X = 0 ) = 1 − p . Chẳng hạn khi thực hiện phép thử tung đồng tiền bằng kim loại đồng chất có hai mặt xấp và ngửa, giả sử thành công của phép thử là xuất hiện mặt ngửa thì X nhận 11 giá trị 1 nếu mặt ngửa xuất hiện với xác suất p ( 0 ≤ p ≤ 1) và ngược lại nếu đồng tiền xuất hiện mặt xấp. Khi đó ta nói X có phân phối Bernoulli, ký hiệu X ∼ Bernoulli ( p ) . Với hàm mật độ của X f ( x) = p x (1 − p ) , x ∈ {0,1} . 1− x Kỳ vọng và phương sai = E ( X ) = p và Var ( X ) p(1 − p) . 1,..., n . Giả sử X 1 , X 2 ,..., X n là các biến ngẫu nhiên độc lập, X i ∼ Bernoulli ( p ) , i = Khi đó hàm mật độ của X = ( X 1 , X 2 ,..., X n ) là = f ( x) n n f ( x ) ∏ p (1 − p ) ∏= 1− xi xi i =i 1 =i 1 1,..., n . , với xi ∈ {0,1} , i = 1.5.1.3 Phân phối Nhị thức. Giả sử X 1 , X 2 ,..., X n là các biến ngẫu nhiên độc 1,..., n . lập, X i ∼ Bernoulli ( p ) , i = n Đặt Y = ∑ X i . Khi đó Y được gọi là có phân phối nhị thức, ký hiệu Y  B ( n, p ) i =1 với hàm mật độ ( ) p (1 − p ) f ( y= ) P (Y= y=) trong đó n y y n− y , với y ∈ {0,1,..., n} , ( ) = y !( nn−! y )! . n y  n  Y  B ∑ k  ∑ nk , p  . = k 1= k 1  Chú ý. Nếu Yk  B ( nk , p ) thì n Kỳ vọng và phương sai của Y E (Y ) = np và Var (= Y ) np (1 − p ) . Lưu ý rằng trong công thức trên Y là một biến ngẫu nhiên, y là giá một trị riêng của Y còn n và p là các tham số. Trong thực tế tham số p thường chưa biết và phải ước lượng từ dữ liệu. 12 1.5.1.4 Phân phối Nhị thức âm. Giả sử trong một phép thử X là biến ngẫu nhiên chỉ nhận hai kết quả, thành công với xác suất là p và không thành công với xác suất 1 − p , ( 0 ≤ p ≤ 1) . Cho s là giá trị cố định, thực hiện phép thử với biến ngẫu nhiên X cho tới s lần thành công thì dừng. Khi đó X gọi là có phân phối nhị thức âm (hay phân phối Pascal), ký hiệu X  NB ( s, p ) với hàm mật độ f ( x= ) P ( X= x=) ( x + s −1 x ) p (1 − p ) s ( ) x −1 s f ( x) = P( X = x) = s −1 p (1 − p ) Hoặc x x−s , với x = 0,1,... . ,x = s, s + 1,... Kỳ vọng và phương sai E(X ) = s (1 − p ) p và Var= (X) 2 s (1 − p ) 1 E ( X ) +  E ( X )  . = 2 p s  n  Y  NB ∑ k  ∑ nk , p  . = k 1= k 1  Chú ý. Nếu Yk  NB ( nk , p ) thì n 1.5.2 Phân phối của biến ngẫu nhiên liên tục 1.5.2.1 Phân phối đều. Biến ngẫu nhiên liên tục X có hàm mật độ  1 , x ∈ [ a, b ] ,  f ( x) = b − a 0, x ∉ [ a, b ].  được gọi là có phân phối đều trên [ a, b ] , ký hiệu X  Uniform [ a, b ] hay X  R [ a, b ] . Khi đó hàm phân phối xác suất của X xác định bởi 0, x < a, x−a  = F ( x)  , x ∈ [ a, b ] , b − a 1, x > b. Trung bình và phương sai a+b = E(X ) = , Var ( X ) 2 (a − b) . 2 12