Tài liệu Phương pháp vb và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ——————————— Đỗ Thị Len PHƯƠNG PHÁP VB VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC HÀ NỘI - 2016 ĐẠI HỌC QUỐC GIA HÀ NÔI ĐẠI HỌC KHOA HỌC TỰ NHIÊN ——————————— Đỗ Thị Len PHƯƠNG PHÁP VB VÀ ỨNG DỤNG Chuyên ngành: LÍ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Mã số: 60 46 01 06 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS. Trần Mạnh Cường HÀ NỘI - 2016 Lời cảm ơn Luận văn này được hoàn thành với sự hướng dẫn tận tình và cũng hết sức nghiêm khắc của TS. Trần Mạnh Cường. Trước khi trình bày nội dung chính của luận văn, tác giả muốn bày tỏ lòng biết ơn chân thành và sâu sắc tới người thầy đáng kính của mình. Thầy đã luôn tận tình hướng dẫn cũng như giải đáp các thắc mắc của tác giả trong suốt quá trình làm luận văn. Tác giả cũng muốn gửi tới toàn thể các thầy cô Khoa Toán - Cơ - Tin học trường Đại học Khoa học Tự nhiên - Đại học Quốc gia Hà Nội, các thầy cô đã đảm nhận giảng dạy khóa Cao học 2014 - 2016, đặc biệt là các thầy cô tham gia giảng dạy nhóm Xác suất thống kê 2014 - 2016 lời cảm ơn chân thành đối với công lao dạy dỗ trong suốt thời gian của khóa học. Tác giả xin cảm ơn gia đình, bạn bè, đồng nghiệp và các anh chị em trong nhóm Xác suất thống kê 2014 - 2016, các thành viên trong nhóm Seminar do thầy Trần Mạnh Cường phụ trách về các chủ đề liên quan đến Thống kê Bayes đã quan tâm, giúp đỡ, tạo điều kiện và động viên tinh thần để tác giả có thể hoàn thành được khóa học này. Tác giả xin chân thành cảm ơn! Hà Nội, ngày tháng năm 2016. Học viên Đỗ Thị Len 0 Mục lục Lời cảm ơn 0 Lời mở đầu 2 1 Thống kê Bayes 5 Thống kê Bayes 5 1.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2 Một số phân phối thường dùng . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.3 Suy luận Bayes cho tham số tỉ lệ phân phối nhị thức . . . . . . . . . . . . . . 14 1.3.1 Tiên nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.3.2 Hậu nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 1.3.3 Ước lượng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 1.3.4 Kiểm định giả thiết . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.4 Suy luận Bayes cho kỳ vọng phân phối Gaussian . . . . . . . . . . . . . . . . 17 1.4.1 Tiên nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.4.2 Hậu nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.4.3 Ước lượng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.4.4 Kiểm định giả thiết . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 1.5 Hồi quy Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.5.1 Suy luận Bayes cho mô hình hồi quy tuyến tính Bayes đơn . . . . . . 21 1.5.2 Mô hình hồi quy tuyến tính Bayes bội . . . . . . . . . . . . . . . . . . . 25 1.5.3 Mô hình hồi quy Logistic Bayes . . . . . . . . . . . . . . . . . . . . . . . 27 1 MỤC LỤC MỤC LỤC 2 Phương pháp VB 30 2.1 Nguồn gốc toán học . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.2 Xấp xỉ phân phối hậu nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.2.1 Xấp xỉ phân phối hậu nghiệm của biến Z độc lập từng khối . . . . . 32 2.2.2 Xấp xỉ địa phương - Tham số biến phân . . . . . . . . . . . . . . . . . 34 2.3 Áp dụng phương pháp VB cho phân phối Gaussian . . . . . . . . . . . . . . . 36 2.3.1 Phân phối Gaussian một chiều . . . . . . . . . . . . . . . . . . . . . . . 36 2.3.2 Phân phối đa thức Gaussian . . . . . . . . . . . . . . . . . . . . . . . . . 40 2.4 Áp dụng phương pháp VB cho mô hình hồi quy Bayes . . . . . . . . . . . . . 47 2.4.1 Mô hình hồi quy tuyến tính Bayes . . . . . . . . . . . . . . . . . . . . . 47 2.4.2 Mô hình hồi quy Logistic Bayes . . . . . . . . . . . . . . . . . . . . . . . 52 3 Ứng dụng 59 3.1 Phân phối hậu nghiệm không thuộc họ phân phối nào đã biết . . . . . . . . 59 3.1.1 Bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 3.1.2 Thuật toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 3.1.3 Code chạy phần mềm mathlab . . . . . . . . . . . . . . . . . . . . . . . 63 3.1.4 Kết quả . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 3.2 Phân phối hậu nghiệm thuộc họ phân phối đã biết . . . . . . . . . . . . . . . 67 3.2.1 Bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 3.2.2 Thuật toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 3.2.3 Code chạy phần mềm mathlab . . . . . . . . . . . . . . . . . . . . . . . 71 3.2.4 Kết quả . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 Kết luận 75 1 Lời mở đầu Hiện nay, thống kê có hai trường phái: Thống kê tần suất và thống kê Bayes. Thống kê tần suất ra đời trước và là phương pháp phổ biến hiện nay. Nó dựa trên những kết quả quan sát mẫu của hiện tại mà không cần đến những thông tin, dữ liệu đã biết trước. Thống kê Bayes dựa trên những thông tin dữ liệu đã biết trước và kết quả quan sát mẫu của hiện tại để suy luận cho những thống kê hiện tại. Thống kê Bayes hay còn gọi là suy luận Bayes ra đời trên cơ sở định lý Bayes. Đó là kiểu suy luận thống kê mà trong đó, các nhà thống kê sử dụng phân phối tiên nghiệm (thông tin đã biết trước) về vấn đề đang xét và thông tin mẫu (các quan sát hay bằng chứng), áp dụng công thức trong định lý Bayes để tìm ra phân phối hậu nghiệm (xác suất xảy ra ở hiện tại), từ đó dùng phân phối hậu nghiệm để suy luận cho thống kê hiện tại. Ví dụ: Xét bài toán ước lượng cho tham số θ của biến ngẫu nhiên X với mẫu X 1 , X 2 , ..., X n . • Theo thống kê tần suất, tham số θ của biến ngẫu nhiên nhận một giá trị nào đó. Ta tìm được tham số của mẫu θ ∗ theo công thức tính dựa theo giá trị quan sát mẫu. Ta có E [θ ∗ ] = θ . Do đó, ta dùng θ ∗ để ước lượng cho tham số θ . Chẳng hạn, ước lượng cho giá 1 n X i , sau đó dùng trị trung bình µ của biến ngẫu nhiên: ta tính trung bình mẫu X = n i =1 giá trị trung bình mẫu để ước lượng cho µ. • Theo thống kê Bayes, tham số θ cũng là một biến ngẫu nhiên liên tục. Trước hết, ta biết phân phối tiên nghiệm của θ là p (θ). Sau đó, áp dụng định lý Bayes ta tính được mật độ hậu nghiệm p (θ|X 1 , X 2 , ..., X n ). Khi đó tham số của mẫu dùng để ước lượng được xác 2 Lời mở đầu định như sau: θ ∗ = E [θ] = θp (θ|X 1 , X 2 , ..., X n ) d θ Để ước lượng cho các tham số của các thống kê hiện tại, các nhà thống kê Bayes cần dùng phân phối hậu nghiệm để ước lượng. Như vây ta có thể nói rằng phân phối hậu nghiệm là một yếu tố đặc biệt quan trọng trong quá trình suy luận Bayes. Tuy nhiên, việc tính toán để tìm ra phân phối hậu nghiệm đôi khi rất phức tạp hoặc có thể không tính được. Để giải quyết vấn đề này, người ta tìm cách xấp xỉ phân phối hậu nghiệm. Do đó, phương pháp VB (Variational Bayesian) ra đời để tìm giá trị gần đúng nhất của phân phối hậu nghiệm. Trong luận văn này, tác giả trình bày về một phương pháp trong suy luận Bayes là phương pháp VB và một số ứng dụng của phương pháp này. Luận văn của tác giả được chia làm 3 chương: Chương 1. Thống kê Bayes Trong chương này, tác giả giới thiệu chung về thống kê Bayes; một số phân phối thông thường; một số mô hình suy luận Bayes: Suy luận Bayes cho tham số của phân phối nhị thức, kỳ vọng của phân phối Gaussian một chiều, tham số của mô hình hồi quy tuyến tính Bayes đơn. Từ đó làm cơ sở để nghiên cứu các phần tiếp theo. Chương 2. Phương pháp VB Trong chương này, tác giả trình bày kiến thức về phương pháp VB bao gồm: Nguồn gốc toán học; xấp xỉ phân phối hậu nghiệm; áp dụng phương pháp VB cho phân phối Gaussian, áp dụng phương pháp VB cho mô hình hồi quy Bayes. Chương 3. Ứng dụng Trong chương này, tác giả giới thiệu ứng dụng phương pháp VB cho hai trường hợp: Phân phối hậu nghiệm không thuộc họ phân phối nào đã biết; phân phối hậu nghiệm thuộc họ phân phối đã biết. Để nghiên cứu về đề tài "Phương pháp VB và ứng dụng", tác giả đã tham khảo một số tài liệu trong và ngoài nước về thống kê tần suất, thống kê Bayes, phần mềm Mathlab. Trong đó 3 Lời mở đầu ◦ Nội dung chính chương 1 của luận văn tham khảo tài liệu [5] và [8]; ◦ Nội dung chính chương 2 của luận văn tham khảo tài liệu [5] và [6]; ◦ Nội dung chính chương 3 của luận văn tham khảo tài liệu [5]; ◦ Ở phần ứng dụng phương pháp VB, tác giả áp dụng phương pháp VB để tính toán. Từ đó, viết thuật toán và dùng phần mềm Mathlab để thực hiện ra kết quả. 4 Chương 1 Thống kê Bayes Thống kê Bayes có sự khác biệt so với thống kê tần suất ở cách thức tiếp cận vấn đề: Thống kê tần suất quan niệm tham số của biến ngẫu nhiên là một giá trị nào đó, còn thống kê Bayes quan niệm tham số của biến ngẫu nhiên cũng là một biến ngẫu nhiên. Suy luận Bayes thực hiện theo trình tự: từ phân phối tiên nghiệm mà ta tin tưởng, áp dụng định lý Bayes tìm phân phối hậu nghiệm, sau đó dùng phân phối hậu nghiệm để ước lượng, kiểm định giả thiết thống kê, phân tích hồi quy tuyến tính. 1.1 Giới thiệu Suy luận Bayes xuất phát từ định lý Bayes điều chỉnh các xác suất khi có thông tin mới theo cách sau đây: P (Z |X ) = P (X |Z ) .P (Z ) P (X ) Trong đó Z đại diện cho một giả thiết, giả thiết này được suy luận trước khi có thông tin mới. P (Z ) được gọi là xác suất tiên nghiệm của Z . P (X |Z ) là xác suất xảy ra X nếu biết giả thiết Z là đúng. Đại lượng này còn được gọi là hàm hợp lý (likelihood) biểu diễn dưới dạng một hàm của X khi cho trước Z và là thông tin mới. 5 Giới thiệu Thống kê Bayes P (X ) được gọi là xác suất biên duyên của X . P (Z |X ) được gọi là xác suất hậu nghiệm của Z nếu biết X . Theo định lý này thì xác suất hậu nghiệm tỉ lệ với tích của xác suất tiên nghiệm và hàm hợp lý, kí hiệu là P (Z |X ) ∝ P (Z ) × P (X |Z ). Tức là tiên nghiệm nhân với hằng số bất kỳ cũng không ảnh hưởng đến kết quả của hậu nghiệm. P (X |Z ) đại diện cho ảnh hưởng của thông tin mới thu được đối với P (X ) xác xuất xảy ra Z nếu biết X . Nếu hệ số này sẽ có giá trị lớn, khi nhân xác suất tiên nghiệm Hệ số Bayes B = với hệ số này, ta được một xác suất hậu nghiệm lớn. Nhờ đó, trong suy luận Bayes, định lý Bayes đo được mức độ mà thông tin mới sẽ làm thay đổi mức độ tin tưởng vào một giả thiết. Khi có thông tin mới về một biến ngẫu nhiên, suy luận Bayes cho biến ngẫu nhiên đó thực hiện theo các bước sau: • Xác định phân phối tiên nghiệm Phân phối tiên nghiệm (prior distribution) của biến ngẫu nhiên Z là phân phối mà ta tin tưởng, có được từ kinh nghiệm tích lũy, kí hiệu là p (Z ). • Áp dụng định lý Bayes để tìm phân phối hậu nghiệm. Phân phối hậu nghiệm (posterior distribution) của biến Z nếu biết X là phân phối có được bằng tính toán theo định lý Bayes, sau khi có thông tin mới p (X |Z ). Kí hiệu là p (Z |X ). • Dùng phân phối hậu nghiệm để suy luận cho thống kê hiện tại: Ước lượng, kiểm định giả thiết thống kê, phân tích hồi quy tuyến tính. Trong luận văn này, phân phối tiên nghiệm để suy luận cho biến ngẫu nhiên là phân phối tiên nghiệm liên hợp. Phân phối tiên nghiệm liên hợp (conjugate prior) là phân phối tiên nghiệm mà phân phối hậu nghiệm tìm được cùng họ với phân phối tiên nghiệm. Các nhà thống kê Bayes lập luận rằng ngay cả khi người ta có các xác suất chủ quan tiên nghiệm rất khác nhau thì với thông tin mới từ các quan sát lặp đi lặp lại sẽ có xu hướng đưa các xác suất hậu nghiệm của họ lại gần nhau hơn. 6 1.2. MỘT SỐ PHÂN PHỐI THƯỜNG DÙNG 1.2 Thống kê Bayes Một số phân phối thường dùng Phân phối Bernoulli Phân phối Bernoulli với tham số π là phân phối của biến ngẫu nhiên X nhận hai giá trị 0, 1 với P (X = 1) = π; P (X = 0) = 1 − π có hàm mật độ xác định như sau: B er n (X |π) = πx (1 − π)1−x Các tham số đặc trưng của biến ngẫu nhiên X : E [X ] = π var [X ] = π (1 − π) Phân phối này là trường hợp đặc biệt của phân phối nhị thức chỉ có một quan sát. Phân phối tiên nghiệm liên hợp cho tham số π là phân phối Beta. Phân phối Beta Phân phối Beta với hai tham số a và b(a > 0, b > 0) là phân phối của biến ngẫu nhiên liên tục Π nhận giá trị trên [0, 1] có hàm mật độ xác định như sau: B et a (Π|a, b) = Γ (a + b) a−1 π (1 − π)b−1 Γ (a) Γ (b) ∞ trong đó Γ (x) = u x−1 e −u d u . 0 Các tham số đặc trưng của biến ngẫu nhiên Π E [Π] = var [Π] = a a +b ab 2 (a + b) (a + b + 1) Phân phối Beta là phân phối tiên nghiệm liên hợp cho phân phối Bernoulli. Khi a = b = 1 thì phân phối Beta trở thành phân phối đều. Phân phối Beta là trường hợp đặc biệt của phân phối Dirichlet K chiều với K = 2. Phân phối nhị thức 7 Một số phân phối thường dùng Thống kê Bayes Phép thử ngẫu nhiên thực hiện n lần với xác suất thành công các lần thử đều bằng nhau và bằng π. Trong n lần thực hiện có m lần thành công. Phân phối nhị thức với tham số n (số lần thử) và tham số π ∈ [0, 1](xác suất thành công của các lần thử) của biến ngẫu nhiên M (số lần thành công) nhận giá trị 1, 2, . . . , n có hàm mật độ xác định như sau:  B (M |n, π) =  n m   πm (1 − π)N −m Các tham số đặc trưng của biến ngẫu nhiên M : E [M ] = nπ var [M ] = nπ (1 − π) Khi n = 1 thì phân phối nhị thức chính là phân phối Bernoulli và khi n rất lớn thì phân phối nhị thức xấp xỉ phân phối Gaussian. Phân phối tiên nghiệm liên hợp cho π là phân phối Beta. Phân phối Dirichlet Phân phối Dirichlet với tham số α = (α1 , . . . , αK )T , αk > 0, k = 1, K là một phân phối đa thức của biến ngẫu nhiên K chiều Π = (Π1 , . . . , ΠK )T sao cho   0 ≤ πk ≤ 1, k = 1, K  K   k=1 πk = 1 có hàm mật độ xác định như sau: K Di r (Π|α) = C (α) k=1 8 α −1 πk k Một số phân phối thường dùng Thống kê Bayes Trong đó Γ (α) Γ (α1 ) . . . Γ (αK ) C (α) = K α= αk k=1 Các đặc trưng của biến ngẫu nhiên Π: αk α αk (α − αk ) var [Πk ] = 2 α (α + 1) α j αk cov Π j Πk = − 2 α (α + 1) E [Πk ] = E [ln πk ] = ψ (αk ) − ψ (α) Trong đó ψ (a) ≡ d ln Γ (a) da Phân phối Dirichlet là phân phối tiên nghiệm liên hợp cho phân phối đa thức và là dạng tổng quát của phân phối Beta. Phân phối Gamma Phân phối Gamma với hai tham số a và b(a > 0, b > 0) là phân phối xác suất của biến ngẫu nhiên dương τ > 0 có hàm mật độ xác định như sau: G am (τ|a, b) = 1 b a τa−1 e −bτ Γ (a) Các đặc trưng của biến ngẫu nhiên τ: a b a var [τ] = 2 b E [τ] = E [ln τ] = ψ (a) − ln b 9 Một số phân phối thường dùng Thống kê Bayes Phân phối Gamma là phân phối tiên nghiệm liên hợp cho độ chính xác của biến ngẫu nhiên tuân theo quy luật phân phối Gaussian. Nói cách khác, phân phối Gama ngược là phân phối tiên nghiệm liên hợp của phương sai của biến ngẫu nhiên tuân theo quy luật phân phối Gaussian. Đặc biệt khi a = 1 phân phối Gamma chính là phân phối mũ. Phân phối Gaussian - Phân phối Chuẩn Phân phối Gaussian là phân phối biến ngẫu nhiên liên tục và là phân phối phổ biến nhất của biến ngẫu nhiên. Trường hợp biến ngẫu nhiên một chiều: Phân phối Gaussian với tham số kỳ vọng µ và tham số phương sai σ2 > 0 là phân phối của biến ngẫu nhiên liên tục X nhận giá trị trên R, kí hiệu là N X |µ, σ2 có hàm mật độ xác định như sau: p X |µ, σ2 = 1 1/2 2πσ2 exp − 1 x −µ 2σ2 2 Các đặc trưng của biến ngẫu nhiên X : E [X ] = µ var [X ] = σ2 1 được gọi là độ chính xác, căn bậc hai của phương σ2 sai σ2 được gọi là độ lệch chuẩn. Phân phối tiên nghiệm liên hợp của µ là phân phối Nghịch đảo của phương sai τ = Gaussian và phân phối tiên nghiệm liên hợp của τ là phân phối Gamma. Nếu cả µ và τ đều chưa biết thì phân phối tiên nghiệm của phân phối đồng thời là phân phối Gaussian - Gamma. Trường hợp biến ngẫu nhiên X là vecto D -chiều: Phân phối Gaussian với tham số là vecto kỳ vọng µ D -chiều và ma trận phương sai là phân phối của biến ngẫu nhiên X ∈ RD , kí hiệu là N X |µ, Σ có hàm mật độ xác định như sau: p X |µ, Σ2 = 1 (2π) D/2 1 |Σ| exp − 1/2 10 1 x −µ 2 T Σ−1 x − µ Một số phân phối thường dùng Thống kê Bayes Các đặc trưng của biến ngẫu nhiên X E [X ] = µ var [X ] = Σ Nghịch đảo của ma trận phương sai Λ = Σ−1 là ma trận độ chính xác. Phân phối tiên nghiệm liên hợp của µ là phân phối Gaussian và phân phối tiên nghiệm liên hợp của Λ là phân phối Wishart. Nếu cả µ và Λ đều chưa biết thì phân phối tiên nghiệm của phân phối đồng thời là phân phối Gaussian - Wishart. Phân phối Gaussian - Gamma Phân phối Gaussian - Gamma với tham số µ0 , β, a, b là phân phối của biến ngẫu nhiên µ, λ (kỳ vọng, phương sai của biến ngẫu nhiên một chiều tuân theo quy luật phân phối Gaussian)có hàm mật độ xác định như sau: p µ, λ|µ0 , β, a, b = N µ|µ0 , βλ −1 G am (λ|a, b) Phân phối Gaussian - Gamma là phân phối tiên nghiệm của phân phối Gaussian N X |µ, λ−1 trong đó cả kỳ vọng và phương sai đều chưa biết. Phân phối Gaussian - Wishart Phân phối Gaussian - Wishart với tham số µ0 , β, W, v là phân phối của biến ngẫu nhiên µ, Λ (vectơ kỳ vọng và ma trận độ chính xác của biến ngẫu nhiên nhiều chiều tuân theo quy luật phân phối Gaussian) có hàm mật độ xác định như sau: p µ, Λ|µ0 , β, W, v = N µ|µ0 , βΛ −1 W (Λ|W, v) Phân phối Gaussian - Wishart là phân phối tiên nghiệm của phân phối đa thức Gaussian N X |µ, Λ−1 trong đó cả kỳ vọng và ma trận phương sai đều chưa biết. Phân phối đa thức Biến ngẫu nhiên K -chiều X = (X 1 , . . . , X K ) trong đó X k nhận 2 giá trị 0 và 1 với k = 1, K thỏa mãn K k=1 x k = 1 và P (X k = 1) = πk , K k=1 πk = 1 11 Một số phân phối thường dùng Thống kê Bayes Khi đó, ta có hàm mật độ của biến ngẫu nhiên X K p (X ) = k=1 x πk k Các đặc trưng của biến ngẫu nhiên thành phần: E [X k ] = πk var [X k ] = πk (1 − πk ) cov X j X k = I j k πk Phân phối đa thức với hai tham số n quan sát và π = (π1 , . . . πK ) là phân phối của biến ngẫu nhiên rời rạc K -chiều với các thành phần là biến đếm Mk có hàm mật độ xác định như sau:  Mul t (M 1 , M 2 , . . . , M K |π, n) =  n m1 m2 . . . mK  K  k=1 m πk k Đặc trưng của các thành phần: E [M k ] = nπk var [M k ] = nπk (1 − πk ) cov M j M k = −nπ j πk Phân phối tiên nghiệm liên hợp cho các tham số Πk là phân phối Dirichlet. Phân phối Student Trường hợp biến một chiều: Phân phối Student với các tham số µ, λ, v của biến ngẫu nhiên liên tục X nhận giá trị 12 Một số phân phối thường dùng Thống kê Bayes trên R có hàm mật độ và các đặc trưng xác định như sau: 1/2 Γ (v/2 + 1/2) λ St X |µ, λ, v = Γ (v/2) πv 1+ λ x −µ 2 −v/2−1/2 v E [X ] = µ, v > 1 var [X ] = 1 v ,v > 2 λ v −2 Trong đó v > 0 là hệ số tự do của phân phối. Trường hợp biến D -chiều: Phân phối Student với tham số µ, Λ, v của biến ngẫu nhiên X ∈ RD có hàm mật độ và các đặc trưng xác định như sau: St X |µ, Λ, v = Γ (v/2 + D/2) |Λ|1/2 ∆2 1+ Γ (v/2) v (vπ)D/2 −v/2−1/2 E [X ] = µ, v > 1 cov [X ] = v Λ−1 , v > 2 v −2 Trong đó ∆2 = x − µ T Λ x −µ Khi v → ∞ phân phối Student trở thành phân phối Gaussian với kỳ vọng µ và ma trận độ chính xác Λ. Phân phối Wishart Phân phối Wishart với tham số W, v của biến ngẫu nhiên ma trận Λ có hàm mật độ 13 1.3. SUY LUẬN BAYES CHO THAM SỐ TỈ LỆ PHÂN PHỐI NHỊ THỨC Thống kê Bayes và các đặc trưng xác định như sau: 1 W (Λ|W, v) = B (W, v) |Λ|(v−D−1)/2 exp − Tr W−1 Λ 2 B (W, v) = |W| −v/2 2 vD/2 D(D−1)/4 π D v +1−i Γ 2 i =1 −1 E [Λ] = vW E [ln |Λ|] = D ψ i =1 v +1−i + D ln 2 + ln |W| 2 Trong đó W là ma trận xác định dương cỡ D × D , tham số v là hệ số tự do và v > D − 1. Phân phối Wishart là phân phối tiên nghiệm liên hợp của ma trận độ chính xác của biến nhiều chiều tuân theo quy luật phân phối Gaussian. Trong trường hợp một chiều thì phân phối Wishart chính là phân phối G am (λ|a, b) với tham số a = v/2 và b = 1/2W . 1.3 1.3.1 Suy luận Bayes cho tham số tỉ lệ phân phối nhị thức Tiên nghiệm Họ liên hợp các phân phối tiên nghiệm của tham số tỷ lệ Π của phân phối nhị thức là họ phân phối B et a (Π|a, b) có dạng. g (Π|a, b) = Γ (a + b) a−1 π (1 − π)b−1 Γ (a) Γ (b) (1.1) Trong đó tham số a, b được xác định như sau: Dựa theo kinh nghiệm và cái mà người ta tin tưởng, phân phối tiên nghiệm có kỳ vọng π0 và phương sai σ2 . Theo công thức tính 0 kỳ vọng và phương sai của phân phối Beta ta có: π0 = σ2 = 0 a a +b ab 2 (a + b) (a + b + 1) = π0 (1 − π0 ) (a + b + 1) Giải hệ trên ta sẽ tìm được a, b . Từ đó có phân phối nghiệm của tham số Π. 14 Suy luận Bayes cho tham số tỉ lệ Thống kê Bayes Theo công thức tính đặc trưng của phân phối nhị thức, ta cần chọn mẫu quan sát để thu thập thông tin có kích thước là n = a + b + 1 và kết quả số lần thành công là M . Khi đó ta có hàm hợp lý:  f (M |n, π) =  1.3.2  n m  πm (1 − π)n−m , 0 ≤ π ≤ 1. (1.2) Hậu nghiệm Theo định lý Bayes và công thức (1.1), (1.2) ta có phân phối hậu nghiệm của tham số Π được xác định như sau: g (Π|M = m) = g (Π) × f (M |n, π) 1 g (Π) × f (M |n, π) d π 0 = πa+m−1 (1 − π)n−m+b−1 1 πa+m−1 (1 − π)n−m+b−1 d π 0 = Γ (n + a + b) πa+m−1 (1 − π)n−m+b−1 Γ (m + a) Γ (n − m + b) (1.3) Như vậy, phân phối hậu nghiệm của tham số Π là phân phối B et a Π|a , b với a = a + m và b = b + n − m 1.3.3 Ước lượng • Ước lượng điểm cho tham số Π là π = m n • Ước lượng khoảng cho tham số Π: Phân phối hậu nghiệm xấp xỉ phân phối chuẩn N m , s Kỳ vọng của phân phối hậu nghiệm là m = Phương sai của phân phối hậu nghiệm là s a a +b 2 = 2 ab 2 (a + b ) (a + b + 1) Với độ tin cậy (1 − α) × 100%, khoảng tin cậy của π xấp xỉ khoảng xác định như sau: m − z α × s ;m + z α × s 2 2 15 (1.4) Suy luận Bayes cho tham số tỉ lệ Thống kê Bayes Trong đó z α là phân vị trên mức α/2 của phân phối chuẩn tắc, ví dụ với độ tin cậy 95% 2 thì z α = 1.96. Xấp xỉ hiệu quả nếu ta có cả a ≥ 10 và b ≥ 10. 2 1.3.4 Kiểm định giả thiết Kiểm định một phía Bài toán kiểm định với mức ý nghĩa α H 0 : π ≤ π0 H 1 : π > π0 Ta tính xác suất để giả thiết đúng bằng tích phân của mật độ hậu nghiệm (1.3) trên miền giả thiết π0 P (H0 : π ≤ π0 |m) = g (Π|m)d π 0 Ta bác bỏ giả thiết nếu xác suất hậu nghiệm nhỏ hơn mức ý nghĩa α. Kiểm định hai phía Bài toán kiểm định với mức ý nghĩa α H 0 : π = π0 H 1 : π = π0 Ta không tính xác suất hậu nghiệm mà tìm khoảng tin cậy của π với mức ý nghĩa α. Nếu giá trị quan sát được không thuộc khoảng tin cậy (1.4) thì ta bác bỏ giả thiết; nếu giá trị quan sát được thuộc khoảng tin cậy thì ta không thể bác bỏ giả thiết. 16