Tài liệu Tìm hiểu về khoảng tin cậy bayes

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN --------------------- Trịnh Thị Ngọc Lan TÌM HIỂU VỀ KHOẢNG TIN CẬY BAYES LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội – Năm 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN --------------------- Trịnh Thị Ngọc Lan TÌM HIỂU VỀ KHOẢNG TIN CẬY BAYES Chuyên ngành: Lý thuyết xác suất và Thống kê toán học Mã số: 60460106 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. TRỊNH QUỐC ANH Hà Nội – Năm 2015 LỜI CẢM ƠN Luận văn này được hoàn thành dưới sự hướng dẫn nhiệt tình của TS. Trịnh Quốc Anh. Thầy đã dành nhiều thời gian hướng dẫn cũng như giải đáp các thắc mắc của tôi trong suốt quá trình làm luận văn. Tôi muốn bày tỏ lòng biết ơn sâu sắc đến thầy. Qua đây tôi xin gửi tới quý thầy cô Khoa Toán – Cơ – Tin học, trường Đại học Khoa học Tự nhiên, đại học Quốc gia hà Nội, cũng như các thầy cô đã tham gia giảng dạy khóa cao học 2013 – 2015, lời cảm ơn sâu sắc nhất đối với công lao dạy dỗ trong suốt quá trình học tập của tôi tại Trường. Để hoàn thành được chương trình đào tạo và hoàn thiện luận văn này, trong thời gian vừa qua tôi đã nhận được rất nhiều sự giúp đỡ quý báu, lớn lao từ gia đình và bạn bè. Vì vậy, nhân dịp này, tôi muốn gửi lời cảm ơn tới mọi người. Hà Nội ngày 01 tháng 12 năm 2015 Học viên Trịnh Thị Ngọc Lan Mục lục Danh mục các hình vẽ, bảng biểu ................................................................................... 7 Danh mục các từ viết tắt .................................................................................................. 8 MỞ ĐẦU ......................................................................................................................... 9 Chương 1. Cơ sở lý thuyết ............................................................................................ 12 1.1. Thống kê tần suất ............................................................................................. 12 1.1.1. Họ mũ và thống kê đủ ............................................................................... 12 1.1.2. Tính không chệch và các ước lượng liên quan ......................................... 13 1.1.3. Khoảng tin cậy .......................................................................................... 14 1.2. Thống kê Bayes ............................................................................................... 15 1.2.1. Ước lượng Bayes ...................................................................................... 15 1.2.2. Phân phối tiên nghiệm .............................................................................. 18 1.2.3. Khoảng tin cậy Bayes ............................................................................... 20 Chương 2. Khoảng tin cậy Bayes .................................................................................. 25 2.1. Phân bố hậu nghiệm có biểu diễn giải tích cụ thể ........................................... 26 2.1.1. Khoảng tin cậy Bayes đối xứng ................................................................ 26 2.1.2. Khoảng HPD ............................................................................................. 26 2.2. Phân bố hậu nghiệm không có biểu diễn giải tích cụ thể ................................ 27 2.2.1. Phương pháp Monte Carlo ........................................................................ 28 2.2.2. Phương pháp Monte Carlo xích Markov .................................................. 31 2.2.3. Phương pháp MCMC với khoảng tin cậy Bayes ...................................... 32 2.3. Bài toán mô phỏng ........................................................................................... 38 Chương 3. Khoảng tin cậy và khoảng tin cậy Bayes .................................................... 44 3.1. Bài toán sai khác giữa hai giá trị trung bình .................................................... 46 3.1.1. Phát biểu bài toán ...................................................................................... 46 3.1.2. Lời giải theo phương pháp tần suất........................................................... 46 3.1.3. Lời giải theo phương pháp Bayes ............................................................. 47 3.1.4. Nhận xét .................................................................................................... 50 3.2. Bài toán so sánh hai phương sai ...................................................................... 51 3.2.1. Phát biểu bài toán ...................................................................................... 51 3.2.2. Lời giải theo phương pháp tần suất........................................................... 51 3.2.3. Lời giải theo phương pháp Bayes ............................................................. 52 3.2.4. Nhận xét .................................................................................................... 52 3.3. Bài toán tham số tỉ lệ trong phân bố mũ .......................................................... 53 3.3.1. Phát biểu bài toán ...................................................................................... 53 3.3.2. Lời giải theo phương pháp tần suất........................................................... 53 3.3.3. Lời giải theo phương pháp Bayes ............................................................. 54 3.3.4. Các thiếu sót của hai lời giải ..................................................................... 55 3.3.5. Cải tiến thiếu sót về đặc tính “chuỗi” ....................................................... 56 3.3.6. Nhận xét .................................................................................................... 57 3.3.7. Cải tiến thiếu sót về thông tin tiên nghiệm ............................................... 58 3.4. Tổng kết về hai cách tiếp cận trong bài toán ước lượng một phía................... 60 3.5. Bài toán ước lượng cho tham số của phân bố mũ rút gọn E θ, 1 ................... 61 3.5.1. Phát biểu bài toán ...................................................................................... 61 3.5.2. Lời giải theo phương pháp tần suất........................................................... 61 3.5.3. Lời giải theo phương pháp Bayes ............................................................. 62 3.5.4. Nhận xét .................................................................................................... 63 3.6. Bài toán ước lượng tham số tỉ lệ của phân bố nhị thức ................................... 64 3.6.1. Phát biểu bài toán ...................................................................................... 64 3.6.2. Lời giải theo phương pháp tần suất........................................................... 64 3.6.3. Lời giải theo phương pháp Bayes ............................................................. 65 3.7. Bài toán ước lượng tham số vị trí θ của phân phối Cauchy ............................ 66 3.7.1. Phát biểu bài toán ...................................................................................... 66 3.7.2. Lời giải theo phương pháp tần suất........................................................... 67 3.7.3. Lời giải theo phương pháp Bayes ............................................................. 70 3.8. Tổng quát các trường hợp khoảng tin cậy và khoảng tin cậy Bayes cho kết quả giống nhau đối với phân phối có tham số vị trí ......................................................... 71 KẾT LUẬN ................................................................................................................... 73 TÀI LIỆU THAM KHẢO ............................................................................................. 74 Phụ lục A. Các phân phối xác suất thường gặp............................................................. 77 Danh mục các hình vẽ, bảng biểu Hình 1.2. 1. Sơ đồ quá trình tìm ước lượng Bayes cho tham số ......................... 18 Hình 1.2. 2. So sánh giữa khoảng tin cậy đối xứng và khoảng HPD 95% ......... 23 Hình 1.2. 3. Khoảng (vùng) tin cậy HPD cho tham số trong trường hợp phân bố hậu nghiệm có hai đỉnh .............................................................................................. 24 Hình 2.2. 1. Mô phỏng Monte Carlo cho phân bố hậu nghiệm với cỡ mẫu tăng dần ............................................................................................................................. 29 Hình 2.3. 1. Mô phỏng phân phối tiên nghiệm của tham số 𝛾 ............................ 40 Hình 2.3. 2. Mô phỏng phân phối hậu nghiệm của tham số γ ............................ 40 Bảng 3. 1. So sánh khoảng tin cậy 95% cho tham số 𝒇 theo hai phương pháp tần suất và Bayes .............................................................................................................. 66 Bảng 3. 2. Mức tin cậy của "khoảng tin cậy 90%" tương ứng với các giá trị khác nhau của thống kê 𝑦 ............................................................................................ 69 Danh mục các từ viết tắt HPD Mật độ hậu nghiệm cao nhất MCMC Monte Carlo xích Markov UMVU Không chệch với phương sai bé nhất đều ƯLKC Ước lượng không chệch MỞ ĐẦU 1. Tính cấp thiết của đề tài Suy luận Bayes là suy luận thống kê mà trong đó các quan sát hay bằng chứng được dùng để cập nhật hoặc suy luận ra xác suất cho việc một giả thuyết có thể là đúng. Cái tên "Bayes" bắt nguồn từ việc sử dụng định lý Bayes trong quá trình suy luận, một thước đo cho mức độ mà bằng chứng mới sẽ làm thay đổi sự tin tưởng vào một giả thuyết (luôn gắn liền với xác suất tiên nghiệm). Mặc dù việc lựa chọn xác suất tiên nghiệm cho giả thuyết này được coi như chủ quan, dẫn đến các xác suất khác nhau, nhưng bằng chứng mới từ các quan sát lặp đi lặp lại sẽ có xu hướng đưa các xác suất hậu nghiệm lại gần nhau hơn. Suy luận bayes đang ngày càng trở nên phổ biến trong suy luận thống kê. Mặc dù được Thomas Bayes đề cập đến từ thế kỷ 18, nhưng phải đến thế kỷ 20, khi suy luận thống kê đã có nền tảng toán học vững chắc với những công trình của Ronald Fisher, Karl Pearson, Jerzy Neyman, De Finetti và Abraham Wald, suy luận Bayes mới trở thành vấn đề tranh cãi không chỉ về kết quả, cách làm mà còn về tư tưởng thực hiện, so với suy luận tần suất. Trong một thời gian dài từ trước thế chiến hai, phương pháp tần suất được phát triển rất mạnh. Tần suất thắng thế và thống trị khắp các khoa thống kê ở Mỹ, từ Berkeley, Stanford đến Harvard, Chicago. Phương pháp Bayes chỉ được nghiên cứu ở vài khoa thống kê nhỏ hơn (khi đó) như Carnegie Mellon và Duke. Ngày nay, khoa học thống kê cũng bớt dần tính triết lý giáo điều mà dịch dần về tính thực dụng do phải đối đầu với các vấn đề có dữ liệu phức tạp. Phương pháp Bayes thực sự là một công cụ hữu ích trong rất nhiều tình huống thống kê trong cuộc sống, mà tần suất tỏ ra không mấy hiệu quả (ví dụ như lĩnh vực trí tuệ nhân tạo). Suy luận Bayes từng bước được tiếp nhận và ưa chuộng, được dạy và học ở hầu hết các khoa thống kê. Tuy nhiên khác biệt căn bản giữa Bayes và tần suất vẫn còn nguyên, câu chuyện về Bayes và tần suất không những vẫn còn nóng hổi tính thời sự, mà còn mang nhiều sắc thái mới vô cùng thú vị. Chính vì lý do này, tôi đã chọn đề tài: “Tìm hiểu về khoảng tin cậy Bayes” cho luận văn của mình. 2. Đối tƣợng nghiên cứu Đối tượng nghiên cứu của luận văn là: cách xây dựng hai khoảng tin cậy Bayes được sử dụng chủ yếu trong suy luận thống kê: khoảng đối xứng và khoảng chứa xác suất hậu nghiệm cao nhất (HPD); trên cơ sở đó so sánh với khoảng tin cậy tần suất để chỉ ra sự giống và khác nhau giữa hai cách tiếp cận. 3. Phạm vi nghiên cứu Nội dung lý thuyết về khoảng tin cậy Bayes được xây dựng trong luận văn song song với những tiêu chí xây dựng khoảng tin cậy trong chương trình thống kê đại học, từ đó có thể đưa ra các so sánh tương ứng giữa hai cách tiếp cận. Ngoài ra luận văn còn đề cập đến phương pháp mô phỏng Monte Carlo như công cụ số để giải quyết các bài toán ước lượng được nêu ra. 4. Mục đích nghiên cứu Làm rõ bản chất của phương pháp Bayes trong suy luận thống kê. Trên cơ sở đó, khoảng ước lượng được chọn làm đối tượng để đánh giá ý nghĩa kết quả mà phương pháp Bayes mang lại. 5. Phƣơng pháp nghiên cứu - Phân tích và tổng hợp lý thuyết. - Phân loại và hệ thống hóa lý thuyết. 6. Bố cục của luận văn Ngoài phần mở đầu, kết luận, danh mục tài liệu tham khảo, phụ lục, danh mục các bảng, nội dung của luận văn gồm 3 chương:  Chương 1. Cơ sở lý thuyết, trình bày những điểm cơ bản về quan điểm, cơ sở toán học để xây dựng ước lượng và khoảng tin cậy theo hai phương pháp: tần suất và Bayes.  Chương 2. Khoảng tin cậy Bayes. - Đi sâu vào cách xây dựng hai khoảng tin cậy Bayes thường dùng: khoảng đối xứng và khoảng chứa xác suất hậu nghiệm cao nhất, trong hai trường hợp: phân bố hậu nghiệm cho tham số có biểu diễn giải tích cụ thể và không cụ thể. - Các ví dụ minh họa đi kèm giải thích cho cơ sở lý thuyết này.  Chương 3. Khoảng tin cậy và khoảng tin cậy Bayes. - Tiến hành so sánh, đánh giá kết quả của khoảng tin cậy và khoảng tin cậy Bayes qua 6 bài toán quen thuộc trong suy luận thống kê. - Phân tích tình huống dẫn đến kết quả giống và khác nhau giữa hai cách làm, từ đó đưa ra chứng minh tổng quát cho trường hợp khoảng tin cậy và khoảng tin cậy Bayes cho kết quả số giống nhau. - Đánh giá về độ phức tạp của hai cách tiếp cận trong bài toán ước lượng khoảng. - Nêu ra tính chất “đẹp”: khoảng tin cậy Bayes hẹp hơn so với khoảng tin cậy, kiểm tra bằng phương pháp số để cho thấy khoảng tin cậy Bayes nằm trong khoảng tin cậy. 7. Ý nghĩa lý luận và thực tiễn của đề tài Mặc dù phương pháp Bayes đã và đang được giảng dạy tại nhiều trường đại học ở Việt Nam, nhưng chưa có đề tài khoa học nào phân tích cơ sở cho sự giống và khác nhau giữa khoảng tin cậy và khoảng tin cậy Bayes trong các bài toán thống kê. Luận văn trình bày về vấn đề này với mong muốn cung cấp một tài liệu hữu ích cho nghiên cứu sâu hơn về phương pháp suy luận thống kê, từ đó người làm thống kê có thể lựa chọn phương pháp phân tích phù hợp trong các tình huống cụ thể sao cho có được kết quả tốt nhất. Bên cạnh đó, luận văn cũng mở ra nhiều hướng nghiên cứu sau đó với mục tiêu đưa phương pháp Bayes trở thành công cụ phổ biến hơn trong các lĩnh vực ứng dụng khác nhau như sinh học, khoa học máy tính, thiên văn,... Chƣơng 1. Cơ sở lý thuyết Nội dung về họ mũ, thống kê đủ, tính chất các ước lượng trong thống kê tần suất được tác giả trích dẫn từ 1 . 1.1. Thống kê tần suất 1.1.1. Họ mũ và thống kê đủ Giả sử ta có mẫu ngẫu nhiên cỡ 𝑛: 𝑋 = phối. 𝑋 có không gian mẫu là 𝒳, 𝒜, 𝒫 = 𝑃 𝜃 , 𝜃 ∈ Θ 𝑋1 , … , 𝑋 𝑛 , trong đó các 𝑋 𝑖 độc lập cùng phân 𝒳, 𝒜 , họ phân phối xác suất 𝒫 = 𝑃 𝜃 , 𝜃 ∈ Θ . Khi đó được gọi là mô hình thống kê. Định nghĩa 1.1.1. (Thống kê) Một hàm đo được 𝑇 của 𝑋: 𝑇: 𝒳, 𝒜, 𝒫 = 𝑃 𝜃 , 𝜃 ∈ Θ ⟶ 𝕋, 𝒯, 𝒫 𝑇 = 𝑃 𝜃𝑇 , 𝜃 ∈ Θ trong đó 𝑃 𝜃𝑇 𝐵 = 𝑃 𝜃 𝑋: 𝑇 𝑋 ∈ 𝐵 , ∀𝐵 ∈ 𝒯 (độ đo xác suất cảm sinh bởi độ đo 𝑃 𝜃 qua ánh xạ 𝑇), được gọi là một thống kê. Định nghĩa 1.1.2. (Họ mũ 𝒔 chiều) Họ phân phối 𝑃 𝜃 được gọi là họ mũ 𝑠 chiều nếu mật độ của nó đối với độ đo 𝜇 nào đó có dạng: 𝑠 𝑝 𝑥, 𝜃 = exp 𝑗 =1 𝜂 𝑗 𝜃 𝑇𝑗 𝑥 − 𝐵 𝜃 𝑕 𝑥 trong đó 𝜂 𝑗 và 𝐵 là các hàm giá trị thực của tham ẩn 𝜃, 𝑇𝑗 là các hàm nhận giá trị thực của 𝑥 với 𝑥 ∈ 𝒳. Định nghĩa 1.1.3. (Thống kê đủ) Thống kê: 𝑇 𝑋 : 𝒳, 𝒜, 𝒫 = 𝑃 𝜃 , 𝜃 ∈ Θ ⟶ 𝕋, 𝒯, 𝒫 𝑇 = 𝑃 𝜃𝑇 , 𝜃 ∈ Θ là thống kê đủ đối với họ 𝒫 (hay đối với 𝜃 hoặc 𝑋) nếu 𝑃 𝜃 𝑋 ∈ 𝐴 𝑇 𝑋 = 𝑡 không phụ thuộc 𝜃, ∀𝑡, ∀𝐴 ∈ 𝒜. Khái niệm về thống kê đủ khá quan trọng trong việc so sánh hai phương pháp tần suất và Bayes trong các bài toán thống kê. Các phương pháp để kiểm tra tính đủ của thống kê thông thường gồm có tiêu chuẩn tách Neyman, sử dụng lượng thông tin Fisher và định nghĩa. Luận văn chỉ đưa ra định nghĩa về lượng thông tin Fisher. Định nghĩa 1.1.4. (Lượng thông tin Fisher) Giả sử 𝑝 𝑥, 𝜃 là mật độ theo nghĩa đạo hàm Random-Nikodym của biến ngẫu nhiên 𝜉. 𝑋 = từ biến ngẫu nhiên 𝜉, và 𝑝 𝑋 𝑥, 𝜃 = 𝑛 𝑖=1 𝑋1 , … , 𝑋 𝑛 là mẫu ngẫu nhiên cỡ 𝑛 rút ra 𝑝 𝑥 𝑖 , 𝜃 , 𝑥 = 𝑥1 , … , 𝑥 𝑛 là mật độ đồng thời của 𝑋. Xét trường hợp tham ẩn thực 𝜃 ∈ ℝ. Giả sử 𝑝 𝑋 𝑥, 𝜃 khả vi theo 𝜃 và 𝜕𝑝 𝑋 𝑥,𝜃 𝜕𝜃 𝑑𝜇 𝑥 < ∞. Khi đó: 𝐼𝑋 𝜃 = 𝐸𝜃 𝜕 ln 𝑝 𝑋 𝑥, 𝜃 𝜕𝜃 2 được gọi là lượng thông tin Fisher (lượng thông tin về tham ẩn 𝜃 được chứa trong mẫu 𝑋). Định lý 1.1.5. Giả sử 𝑝 𝑋 𝑥, 𝜃 khả vi theo 𝜃 và 𝜕𝑝 𝑋 𝑥,𝜃 𝜕𝜃 𝑑𝜇 𝑥 < ∞. Giả thiết tương tự cho hàm mật độ 𝑓 𝑡, 𝜃 của thống kê 𝑇 𝑋 . Khi đó: a) 𝐼 𝑋 𝜃 − 𝐼 𝑇 𝜃 ≥ 0 b) Để 𝑇 𝑋 là đủ, điều kiện cần và đủ là: 𝐼 𝑋 𝜃 = 𝐼 𝑇 𝜃 , trong đó 𝐼 𝑋 𝜃 là lượng thông tin về 𝜃 được chứa trong mẫu 𝑋, 𝐼 𝑇 𝜃 là lượng thông tin về 𝜃 được chứa trong thống kê 𝑇. Định nghĩa 1.1.6. (Thống kê phụ) Thống kê 𝑉 𝑋 được gọi là thống kê phụ nếu phân phối của nó không phụ thuộc 𝜃. 1.1.2. Tính không chệch và các ƣớc lƣợng liên quan Định nghĩa 1.1.7. (Ước lượng không chệch – ƯLKC) Ước lượng 𝑇 𝑋 của hàm 𝑔 𝜃 được gọi là không chệch nếu 𝐸 𝜃 𝑇 𝑋 = 𝑔 𝜃 , ∀𝜃 ∈ Θ. Nếu 𝐸 𝜃 𝑇 𝑋 = 𝑔 𝜃 + 𝑏 𝜃 , ∀𝜃 ∈ Θ , trong đó 𝑏 𝜃 có thể phụ thuộc vào 𝜃 và 𝑛, 𝑏 𝜃 ≠ 0 thì 𝑇 𝑋 được gọi là ước lượng chệch của 𝑔(𝜃) với độ chệch 𝑏 𝜃 . Tính không chệch dễ được thỏa mãn, nhưng có trường hợp không tồn tại ƯLKC cho 𝑔 𝜃 , cũng có trường hợp tồn tại nhiều hơn một ƯLKC cho 𝑔 𝜃 . Định nghĩa 1.1.8. (Ước lượng không chệch với phương sai bé nhất đều – ước lượng UMVU) Ước lượng không chệch 𝑇 𝑋 của 𝑔 𝜃 được gọi là ước lượng không chệch với phương sai bé nhất đều của 𝑔 𝜃 nếu: 𝑉𝑎𝑟 𝜃 𝑇 𝑋 ≤ 𝑉𝑎𝑟 𝜃 𝛿 𝑋 , ∀𝜃 ∈ Θ và với mọi ƯLKC 𝛿 𝑋 khác của 𝑔 𝜃 . Nếu không xét các hàm hằng số thì có thể xảy ra 3 trường hợp sau: Trường hợp 1. Không tồn tại ước lượng UMVU. Trường hợp 2. Một số các hàm có ƯLKC có ước lượng UMVU. Trường hợp 3. Trong trường hợp tồn tại thống kê đủ đối với họ 𝒫 = 𝑃 𝜃 , 𝜃 ∈ Θ thì tất cả các hàm có ƯLKC đều có ước lượng UMVU. Định lý 1.1.9. Nếu 𝑆 𝑋 là thống kê đủ, đầy đủ đối với họ 𝒫 = 𝑃 𝜃 , 𝜃 ∈ Θ , còn 𝑇 𝑋 là ƯLKC nào đó của hàm 𝑔 𝜃 . Khi đó 𝑔 𝑆 = 𝐸 𝜃 𝑇 𝑋 𝑆 sẽ là ƯLKC với tổn thất toàn phương trung bình bé nhất và ước lượng này là duy nhất. Định nghĩa 1.1.10. Ước lượng không chệch 𝑔 𝑋 của 𝑔 𝜃 được gọi là ước lượng hiệu quả nếu phương sai 𝐷 𝜃 𝑔 𝑋 đạt được cận dưới Cramer-Rao (xem 1 ) của nó. Định lý 1.1.11. Ước lượng không chệch 𝑔 𝑋 của 𝑔 𝜃 là ước lượng hiệu quả khi và chỉ khi hàm mật độ 𝑝 𝑥, 𝜃 có dạng 𝑝 𝑥, 𝜃 = exp 𝐴 𝜃 𝑔 𝑋 + 𝐵 𝜃 . 𝑕 𝑥 trong đó 𝐴, 𝐵 không phụ thuộc vào 𝑥, còn 𝑕 𝑥 không phụ thuộc vào 𝜃. Dễ thấy ước lượng hiệu quả là ước lượng UMVU, nhưng điều ngược lại không đúng. 1.1.3. Khoảng tin cậy Định nghĩa 1.1.12. [18] Xét mẫu ngẫu nhiên 𝑋 = 𝛼 % cho tham số 𝜃 là khoảng 𝑋1 , … , 𝑋 𝑛 . Khoảng tin cậy 100 1 − 𝑎, 𝑏 thỏa mãn: 𝑃 𝑎 ≤ 𝜃 ≤ 𝑏 ≥ 1 − 𝛼, trong đó 𝑎, 𝑏 là các hàm của mẫu 𝑋. Cách xây dựng khoảng tin cậy là dựa trên phân bố mẫu của đại lượng pivotal, đây là thống kê thỏa mãn: i. Là hàm của mẫu ngẫu nhiên 𝑋 = 𝑋1 , … , 𝑋 𝑛 và tham số chưa biết 𝜃. ii. Có phân bố xác suất độc lập với tham số 𝜃. Các đại lượng này xuất phát từ ước lượng UMVU, theo định lý giới hạn trung tâm, phân bố mẫu của chúng thường rơi vào các phân bố xác suất quen thuộc (như phân bố chuẩn, student, khi bình phương,...). Giả sử ước lượng cho tham số 𝜃 là 𝜃 , đại lượng pivotal tương ứng là 𝑝 𝜃, 𝜃 , có phân bố xác suất đã biết và độc lập với 𝜃. Khi đó ta có thể viết lại điều kiện xác định khoảng tin cậy 𝑎, 𝑏 tương đương với tìm hai số 𝑎′ , 𝑏′ thỏa mãn: 𝑃 𝑎′ ≤ 𝑝 𝜃 , 𝜃 ≤ 𝑏′ ≥ 1 − 𝛼 Trong chương trình thống kê đại học, khoảng tin cậy thường dùng là đối xứng để đảm bảo tính chất tiệm cận chuẩn. Vì khoảng tin cậy 100 1 − 𝛼 % cho tham số 𝜃 được xây dựng dựa trên phân bố mẫu của thống kê pivotal và quan niệm tham số là cố định chưa biết, nên ta hiểu rằng, khi lấy mẫu lặp lại nhiều lần, sẽ có 100 1 − 𝛼 % các trường hợp cho khoảng tin cậy xác định như trên, chứa tham số 𝜃. Như vậy sẽ có trường hợp với mẫu cụ thể, cách làm này sẽ cho kết quả rơi vào 100𝛼% trường hợp sai còn lại. Trong một số trường hợp thực tế, khoảng tin cậy tần suất không đưa ra được kết luận phù hợp. 1.2. Thống kê Bayes 1.2.1. Ƣớc lƣợng Bayes Cơ sở của phương pháp Bayes là định lý Bayes, cho phép tính xác suất xảy ra của một sự kiện ngẫu nhiên A với điều kiện sự kiện liên quan B đã xảy ra: 𝑃 𝐴 𝐵 = 𝑃 𝐵 𝐴 . 𝑃 𝐴 𝑃 𝐵 Giả sử 𝑋= 𝑋1 , … 𝑋 𝑛 là mẫu ngẫu nhiên với không gian mẫu 𝒳, 𝒜, 𝒫 = 𝑃 𝜃 , 𝜃 ∈ 𝒪 . Giả sử 𝑃 𝜃 ≪ 𝜇 (𝜎-hữu hạn) (tức là nếu 𝜇 𝐴 = 0 thì 𝑃 𝜃 𝐴 = 0 với 𝐴 ∈ 𝒜), 𝑝 𝑥, 𝜃 = 𝑑𝑃 𝜃 𝑥 𝑑𝜇 𝑥 . Nếu coi 𝜃 là biến ngẫu nhiên Θ với phân phối Λ 𝜃 thì ta có thể xem 𝑝 𝑥, 𝜃 như hàm mật độ của 𝑋 với điều kiện Θ = 𝜃 đã cho. Khi đó ta viết 𝑝 𝑥 𝜃 . Định nghĩa 1.2.1. (Phân phối tiên nghiệm) [1] Nếu Λ ≪ 𝜈 trên không gian tham số 𝒪 thì 𝜆 𝜃 = 𝑑Λ 𝑑𝜈 là mật độ của Θ. Hàm phân phối Λ hoặc mật độ 𝜆 của biến ngẫu nhiên Θ được gọi là phân phối tiên nghiệm của Θ (nếu mật độ 𝜆 𝜃 𝜂 phụ thuộc vào tham số 𝜂 khác thì 𝜂 được gọi là siêu tham số). Định nghĩa 1.2.2. (Phân phối hậu nghiệm) [1] Phân phối có điều kiện của Θ khi 𝑋 = 𝑥 đã cho (lưu ý 𝑥 = 𝑥1 , … , 𝑥 𝑛 ) được gọi là phân phối hậu nghiệm, ký hiệu là 𝜆 𝜃|𝑥 , được xác định bởi 𝑝 𝑥 𝜃 𝜆 𝜃 𝜆 𝜃|𝑥 = 𝒪 trong đó 𝑚Λ 𝑥 = 𝒪 𝑝 𝑥 𝜃 𝜆 𝜃 𝑑𝜈 𝜃 𝑝 𝑥 𝜃 𝜆 𝜃 𝑑𝜈 𝜃 = 𝒪 𝑝 𝑥 𝜃 𝑑Λ 𝜃 chỉ phụ thuộc vào mẫu 𝑥, được gọi là hằng số chuẩn hóa. Trong trường hợp 𝜃 là rời rạc, dấu tích phân sẽ được thay bằng tổng. Bây giờ giả sử tham ẩn cần được ước lượng là 𝜃 và ước lượng là 𝜃 với hàm tổn thất không âm 𝐿 𝜃, 𝜃 . Đặt 𝑅 𝜃, 𝜃|𝑥 = 𝐸 𝐿 𝜃, 𝜃 𝑥 = 𝐿 𝜃, 𝜃 𝜆 𝜃|𝑥 𝑑𝜈 𝜃 𝒪 là trung bình hàm tổn thất hậu nghiệm. Định nghĩa 1.2.3. (Ước lượng Bayes) [1] Ước lượng 𝜃Λ làm cực tiểu trung bình hàm tổn thất hậu nghiệm, nghĩa là: 𝑅 𝜃, 𝜃Λ 𝑋 = inf 𝜃 𝑅 𝜃, 𝜃 𝑋 được gọi là ước lượng Bayes của 𝜃. Hai hàm tổn thất thường gặp là tổn thất bình phương 𝐿 𝜃, 𝜃 = 𝜃− 𝜃 2 và tổn thất tuyệt đối 𝐿 𝜃, 𝜃 = 𝜃 − 𝜃 . Đối với hai hàm này, ước lượng Bayes được xác định như sau: (1) Với hàm tổn thất bình phương sai số 𝐿 𝜃, 𝜃 = 𝐸 𝐿 𝜃, 𝜃 = 𝐿 𝜃, 𝜃 𝜆 𝜃 𝑥 𝑑𝜈 𝜃 = 𝜃− 𝜃 2 𝜃− 𝜃 ta có 2 𝜆 𝜃 𝑥 𝑑𝜈 𝜃 Đạo hàm theo 𝜃 và đặt bằng 0, ta được 2 𝜃 − 𝜃 𝜆 𝜃 𝑥 𝑑𝜈 𝜃 = 0 ⇒ 𝜃 = 𝜃𝜆 𝜃 𝑥 𝑑𝜈 𝜃 = 𝐸 𝜃 𝑥 Như vậy trong trường hợp này, ước lượng Bayes cho 𝜃 là trung bình hậu nghiệm của 𝜃. (2) Với hàm tổn thất tuyệt đối sai số 𝐿 𝜃, 𝜃 = 𝜃 − 𝜃 ta có 𝐸 𝐿 𝜃, 𝜃 = 𝐿 𝜃, 𝜃 𝜆 𝜃 𝑥 𝑑𝜈 𝜃 = = 𝜃 − 𝜃 𝜆 𝜃 𝑥 𝑑𝜈 𝜃 𝜃 − 𝜃 𝜆 𝜃 𝑥 𝑑𝜈 𝜃 + 𝜃 ≤𝜃 𝜃 − 𝜃 𝜆 𝜃 𝑥 𝑑𝜈 𝜃 𝜃≥𝜃 Phân phối tiên nghiệm 𝜆 𝜃 Phân phối hậu Hàm hợp lý nghiệm 𝜆 𝜃 𝑥 Hàm tổn thất Ư lượng bayes ớc 𝑝 𝑥 𝜃 Đạo hàm theo 𝜃 và cho bằng 0 ta có 𝜆 𝜃 𝑥 𝑑𝜈 𝜃 − 𝜃≤𝜃 𝜆 𝜃 𝑥 𝑑𝜈 𝜃 = 0 𝜃≥𝜃 1 Giá trị tổn thất cực tiểu đạt được khi cả hai tích phân bằng , tức là khi 𝜃 là giá trị median 2 hậu nghiệm của 𝜃. Ta có thể tóm tắt quá trình tìm ước lượng Bayes cho tham số 𝜃 như sau: Hình 1.2. 1. Sơ đồ quá trình tìm ƣớc lƣợng Bayes cho tham số 1.2.2. Phân phối tiên nghiệm Một câu hỏi đặt ra khi xây dựng phân phối hậu nghiệm là chọn phân phối tiên nghiệm như thế nào là hợp lý? Có rất nhiều cách xây dựng phân phối tiên nghiệm, để phục vụ cho mục đích so sánh với thống kê tần suất, luận văn xin đề cập đến hai cách tiếp cận: tiên nghiệm liên hợp (khi có ít thông tin tiên nghiệm) và tiên nghiệm thiếu thông tin (suy ra trực tiếp từ phân phối mẫu). Định nghĩa 1.2.4. (Tiên nghiệm liên hợp) [13] Họ ℱ các phân phối xác suất trên không gian tham 𝒪 được gọi là liên hợp cho hàm hợp lý 𝑝 𝑥 𝜃 nếu phân bố hậu nghiệm 𝑝 𝜃 𝑥 cũng thuộc ℱ. Nếu hàm hợp lý là họ mũ thì sẽ tồn tại tiên nghiệm liên hợp với nó. Điều này sẽ giúp ta tìm được xác suất hậu nghiệm mà không gặp khó khăn trong xử lý tích phân. Một loại tiên nghiệm khác cũng khá thuận tiện trong việc tính toán, đó là tiên nghiệm Jeffreys. Tuy tiên nghiệm này không phải là liên hợp nhưng nó có đặc điểm nổi bật là bất biến đối với các phép đổi biến số. Luận văn xin đề cập đến định nghĩa cho tiên nghiệm này trong trường hợp tham số đơn. Định nghĩa 1.2.5. (Tiên nghiệm Jeffreys) [22] Tiên nghiệm Jeffreys cho tham số 𝜃 được xác định bởi: 𝜆 𝐽 𝜃 ∝ 𝐼 𝜃 , trong đó 𝐼 𝜃 là lượng thông tin Fisher của 𝜃. Sử dụng định nghĩa này, ta dễ dàng chỉ ra được tiên nghiệm Jeffreys bất biến đối với phép đổi biến song ánh 𝜑 nào đó. Thật vậy: 𝑑𝜃 ∝ 𝑑𝜑 𝜆𝐽 𝜑 = 𝜆𝐽 𝜃 = 𝐸 𝑑𝜃 𝑑𝜑 𝐼 𝜃 𝑑 ln 𝐿 𝑑𝜑 2 = 𝑑 ln 𝐿 𝑑𝜃 𝐸 2 𝑑𝜃 𝑑𝜑 2 = 𝐸 𝑑 ln 𝐿 𝑑𝜃 𝑑𝜃 𝑑𝜑 2 2 = 𝐼 𝜑 a. Phân phối nhị thức 𝐵 𝑛, 𝜋  Tiên nghiệm liên hợp: Hàm hợp lý của quan sát 𝑌, tổng số “thành công” trong 𝑛 phép thử, khi cho trước 𝑝 là 𝑝 𝑥 𝜋 = 𝐶 𝑛𝑥 𝜋 𝑥 1 − 𝜋 𝑛−𝑥 với 0 ≤ 𝜋 ≤ 1. Dễ thấy 𝑝 𝑥 𝜋 có dạng hàm 𝑏𝑒𝑡𝑎(𝑥 + 1, 𝑛 − 𝑥 + 1). Vậy tiên nghiệm liên hợp sẽ là 𝜆 𝜋 = 𝑏𝑒𝑡𝑎(𝑎, 𝑏) = Γ 𝑎+𝑏 Γ 𝑎 Γ 𝑏 𝜋 𝑎−1 1 − 𝜋 𝑏−1 Khi đó phân phối hậu nghiệm: 𝜆 𝜋 𝑥 = 𝑏𝑒𝑡𝑎 𝑎 + 𝑥, 𝑏 + 𝑛 − 𝑥  Tiên nghiệm Jeffreys: Lượng thông tin Fisher cho tham số 𝜋 là 𝐼 𝜋 = −𝐸 𝜋 𝑑 2 log 𝑝 𝑥 𝜋 𝑑𝜋 2 = 𝑛𝜋 𝑛 − 𝑛𝜋 𝑛 + = 𝜋2 1− 𝜋 2 𝜋 1− 𝜋 1 𝐼 𝜋 ∝ 𝜋 −2 1 − 𝜋 Vậy tiên nghiệm Jeffreys cho 𝜋 là 𝜆 𝐽 𝜋 = 1 2 − 1 1 = 𝑏𝑒𝑡𝑎 , 2 2 Tương tự, ta có được các kết quả tương ứng cho các phân bố quen thuộc sau. b. Phân phối Poisson Giả sử 𝑥 = 𝑥1 , … , 𝑥 𝑛 là mẫu ngẫu nhiên rút từ phân bố Pois 𝜇 , khi đó hàm hợp lý sẽ là 𝑝 𝑥 𝜇 = 𝑛 𝑖=1 𝑥 𝑖 −𝑛𝜇 𝑝 𝑥𝑖 𝜇 ∝ 𝜇 𝑒  Tiên nghiệm liên hợp: 𝑟′ = 𝑎 + = 𝑔𝑎𝑚𝑚𝑎 𝑟, 𝑣 với 𝑟 = 𝑥 𝑖 + 1, 𝑣 = 𝑛 𝜆 𝜇 = 𝑔𝑎𝑚𝑚𝑎 𝑎, 𝑏 ⇒ 𝜆 𝜇 𝑦 ∝ 𝑔𝑎𝑚𝑚𝑎 𝑟 ′ , 𝑣 ′ với 𝑥 𝑖 , 𝑣 ′ = 𝑏 + 𝑛.  Tiên nghiệm Jeffreys: 𝜆𝐽 𝜇 ∝ 1 𝜇 ⇒ 𝜆 𝜇 𝑦 ∝ 𝑔𝑎𝑚𝑚𝑎 𝑟 ′ , 𝑣 ′ 𝑥 𝑖 , 𝑣′ = 𝑛 c. Phân phối chuẩn (với giá trị trung bình 𝜇 chưa biết) với 1 𝑟′ = + 2 Giả sử 𝑥 = 𝑥1 , … , 𝑥 𝑛 là mẫu ngẫu nhiên rút từ phân bố chuẩn 𝑁 𝜇, 𝜎 2 , khi đó hàm 1 hợp lý là 𝑝(𝑥|𝜇) ∝ exp − 2𝜎 2 𝑥 − 𝜇 2 𝑛  Tiên nghiệm liên hợp: 𝜎 2 𝑚 +𝑠 2 𝑦 𝜎 2 +𝑠 2 𝜎 2 𝑠2 , 𝑠′ 2 = 𝜎 2 +𝑠 2 𝜆 𝜇 ~𝑁 𝑚, 𝑠 2 ⇒ 𝜆 𝜇 𝑥 ∝ 𝑁 𝑚′ , 𝑠 ′ 2 với 𝑚′ = .  Tiên nghiệm Jeffreys: 𝜆 𝐽 𝜇 = 1. 1.2.3. Khoảng tin cậy Bayes Định nghĩa 1.2.6. Khoảng tin cậy Bayes 100 1 − 𝛼 % là khoảng (𝑎, 𝑏) sao cho: 𝑏 𝑃 𝑎< 𝜃< 𝑏 𝑥 = 𝜆 𝜃 𝑥 𝑑𝜈 𝜃 ≥ 1 − 𝛼 𝑎 trong đó 𝜆 𝜃 𝑥 là phân phối xác suất hậu nghiệm của 𝜃 với dữ liệu 𝑥 = 𝑥1 , … , 𝑥 𝑛 (nếu 𝜃 là rời rạc thì thay dấu tích phân bằng tổng). Với thống kê Bayes, do tham số là biến ngẫu nhiên nên hoàn toàn hợp lý khi ta nói về phân bố xác suất của tham số. Nghĩa là, nếu 𝑎, 𝑏 là khoảng tin cậy Bayes 100 1 − 𝛼 % cho tham số 𝜃 thì xác suất để 𝜃 nằm trong khoảng 𝑎, 𝑏 là 1 − 𝛼, thống kê tần suất không cho ta kết luận này. Theo định nghĩa, ta có thể tìm được rất nhiều khoảng tin cậy Bayes. Luận văn xin đề cập đến hai loại chính: khoảng tin cậy Bayes đối xứng và khoảng tin cậy Bayes chứa mật độ hậu nghiệm cao nhất (khoảng HPD). a. Khoảng tin cậy Bayes đối xứng Cách dễ nhất để tính khoảng tin cậy Bayes cho tham số là sử dụng lượng quantile hậu nghiệm, thường cho khoảng tin cậy đối xứng (equal-tail interval). Để có khoảng tin cậy Bayes đối xứng 100 1 − 𝛼 %, ta tiến hành tìm các số 𝜃 𝛼 < 𝜃1− 𝛼 thỏa mãn: 2 i. 𝑃 𝜃 < 𝜃𝛼 𝑋 = 𝑥 = 2 ii. 𝛼 2 𝑃 𝜃 > 𝜃1− 𝛼 |𝑋 = 𝑥 = 2 𝛼 2 2