Tài liệu Một số vấn đề về hồi quy bayes và ứng dụng trong bài toán dự báo

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN VÕ HOÀNG VĨ MỘT SỐ VẤN ĐỀ VỀ HỒI QUY BAYES VÀ ỨNG DỤNG TRONG BÀI TOÁN DỰ BÁO LUẬN VĂN THẠC SĨ KHOA HỌC DỮ LIỆU ỨNG DỤNG Bình Định - Năm 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN VÕ HOÀNG VĨ MỘT SỐ VẤN ĐỀ VỀ HỒI QUY BAYES VÀ ỨNG DỤNG TRONG BÀI TOÁN DỰ BÁO Ngành : Khoa học dữ liệu ứng dụng Mã số 8904648 : Người hướng dẫn: TS. LÊ THANH BÍNH i Lời cam đoan Tôi xin cam đoan mọi kết quả của đề tài “Một số vấn đề về hồi quy Bayes và ứng dụng trong bài toán dự báo” là công trình nghiên cứu của tôi thực hiện dưới sự hướng dẫn của TS. Lê Thanh Bính, và chưa từng được công bố trong bất cứ công trình khoa học nào khác cho tới thời điểm hiện tại. Các nội dung và kết quả sử dụng trong luận văn đều có trích dẫn và chú thích nguồn gốc. Nếu có điều gì không trung thực, tôi xin hoàn toàn chịu trách nhiệm về luận văn của mình. Quy Nhơn, ngày ... tháng ... năm 2022 Học viên thực hiện đề tài Võ Hoàng Vĩ ii Lời cảm ơn Luận văn được hoàn thành dưới sự hướng dẫn khoa học của Thầy hướng dẫn TS. Lê Thanh Bính. Tác giả xin bày tỏ lòng biết ơn chân thành và sự kính trọng sâu sắc nhất đến Thầy hướng dẫn, Thầy đã tận tình giúp đỡ và truyền đạt cho tác giả những kiến thức quý báu và kinh nghiệm trong quá trình nghiên cứu khoa học để tác giả có thể hoàn thành luận văn một cách tốt nhất. Tác giả cũng xin chân thành cảm ơn quý thầy cô trong khoa Toán và Thống kê, khoa Công nghệ thông tin, Phòng đào tạo sau đại học trường Đại học Quy Nhơn, cùng quý thầy cô tham gia giảng dạy cho lớp Cao học Khoa học dữ liệu ứng dụng khóa 23 đã tạo điều kiện giúp đỡ cho tác giả trong quá trình học tập và nghiên cứu. Tác giả xin trân trọng cảm ơn Quỹ Đổi mới sáng tạo Vingroup (VINIF) đã tài trợ học bổng cho tác giả theo mã số VINIF.2020.ThS.QN.01. Học bổng này đã tạo động lực to lớn giúp tác giả học tập và nghiên cứu trong suốt quá trình thực hiện luận văn. Bên cạnh đó, tác giả chân thành gửi lời cảm ơn sâu sắc đến bạn Nguyễn Quốc Dương (học viên Cao học lớp Khoa học dữ liệu ứng dụng K24B) đã đưa ra nhiều góp ý quý báu cho luận văn. Sau cùng, tác giả xin cảm ơn gia đình, người thân, bạn bè đã quan tâm, động viên và giúp đỡ tác giả trong quá trình học tập và hoàn thành luận văn. Tác giả hy vọng luận văn có thể trở thành một tài liệu tham khảo hữu ích cho các bạn sinh viên, học viên cao học đang tìm tòi, nghiên cứu về hồi quy Bayes. iii Mục lục Lời mở đầu ix 1 Kiến thức chuẩn bị 1 1.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Một số phân phối thường dùng . . . . . . . . . . . . . . . . . . . . 3 1.3 1.4 1.2.1 Phân phối Bernoulli . . . . . . . . . . . . . . . . . . . . . . 3 1.2.2 Phân phối Beta . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.3 Phân phối nhị thức . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.4 Phân phối Dirichlet . . . . . . . . . . . . . . . . . . . . . . . 5 1.2.5 Phân phối Gamma . . . . . . . . . . . . . . . . . . . . . . . 6 1.2.6 Phân phối chuẩn (phân phối Gaussian) . . . . . . . . . . . 7 1.2.7 Phân phối Student . . . . . . . . . . . . . . . . . . . . . . . 8 Suy luận Bayes cho tham số tỉ lệ của phân phối nhị thức . . . . . 9 1.3.1 Tiên nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.3.2 Hậu nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.3.3 Ước lượng điểm . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.3.4 Ước lượng khoảng . . . . . . . . . . . . . . . . . . . . . . . . 14 Suy luận Bayes cho kỳ vọng của phân phối Gaussian . . . . . . . . 16 1.4.1 Sử dụng tiên nghiệm đều . . . . . . . . . . . . . . . . . . . 16 1.4.2 Sử dụng tiên nghiệm chuẩn và hậu nghiệm . . . . . . . . . 17 iv 1.4.3 Ước lượng điểm . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.4.4 Ước lượng khoảng . . . . . . . . . . . . . . . . . . . . . . . . 21 2 Phương pháp hồi quy Bayes 2.1 24 Hồi quy tuyến tính đơn biến . . . . . . . . . . . . . . . . . . . . . . 24 2.1.1 Phương trình chuẩn và đường bình phương tối thiểu . . . . 24 2.1.2 Dạng thay thế cho đường bình phương tối thiểu . . . . . . 26 2.1.3 Ước lượng phương sai xung quanh đường bình phương tối thiểu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.2 2.3 2.1.4 Giả thiết của hồi quy tuyến tính đơn . . . . . . . . . . . . 26 2.1.5 Định lý Bayes cho mô hình hồi quy . . . . . . . . . . . . . 28 2.1.6 Phân phối dự báo cho quan sát trong tương lai . . . . . . . 34 Hồi quy tuyến tính nhiều biến . . . . . . . . . . . . . . . . . . . . . 36 2.2.1 Bình phương tối thiểu cho hồi quy tuyến tính nhiều biến . 36 2.2.2 Giả thiết của hồi quy tuyến tính nhiều biến . . . . . . . . . 37 2.2.3 Định lý Bayes cho hồi quy tuyến tính nhiều biến . . . . . . 38 2.2.4 Phân phối dự báo cho quan sát trong tương lai . . . . . . . 45 Lý thuyết về tự hồi quy Bayes . . . . . . . . . . . . . . . . . . . . . 45 2.3.1 Một số định nghĩa liên quan đến chuỗi thời gian . . . . . . 46 2.3.2 Bài toán tự hồi quy của chuỗi thời gian . . . . . . . . . . . 48 2.3.3 Giới thiệu về tự hồi quy Bayes . . . . . . . . . . . . . . . . 48 3 Ứng dụng của hồi quy Bayes vào bài toán dự báo 3.1 50 Dự báo lượng calo được đốt cháy sau một khoảng thời gian vận động . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 3.1.1 Giải theo phương pháp bình phương tối thiểu OLS . . . . 52 3.1.2 Giải theo phương pháp hồi quy tuyến tính Bayes . . . . . . 53 v 3.2 Bài toán dự báo nhiệt độ hàng ngày ở Melbourne, Australia . . . 58 3.3 Ứng dụng hồi quy Bayes vào việc bổ khuyết dữ liệu trống . . . . . 66 Tài liệu tham khảo 77 Phụ lục 78 vi Danh sách bảng 1.1 Trọng số của p . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.2 Khoảng tin được của Anna, Bart, Chris. . . . . . . . . . . . . . . . 15 3.1 Nhiệt độ dự báo so với nhiệt độ thực tế . . . . . . . . . . . . . . . 63 3.2 Đối sánh nhiệt độ dự báo theo tự hồi quy, tự hồi quy Bayes và nhiệt độ thực tế . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 3.3 Các bảng ghi đầu tiên của bộ dữ liệu NHANES . . . . . . . . . . . 67 vii Danh sách hình vẽ 1.1 Tiên nghiệm của Anna, Bart, Chris . . . . . . . . . . . . . . . . . . 12 1.2 Hậu nghiệm của Anna, Bart, Chris . . . . . . . . . . . . . . . . . . 12 1.3 Tiên nghiệm của Arnie, Barb, Chuck . . . . . . . . . . . . . . . . . 19 1.4 Hậu nghiệm của Arnie, Barb, Chuck . . . . . . . . . . . . . . . . . 20 2.1 Giả thiết phương sai bằng nhau . . . . . . . . . . . . . . . . . . . . 28 3.1 Lượng calo tiêu thụ (calo) tương ứng với thời gian tập thể dục (phút). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.2 Phân phối tiên nghiệm của β0 và β1 . . . . . . . . . . . . . . . . . . 54 3.3 Các thông số phân phối hậu nghiệm của β0 và β1 . . . . . . . . . . 55 3.4 Biểu đồ biểu diễn phân phối xác suất hậu nghiệm của β0 và β1 trong trường hợp 500 điểm dữ liệu . . . . . . . . . . . . . . . . . . 55 3.5 So sánh phương pháp OLS và phương pháp hồi quy Bayes trên 500 điểm dữ liệu. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 3.6 So sánh dự báo bằng phương pháp OLS và dự báo bằng hồi quy Bayes. Đường màu xanh thể hiện hàm phân phối dự báo. Đường màu đỏ thể hiện giá trị dự báo bằng phương pháp OLS. Hai đường màu tím thể hiện cận trên và cận dưới của khoảng tin được của dự báo khi dùng hồi quy Bayes. . . . . . . . . . . . . . . . . . . . . 56 viii 3.7 Các thông số phân phối hậu nghiệm trong trường hợp 15000 quan sát . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 3.8 Biểu đồ biểu diễn phân phối xác suất hậu nghiệm của β0 và β1 trong trường hợp 15000 điểm dữ liệu . . . . . . . . . . . . . . . . . 57 3.9 So sánh phương pháp OLS và phương pháp hồi quy Bayes trên 15000 điểm dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 3.10 So sánh dự báo bằng phương pháp OLS và dự báo bằng hồi quy Bayes trong trường hợp 15000 điểm dữ liệu . . . . . . . . . . . . . 59 3.11 Nhiệt độ trong 10 năm ở Melbourne . . . . . . . . . . . . . . . . . 60 3.12 Các giá trị tự tương quan sau độ trễ bậc p . . . . . . . . . . . . . . 61 3.13 Các giá trị tự tương quan theo dòng . . . . . . . . . . . . . . . . . 62 3.14 Biểu đồ mô tả giá trị . . . . . . . . . . . . . . . . . . . . . . . . . . 63 3.15 Thông tin phân phối hậu nghiệm của β0 , β1 , β2 , β3 . . . . . . . . . . 64 3.16 Biểu đồ mô tả các phân phối hậu nghiệm β0 , β1 , β2 , β3 . . . . . . . 64 3.17 Phân phối dự báo cho ngày tiếp theo trong tập test . . . . . . . . 66 3.18 Số lượng dữ liệu thiếu bị thiếu ở mỗi cột trong bộ dữ liệu NHANES được biểu thị bởi màu đỏ, số lượng dữ liệu tồn tại ở mỗi cột được biểu thị bởi màu vàng. . . . . . . . . . . . . . . . . . . . . . . . . . 69 3.19 Phân phối của bmi . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 3.20 Phân phối của chl . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 3.21 Biểu diễn phân phối hậu nghiệm của bmi và chl . . . . . . . . . . 73 3.22 Đồ thị marginal với 95% khoảng tin được Bayes của phân phối dự báo chl. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 3.23 Đồ thị marginal với 95% khoảng tin được Bayes của phân phối dự báo bmi. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 ix Mở đầu Hiện nay, thống kê có hai trường phái thống kê tần suất và thống kê Bayes. Thống kê tần suất ra đời trước và là phương pháp phổ biến hiện nay. Nó dựa trên những kết quả quan sát mẫu của hiện tại mà không cần đến những thông tin, dữ liệu đã biết trước. Thống kê Bayes dựa trên những thông tin dữ liệu đã biết trước và kết quả của quan sát mẫu hiện tại để suy luận cho những thống kê hiện tại. Thống kê Bayes hay còn gọi là suy luận Bayes ra đời trên cơ sở định lý Bayes. Đó là kiểu suy luận thống kê mà trong đó các nhà thống kê sử dụng phân phối tiên nghiệm (thông tin đã biết trước) về vấn đề đang xét và thông tin mẫu (các quan sát hay bằng chứng), áp dụng công thức trong định lý Bayes để tìm ra phân phối hậu nghiệm (xác suất xảy ra ở hiện tại), từ đó dùng phân phối hậu nghiệm để suy luận cho thống kê hiện tại. Trong luận văn này, tác giả trình bày tổng quát về phân phối tiên nghiệm liên hợp, phân phối hậu nghiệm của một số họ phân phối; hồi quy Bayes và ứng dụng của hồi quy Bayes vào bài toán dự báo. Luận văn gồm 3 chương Chương 1: Kiến thức chuẩn bị Trong Chương 1, tác giả hệ thống các suy luận Bayes cho các biến ngẫu nhiên rời rạc và liên tục, với các tiên nghiệm rời rạc và liên tục của một số họ phân phối. Chương 2: Phương pháp hồi quy Bayes x Trong Chương 2, tác giả trình bày một cách đầy đủ và chi tiết về mô hình hồi quy tuyến tính đơn, hồi quy tuyến nhiều biến và mô hình tự hồi quy theo trường phái Bayes. Chương 3: Ứng dụng của hồi quy Bayes vào bài toán dự báo Trong Chương 3, tác giả giới thiệu ứng dụng của hồi quy Bayes trong một số bài toán dự báo và bài toán bổ sung dữ liệu bị thiếu. 1 Chương 1 Một số kiến thức chuẩn bị Trong chương này, chúng tôi nhắc lại một số kiến thức trong xác suất Bayes, một số phân phối thường gặp và suy luận Bayes. 1.1 Giới thiệu Suy luận Bayes xuất phát từ định lý Bayes điều chỉnh các xác suất khi có thông tin mới theo cách sau đây P (Z|X) = P (X|Z)P (Z) . P (X) Trong đó ˆ Z đại diện cho một giả thiết. Giả thiết này được suy luận trước khi có thông tin mới. ˆ P (Z) được gọi là xác suất tiên nghiệm của Z . ˆ P (X|Z) là xác suất xảy ra X nếu biết giả thiết Z là đúng. Đại lượng này còn được gọi là hàm hợp lý (likelihood) biểu diễn dưới dạng một hàm của X khi cho trước Z và là thông tin mới. ˆ P (X) được gọi là xác suất biên duyên của X . 2 ˆ P (Z|X) được gọi là xác suất hậu nghiệm của Z nếu biết X . Theo định lý Bayes thì xác suất hậu nghiệm tỉ lệ với tích của xác suất tiên nghiệm và hàm hợp lý, ký hiệu là P (Z|X) ∝ P (Z) × P (X|Z), tức là tiên nghiệm nhân với hằng số bất kỳ cũng không ảnh hưởng đến kết quả của hậu nghiệm. P (X|Z) đại diện cho ảnh hưởng của thông tin mới thu được P (X) đối với xác suất xảy ra Z nếu biết X . Nếu hệ số này có giá trị lớn, khi nhân xác Hệ số Bayes B = suất tiên nghiệm với hệ số này, ta được một xác suất hậu nghiệm lớn. Nhờ đó, trong suy luận Bayes, định lý Bayes đo được mức độ mà thông tin mới sẽ làm thay đổi mức độ tin tưởng vào một giả thuyết. Để thực hiện suy luận Bayes cho biến ngẫu nhiên, chúng ta cần các định nghĩa sau đây. Định nghĩa 1.1.1. [2] Phân phối tiên nghiệm (prior distribution) của biến ngẫu nhiên Z là phân phối mà ta tin tưởng, được rút ra từ kinh nghiệm tích lũy, ký hiệu là p(Z). Định nghĩa 1.1.2. [2] Phân phối hậu nghiệm (posterior distribution) của biến Z nếu biết X là phân phối có được bằng tính toán theo định lý Bayes, sau khi có thông tin p(X|Z), ký hiệu là p(Z|X). Định nghĩa 1.1.3. [2] Phân phối tiên nghiệm liên hợp (conjugate prior) là phân phối tiên nghiệm mà phân phối hậu nghiệm tìm được cùng họ với phân phối tiên nghiệm. Khi có thông tin mới về một biến ngẫu nhiên, suy luận Bayes cho biến ngẫu nhiên đó thực hiện theo các bước sau ˆ Bước 1 : Xác định phân phối tiên nghiệm. ˆ Bước 2 : Áp dụng định lý Bayes để tìm phân phối hậu nghiệm. 3 ˆ Bước 3 : Dùng phân phối hậu nghiệm để suy luận cho thống kê hiện tại như ước lượng, kiểm định giả thiết thống kê và phân tích hồi quy tuyến tính. Trong luận văn này, phân phối tiên nghiệm được dùng để suy luận Bayes cho biến ngẫu nhiên là phân phối tiên nghiệm liên hợp. Các nhà thống kê Bayes lập luận rằng ngay cả khi người ta có các xác suất chủ quan tiên nghiệm rất khác nhau thì với thông tin mới từ các quan sát lặp đi lặp lại sẽ có xu hướng đưa các xác suất hậu nghiệm của họ lại gần nhau hơn. Xác suất chủ quan không được xác định bằng các phép tính toán học và chỉ phản ánh ý kiến chủ quan và kinh nghiệm của người quan sát trên dữ liệu quá khứ của đối tượng. 1.2 Một số phân phối thường dùng 1.2.1 Phân phối Bernoulli Định nghĩa 1.2.1. [1] Phân phối Bernoulli với tham số p là phân phối của biến ngẫu nhiên X nhận hai giá trị 0, 1 với P (X = 1) = p và P (X = 0) = 1 − p có hàm mật độ xác định như sau Bern(X|p) = px (1 − p)1−x . Các tham số đặc trưng của biến ngẫu nhiên Bernoulli X là E[X] = p, var[X] = p(1 − p). Phân phối này là trường hợp đặc biệt của phân phối nhị thức chỉ có một quan sát. Phân phối tiên nghiệm liên hợp cho tham số p là phân phối Beta. 4 1.2.2 Phân phối Beta Định nghĩa 1.2.2. [1] Phân phối Beta với hai tham số a và b (a > 0, b > 0) là phân phối của biến ngẫu nhiên liên tục X nhận giá trị trên [0, 1] có hàm mật độ xác định như sau Γ(a + b) a−1 x (1 − x)b−1 Γ(a)Γ(b) Beta(X|a, b) = Z∞ trong đó Γ(t) = ut−1 e−u du là hàm Gamma. 0 Các số đặc trưng của biến ngẫu nhiên X là E[X] = var[X] = a , a+b ab (a + b)2 (a + b + 1) . Phân phối Beta là phân phối tiên nghiệm liên hợp cho phân phối Bernoulli. Khi a = b = 1 thì phân phối Beta trở thành phân phối đều. Phân phối Beta là trường hợp đặc biệt của phân phối Dirichlet K chiều với K = 2. 1.2.3 Phân phối nhị thức Xét phép thử ngẫu nhiên thực hiện n lần với xác suất thành công các lần thử đều bằng nhau và bằng p. Trong n lần thực hiện có m lần thành công. Định nghĩa 1.2.3. [1] Phân phối nhị thức với tham số n (số lần thử) và tham số p ∈ [0, 1] (xác suất thành công của các lần thử) của biến ngẫu nhiên M (số lần thành công) nhận giá trị 1, 2, . . . , n có hàm mật độ xác định như sau   B(M |n, p) = n m p (1 − p)n−m . m 5 Các số đặc trưng của biến ngẫu nhiên M là E[M ] = np, var[M ] = np(1 − p). Khi n = 1 thì phân phối nhị thức chính là phân phối Bernoulli và khi n rất lớn thì phân phối nhị thức xấp xỉ phân phối Gaussian. Phân phối tiên nghiệm liên hợp cho p là phân phối Beta. 1.2.4 Phân phối Dirichlet Định nghĩa 1.2.4. [1] Phân phối Dirichlet với tham số α = (α1 , . . . , αK )T , αk > 0, k = 1, K là một phân phối đa thức của biến ngẫu nhiên K chiều P = (P1 , . . . , PK )T sao cho      0 ≤ pk ≤ 1, k = 1, K, K X   pk = 1,   k=1 có hàm mật độ xác định như sau Dir(P, α) = C(α) K Y pkαk −1 . k=1 Trong đó C(α) = α̂ = Γ(α̂) , Γ(α1 ) . . . Γ(αK ) K X k=1 αK . 6 Các số đặc trưng của biến ngẫu nhiên P là αk , α̂ αk (α̂ − αk ) var[Pk ] = 2 , α̂ (α̂ + 1) αj αk cov[Pj Pk ] = − 2 , α̂ (α̂ + 1) E[Pk ] = E[ln Pk ] = ψ(αk ) − ψ(α̂), trong đó ψ(a) = d ln Γ(a). da Phân phối Dirichlet là phân phối tiên nghiệm liên hợp cho phân phối đa thức và là dạng tổng quát của phân phối Beta. 1.2.5 Phân phối Gamma Định nghĩa 1.2.5. [1] Phân phối Gamma với hai tham số a và b (a > 0, b > 0) là phân phối xác suất của biến ngẫu nhiên dương τ > 0 có hàm mật độ xác định như sau Gam(τ |a, b) = 1 a a−1 −bτ b τ e . Γ(a) Các số đặc trưng của biến ngẫu nhiên τ là a b a var[τ ] = 2 , b E[τ ] = , E[ln τ ] = ψ(a) − ln(b). Phân phối Gamma là phân phối tiên nghiệm liên hợp cho độ chính xác của biến ngẫu nhiên tuân theo quy luật phân phối Gaussian. Nói cách khác, phân phối Gamma ngược là phân phối tiên nghiệm liên hợp của phương sai của biến 7 ngẫu nhiên tuân theo quy luật phân phối Gaussian. Đặc biệt khi a = 1 phân phối Gamma chính là phân phối mũ. 1.2.6 Phân phối chuẩn (phân phối Gaussian) Phân phối Gaussian là phân phối biến ngẫu nhiên liên tục và là phân phối phổ biến nhất của biến ngẫu nhiên. • Trường hợp biến ngẫu nhiên một chiều Định nghĩa 1.2.6. [1] Phân phối Gaussian với tham số kỳ vọng µ và tham số phương sai σ 2 > 0 là phân phối của biến ngẫu nhiên liên tục X nhận giá trị trên R, kí hiệu là N (X|µ, σ 2 ) có hàm mật độ xác định như sau p(X|µ, σ) = 1 1 (x − µ)2 . exp − 2σ 2 (2πσ 2 )1/2 n o Các đặc trưng của biến ngẫu nhiên X là E[X] = µ, var[X] = σ 2 . Nghịch đảo của phương sai τ = 1 được gọi là độ chính xác, căn bậc hai của σ2 phương sai σ 2 được gọi là độ lệch chuẩn. Phân phối tiên nghiệm liên hợp của µ là phân phối Gaussian và phân phối tiên nghiệm liên hợp của τ là phân phối Gamma. Nếu cả µ và τ đều chưa biết thì phân phối tiên nghiệm của phân phối đồng thời là phân phối Gaussian - Gamma. • Trường hợp biến ngẫu nhiên nhiều chiều Định nghĩa 1.2.7. [1] Phân phối Gaussian với tham số là vector kỳ vọng µ D-chiều và ma trận hiệp phương sai Σ là phân phối của biến ngẫu nhiên X ∈ RD , 8 ký hiệu là N (X|µ, Σ) có hàm mật độ xác định như sau 1 1 1 p(X|µ, Σ) = exp − (x − µ)T Σ−1 (x − µ) . D/2 1/2 2 (2π) |Σ| n o Các số đặc trưng của biến ngẫu nhiên X là E[X] = µ, var[X] = Σ. Nghịch đảo của ma trận phương sai Λ = Σ−1 là ma trận độ chính xác. Phân phối tiên nghiệm liên hợp của µ là phân phối Gaussian và phân phối tiên nghiệm liên hợp của Λ là phân phối Wishart. Nếu cả µ và Λ đều chưa biết thì phân phối tiên nghiệm của phân phối đồng thời là phân phối Gaussian - Wishart. 1.2.7 Phân phối Student • Trường hợp biến ngẫu nhiên một chiều Định nghĩa 1.2.8. [1] Phân phối Student với các tham số µ, λ, ν của biến ngẫu nhiên liên tục X nhận giá trị trên R có hàm mật độ ν + 1  1  − v + 1 Γ 2 λ 2 λ(x − µ) 2  ν2  St(X|µ, λ, ν) = 1+ . Γ πν ν 2 Các số đặc trưng của biến ngẫu nhiên là E[X] = µ, var[X] = khi ν > 1, 1 ν , λν −2 khi ν > 2. Trong đó ν > 0 là hệ số tự do của phân phối.