Tài liệu Dự báo dữ liệu chuỗi thời gian có tính hỗn loạn dựa vào mạng nơ ron học sâu

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA TẠ NGỌC HUY NAM DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU NGÀNH: KHOA HỌC MÁY TÍNH MÃ NGÀNH: 68.48.01.01 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH THÁNG 8 NĂM 2018 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán bộ hướng dẫn khoa học : PGS.TS. Dương Tuấn Anh (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 1 : TS. Võ Thị Ngọc Châu (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 2 : TS. Phạm Văn Chung (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp. HCM ngày 18 tháng 7 năm 2018 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ) 1. GS.TS. Phan Thị Tươi 2. TS. Nguyễn Hồ Mẫn Rạng 3. TS. Lê Thanh Vân 4. TS. Võ Thị Ngọc Châu 5. TS. Phạm Văn Chung Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOAKH&KTMT ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Tạ Ngọc Huy Nam MSHV: 1670013 Ngày, tháng, năm sinh: 02/01/1993 Nơi sinh: Quảng Nam Ngành: Khoa học máy tính Mã số : 60.48.01.01 I. TÊN ĐỀ TÀI: DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU II. NHIỆM VỤ VÀ NỘI DUNG: Hiện thực mạng nơ-ron học sâu DBN (Deep Belief Network) và so sánh kết quả độ chính xác dự báo với mạng nơ-ron RBF (Radius Basic Function) và mạng nơ-ron RBF xây dựng lại không gian pha trên các bộ dữ liệu tổng hợp và bộ dữ liệu thực tế III. NGÀY GIAO NHIỆM VỤ : 26/02/2018 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 18/06/2018 V. CÁN BỘ HƯỚNG DẪN : PGS.TS DƯƠNG TUẤN ANH Tp. HCM, ngày 18 tháng 6 năm 2018 CÁN BỘ HƯỚNG DẪN (Họ tên và chữ ký) TRƯỞNG KHOA KH & KTMT (Họ tên và chữ ký) LỜI CẢM ƠN  Trước hết, tôi xin đặc biệt gửi lời cảm ơn chân thành và sâu sắc đến PGS.TS Dương Tuấn Anh, người đã trực tiếp hướng dẫn tôi trong quá trình làm luận văn này. Thầy không chỉ hướng dẫn chu đáo, tận tình mà còn cung cấp cho tôi những kiến thức, những tài liệu hay và những lời khuyên quý giá trong suốt quá trình tôi học tập cũng như quá trình tìm hiểu và làm đề tài luận văn này. Đây chính là một trong những nhân tố không thể thiếu để tạo động lực cho tôi hoàn thành đề tài này. Tôi cũng xin gửi lời cảm ơn đến gia đình, bạn bè, những bạn đồng nghiệp, những bạn học viên các khóa cao học đã chia sẻ kiến thức cho tôi, những người luôn sát cánh, động viên và tạo mọi điều kiện tốt nhất để tôi có thể học tập và hoàn tất được luận văn tốt nghiệp này. Tôi chân thành biết ơn sự tận tình dạy dỗ và sự giúp đỡ của tất cả quý thầy cô trong khoa Khoa học và Kỹ thuật Máy tính trường Đại học Bách khoa TP. HCM. Cuối cùng tôi đã cố gắng hoàn thành tốt nhất có thể cho luận văn này, tuy nhiên khó tránh khỏi thiếu sót do tầm nhìn của bản thân còn hạn hẹp, rất mong nhận được sự góp ý của quý thầy cô và các bạn. i TÓM TẮT LUẬN VĂN Trong những thập niên gần đây các mô hình dự báo cho dữ liệu chuỗi thời gian không ngừng phát triển và được cải tiến thường xuyên. Trong đó có nhiều phương pháp nhằm giúp tối ưu các giải thuật cũng như cho khả năng dự báo tốt hơn. Mạng nơ-ron nhân tạo nói chung, mạng nơ-ron RBF (Radial Basis Function), và mạng nơ-ron học sâu DBN nói riêng cũng được nghiên cứu trong rất nhiều đề tài và được áp dụng vào các mô hình dự báo thực tiễn của dữ liệu chuỗi thời gian nhờ vào khả năng xấp xỉ hàm phi tuyến. Tuy nhiên, nhiều nghiên cứu cho thấy đối với dữ liệu chuỗi thời gian có tính hỗn loạn thì chất lượng dự báo của mạng nơ-ron nhân tạo không được cao, mạng nơron RBF cho thời gian huấn luyện nhanh hơn nhưng chất lượng dự báo cao hơn mạng ANN nhưng độ chính xác vẫn còn khá thấp. Trong luận văn này, chúng tôi xây dựng và hiện thực mô hình dự báo dữ liệu chuỗi thời gian có tính hỗn loạn sử dụng mạng nơ-ron DBN kết hợp với MLP. Ý tưởng chính là sử dụng mạng nơ-ron RBM để tận dụng khả năng rút trích đặc trưng từ dữ liệu trước khi được đưa vào mạng MLP để xấp xỉ hàm phi tuyến. Quá trình tái cấu trúc dữ liệu từ mạng RBM thực sự hỗ trợ rất tốt cho việc hiệu chỉnh các thông số của mạng nơron từ đó với hy vọng sẽ cho kết quả tốt hơn các mô hình khác. Trong quá trình thực nghiệm của việc huấn luyện mạng DBN kết hợp với MLP và dự đoán với các bộ dữ liệu từ phương trình lý thuyết và bộ dữ liệu thực tế có đặc tính hỗn loạn, mô hình này đã cho thấy khả năng dự đoán tốt hơn so với mô mạng nơ-ron nhân tạo thuần túy cũng như mô hình mạng nơ-ron RBF và mạng nơ ron RBF khi đã được xây dựng lại không gian pha. Các từ khóa: Mạng nơ-ron DBN, RBM, Giải thuật phần kì tương phản (CD), Lý thuyết hỗn loạn, Chuỗi thời gian có tính hỗn loạn, Dự báo dữ liệu chuỗi thời gian. ii ABSTRACT In recent decades, the forecast models for time series data have been continuously developed and improved. Among them, there are many methods to optimize the algorithms as well as to enhance predictability. Artificial neural network in general, RBF (Radial Basis Function) neural network, DBN (Deep Belief Network) in particular have been studied in a variety of domains and applied in several practical time series data due to their learning and nonlinear function approximation ability. However, many studies show that the simple forecast models of neural network can not forecast well the chaotic time series data. Although RBF traning time is faster and more accurate than ANN, RBF still has low accuracy when predicting for chaotic time series. In this work, we study to use DBN neural network plus MLP for forecasting chaotic time series data. The main idea of using DBN neural network is to exploit the ability of extracting features from input data of RBM and then the output of RBM is fed into latter layer MLP to approximate non-linearity function. The process of reconstruction data of RBM support efficiently for fine-tuning parameter of the DBN model, which is a hope for better result in term of accuracy than other models. Experimental results on several real and theoric datasets of chaotic time series reveal that DBN outperforms MLP neural network as well as RBF neural network and RBF with phase space reconstruction. Keywords: DBN Neural Network, RBM, Contrastive Divergence Algorithm (CD), Chaos Theory, Chaotic Time Series, Time Series Prediction. iii LỜI CAM ĐOAN Tôi xin cam đoan rằng ngoại trừ các kết quả tham khảo từ các công trình khác như đã ghi trong mục tham khảo của luận văn, các công việc trình bày trong luận văn này là do chính chúng tôi thực hiện và chưa có phần nội dung nào của luận văn này được nộp để lấy một bằng cấp ở trường đại học nào khác. Hồ Chí Minh, ngày ….. tháng …. năm……. Ký tên iv MỤC LỤC LỜI CÁM ƠN .................................................................................................................. i TÓM TẮT LUẬN VĂN .................................................................................................ii ABSTRACT ................................................................................................................. iii LỜI CAM ĐOAN .......................................................................................................... iv MỤC LỤC ...................................................................................................................... v DANH MỤC HÌNH ẢNH .......................................................................................... viii DANH MỤC BẢNG ....................................................................................................xii CHƯƠNG 1. GIỚI THIỆU ĐỀ TÀI .............................................................................. 1 1.1. CƠ SỞ HÌNH THÀNH ĐỀ TÀI ......................................................................... 1 1.2. Ý NGHĨA ĐỀ TÀI .............................................................................................. 3 1.2.1. Ý nghĩa thực tiễn .......................................................................................... 3 1.2.2. Ý nghĩa khoa học .......................................................................................... 4 1.3. TÓM LƯỢC NHỮNG KẾT QUẢ ĐẠT ĐƯỢC ................................................ 4 1.4. CẤU TRÚC BÁO CÁO ...................................................................................... 5 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT ............................................................................... 7 2.1. DỮ LIỆU CHUỖI THỜI GIAN .......................................................................... 7 2.2. DỮ LIỆU CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN ................................... 8 2.2.1. Tính hỗn loạn ................................................................................................ 8 2.2.2. Cách xác định tính hỗn loạn dựa vào số mũ Lyapunov ............................. 10 2.3. MÁY BOLTZMANN GIỚI HẠN VÀ MẠNG NƠ-RON HỌC SÂU DBN .... 14 2.3.1. Máy Boltzmann giới hạn RBM .................................................................. 14 2.3.2. Huấn luyện máy Boltzmann giới hạn RBM ............................................... 15 2.3.3. Mạng nơ-ron học sâu DBN ........................................................................ 17 CHƯƠNG 3. CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN ............................. 21 3.1. SỬ DỤNG ANN ĐỂ DỰ BÁO CHUỖI DỮ LIỆU THỜI GIAN CÓ TÍNH HỖN LOẠN ……………………………………………………………………………21 v 3.2. SỬ DỤNG MẠNG RBF ĐỂ DỰ BÁO CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN ……………………………………………………………………………..24 3.3. SỬ DỤNG MẠNG NƠ-RON HỌC SÂU DBN ĐỂ DỰ BÁO CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN ................................................................................. 27 3.4. SỬ DỤNG MẠNG NƠ-RON HỌC SÂU DBN KẾT HỢP VỚI MẠNG MLP ĐỂ DỰ BÁO CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN .................................. 29 CHƯƠNG 4. XÂY DỰNG MÔ HÌNH HUẤN LUYỆN VÀ DỰ BÁO DỰA VÀO MẠNG NƠ-RON HỌC SÂU DBN ............................................................................. 33 4.1. GIẢI THUẬT PHÂN KÌ TƯƠNG PHẢN (CD) KẾT HỢP VỚI GIẢI THUẬT LAN TRUYỀN NGƯỢC BP ................................................................................... 33 4.2. KỸ THUẬT KHỞI TẠO TRỌNG SỐ CHO MẠNG NƠ-RON HỌC SÂU DBN………………………………………………………………………………..38 4.3. XÂY DỰNG MÔ HÌNH DỰ BÁO ................................................................... 43 4.3.1. Ý tưởng ....................................................................................................... 43 4.3.2. Hiện thực .................................................................................................... 44 CHƯƠNG 5. THỰC NGHIỆM VÀ ĐÁNH GIÁ ........................................................ 46 5.1. CÁCH THỨC THỰC NGHIỆM ....................................................................... 46 5.2. KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ ................................................. 48 5.2.1. Bộ dữ liệu được tạo bởi phương trình Lorenz ............................................ 48 5.2.2. Bộ dữ liệu được tạo bởi phương trình Mackey-Glass ................................ 53 5.2.3. Bộ dữ liệu được tạo bởi phương trình Rossler ........................................... 59 5.2.4. Bộ dữ liệu về độ đo trung bình các vệt đen mặt trời (bão mặt trời) hàng tháng từ tháng 1 năm 1749 tới tháng 3 năm 1977 .......................................................... 65 5.2.5. Bộ dữ liệu về chỉ số giá tiêu dùng (CPI) mỗi tháng ở Tây Ban Nha từ tháng 1 năm 1960 đến tháng 6 năm 2005 ....................................................................... 69 5.2.6. Bộ dữ liệu về tỉ giá trung bình của đô la Mỹ với Bảng Anh từ tháng 1 năm 1981 đến tháng 7 năm 2005.................................................................................. 74 5.2.7. Bộ dữ liệu về giá (đóng cửa) hàng ngày của cổ phiếu IBM từ tháng 6 năm 1959 đến tháng 6 năm 1960.................................................................................. 79 5.3. NHẬN XÉT CHUNG ........................................................................................ 85 vi CHƯƠNG 6. KẾT LUẬN ............................................................................................ 87 6.1. ĐÁNH GIÁ KẾT QUẢ ..................................................................................... 87 6.1.1. Những công việc đã làm được .................................................................... 87 6.1.2. Những đúc kết về mặt lý luận..................................................................... 88 6.1.3. Các mặt hạn chế.......................................................................................... 88 6.2. HƯỚNG PHÁT TRIỂN .................................................................................... 89 TÀI LIỆU THAM KHẢO ............................................................................................ 90 vii DANH MỤC HÌNH ẢNH Hình 1.1 Biều đồ thể hiện lượng mưa hàng năm ghi nhận tại Mỹ ................................. 2 Hình 1.2 Biểu đồ Logistic thể hiện dự báo dữ liệu chuỗi thời gian có tính hỗn loạn vào dữ liệu thực tế (Actual) và đưa ra dữ liệu được dự báo (Forecast) ........................ 2 Hình 2.1 Chuỗi thời gian có tính hỗn loạn {xn} từ biểu đồ Henon .............................. 9 Hình 2.2 Chuỗi thời gian {𝝋𝒏} nhận được từ phương trình Lorenz ............................. 9 Hình 2.3 Sơ đồ minh họa làm thế nào để tính toán số lượng mũ Lyapunov tối đa ...... 12 Hình 2.4 Sơ đồ minh họa làm thế nào để tính toán số mũ Lyapunov tối đa từ chuỗi thời gian hoặc dữ liệu thực nghiệm. ............................................................................ 13 Hình 2.5 Mô hình máy Boltzmann giới hạn ................................................................. 14 Hình 2.6 Mạng nơ-ron học sâu DBN ba lớp được hình thành từ ba mạng con RBM.. 18 Hình 3.1 Cấu hình một mạng nơ-ron RBF ................................................................... 25 Hình 3.2 Minh họa của hai hàm nhân Gauss trong 1 chiều.......................................... 26 Hình 3.3 Mạng nơ-ron học sâu DBN hai lớp được xây dựng từ hai mạng con RBM [14] .............................................................................................................................. 27 Hình 3.4 Hệ số RMSE đối với các phương pháp học khác nhau cho dữ liệu thời gian có tính hỗn loạn Lorenz (Lorenz chaos) trong quá trình huấn luyện [15] ................ 28 Hình 3.5 Hệ số RMSE đối với các phương pháp học khác nhau cho dữ liệu thời gian có tính hỗn loạn Lorenz (Lorenz chaos) trong quá trình kiểm thử [15] .................... 29 Hình 3.6 Mạng DBN được xây dựng từ RBM kết hợp với MLP [15] ......................... 30 Hình 3.7 So sánh việc dự báo của các phương pháp khác nhau cho dữ liệu hỗn loạn Lorenz [15] ........................................................................................................... 31 viii Hình 3.8 So sánh việc dự báo của các phương pháp khác nhau cho dữ liệu hỗn loạn biểu đồ Henon [15] ....................................................................................................... 31 Hình 4.1 Huấn luyện mạng DBN bằng giải thuật CD cho mạng RBM và giải thuật BP để điều chỉnh trọng số toàn mạng (fine-tuning) ................................................... 36 Hình 4.2 Sơ đồ huẩn luyện mạng DBN bằng cách kết hợp giải thuật CD và BP ........ 37 Hình 4.3 Hàm lỗi với độ dốc phẳng ............................................................................. 39 Hình 4.4 Hàm lỗi có độ dốc lớn ................................................................................... 39 Hình 4.5 Hàm Sigmoid ................................................................................................. 40 Hình 4.6 Đồ thị đạo hàm của hàm Sigmoid ................................................................. 40 Hình 4.7 Mô hình đơn giản một mạng ANN ................................................................ 41 Hình 4.8 Đồ thị biểu diễn hàm RELU .......................................................................... 43 Hình 4.9 Mạng DBN được xây dựng từ RBM kết hợp với MLP................................. 44 Hình 5.1 Chuỗi dữ liệu thời gian có tính hỗn loạn sử dụng phương trình Loren ......... 50 Hình 5.2 Đồ thị biểu thị hàm lỗi MSE của mạng RBM + MLP đối với dữ liệu Lorenz .............................................................................................................................. 52 Hình 5.3 Kết quả dự đoán của mạng RBM + MLP trên tập huấn luyện Lorenz ......... 52 Hình 5.4 Kết quả dự đoán của mạng RBM + MLP trên tập huấn luyện (200 mẫu) so với mạng RBF và mạng RBF xây dựng lại không gian pha ....................................... 53 Hình 5.5 Chuỗi dữ liệu thời gian có tính hỗn loạn sử dụng phương trình Mackey-Glass .............................................................................................................................. 55 Hình 5.6 Đồ thị biểu thị hàm lỗi MSE của mạng RBM + MLP đối với dữ liệu MackeyGlass ..................................................................................................................... 57 ix Hình 5.7 Kết quả dự đoán của mạng RBM + MLP trên tập huấn luyện Mackey-Glass .............................................................................................................................. 57 Hình 5.8 Kết quả dự đoán của ba mô hình cho chuỗi dữ liệu thời gian có tính hỗn loạn sử dụng phương trình Mackey-Glass. .................................................................. 59 Hình 5.9 Chuỗi dữ liệu thời gian có tính hỗn loạn sử dụng phương trình Rossler ...... 60 Hình 5.10 Đồ thị biểu thị hàm lỗi MSE của mạng RBM + MLP đối với dữ liệu Rossler .............................................................................................................................. 63 Hình 5.11 Kết quả dự đoán của mạng RBM + MLP trên tập huấn luyện Rossler ....... 63 Hình 5.12 Kết quả dự đoán của ba mô hình cho chuỗi dữ liệu thời gian có tính hỗn loạn sử dụng phương trình Roosler .............................................................................. 64 Hình 5.13 Chuỗi dữ liệu thời gian có tính hỗn loạn về độ đo trung bình vệt đên mặt trời .............................................................................................................................. 65 Hình 5.14 Đồ thị biểu thị hàm lỗi MSE của mạng RBMs + MLP đối với dữ liệu vệt đen mặt trời.................................................................................................................. 67 Hình 5.15 Kết quả dự đoán của mạng RBMs + MLP trên tập huấn luyện vệt đen mặt trời......................................................................................................................... 68 Hình 5.16 Kết quả dự đoán của ba mô hình cho chuỗi dữ liệu thời gian có tính hỗn loạn về độ đo trung bình vệt đen mặt trời .................................................................... 69 Hình 5.17 Chuỗi dữ liệu thời gian có tính hỗn loạn về chỉ số giá tiêu dùng CPI mỗi tháng ở Tây Ban Nha ............................................................................................ 70 Hình 5.18 Đồ thị biểu thị hàm lỗi MSE của mạng RBM + MLP đối với dữ liệu chỉ số giá tiêu dùng (CPI) mỗi tháng ở Tây Ban Nha ..................................................... 72 Hình 5.19 Kết quả dự đoán của mạng RBM + MLP trên tập huấn luyện .................... 73 x Hình 5.20 Kết quả dự đoán của ba mô hình cho chuỗi dữ liệu thời gian có tính hỗn loạn về chỉ số giá tiêu dùng (CPI) ở Tây Ban Nha ....................................................... 74 Hình 5.21 Chuỗi dữ liệu thời gian có tính hỗn loạn về tỉ số giá trung bình của đô la Mỹ với bảng Anh ........................................................................................................ 75 Hình 5.22 Đồ thị biểu thị hàm lỗi MSE của mạng RBM + MLP đối với dữ liệu tỉ giá trung bình của đô la Mỹ........................................................................................ 77 Hình 5.23 Kết quả dự đoán của mạng RBM + MLP trên tập huấn luyện .................... 78 Hình 5.24 Kết quả dự đoán của ba mô hình cho chuỗi dữ liệu thời gian có tính hỗn loạn về tỉ giá trung bình của đô la Mỹ với Bảng Anh từ tháng 1 năm 1981 đến tháng 7 năm 2005 .............................................................................................................. 79 Hình 5.25 Chuỗi dữ liệu thời gian có tính hỗn loạn về giá (đóng cửa) hàng ngày của cổ phiếu IBM từ tháng 6 năm 1959 đến tháng 6 năm 1960 ...................................... 80 Hình 5.26 Đồ thị biểu thị hàm lỗi MSE của mạng RBM + MLP về giá (đóng cửa) hàng ngày của cổ phiếu IBM từ tháng 6 năm 1959 đến tháng 6 năm 1960 .................. 82 Hình 5.27 Kết quả dự đoán của mạng RBM + MLP trên tập huấn luyện .................... 83 Hình 5.28 Kết quả dự đoán của ba mô hình cho chuỗi dữ liệu thời gian có tính hỗn loạn về giá (đóng cửa) hàng ngày của cổ phiếu IBM từ tháng 6 năm 1959 đến tháng 6 năm 1960 .............................................................................................................. 84 xi DANH MỤC BẢNG Bảng 5-1 Kết quả thực nghiệm cho chuỗi dữ liệu thời gian có tính hỗn loạn sử dụng phương trình Lorenz ............................................................................................. 50 Bảng 5-2 Kết quả thực nghiệm cho chuỗi dữ liệu thời gian có tính hỗn loạn sử dụng phương trình Mackey-Glass ................................................................................. 55 Bảng 5-3 Kết quả thực nghiệm cho chuỗi dữ liệu thời gian có tính hỗn loạn sử dụng phương trình Rossler ............................................................................................ 60 Bảng 5-4 Kết quả thực nghiệm cho chuỗi dữ liệu thời gian có tính hỗn loạn về độ đo trung bình vệt đên mặt trời ................................................................................... 66 Bảng 5-5 Kết quả thực nghiệm cho chuỗi dữ liệu thời gian có tính hỗn loạn về chỉ số giá tiêu dùng ở Tây Ban Nha ................................................................................ 71 Bảng 5-6 Kết quả thực nghiệm cho chuỗi dữ liệu thời gian có tính hỗn loạn về tỉ giá trung bình của đô la Mỹ từ tháng 1 năm 1981 đến tháng 7 năm 2005 ................. 76 Bảng 5-7 Kết quả thực nghiệm cho chuỗi dữ liệu thời gian có tính hỗn loạn về giá (đóng cửa) hàng ngày của cổ phiếu IBM từ tháng 6 năm 1959 đến tháng 6 năm 1960 . 81 Bảng 5-8 Bảng tổng hợp kết quả của ba mô hình đối với bảy bộ dữ liệu .................... 84 xii DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU CHƯƠNG 1. GIỚI THIỆU ĐỀ TÀI Phần đầu của chương giới thiệu sơ lược về đề tài sẽ thực hiện những gì, tại sao lại thực hiện và thực hiện như thế nào. Một số khái niệm cơ bản được giới thiệu sơ lược trong chương này như: Dữ liệu chuỗi thời gian, Dữ liệu chuỗi thời gian có tính hỗn loạn. Phần thứ hai giới thiệu sơ lược về mục tiêu và phạm vi nghiên cứu. Phần cuối của chương sẽ trình bày tổng quan về cấu trúc tổng thể của toàn bộ luận văn. 1.1. CƠ SỞ HÌNH THÀNH ĐỀ TÀI Trước bối cảnh bùng nổ thông tin như hiện nay thì các ứng dụng công nghệ thông tin cũng không ngừng gia tăng nhằm đáp ứng việc khai thác và quản lý các thông tin, dữ liệu một cách hiệu quả. Trong một khối lượng khổng lồ của dữ liệu được lưu trữ như: các dữ liệu y tế, ngân hàng, giáo dục, địa lý, vv... việc đưa ra các quyết định nhanh chóng và chính xác của các công ty và tổ chức là rất khó khăn. Từ đó các ứng dụng công nghệ thông tin hỗ trợ việc dự báo và đưa ra các quyết định hợp lý phải kể tới là các ứng dụng trong khai phá chuỗi dữ liệu thời gian (Time series Data mining) và gần đây là chuỗi thời gian có tính hỗn loạn (Chaotic Time Series) cũng rất quan trọng. Vấn đề này từ lâu đã được các nhà nghiên cứu quan tâm và đề ra một số biện pháp giải quyết cụ thể để phân tích khoa học về các dữ liệu đã thu thập được như: phương pháp thống kê, phương pháp hồi quy, cây quyết định, mạng nơ-ron nhân tạo, mạng nơ-ron RBF (Radial Basis Function Network) vv… Trong đó, việc sử dụng mạng nơ-ron học sâu DBN (Deep Belief Network) một dạng của mạng nơ-ron nhân tạo) để dự báo dữ liệu chuỗi thời gian có tính hỗn loạn sẽ được nghiên cứu cụ thể hơn trong đề tài này. Chuỗi thời gian là một tập hợp dữ liệu các quan sát đo được một cách tuần tự theo thời gian. Các quan sát này có thể đo được một cách liên tục theo thời gian hoặc HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 Trang 1 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU là có thể được lấy theo một tập rời rạc các thời điểm khác nhau. Ví dụ: trong kinh doanh, tỷ lệ lãi xuất được lưu trữ hàng tuần, giá cổ phiếu đóng cửa được lưu trữ hàng ngày, doanh số bán hàng được lưu trữ hàng năm, hoặc trong khí tượng chỉ số lượng mưa, hạn hán được lưu trữ hàng năm, ngoài ra các số liệu về GDP, giá điện, dân số hay giá trị sản xuất vv… là các dữ liệu chuỗi thời gian. Hình 1.1 dưới đây là một ví dụ về dữ liệu chuỗi thời gian thể hiện lượng mưa hàng năm ghi nhận tại Mỹ (từ năm 1900 đến năm 2010). Hình 1.1 Biều đồ thể hiện lượng mưa hàng năm ghi nhận tại Mỹ Hình 1.2 dưới đây thể hiện một dự báo về dữ liệu chuỗi thời gian có tính hỗn loạn sử dụng biểu đồ Logistic1 Hình 1.2 Biểu đồ Logistic thể hiện dự báo dữ liệu chuỗi thời gian có tính hỗn loạn vào dữ liệu thực tế (Actual) và đưa ra dữ liệu được dự báo (Forecast) HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 Trang 2 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU Dữ liệu chuỗi thời gian có tính hỗn loạn: thuyết hỗn loạn (chaos theory) là một lĩnh vực nghiên cứu trong toán học và được ứng dụng vào các ngành khoa học khác như vật lí, cơ khí, kinh tế, sinh học, triết học... Các hệ động lực (dynamical system) có tính hỗn loạn thường gặp trong tự nhiên như cơn lốc xoáy, thị trường chứng khoán, thời tiết, vv… Chức năng của các hệ này là khác nhau trong mỗi tình huống khác nhau. Ví dụ trong trường hợp của một cơn lốc xoáy, hành vi mang tính hỗn loạn là có hại đối với con người và cần phải tránh hoặc phải được điều khiển. Nhưng trong hoạt động của bộ não người, hành vi mang tính hỗn loại là hữu ích và cần thiết để duy trì các chức năng bình thường của não. Vì vậy, công việc quan trọng là hiểu được tính hỗn loạn và để nó phục vụ xã hội loài người tốt hơn [1]. Chuỗi thời gian có tính hỗn loạn thường là một chuỗi quan sát sinh ra từ một hệ động lực phi tuyến (nonlinear dynamic system) như các ví dụ trên. Điều quan trọng là việc phân tích các hệ động lực từ chuỗi quan sát để thực hiện các dự báo chính xác về tương lai [2]. Chuỗi thời gian có tính hỗn loạn là loại dữ liệu chuỗi thời gian thường khó dự đoán. Do đó việc nâng cao độ chính xác dự báo cho loại dữ liệu chuỗi thời gian này thu hút được sự quan tâm của cộng đồng nghiên cứu. 1.2. Ý NGHĨA ĐỀ TÀI 1.2.1. Ý nghĩa thực tiễn - Góp phần tăng tốc độ dự đoán, tăng độ chính xác dự đoán đối với các dữ liệu thời gian mang tính hỗn loạn - Giúp các nhà đầu tư chứng khoán, các nhà dự báo thời tiết, các nhà khoa học có cái nhìn chính xác hơn về các dữ liệu để đưa ra cảnh báo, lời khuyên đối với khách hàng, người dùng. - Giảm thiểu yêu cầu về nhân lực trong quá trình phân tích các biến động trong chuỗi thời gian có tính hỗn loạn phức tạp HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 Trang 3 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU 1.2.2. Ý nghĩa khoa học - Góp phần đưa ra một mô hình, phương pháp học sâu mới để giải quyết lớp các bài toán về chuỗi thời gian có tính hỗn loạn - Mở ra một hướng mới về rút trích đặc trưng (feature extraction) từ dữ liệu dựa trên máy Bolzmann giới hạn RBM (Restricted Boltzmann Machines). 1.3. PHẠM VI ĐỀ TÀI Về dữ liệu: Đề tài chỉ tập trung đưa ra độ chính xác dự báo cho hai loại bộ dữ liệu đó là bộ dữ liệu tổng hợp và bộ dữ liệu thực tế. Bộ dữ liệu tổng hợp bao gồm các phương trình toán học như: bộ dữ liệu sinh ra từ phương trình toán học như phương trình Lorenz, phương trình Mackey-Glass, phương trình Rosler. Bộ dữ liệu thực tế bao gồm bộ dữ liệu về độ đo trung bình các vệt đen mặt trời, bộ dữ liệu về chỉ số giá tiêu dùng (CPI) mỗi tháng ở Tây Ban Nha, bộ dữ liệu về tỉ giá trung bình của đô la Mỹ với Bảng Anh và bộ dữ liệu về về giá (đóng cửa) hàng ngày cố phiếu IBM. Về phương pháp nghiên cứu: Đề tài tập trung nghiên cứu mô hình mạng nơron học sâu DBN (Deep Belief Network), giải thuật phân kì tương phản và giải thuật lan truyền ngược để huấn luyện mạng DBN cùng với các kĩ thuật khởi tạo trọng số cho mạng DBN. 1.4. TÓM LƯỢC NHỮNG KẾT QUẢ ĐẠT ĐƯỢC Thông qua quá trình nghiên cứu và thực nghiệm chúng tôi đã có được một số kết quả mong đợi như sau: ▪ Hiểu được việc kết hợp mô hình học không giám sát (unsupervised learning) và mô hình học có giám sát (supervised learning) để tạo ra mô hình học bán giám sát (semi-supervised leanring) cho việc dự báo chuỗi thời gian có tính hỗn loạn HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 Trang 4 DỰ BÁO DỮ LIỆU CHUỖI THỜI GIAN CÓ TÍNH HỖN LOẠN DỰA VÀO MẠNG NƠ-RON HỌC SÂU ▪ Giải thuật phân kì tương phản CD dùng để học được các đặc trưng từ dữ liệu đầu vào giúp ích rất lớn trong việc huấn luyện mạng DBN để đưa ra kết quả dự báo tốt hơn so với mạng RBF (Radius Basic Fucntion) và mạng RBF xây dựng lại không gian pha ▪ Chúng tôi cũng đã xây dựng được ứng dụng hiện thực hệ thống dự báo dữ liệu chuỗi thời gian có tính hỗn loạn sử dụng mạng nơ-ron học sâu DBN. ▪ Chúng tôi đã kiểm tra độ chính xác của mô hình DBN trên bảy (7) bộ dữ liệu bao gồm ba (3) bộ dữ liệu tổng hợp (synthetic data) (từ phương trình toán học) và bốn (4) bộ dữ liệu thực tế (real data) và đạt được kết quả dự báo với độ chính xác cao hơn so với mô hình mạng nơ-ron RBF và mạng nơ-ron RBF xây dựng lại không gian pha trên đa số bộ dữ liệu. 1.5. CẤU TRÚC BÁO CÁO Báo cáo được chia thành 6 phần chính như sau: CHƯƠNG 1. GIỚI THIỆU ĐỀ TÀI Chương này giới thiệu sơ lược về đề tài, mục tiêu và phạm vi nghiên cứu cũng như cấu trúc của đề tài. CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Chương này trình bày chi tiết về các vấn đề lý thuyết sẽ được áp dụng trong đề tài như: Dữ liệu chuỗi thời gian, Dữ liệu chuỗi thời gian có tính hỗn loạn, máy Bolzmann giới hạn. CHƯƠNG 3. NHỮNG CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Chương này trình bày sơ lược các công trình có liên quan đến dự báo dữ liệu chuỗi thời gian có tính hỗn loạn bằng ANN (Artificial Neural Networks), các công trình liên quan đến dự báo dữ liệu chuỗi thời gian có tính hỗn sử dụng mạng RBF (Radius Basic Fucntion) và mạng RBF xây dựng lại không gian HỌ VÀ TÊN: TẠ NGỌC HUY NAM – MSHV: 1670013 Trang 5