Tài liệu Giải thuật di truyền và ứng dụng đối với bài toán xác định công thức hồi quy trong thí nghiệm hóa sinh

1 .. ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LƢƠNG THỊ THU HÀ GIẢI THUẬT DI TRUYỀN VÀ ỨNG DỤNG ĐỐI VỚI BÀI TOÁN XÁC ĐỊNH CÔNG THỨC HỒI QUY TRONG THÍ NGHIỆM HÓA SINH LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN 2015 Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 2 LỜI CAM ĐOAN Sau quá trình học tập tại Trƣờng Đại học công nghệ thông tin & truyền thông, với những kiến thức lý thuyết và thực hành đã tích lũy được, với việc vận dụng các kiến thức vào thực tế, em đã tự nghiên cứu các tài liệu, các công trình nghiên cứu, đồng thời có sự phân tích, tổng hợp, đúc kết và phát triển để hoàn thành luận văn thạc sĩ của mình. Em xin cam đoan luận văn này là công trình do bản thân em tự tìm hiểu, nghiên cứu và hoàn thành dưới sự hướng dẫn của thầy giáo TS. Vũ Vinh Quang. Thái Nguyên, tháng 5 năm 2015 Học viên Lương Thị Thu Hà Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 3 LỜI CÁM ƠN Trong thời gian hai năm của chương trình đào tạo thạc sỹ, trong đó gần một nửa thời gian dành cho các môn học, thời gian còn lại dành cho việc lựa chọn đề tài, giáo viên hướng dẫn, tập trung vào nghiên cứu, viết, chỉnh sửa và hoàn thiện đề tài. Với quỹ thời gian như vậy và với vị trí công việc đang phải đảm nhận, không riêng bản thân em mà hầu hết các sinh viên cao học muốn hoàn thành tốt luận văn của mình trước hết đều phải có sự sắp xếp thời gian hợp lý, có sự tập trung học tập và nghiên cứu với tinh thần nghiêm túc, nỗ lực hết mình; tiếp đến cần có sự ủng hộ về tinh thần, sự giúp đỡ về chuyên môn một trong những điều kiện không thể thiếu quyết định đến việc thành công của đề tài. Để hoàn thành được đề tài này trước tiên em xin gửi lời cảm ơn đến thầy giáo hướng dẫn TS. Vũ Vinh Quang, người đã có những định hướng cho em về nội dung và hướng phát triển của đề tài, người đã có những đóng góp quý báu cho em về những vấn đề chuyên môn của đề tài, giúp em tháo gỡ kịp thời những vướng mắc trong quá trình làm luận văn. Em xin gửi lời cảm ơn tới các Cán bộ nghiên cứu thuộc Viện Hóa sinh biển thuộc Viện Hàn lâm khoa học và Công nghệ Việt Nam đã cung cấp đầy đủ các số liệu thu được từ các phòng thí nghiệm tại Viện để giúp đỡ Em tiến hành các thí nghiệm thành công. ô giáo Trường Đại học Công nghệ thông tin và Truyền thông Thái Nguyên, cũng như bạn bè cùng lớp đã có những ý kiến đóng góp bổ sung cho đề tài luận văn của em. Xin cảm ơn gia đình, người thân cũng như đồng nghiệp luôn quan tâm, ủng hộ hỗ trợ về mặt tinh thần trong suốt thời gian từ khi nhận đề tài đến khi hoàn thiện đề tài này. Trong nội dung của luận văn chắc chắn còn nhiều thiếu sót. Em rất mong các Thầy Cô cùng bạn bè đóng góp để bản luận văn của Em được hoàn thiện hơn. Em xin trân trọng cảm ơn. Thái Nguyên, tháng 5 năm 2015 Học viên Lƣơng Thị Thu Hà Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 4 MỤC LỤC LỜI MỞ ĐẦU ........................................................................................................ 7 Chương 1 CÁC KIẾN THỨC CƠ BẢN VỀ HÀM HỒI QUY THỰC NGHIỆM 9 1.1. Khái niệm cơ bản về hàm nội suy ................................................................... 9 ........................................................................................ 10 ........................................................................ 11 (Spline) ........................................................................... 12 1.1.4 Nội suy bằng hàm hữu tỉ ......................................................................... 14 1.2 Bài toán hồi quy ............................................................................................. 14 1.2.1 Phương pháp bình phương cực tiểu......................................................... 15 1.2.2 Hàm hồi quy tuyến tính ........................................................................... 16 1.2.3 Hàm hồi quy bậc 2................................................................................... 17 1.2.4 Các phương pháp đưa về dạng tuyến tính ............................................... 17 1.2.5 Hồi quy nhiều chiều (hồi quy bội).......................................................... 18 Chương 2 MỘT SỐ KIẾN THỨC CƠ BẢN VỀ GIẢI THUẬT DI TRUYỀN .. 20 2.1 Các khái niệm cơ bản ..................................................................................... 21 2.1.1 Cá thể, nhiễm sắc thể ............................................................................... 21 2.1.2 Quần thể................................................................................................... 21 2.1.3 Chọn lọc................................................................................................... 21 2.1.4 Lai ghép (Cross-over) ............................................................................. 22 2.1.5 Đột biến (Mutation) ................................................................................ 22 2.1.6 Các tham số của GA ................................................................................ 23 2.2 Cơ chế thực hiện của thuật toán di truyền ...................................................... 24 2.2.1 Mã hóa ..................................................................................................... 24 2.2.2 Khởi tạo quần thể ban đầu ....................................................................... 26 2.2.3 Xác định hàm thích nghi ......................................................................... 26 2.2.4 Cơ chế lựa chọn ....................................................................................... 26 2.2.5 Các toán tử di truyền ............................................................................... 28 2.3. Thuật toán di truyền kinh điển (GA) ............................................................. 29 2.3.1 Mã hóa ..................................................................................................... 29 Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 5 2.3.2 Toán tử chọn lọc ...................................................................................... 30 2.3.3 Toán tử lai ghép ....................................................................................... 31 2.3.4 Toán tử đột biến....................................................................................... 32 2.4 Thuật toán di truyền mã hoá số thực (RCGA) ............................................... 34 2.5. Một số ứng dụng của GA .............................................................................. 40 Chương 3 BÀI TOÁN MÔ PHỎNG QUÁ TRÌNH CHIẾT XUẤT DUNG MÔI .... 43 3.1. Mô hình bài toán ........................................................................................... 43 3.2 Xây dựng mô hình GA ................................................................................... 46 3.2.1 Phương pháp biểu diễn cá thể ................................................................. 46 3.2.2 Xác định hàm thích nghi ......................................................................... 47 3.2.3 Các toán tử di truyền ............................................................................... 47 3.2.4 Quá trình khởi tạo quần thể ..................................................................... 48 3.3 Kết quả thực nghiệm ...................................................................................... 49 .......................................................................................................... 54 TÀI LIỆU THAM KHẢO .................................................................................... 55 PHẦN PHỤ LỤC ................................................................................................. 56 Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 6 DANH MỤC HÌNH Hình 2.1 Sơ đồ mô tả GA ..................................................................................... 22 Hình 2.2 Lai ghép CMX...................................................................................... 38 Hình 2.3 Phân bố của x cij .................................................................................... 38 Hình 2.4 Toán tử lai ghép SX .............................................................................. 39 Hình 3.1 Thiết bị thí nghiệm chiết xuất dung môi ............................................... 43 Hình 3.2 Biểu đồ biểu diễn giá trị của hàm ......................................................... 51 Hình 3.3 Biểu đồ biểu diễn giá trị của hàm ......................................................... 53 Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 7 LỜI MỞ ĐẦU Trong khoa học thực nghiệm, thông qua các kết quả thực nghiệm một vấn đề rất quan trọng là xuất phát từ các bộ số liệu thực nghiệm hay còn gọi là các mốc hồi quy, ta cần phải xác định một quan hệ thống kê giữa các đối tượng sao cho quan hệ này là xấp xỉ tốt nhất ứng với các mốc hồi quy đã xác định. Về mặt toán học việc xác định quan hệ thống kê này thường đưa đến việc xác định các tham số chưa biết thông qua một bài toán cực trị được mô tả bằng phương pháp bình phương tối thiểu và chuyển bài toán về việc giải các hệ phương trình đại số tuyến tính hoặc các hệ phi tuyến tính. Đối với các bài toán này thì khối lượng tính toán là tương đối lớn đối với các hệ đại số tuyến tính còn đối với các hệ phi tuyến thì đại đa số chúng ta không thể xác định được nghiệm của hệ. Thuật giải di truyền GA (Genetic Algorithm) là một trong những kỹ thuật tìm kiếm lời giải tối ưu đã đáp ứng được yêu cầu của nhiều bài toán và ứng dụng. Điểm mạnh của GA là cho phép xác định lời giải gần tối ưu của các bài toán cực trị thông qua các phép toán lai ghép và chọn lọc các phương án của bài toán với cơ chế hết sức đơn giản nhưng rất hiệu quả. Trong công nghệ thông tin hiện nay, giải thuật GA kết hợp với logic mờ, mạng Nơron đã được ứng dụng nhiều trong lớp các bài toán NP. Xuất phát từ lý do đó, đề tài đặt vấn đề nghiên cứu về GA và ứng dụng trong việc xác định các công thức hàm hồi quy, ứng dụng vào bài toán xác định công thức gần đúng trong hóa sinh. Với những lý do trên, em chọn đề tài: “Giải thuật di truyền và ứng dụng đối với bài toán xác định công thức hồi quy trong thí nghiệm hóa sinh” làm luận văn tốt nghiệp. Nội dung chính của luận văn gồm 3 chương bao gồm: Chƣơng 1: Trình bày cơ sở toán học trong việc xác định công thức hàm nội suy và hàm hồi quy cùng các thuật toán tương ứng ng của toán học đối với lớp các bài toán thực nghiệm nhằm xây dựng các công thức gần đúng miêu tả mối ràng buộc giữa các số liệu xuất hiện trong các thí Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 8 nghiệm tại các phòng thí nghiệm. Các kiến thức này là rất cần thiết làm cơ sở để nghiên cứu các nội dung trong luận văn. Chƣơng 2: Trình bày các kiến thức cơ bản về giải thuật di truyền, một trong những giải thuật đã và đang được phát triển trong công nghệ thông tin giải quyết các bài toán tối ưu hóa theo tư tưởng quần thể ngẫu nhiên. Thuật toán GA chính là cơ sở để xây dựng thuật toán giải bài toán thực tế được đưa ra trong chương 3. Chƣơng 3: Nội dung chính của chương 3 trình bày mô hình bài toán chiết xuất dung môi, một bài toán quan trọng trong các thí nghiệm về hóa sinh. Trên cơ sở mô hình bài toán, luận văn đã xây dựng thuật toán GA giải quyết bài toán, tiến hành thực nghiệm với số liệu được cung cấp của phòng thí nghiệm tại Viện Hóa sinh biển thuộc Viện Hàn lâm và khoa học Công nghệ Việt Nam. Tiến hành đánh giá và kết luận về mối ràng buộc giữa các số liệu thực nghiệm. Trong luận văn, các kết quả thực nghiệm được lập trình trên môi trường Matlab version 7.0 Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 9 Chƣơng 1 CÁC KIẾN THỨC CƠ BẢN VỀ HÀM HỒI QUY THỰC NGHIỆM Trong chương này, luận văn trình bày một số kiến thức cơ bản về cơ sở toán học trong việc xây dựng các hàm công thức hàm nội suy và hàm hồi quy. Các kiến thức này làm cơ sở trong việc nghiên cứu các chương tiếp sau của luận văn, các kết quả trong chương 1 được tham khảo trong các tài liệu [ 1, 2, 3, 4, 5] 1.1. Khái niệm cơ bản về hàm nội suy Chúng ta xét một dạng bài toán xuất phát từ các số liệu thực nghiệm sau: Cho trước (n + 1) cặp các giá trị thực nghiệm (x i , y i ), i = 0,1,..., n x0 x1 x2 x3 x4 ….. xn y0 y1 y2 y3 y4 ….. yn Các giá trị (x i , y i ), i = 0,1,..., n được gọi là các mốc nội suy. Cần xác định một hàm số f (x ) để sao cho thỏa mãn các điều kiện f (x i ) º y i " i = 0,1,..., n Tức là đồ thị của hàm f (x ) cần đi qua tất cả các mốc nội suy. hồi quy f (x ) f (x ) . ì y xác định f (x ) x Î éêëx 0, x n ù ú û- . , ngư f (x ) công thức hàm số sau đây: (Spline) + Hàm mũ Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 10 Sau đây chúng ta sẽ xét cơ sở toán học của các phương pháp xác định hàm hồi quy trong từng trường hợp cụ thể 1.1.1 f (x ) = a 0x n + a1x n - 1 + ... + a n (1.1) Xuất phát từ điều kiện hàm f (x ) cần phải đi qua tất cả các mốc nội suy, dễ thấy rằng các hệ số ak , k = 0,1,..., n : íï a x n + a x n - 1 + .... + a = y ïï 0 0 1 0 n 0 ïï a x n + a x n - 1 + .... + a = y 1 1 n 1 ïì 0 1 ïï ...... ïï n n- 1 ïïî a 0x n + a1x n + .... + an = y n (1.2) đại số tuyến tính (1.2) thỏa mãn 1 x0 1 . .... 1 x 1 .. .. x n x 02 ..... x 12 .. x 0n x 1n ... . x n2 ¹ 0 (1.3) x nn suy luôn luôn . n 1 về mặt toán học, ak , k = 0,1,..., n . K cần các hệ phương trình đại số tuyến tính Krame . Điều này sẽ bất lợi trong việc xác định đa thức nội suy với số mốc n i suy là rất lớn. S . Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 11 n íï 1, x = x k Lk (x ) = ïì ïï 0, x ¹ x k î ng Lk (n ) = (x - x 0 )(x - x 1 )...(x - x k - 1 )(x - x k + 1 )....(x - x n ) (x k - x 0 )(x k - x 1 )...(x k - x k - 1 )(x k - x k + 1 )....(x k - x n ) L k (x ) = Hay Õ (x - x ) Õ (x - x ) i i¹ k k i¹ k Õ (x - T , k = 0,1, 2,..., n (1.4) i x i ) = (x - x 0 )(x - x 1 )...(x - x n ) Khi đó ta thấy rằng Pn ( x) yo Lo ( x) y1L1 ( x) .... yn Ln ( x) yk Lk ( x) (1.5) Như vậy khác với phương pháp đại số, để xác định đa thức nội suy, ta chỉ cần xác định các giá trị của nhân tử Lk ( x) k 0,1,..., n . Xuất phát từ khái niệm về nhân tử Lagrange, chúng ta có thể xây dựng thuật toán xác định đa thức nội suy theo phương pháp nhân tử như sau: Thuật toán: Input: (x k , y k ), k = 0,1,..., n ; giá trị mốc cần xác định x . Output: Giá trị đa thức Pn (x ) Pn 0 For k = 0 to n do Begin + Xác định nhân tử Lk (x ) + Pn = Pn + y k Lk (x ) End; Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 12 Trong đó giá trị của nhân tử Lk (x ) được xác định bởi công thức (1.4). Dễ thấy rằng đối với thuật toán trên thì độ phức tạp của thuật toán là O(n2) Nếu kí hiệu f (x ) là hàm nghiệm đúng thì bằng cơ sở của toán học giải tích, chúng ta có thể chứng minh rằng sai số của phép nội suy được đánh giá bằng công thức f ( x) Pn ( x) M ( x xo )( x x1 )....( x x1 ) (n 1)! Trong đó M sup f ( n 1) ( x) xo x (1.6) xn Như vậy nếu với số mốc nội suy là lớn thì việc xấp xỉ bằng đa thức nội suy sẽ đạt độ chính xác rất cao. Ngoài phương pháp nhân tử lagrange, người ta có thể sử dụng các phương pháp khác như phương pháp Newton để xác định đa thức nội suy. Điều này sẽ giảm đáng kể khối lượng tính toán trong thuật toán (Spline) éx , x ù ú ëê 0 n û (Spline). trình bày phương pháp hàm ghép trơn bằng việc 3 3 D i = éêëx i - 1, x i ù ú û, chúng ta xét các đa thức bậc 3 được biểu diễn dưới dạng S i (x ) = ai + bi (x - x i - 1 ) + ci (x - x i - 1 )2 + di (x - x i - 1 ) 3 (1.7) Trong đó các hệ số ai, bi, ci, di cần phải thỏa mãn các điều kiện sau đây: + Điều kiện ghép trơn tại các mốc nội suy Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 13 Si ( xi ) Si 1 ( xi ) (i 1,..., n 1) Si' ( xi ) Si' 1 ( xi ) (i 1,..., n 1) Si'' ( xi ) Si'' 1 ( xi ) (i 1,..., n 1) (1.8) + Điều kiện nội suy (i = 0,…,n) Si(xi) = fi (1.9) Xuất phát từ công thức (1.7) ta sẽ thu được ai = fi - 1,(i = 1, 2,..., n ) an bnhn cnhn2 dnhn3 fn (1.10) Trong đó kí hiệu hi = x i - x i - 1 Từ điều kiện liên tục, ta có ai bi hi ci hi2 di hi3 ai 1 (1.11) (i 1, 2,.., n 1) Xuất phát từ điều kiện (1.8), ta thu được các hệ thức sau bi ci hi 3di hi2 2ci hi 3di hi ci 1 bi 1 (i 1,2,.., n 1) (1.12) (i 1,2,.., n 1) Như vậy các hệ thức (1.10) - (1.12) lập thành hệ 4n-2 phương trình với 4n ẩn số. Để thêm vào 2 phương trình nữa, người ta đặt thêm điều kiện đạo hàm của S (x ) tại 2 mút biên x 0, x n . Chẳng hạn xét điều kiện S”(x1) = S”(xn) = 0 được gọi là điều kiện biên tự nhiên, khi đó ta có (1.13) c1 = 0, cn + 3dnhn = 0 Như vậy ta có đủ 4n phương trình để xác định 4n ẩn. Do các hệ số ai đã được xác định bởi phương trình (1.10) nên ta chỉ cần xác định các ẩn bi, ci, di qua hệ 3n phương trình. Qua các phép biến đổi ta có hệ sau đây: di bi ci ci 1 (i 1,2,.., n) 3hi fi fi hi 1 hi (ci 3 1 2ci ) (i 1,2,.., n) Số hóa bởi Trung tâm Học liệu - ĐHTN (1.14) http://www.lrc-tnu.edu.vn/ 14 c1 cn hi ci 1 0 2(hi hi 1 )ci hi 1ci 1 2 3 fi fi 1 hi fi fi (1.15) 1 hi 1 Hệ (1.15) là hệ phương trình với ma trận 3 đường chéo, do đó dễ dàng giải được hệ bằng thuật toán truy đuổi với độ phức tạp tính toán là O(n). Sau khi giải được các ẩn ci, qua (1.14) ta sẽ xác định được bi và di. Đánh giá sai số: Nếu kí hiện f (x ) là hàm nghiệm đúng S (x ) là hàm ghép trơn thì có thể chứng minh rằng sai số được đánh giá qua công thức f ( x) S ( x) 5 Mh3 trong đó M 2 f x3 max x0 x xn Nhận xét: Việc xác định hàm hồi quy bằng phương pháp hàm ghép trơn có ưu điểm là việc tính toán được chuyển về việc giải hệ đại số bằng thuật toán truy đuổi 3 đường chéo. Tuy nhiên độ của chỉ tương đương với O (h 3 ) 1.1.4 Nội suy bằng hàm hữu tỉ m ak xk Ta xác định hàm ( x) với bn = 1 k 0 n (1.16) bk xk k 0 Tại các điểm x i ,(i = 1, 2,..., n + m + 1) sao cho thỏa mãn hàm đi qua tất cả các mốc nội suy, tức là ( xi ) f ( xi ) i 1,2,..., n m 1) n 1 ak xik bk xik f ( xi ) f ( xi ) xin ,(i 1,2,.., n m 1) (1.17) k 0 Hệ phương trình đại số trên là hệ phương trình đối với các ẩn a0,a1, …, am,b0,b1,…,bn-2. Như vậy, để xác định hàm nội suy hữu tỉ thì ta phải giải hệ phương trình đại số tuyến tính với (n+m+1) ẩn. 1.2 Bài toán hồi quy Đặt vấn đề: Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 15 Khi xét bài toán nội suy, ta đã giả thiết rằng mối quan hệ giữa đại lượng x (x 0, x 1,..., x n ) và y (y 0, y 1,..., y n ) là tồn tại với quan hệ y = f (x ) . Việc xác định đa thức nội suy chẳng hạn Pn (x ) thỏa mãn điều kiện Pn ( xk ) f ( xk ) k . Tuy nhiên trong trường hợp khi x và y là các đại lượng ngẫu nhiên, chẳng hạn là các kết quả của các phương pháp đo đạc trọng địa chất hay các số liệu quan trắc môi trường hoặc số liệu của các thí nghiệm hóa sinh, mối quan hệ giữa x và y (Hay còn gọi là mối tương quan) là chưa đánh giá được thì việc xác định đa thức nội suy là không thực tế và khó thực hiện. Trong những trường hợp như vậy, người ta thường sử dụng phương pháp dự đoán tức là mong muốn xác định một hàm gần đúng với quy luật của các số liệu thực nghiệm tức là giá trị của hàm cần đảm bảo lệch ít nhất so với các số liệu thực nghiệm, các hàm như vậy được gọi là các hàm hồi quy. Sau đây chúng ta đưa ra một số kết quả về mặt toán học thực nghiệm đối với lớp các hàm hồi quy. 1.2.1 Phương pháp bình phương cực tiểu Giả sử chúng ta có n cặp các giá trị thực nghiệm (x i , y i ), i = 1, 2,..., n đối với các đối tượng ngẫu nhiên x và y x1 x2 x3 x4 ….. xn y1 y2 y3 y4 ….. yn Ta cần xác định mối tương quan giữa 2 đại lượng x và y theo công thức y F ( x, ao , a1 ,..., am) sao cho F xk , a 0 , a1, , am yk k 1,2,..., n trong đó a0, a1, …, am là các tham số cần xác định. Để xác định các tham số a0, a1, …, am, ta đưa ra điều kiện là tổng bình phương độ lệch giữa giá trị thực nghiệm và giá trị hàm F x, a 0 , a1, , a m tại các điểm x k , k = 1, 2,..., n là nhỏ nhất, tức là: Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 16 n (a 0 , a1 , , am ) F ( xk , a0 ,..., am ) yk 2 min (1.18) k 1 Để hàm F đạt cực trị thì theo lý thuyết về hàm số nhiều biến số, điều kiện cần là: (a0 , a1 ,..., am ) ak 0 k 0,1,.., m (1.19) Hệ thức (1.19) chính là các hệ phương trình để giải ra các ẩn số a0 , a1 ,..., am Tùy thuộc vào công thức của hàm F x, a 0 , a1, , a m , chúng ta sẽ thu được các dạng hàm hồi quy khác nhau. Sau đây chúng ta sẽ nghiên cứu một số dạng hàm hồi quy cụ thể. 1.2.2 Hàm hồi quy tuyến tính Chúng ta tìm hàm hồi quy dưới dạng tuyến tính bậc nhất F (x ) = ax + b Khi đó các hệ số a, b cần xác định từ điều kiện cực trị hàm số 2 n ( a, b) ax k b yk min 2x k (ax k b yk ) 0 k 1 Điều kiện cần n a k 1 n b 2(ax k b yk ) 0 k 1 n n x 2k a k 1 Hay b k 1 n a x k yk k 1 n xk k 1 n xk nb (1.20) yk k 1 Hệ (1.20) là hệ phương trình với a,b. Giải hệ trên ta xác định được a và b Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 17 n n n x k yk xk k 1 a k 1 n n x 2k n x k )2 k 1 n n n x 2k n k 1 yk k 1 ( k 1 b n yk x k yk k 1 n k 1 n x 2k n (1.21) n k 1 x k )2 ( k 1 xk k 1 1.2.3 Hàm hồi quy bậc 2 Chúng ta tìm hàm hồi quy dưới dạng tuyến tính bậc hai F (x ) = ax 2 + bx + c Khi đó các hệ số a, b, c cần xác định từ điều kiện cực trị hàm số 2 n (a, b, c) ax 2 k bx k c yk min 2x 2k ( axk2 bx k c yk ) 0 2x k ( axk2 bx k c yk ) 0 k 1 Điều kiện cần n a k 1 n b k 1 n 2(axk2 c bx k c yk ) 0 k 1 n n n xk4 b a xk3 c n xk2 xk2 yk k 1 k 1 k 1 k 1 n n n n 3 k Hay a x k 1 2 k b x k 1 n x k 1 xk k 1 xk yk (1.22) k 1 n 2 k a c n xk nc k 1 yk k 1 Hệ (1.22) chính là hệ phương trình đại số cho phép xác định ra các hệ số a, b, c. Hoàn toàn tương tự, chúng ta có thể xác định được các hàm hồi quy bậc 3, bậc 4, bậc 5 … 1.2.4 Các phương pháp đưa về dạng tuyến tính 1/ Dạng hàm mũ f aebx , (c Số hóa bởi Trung tâm Học liệu - ĐHTN 0) http://www.lrc-tnu.edu.vn/ 18 Lấy logarit 2 vế, ta có: ln F ln a bx khi đó đặt Y ln F; A ln a, B b ta thu được Y 2/ Dạng hàm lũy thừa F A Bx ax b Lấy logarit hai vế ta có: ln F ln a b ln x Đặt Y ln F , A ln A, B b, X Ta thu được Y ln x A Bx Như vậy, bằng phép lấy logarit ta có thể đưa các dạng hàm mũ, hàm lũy thừa về dạng hàm hồi quy tuyến tính 1.2.5 Hồi quy nhiều chiều (hồi quy bội) 1/ Đặt bài toán Xét các biến ngẫu nhiên y1 , y 2 ,..., y m – biến phụ thuộc x1 , x2 ,..., x n – biến độc lập Giả sử qua thí nghiệm, ta thu được bảng số liệu sau đây: y\ x x1 x2 …. xn y1 x 11 x 21 …. x n1 y2 x 12 x 22 …. x n2 … …. …. …. …. ym x 1m x 2m …. x nm Ta cần xác định hàm hồi quy bội dạng: Y a0 a1 x1 a2 x2 ... an xn Trong đó Y ( y1 , y2 ,..., ym )T Các hệ số a0 , a1 ,..., a n được xác định từ điều kiện bình phương cực tiểu m yi a0 a1 x1i a2 x2i ... an xni 2 min i 1 2/ Một số dạng đưa về tuyến tính a/ Hàm phi tuyến dạng tích Y bo x1b1 x2b2 ...xnbn Logarit hóa 2 vế ta có Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 19 ln Y ln b0 b1 ln x1 b2 ln x2 .... bn ln xn Y B0 B1 X 1 B2 X 2 ... Bn X n b/ Hàm dạng mũ Y aocb1x1 b2 x2 ... bn xn Logarit 2 vế ta có ln Y ln a0 b1x1 b2 x2 .... bn xn hay Y A0 B1 X 1 B2 X 2 ... Bn X n Như vậy bằng lý thuyết các hàm hồi quy, qua các bộ số liệu thực nghiệm chúng ta có thể xác định được mối quan hệ giữa các đại lượng ngẫu nhiên một cách gần đúng thông qua các công thức của các hàm hồi quy khác nhau. Các công thức này sẽ làm công cụ để đưa ra các quy luật tự nhiên thông qua các thí nghiệm. Việc xác định các công thức hàm hồi quy có thể thực hiện được bằng phương pháp bình phương cực tiểu việc tính toán có thể thực hiện được thông qua một số phần mềm. Kết luận chƣơng 1 Nội dung chính của chương 1 luận văn trình bày cơ sở lý thuyết về bài toán nội suy, các phương pháp xây dựng các hàm nội suy cơ bản như hàm nội suy Lagrange, nội suy bằng hàm ghép trơn cũng như phân tích độ phức tạp tính toán trong việc xây dựng các hàm nội suy. Luận văn cũng đưa ra khái niệm về hàm hồi quy thực nghiệm cũng như cơ sở toán học của phương pháp bình phương cực tiểu trong việc xác định hàm hồi quy. Đây là các kiến thức quan trọng làm cơ sở cho việc nghiên cứu các kết quả trong chương 2 và chương 3 của luận văn. Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 20 Chƣơng 2 MỘT SỐ KIẾN THỨC CƠ BẢN VỀ GIẢI THUẬT DI TRUYỀN Trong công nghệ thông tin, GA là một thành phần của Tính toán tiến hóa (Evolutionary computation - EC), một lĩnh vực được coi là có tốc độ phát triển nhanh của trí tuệ nhân tạo. Có thể chia EC thành 5 hướng nghiên cứu sau: - GA (Genetic Algorithm - GA): Dựa vào quá trình di truyền trong tự nhiên để cải tiến lời giải qua các thế hệ bắt nguồn từ một tập các lời giải ban đầu. - Quy hoạch tiến hoá (Evolutionary Programming - EP): Dựa vào quy luật tiến hoá, tìm phương pháp kết hợp đủ khả năng giải quyết trọn vẹn một bài toán từ một lớp các phương pháp giải quyết được một số phần của bài toán. - Các chiến lƣợc tiến hoá (Evolutionary Strategies - ES): Dựa trên một số chiến lược ban đầu, tiến hoá để tạo ra những chiến lược mới phù hợp với môi trường thực tế một cách tốt nhất. - Lập trình Gen (Genetic Programming - GP): Mở rộng GA trong lĩnh vực các chương trình của máy tính. Mục đích của nó là để sinh ra một cách tự động các chương trình máy tính giải quyết một cách tối ưu một vấn đề cụ thể. - Các hệ thống phân loại (Classifier Systems- CS): Các GA đặc biệt được dùng trong việc học máy và việc phát hiện các quy tắc trong các hệ dựa trên các quy tắc. GA cũng như các thuật toán tiến hoá đều được hình thành dựa trên một quan niệm được coi là một tiên đề phù hợp với thực tế khách quan. Đó là quan niệm “Quá trình tiến hoá tự nhiên là quá trình hoàn hảo nhất, hợp lý nhất và tự nó đã mang tính tối ưu”. Quá trình tiến hoá thể hiện tính tối ưu ở chỗ thế hệ sau bao giờ cũng tốt hơn thế hệ trước. Sự hình thành và phát triển của GA trên thế giới có thể được điểm qua các mốc thời gian quan trọng như sau: Năm 1960, ý tưởng đầu tiên về Tính toán tiến hoá được Rechenberg giới thiệu trong công trình “Evolution Strategies” (Các chiến lược tiến hoá). Ý tưởng này sau đó được nhiều nhà nghiên cứu phát triển. Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/