Tài liệu Phương pháp huấn luyện mạng nơ ron sử dụng giải thuật di truyền

i ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG PHAN ANH TÚ PHƢƠNG PHÁP HUẤN LUYỆN MẠNG NƠ RON SỬ DỤNG GIẢI THUẬT DI TRUYỀN Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨKHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC TS PHẠM THANH HÀ . Thái Nguyên 2015 Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ ii LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của tôi dƣới sự định hƣớng của thầy hƣớng dẫn, các kiến thức trong luận văn đƣợc hệ thống từ các tài liệu đã đƣợc công bố và đƣợc trích dẫn đầy đủ. Các kết của nghiên cứu và chạy thử nghiệm đều là trung thực dựa trên chƣơng trình cài đặt kèm theo nghiên cứu này. Thái Nguyên, ngày 20 tháng 7 năm 2015 Học viên Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ iii LỜI CẢM ƠN Luận văn đƣợc thực hiện tại trƣờng Đại học Công nghệ thông tin & Truyền thông – Đại học Thái Nguyên, dƣới sự hƣớng dẫn của thầy TS Phạm Thanh Hà. Tôi xin bày tỏ lòng biết ơn sâu sắc tới thầy TS Phạm Thanh Hà; ngƣời đã có những định hƣớng giúp tôi lựa chọn đề tài và hoàn thành đề tài nghiên cứu của mình. Thầy đã ân cần chỉ bảo, giảng giải cho tôi và động viên tôi rất nhiều trong quá trình thực hiện đề tài. Tôi cũng xin gửi lời chân thành cảm ơn tới quý thầy cô thuộc phòng Đào tạo, khoa công nghệ thông tin trƣờng Đại học Công nghệ thông tin và truyền thông đã giúp đỡ tôi, tạo mọi điều kiện thuận lợi để tôi hoàn thành luận văn này. Cuối cùng, tôi xin gửi lời cảm ơn tới gia đình đã cho tôi những chỗ dựa vững chắc để tôi hoàn thành tốt quá trình học tập của mình trong thời gian qua. Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ iv MỤC LỤC LỜI CAM ĐOAN .................................................................................................... i LỜI CẢM ƠN........ ................................................................................................ iii MỤC LỤC.......... .................................................................................................... iv DANH MỤC CÁC KÝ HIỆU VÀ TỪ VIẾT TẮT ............................................... vi DANH MỤC CÁC BẢNG.................................................................................... vii DANH MỤC CÁC HÌNH VẼ.............................................................................. viii MỞ ĐẦU............. .................................................................................................... 1 CHƢƠNG 1: MẠNG NƠ RON NHÂN TẠO ........................................................ 3 1.1. Các khái niệm về mạng nơ ron .................................................................... 3 1.1.1. Mạng nơ ron sinh học ............................................................................ 3 1.1.2. Khái niệm mạng nơ ron nhân tạo ........................................................... 4 1.2. Mạng nơ ron truyền thẳng nhiều lớp MLP ................................................ 11 1.3. Các luật học của mạng nơ ron .................................................................... 12 1.4. Thuật toán huấn luyện lan truyền ngƣợc sai số - Back Propagation ......... 18 Kết luận chƣơng 1 ............................................................................................. 26 CHƢƠNG 2: GIẢI THUẬT DI TRUYỀN ........................................................... 27 2.1. Các khái niệm cơ bản về giải thuật di truyền ............................................. 27 2.2. Giải thuật di truyền mã hóa nhị phân ......................................................... 29 2.3. Cơ chế hoạt động của giải thuật di truyền ................................................. 33 2.4. Giải thuật di truyền mã hóa số thực ........................................................... 37 2.4.1. Nhóm toán tử đột biến .......................................................................... 39 2.4.2. Nhóm toán tử lai tạo ............................................................................. 41 Kết luận chƣơng 2 ............................................................................................. 44 CHƢƠNG 3: ỨNG DỤNG GIẢI THUẬT DI TRUYỀN TRONG HUẤN LUYỆN MẠNG NƠ RON ........................................................ 45 3.1. Xây dựng giải thuật di truyền huấn luyện mạng ........................................ 45 Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ v 3.2. Một số kết quả huấn luyện mạng xấp xỉ hàm XOR ................................... 49 3.2.1. Sử dụng phƣơng pháp lan truyền ngƣợc sai số truyền thống ............... 50 3.2.2. Sử dụng phƣơng pháp huấn luyện nhờ giải thuật di truyền ................. 51 3.3. Một số kết quả huấn luyện mạng xấp xỉ hàm hình chuông ....................... 53 3.3.1. Huấn luyện bằng lan truyền ngƣợc sai số ............................................. 55 3.3.2. Huấn luyện bằng giải thuật di truyền .................................................... 56 3.4. Xấp xỉ XOR – XOR ................................................................................... 66 3.4.1. Huấn luyện bằng mạng nơ ron .............................................................. 67 3.4.2 Huấn luyện bằng giải thuật di truyền ..................................................... 70 Kết luận chƣơng 3 ............................................................................................. 73 KẾT LUẬN........... ................................................................................................ 74 TÀI LIỆU THAM KHẢO ..................................................................................... 75 Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ vi DANH MỤC CÁC KÝ HIỆU VÀ TỪ VIẾT TẮT ANN Artificial Neural Network (mạng nơron nhân tạo) BP Back propagation (giải thuật lan truyền ngƣợc) GA Gennetic Algorithm (giải thuật di truyền) MLP Multi-Layer Perceptrons (Perceptron nhiều tầng) RBF Radial Basic Function (hàm cơ sở bán kính) Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ vii DANH MỤC CÁC BẢNG Bảng 2.1: Bảng quá trình chọn lọc các cá thể có độ thích nghi tốt................. 32 Bảng 2.2: Bảng quá trình chọn lọc các cá thể có độ thích nghi tốt................. 33 Bảng 3.1. Kết quả xấp xỉ hàm XOR sử dụng phƣơng pháp lan truyền ngƣợc sai số..................................................................................... 51 Bảng 3.2. Kết quả xấp xỉ hàm XOR sử dụng giải thuật di truyền lần 1 ......... 52 Bảng 3.3. Kết quả xấp xỉ hàm XOR sử dụng giải thuật di truyền lần 2 ......... 53 Bảng 3.4. Một số mẫu( theo dòng) sinh ra bởi chƣơng trình .......................... 54 Bảng 3.5. Kết quả xấp xỉ hàm hình chuông sử dụng giải thuật di truyền lần 1 ................................................................................................. 57 Bảng 3.6. Kết quả xấp xỉ hàm hình chuông sử dụng giải thuật di truyền lần 2 ................................................................................................. 60 Bảng 3.7. Kết quả xấp xỉ hàm hình chuông sử dụng giải thuật di truyền lần 3 ................................................................................................. 64 Bảng 3.8. Kết quả xấp xỉ hàm XOR-XOR sử dụng phƣơng pháp lan truyền ngƣợc sai số lần 1 ................................................................ 68 Bảng 3.9. Kết quả xấp xỉ hàm XOR-XOR sử dụng phƣơng pháp lan truyền ngƣợc sai số lần 2 ................................................................ 69 Bảng 3.10. Kết quả xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần 1 ................................................................................................. 71 Bảng 3.11. Kết quả xấp xỉ hàm XOR-XOR sử dụng giải thuật di truyền lần 2 ................................................................................................. 72 Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ viii DANH MỤC CÁC HÌNH VẼ Hình 1.1: Cấu tạo của một nơ ron ..................................................................... 3 Hình 1.2: Mô hình của một nơ ron .................................................................... 5 Hình 1.3: Cấu trúc của một nơ ron .................................................................... 6 Hình 1.4: Hàm kích hoạt bƣớc nhảy ................................................................. 8 Hình 1.5: Hàm kích hoạt hàm dấu .................................................................... 9 Hình 1.6: Hàm kích hoạt hàm dốc .................................................................... 9 Hình 1.7: Hàm kích hoạt sigmoid đơn cực ..................................................... 10 Hình 1.8: Hàm kích hoạt sigmoid đa cực........................................................ 10 Hình 1.9: Mạng nơ ron truyền thẳng MLP ..................................................... 11 Hình 1.10: Học có giám sát ............................................................................. 13 Hình 1.11: Học không có giám sát .................................................................. 15 Hình 1.12: Mạng MLP lan truyền ngƣợc sai số .............................................. 19 Hình 1.13: Thuật toán lan truyền ngƣợc sai số ............................................... 23 Hình 2.1: Bánh xe rulet lựa chọn nhiễm sắc thể ............................................. 36 Hình 2.2: Biểu diễn giá trị của ..................................................................... 40 Hình 3.1: Mã hóa trọng số biểu diễn thập phân trong mạng nơ ron ............... 47 Hình 3.2: Sơ đồ giải thuật di truyền ................................................................ 48 Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 1 MỞ ĐẦU 1. Đặt vấn đề Nhƣ chúng ta đã biết mạng nơ ron nhân tạo là sự tái tạo bằng kỹ thuật những chức năng của hệ thần kinh con ngƣời. Trong quá trình tái tạo không phải tất cả các chức năng của bộ não con ngƣời đều đƣợc tái tạo, mà chỉ có những chức năng cần thiết. Bên cạnh đó còn có những chức năng mới đƣợc tạo ra nhằm giải quyết một bài toán định trƣớc. Mạng nơ ron bao gồm các nơ ron đƣợc liên kết với nhau bằng các trọng số theo một cấu trúc xác định. Mạng nơ ron có thể đƣợc huấn luyện để thực hiện các nhiệm vụ khác nhau. Quá trình huấn luyện sẽ thiết lập bộ trọng số cho các liên kết giữa các nơ ron trong mạng. Thuật toán huấn luyện lan truyền ngƣợc là một thuật toán trong lịch sử phát triển mạng nơ ron nhân tạo, thuật toán đƣợc ứng dụng cho mạng truyền thẳng nhiều lớp. Thuật toán sử dụng phƣơng pháp giảm gradient (giảm dốc nhất) để tối thiểu hàm sai số. Giá trị hàm sai số Ek đối với một mẫu đƣợc tính toán dựa trên giá trị các trọng số hiện tại. Các giá trị trọng số này sau đó đƣợc hiệu chỉnh và trở thành các giá trị trọng số hiện tại để tính giá trị hàm sai số tiếp theo Ek+1. Hạn chế của giải thuật huấn luyện lan truyền ngƣợc sai số là tốc độ chậm và nhiều khi gặp phải vấn đề nhƣ: Mạng liệt: xảy ra khi những trọng số đƣợc điều chỉnh tới những giá trị rất lớn. Tổng đầu vào của một đơn vị ẩn hoặc đơn vị đầu ra có thể bởi vậy mà đạt giá trị rất cao (hoặc dƣơng hoặc âm), và qua hàm kích hoạt sigmoid, đơn vị sẽ có một giá trị kích hoạt rất gần 0 hoặc rất gần 1. Giá trị hiệu chỉnh trọng số gần 0, và quá trình huấn luyện có thể đi đến một trạng thái dừng ảo. Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 2 Cực tiểu địa phƣơng: bề mặt sai số của mạng rất phức tạp đầy những ngọn đồi và những thung lũng. Bởi vì sự hạ độ dốc, mạng có thể bị mắc bẫy tại một cực tiểu địa phƣơng khi có nhiều cực tiểu thấp hơn gần bên cạnh. Giải thuật di truyền là một trong những kỹ thuật tìm kiếm tối ƣu giúp ta giải quyết đƣợc những vấn đề đã đặt ra ở trên, nó cho phép ta tìm kiếm lời giải tối ƣu trên các không gian lớn, nguyên tắc cơ bản của giải thuật di truyền là mô phỏng quá trình chọn lọc của tự nhiên. Cho đến nay lĩnh vực nghiên cứu về giải thuật di truyền đã thu đƣợc nhiều thành tựu, giải thuật di truyền đƣợc ứng dụng trong nhiều lĩnh vực phức tạp, các vấn đề khó có thể giải quyết đƣợc bằng phƣơng pháp thông thƣờng [1-3]. Nhƣ đã đề cập ở trên quá trình huấn luyện mạng nơ ron chính là quá trình cực tiểu hàm sai số để xác định các trọng số của mạng và luận văn sẽ sử dụng giải thuật di truyền để xác định các trọng số của mạng thay vì sử dụng giải thuật huấn luyện. 2. Đối tƣợng và phạm vi nghiên cứu - Mạng nơ ron nhân tạo trong đó đi sâu vào mạng truyền thẳng và kỹ thuật huấn luyện lan truyền ngƣợc sai số - Nghiên cứu ứng dụng giải thuật di truyền trong huấn luyện mạng nơ ron truyền thẳng, thay thế kỹ thuật huấn luyện lan truyền ngƣợc sai số 3. Phƣơng pháp nghiên cứu Nghiên cứu lý thuyết kết hợp với cài đặt thực nghiệm 4. Ý nghĩa khoa học của đề tài Nghiên cứu về mạng nơ ron, giải thuật di truyền và sử dụng giải thuật di truyền trong huấn luyện mạng nơ ron. Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 3 1 CHƢƠNG 1: MẠNG NƠ RON NHÂN TẠO 1.1. Các khái niệm về mạng nơ ron 1.1.1. Mạng nơ ron sinh học Mạng nơ ron bao gồm vô số các nơ ron đƣợc liên kết truyền thông với nhau trong mạng, hình 1.1 là một phần của mạng nơ ron bao gồm hai nơ ron. Hình 1.1:Cấu tạo của một nơ ron Nơ ron đƣợc cấu tạo gồm các phần chính sau: Thân nơ ron: thƣờng gọi là soma có nhiệm vụ chính là tổng hợp và xử lý cho tín hiệu điện nhận đƣợc từ các rễ đầu vào. Bản chất của quá trình này chính là việc lấy tổng cộng tất cả các tín hiệu mà nơ ron nhận đƣợc Các xúc tu: đó là các tua dài gắn liền với soma có chức năng truyền tín hiệu điện nhận từ môi trƣờng hoặc từ các nơ ron khác để soma xử lý Trục cảm ứng: là thành phần kết nối các nơ ron lại với nhau. Nó có chức năng phát các tín hiệu điện, truyền tín hiệu từ nơ ron này đi nơi khác. Thông thƣờng axon ở trạng thái nghỉ, khi điện thế trong soma vƣợt quá ngƣỡng cho phép thì axon sẽ phát ra một xung điện thế Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 4 Khớp nối:. Điểm liên kết giữa sợi trục cảm ứng-axon của nơron này với các xúc tu-dendrites nhánh hình cây của nơron khác thông qua các mối nối rất đặc biệt gọi là synapses. Liên kết giữa các nơron và độ nhạy của mỗi synapse đƣợc xác định bởi quá trình hóa học phức tạp. Khi điện thế của synapses tăng lên do các xung điện phát ra từ axon thì synapses sẽ tiết ra một loại hóa chất để xúc tu mở ra cho các ion đi qua nó. Các ion này làm thay đổi tín hiệu điện thế trên các xúc tu tạo ra các xung dữ liệu lan truyền đến các nơ ron khác. Các synapses đóng vai trò hết sức quan trọng trong quá trình học tập. Khi học tập và làm việc nhiều thì các hoạt động của synapses đƣợc tăng lên nhiều tạo ra nhiều liên kết mạnh mẽ giữa các nơ ron [5] Một cách tổng quát hóa qua các thành phần cấu tạo và chứng năng của chúng trong mạng nơ ron chúng ta thấy rằng các hoạt động chính của nơ ron đƣợc thể hiện nhƣ sau: nơ ron lấy tổng tất cả các tín hiệu vào mà nó nhận đƣợc sau đó phát ra một tín hiệu điện; nếu tổng tất cả các tín hiệu điện lớn hơn một ngƣỡng cho phép nào đó rồi xử lý và cho ra một tín hiệu điện đầu ra. Tín hiệu điện đầu ra này truyền qua axon và chính là tín hiệu điện đầu vào của một nơ ron khác. 1.1.2. Khái niệm mạng nơ ron nhân tạo Mạng nơron nhân tạo- Artificial Neural Network (ANN), gọi tắt là mạng nơ ron hay Neural Network là một mô hình xử lí thông tin mô phỏng theo cách xử lí thông tin của các hệ nơ ron sinh học. Nó đƣợc tạo lên từ một số lƣợng lớn các phần tử (gọi là phần tử xử lý hay nơron) kết nối với nhau thông qua các liên kết (gọi là trọng số liên kết) làm việc nhƣ một thể thống nhất để giải quyết một vấn đề cụ thể nào đó. Một mạng nơron nhân tạo đƣợc cấu hình cho một ứng dụng cụ thể (nhận dạng mẫu, phân loại dữ liệu, ...) thông qua một quá trình học từ tập các mẫu Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 5 huấn luyện. Về bản chất học chính là quá trình hiệu chỉnh trọng số liên kết giữa các nơron. Mạng nơ ron bao gồm vô số các nơ ron liên kết truyền thông với nhau trong mạng. Nơ ron có thể liên kết với các nơ ron khác thông qua rễ. Chính vì các liên kết đa dạng nhƣ vậy mà mạng nơ ron có độ liên kết rất cao.[1] x1 x2 . . . . y 1 Nơ ron xn Hình 1.2:Mô hình của một nơ ron Một tính chất rất cơ bản của mạng nơ ron sinh học là các đáp ứng theo kích thích có khả năng thay đổi theo thời gian. Các đáp ứng có thể tăng lên, giảm đi hoặc hoàn toàn biến mất. Qua các nhánh axon liên kết tế bào nơ ron này với các nơ ron khác, sự thay đổi trạng thái của một nơ ron cũng kéo theo sự thay đổi trạng thái của những nơ ron khác và do đó làm thay đổi toàn bộ mạng nơ ron. Việc thay đổi trạng thái của mạng nơ ron có thể thực hiện qua một quá trình “dạy” hoặc do khả năng “học” tự nhiên. Sự thay thế những tính chất này bằng một mô hình toán học tƣơng đƣơng đƣợc gọi là mạng nơ ron nhân tạo. Mạng nơ ron nhân tạo có thể đƣợc chế tạo bằng nhiều cách khác nhau vì vậy trong thực tế tồn tại rất nhiều kiểu mạng nơ ron nhân tạo. Mô hình nơ ron có m đầu vào x1, x2, ...xm và một đầu ra y (hình 1.2), mô hình này gồm có ba thành phần cơ bản: +Các kích thích đầu vào của tế bào nơ ron có thế năng tác động vào màng membran khác nhau đƣợc biểu diễn qua trọng lƣợng wi, i = 1, .., m Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 6 tƣơng ứng với cƣờng độ kích thích của từng đầu vào. Các kích thích đầu vào đƣợc thực hiện qua một bộ tổng, đó là giá trị đo kích thích đầu vào tác động vào tế bào nơ ron. +Đầu ra của bộ tổng đƣợc đƣa đến bộ đáp ứng a(.), bộ này không chỉ có chức năng tạo ra đáp ứng tức thời mà còn có khả năng lƣu giữ các đáp ứng theo thời gian. Thành phần này hoạt động theo nguyên lý “nhớ” động. +Nơ ron bị kích thích trong thời gian thế năng của màng membran vƣợt quá ngƣỡng. Quan hệ này đƣợc thực hiện nhờ hàm a(.), nó có chức năng của bộ tạo tín hiệu ngƣỡng, xác định phụ thuộc của tín hiệu ra y vào các kích thích đầu vào. Cách thành lập nơ ron nhân tạo nhƣ vậy tạo ra một độ tự do trong thiết kế. Việc lựa chọn phép cộng tín hiệu đầu vào và đáp ứng a(.) sẽ cho ra các kiểu mạng nơ ron nhân tạo khác nhau và tƣơng ứng là các mô hình mạng khác nhau.[1] Hình 1.3: Cấu trúc của một nơ ron là các tín hiệu đầu vào là các trọng số tƣơng ứng (trọng số thứ j của nơ ron thứ i) là ngƣỡng đặt vào phần tử nơ rơn thứ i Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 7 là giá trị đầu ra là hàm kích hoạt là hàm truyền Theo hình 1.3 thì tín hiệu đầu ra là: (1.1) Trong đó hàm kích hoạt a(f) ở dạng hàm bƣớc nhảy (1.2) Nhƣ vậy chỉ có thể nhận 2 giá trị một là 0 hoặc là 1 Hàm truyền f(.) : Hàm này đƣợc dùng để giới hạn phạm vi đầu ra của mỗi nơron. Nó nhận đầu vào là kết quả của hàm tổng và ngƣỡng đã cho. Thông thƣờng, phạm vi đầu ra của mỗi nơron đƣợc giới hạn trong đoạn [0,1] hoặc [-1, 1]. Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn hàm truyền nào là tuỳ thuộc vào từng bài toán và kinh nghiệm của ngƣời thiết kế mạng. Một số hàm truyền thƣờng sử dụng trong các mô hình mạng nơron: (1.3) Hàm bình phƣơng (quadratic funtion) (1.4) Hàm hình cầu (spherical funtion) (1.5) Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 8 Trong đó và là bán kính và tâm của hình cầu Hàm đa thức (Polynomial function): (1.6) Trong đó là trọng số kết nối của phần tử j và k đến phần tử i; là các hệ số thực không đổi. và là ngƣỡng đặt vào phần tử nơ rơn thứ i Các hàm kích hoạt thƣờng sử dụng: Hàm bƣớc nhảy (Step function): (1.7) Đồ thị của hàm đƣợc thể hiện nhƣ hình 1.4 sau: Hình 1.4: Hàm kích hoạt bước nhảy Hàm dấu (Hard limiter – threshold function): (1.8) Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 9 Đồ thị của hàm đƣợc thể hiện nhƣ hình 1.5 sau: Hình 1.5: Hàm kích hoạt hàm dấu Hàm dốc (Ramp function): (1.9) Đồ thị của hàm đƣợc thể hiện nhƣ hình 1.6 sau: Hình 1.6: Hàm kích hoạt hàm dốc Hàm sigmoid đơn cực (Unipolar sigmoid function): (1.10) Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 10 Đồ thị của hàm thể hiện nhƣ hình 1.7 sau: Hình 1.7: Hàm kích hoạt sigmoid đơn cực Hàm sigmoid lƣỡng cực (Bipolar sigmoid function): (1.11) với >0 Đồ thị của hàm đƣợc thể hiện nhƣ hình 1.8 sau: Hình 1.8: Hàm kích hoạt sigmoid đa cực Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 11 1.2. Mạng nơ ron truyền thẳng nhiều lớp MLP Có rất nhiều kiểu kiến trúc về mạng nơ ron nhân tạo. Các kiểu kiến trúc mạng nơ ron nhân tạo này đƣợc tạo ra tùy thuộc vào yêu cầu của bài toán cần giải quyết. Các tính năng của mạng nơ ron tùy thuộc vào cấu trúc, kiểu liên kết, các trọng số liên kết và quá trình tính toán của các nơ ron đơn lẻ. Trong phạm vi nghiên cứu của luận văn này chúng ta đi thẳng vào nghiên cứu mạng nơ ron truyền thẳng nhiều lớp MLP (Multi-Layer Perceptrons) bởi tính phổ biến của nó. Cấu tạo của mạng MLP gồm có 3 lớp: lớp đầu vào, lớp ẩn và lớp đầu ra. Hình 1.9 cho chúng ta một cái nhìn tổng quát về mạng MLP Hình 1.9: Mạng nơ ron truyền thẳng MLP Lớp đầu vào (Input layer): là các véc tơ x1, x2, ..,xm trong không gian m chiều. Tất cả các nơ ron của lớp đầu vào có nhiệm vụ nhận tín hiệu đầu vào. Thông thƣờng các nơ ron đầu vào không làm biến đổi tín hiệu đầu vào mà chỉ có chức năng nhận và phân phối tín hiệu đầu vào. Mỗi nơ ron của lớp đầu vào liên kết với tất cả các nơ ron của tầng liền kế trƣớc nó (thƣờng là lớp ẩn). Đầu ra của nơ ron lớp đầu vào chính là đầu vào của nơ ron liền sau nó. Lớp ẩn (Hidden Layer): là lớp nơ ron dƣới lớp vào, chúng không liên hệ trực tiếp với thế giới bên ngoài nhƣ các lớp nơ ron vào và ra. Lớp ra (Output Layer): là lớp tạo tín hiệu ra sau cùng. Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 12 Hoạt động của mạng MLP có thể mô tả một cách cụ thể nhƣ sau: tại tầng đầu vào các nơron nhận tín hiệu vào xử lý (tính tổng trọng số, gửi tới hàm truyền) rồi cho ra kết quả (là kết quả của hàm truyền). Kết quả này sẽ đƣợc truyền tới các nơron thuộc tầng ẩn thứ nhất; các nơron tại đây tiếp nhận nhƣ là tín hiệu đầu vào, xử lý và gửi kết quả đến tầng ẩn thứ 2;…; quá trình tiếp tục cho đến khi các nơron thuộc tầng ra cho kết quả. Hàm tính tổng trong mạng MLP thƣờng có dạng tổng quát nhƣ sau: , các hàm chuyểnf(.) thƣờng có nhiều dạng khác nhau tùy vào mục đính của mạng. 1.3. Các luật học của mạng nơ ron Học tham số (Parameter Learning): là các tham số về trọng số cập nhật kết nối giữa các nơ ron. Giả sử ta có một ma trận trọng số bao gồm tất cả các phần tử thích ứng của mạng nơ ron. Nhiệm vụ của việc học thông số là bằng cách nào đó tìm đƣợc ma trận chính xác mong muốn từ ma trận giả thiết ban đầu với cấu trúc của mạng nơ ron đã xây dựng. Để thực hiện việc này, mạng nơ ron sử dụng các trọng số điều chỉnh với nhiều phƣơng pháp học khác nhau để có thể tính toán gần đúng ma trận W cần tìm đặc trƣng cho mạng. Một cách chi tiết hóa quá trình học của mạng nơ ron là huyấn luyện sao cho với một tập các véctơ đầu vào X, mạng có khả năng tạo ra tập các véctơ đầu ra mong muốn Y của nó. Tập X đƣợc sử dụng cho huấn luyện mạng đƣợc gọi là tập huấn luyện (training set). Các phần tử x thuộc X đƣợc gọi là các mẫu huấn luyện (training example). Quá trình huấn luyện bản chất là sự thay đổi các trọng số liên kết của mạng. Trong quá trình này, các trọng số của mạng sẽ hội tụ dần tới các giá trị sao cho với mỗi véctơ đầu vào x từ tập huấn luyện, mạng sẽ cho ra véctơ đầu ra y nhƣ mong muốn. Số hóa bởi Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/