Tài liệu Tìm hiểu mô hình som và ứng dụng trong tư vấn thi đại học

.. ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CNTT & TRUYỀN THÔNG ----------------  ---------------- Nguyễn Thế Huy TÌM HIỂU MÔ HÌNH SOM VÀ ỨNG DỤNG TRONG TƯ VẤN THI ĐẠI HỌC LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên – 2012 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CNTT & TRUYỀN THÔNG ----------------  ---------------- Nguyễn Thế Huy TÌM HIỂU MÔ HÌNH SOM VÀ ỨNG DỤNG TRONG TƯ VẤN THI ĐẠI HỌC Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC TSKH. Nguyễn Minh Hải Thái Nguyên – 2012 LỜI CẢM ƠN Đầu tiên tôi xin gửi lời cảm ơn chân thành đến thầy TSKH. Nguyễn Minh Hải - Học viện Công nghệ bƣu chính viễn thông đã tận tình hƣớng dẫn, chỉ bảo cho tôi trong suốt quá trình làm luận văn. Tôi cũng xin gửi lời cảm ơn đến các thầy cô trƣờng Đại học Công nghệ thông tin và Truyền thông – Đại học Thái Nguyên, các thầy cô Viện Công nghệ thông tin đã truyền đạt những kiến thức và giúp đỡ tôi trong suốt quá trình học của mình. Tôi cũng xin gửi lời cảm ơn tới các đồng nghiệp trong Trung tâm Giáo dục thƣờng xuyên An Dƣơng, gia đình và bạn bè những ngƣời đã động viên tạo mọi điều kiện giúp đỡ tôi trong suốt hai năm học. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI CAM ĐOAN Tôi xin cam đoan toàn bộ nội dung trong luận văn này do tôi tự nghiên cứu, đọc, dịch tài liệu, tổng hợp và thực hiện. Trong luận văn tôi có sử dụng một số tài liệu tham khảo nhƣ đã trình bày trong phần tài liệu tham khảo. Ngƣời viết luận văn Nguyễn Thế Huy Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn i MỤC LỤC DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT ..................................... iv DANH MỤC CÁC BẢNG................................................................................ v DANH MỤC CÁC HÌNH VẼ ......................................................................... vi MỞ ĐẦU ........................................................................................................... 1 Chƣơng 1: TÌM HIỂU VỀ MẠNG NƠRON VÀ MỘT SỐ PHƢƠNG PHÁP PHÂN CỤM ...................................................................................................... 3 1.1 Mạng nơron sinh học ............................................................................... 3 1.1.1 Cấu trúc một nơron sinh học ............................................................ 3 1.1.2 Hoạt động của nơron sinh học .......................................................... 4 1.2 Mạng nơron nhân tạo............................................................................... 4 1.2.1 Cấu trúc và mô hình của một nơron nhân tạo................................... 4 1.2.2 Mô hình của mạng nơron nhân tạo ................................................... 7 1.2.3 Mạng nơron một lớp ......................................................................... 9 1.2.4 Mạng nơron truyền thẳng nhiều lớp ............................................... 10 1.2.5 Mạng Hopfield ................................................................................ 11 1.3 Các luật học ........................................................................................... 12 1.3.1 Quy tắc học của mạng nơron nhân tạo ........................................... 12 1.3.2 Học có giám sát .............................................................................. 13 1.3.3 Học không giám sát ........................................................................ 14 1.3.4 Học tăng cƣờng ............................................................................... 15 1.4 Một số phƣơng pháp phân cụm dữ liệu ................................................. 15 1.4.1 Phân cụm và các thành phần trong phân cụm dữ liệu .................... 15 1.4.2 Phƣơng pháp phân cụm phân cấp ................................................... 16 1.4.3 Phƣơng pháp phân cụm phân hoạch ............................................... 16 1.4.4 Phƣơng pháp phân cụm dựa trên mật độ ........................................ 17 1.4.5 Phân cụm dữ liệu dựa trên lƣới ...................................................... 17 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ii 1.4.6 Phân cụm dữ liệu dựa trên sự ràng buộc ........................................ 17 1.5 Kết luận chƣơng 1 ................................................................................. 18 Chƣơng 2: PHÂN CỤM DỮ LIỆU SỬ DỤNG MẠNG SOM ..................... 19 2.1 Thuật toán phân cụm dữ liệu ................................................................. 19 2.2 Thuật toán phân cụm tuyến tính không giám sát .................................. 20 2.2.1 Thuật toán phân cụm K-mean ........................................................ 20 2.2.2 Thuật toán phân cụm mờ C-mean .................................................. 22 2.2.3 Thuật toán phân cụm phân cấp ....................................................... 24 2.2.4 Thuật toán phân cụm EM (Expectation Maximization) ................. 25 2.2.5 Thuật toán phân cụm chất lƣợng ngƣỡng ....................................... 26 2.3 Thuật toán phân cụm phi tuyến tính không giám sát ............................ 27 2.3.1 Thuật toán phân cụm MST (Minimum spanning tree) ................... 27 2.3.2 Thuật toán phân cụm dữ liệu Kernel K-mean. ............................... 28 2.3.3 Thuật toán phân cụm dựa trên mật độ DBSCAN ........................... 29 2.4 Mạng nơron Kohonen (SOM) ............................................................... 30 2.4.1 Giới thiệu về mạng Kohonen (SOM) ............................................. 30 2.4.2 Cấu trúc của SOM .......................................................................... 31 2.4.3 Khởi tạo SOM ................................................................................. 32 2.4.4 Huấn luyện SOM ............................................................................ 33 2.4.5 Tỉ lệ học .......................................................................................... 34 2.4.6 Hàm lân cận .................................................................................... 35 2.4.7 Cập nhật trọng số ............................................................................ 37 2.4.8 Xác định nơron chiến thắng ............................................................ 38 2.4.9 Bảo toàn cấu trúc liên kết ............................................................... 39 2.5 SOM sử dụng trong phân cụm dữ liệu .................................................. 40 2.5.1 SOM phân cụm với bản đồ một chiều ............................................ 41 2.5.2 SOM phân cụm với bản đồ 2 chiều ................................................ 41 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iii 2.5.3 Xác định ranh giới các cụm ............................................................ 42 2.5.4 Trực quan mạng ............................................................................. 43 2.6 Kết luận chƣơng 2 ................................................................................. 44 Chƣơng 3 : ỨNG DỤNG CỦA MẠNG SOM CHO TRỢ GIÚP HỌC SINH THI ĐẠI HỌC ................................................................................................. 46 3.1 Giới thiệu về bài toán trợ giúp học sinh thi đại học .............................. 46 3.2 Giới thiệu công cụ SOM Toolbox ......................................................... 46 3.3 Chƣơng trình thử nghiệm ...................................................................... 47 3.3.1 Thu thập dữ liệu .............................................................................. 47 3.3.2 Phân tích tập dữ liệu ....................................................................... 51 3.3.3 Khởi tạo và huấn luyện SOM ......................................................... 51 3.3.4 Kết quả và phân tích dữ liệu sau khi huấn luyện SOM .................. 53 3.4 Kết luận chƣơng 3 ................................................................................. 64 KẾT LUẬN ..................................................................................................... 65 TÀI LIỆU THAM KHẢO ............................................................................... 66 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iv DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT SOM (Self Organizing Maps) Mạng nơron tự tổ chức ĐH Đại học HV Học viện PE (Processing element) Phần tử xử lý U-matrix (unified distance matrix) Ma trận thống nhất khoảng cách EM (Expectation maximization) Thuật toán tối đa hóa MST (Minimum spanning tree) Thuật toán tối thiểu cây mở rộng BMU (Best – Matching unit) Đơn vị phù hợp nhất DBSCAN (Density Based Spatial Phân cụm dữ liệu dựa trên không Clustering of Applications with Noise) gian mật độ ứng dụng với nhiễu Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn v DANH MỤC CÁC BẢNG Bảng 3.1: Thông tin về một số trƣờng đại học của Việt Nam ........................ 49 Bảng 3.2: Kết quả các cụm sau khi huấn luyện SOM .................................... 54 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn vi DANH MỤC CÁC HÌNH VẼ Hình 1.1: Mô hình nơron sinh học .................................................................... 3 Hình 1.2: Mô hình một nơron nhân tạo............................................................. 5 Hình 1.3: Đồ thị các dạng hàm truyền .............................................................. 7 Hình 1.4: Mạng nơron ba lớp ............................................................................ 8 Hình 1.5: Một số dạng mạng nơron ................................................................ 10 Hình 1.6: Cấu trúc mạng Hopfield .................................................................. 11 Hình 1.7: Học có giám sát ............................................................................... 14 Hình 1.8: Học không giám sát......................................................................... 14 Hình 2.1: Cấu trúc của mạng SOM ................................................................. 32 Hình 2.2: Cập nhật BMU và lân cận của nó với mẫu đầu vào x .................... 34 Hình 2.3: Hàm tỉ lệ học theo thời gian ............................................................ 35 Hình 2.4: Giá trị của hàm lân cận Gausian(a) và hàm bubble(b) ................... 37 Hình 2.5: Bảo toàn cấu trúc liên kết các cụm ................................................. 40 Hình 3.1: Trực quan mạng sử dụng U-matrix ................................................. 54 Hình 3.2: Trực quan các thành phần bản đồ ................................................... 61 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1 MỞ ĐẦU Trong cuộc sống hàng ngày con ngƣời chúng ta tiếp nhận rất nhiều thông tin. Với khối lƣợng thông tin khổng lồ đòi hỏi con ngƣời phải phân tích chúng và phân chia chúng thành các dạng thông tin khác nhau. Cùng với sự phát triển của công nghệ thông tin các phƣơng pháp, thuật toán phân cụm dữ liệu ra đời giúp cho con ngƣời có khả năng phân chia các loại thông tin khác nhau để phục vụ cho công việc và trong cuộc sống hàng ngày. Mạng nơron SOM đƣợc giáo sƣ Teuvo Kohonen của trƣờng đại học Helsinki Phần Lan phát triển vào những năm 80 của thế kỷ 20 [7]. Đây là mạng truyền thẳng sử dụng thuật học cạnh tranh, không giám sát có khả năng phân cụm dữ liệu với một lƣợng lớn dữ liệu đầu vào. Với sự phát triển của xã hội cuộc sống của con ngƣời đƣợc nâng cao ngày càng có nhiều bậc phụ huynh quan tâm đến việc học tập của con em mình đặc biệt là đối với những gia đình có con em đang học lớp 12 năm học cuối cấp đánh dấu bƣớc ngoặt của cuộc đời của học sinh trong việc tìm kiếm trƣờng học và công việc trong tƣơng lai. Với số lƣợng trên 300 trƣờng đại học và cao đẳng của Việt Nam việc lựa chọn ra một trƣờng để cho học sinh theo học là một công việc hết sức khó khăn. Chính vì lý do đó em mạnh dạn đề xuất đề tài ” Tìm hiểu mô hình SOM và ứng dụng trong tư vấn thi đại học”. Luận văn tập trung vào tìm hiểu mạng SOM và sử dụng SOM trong phân cụm dữ liệu. Phƣơng pháp nghiên cứu chính là tìm hiểu các tài liệu bài báo viết về mạng SOM và sử dụng công cụ SOM Toolbox để huấn luyện mạng SOM phân cụm các trƣờng đại học, cao đẳng của Việt Nam từ đó đƣa ra những nhận xét, đánh giá, tƣ vấn cho học sinh đăng kí dự thi vào các trƣờng. Nội dung luận văn gồm có 3 chƣơng: Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2 Chƣơng 1: Giới thiệu về mạng nơron nhân tạo, một số loại mạng nơron nhân tạo, các luật học của mạng nơron nhân tạo và một số phƣơng pháp phân cụm. Chƣơng 2: Giới thiệu một số thuật toán phân cụm phổ biến, ƣu nhƣợc điểm của từng thuật toán phân cụm. Trong chƣơng này trình bày về mạng SOM: Giới thiệu về mạng SOM, cấu trúc của SOM, các phƣơng pháp khởi tạo, huấn luyện SOM, tỉ lệ học, các hàm lân cận, phƣơng pháp xác định nơron chiến thắng và sử dụng SOM trong phân cụm dữ liệu. Chƣơng 3: Trình bày về sử dụng công cụm SOM Toolbox phân cụm các trƣờng đại học để đƣa ra những đánh giá về các trƣờng từ đó đƣa ra những trợ giúp cho học sinh thi đại học. Thái Nguyên, tháng 9 năm 2012 Ngƣời viết luận văn Nguyễn Thế Huy Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3 Chƣơng 1: TÌM HIỂU VỀ MẠNG NƠRON VÀ MỘT SỐ PHƢƠNG PHÁP PHÂN CỤM 1.1 Mạng nơron sinh học 1.1.1 Cấu trúc một nơron sinh học Bộ não con ngƣời chứa khoảng 1011 nơron thần kinh. Cấu trúc của một nơron thần kinh gồm các phần: - Myelin là lớp cách nhiệt đƣợc bao quanh những Axons của dây thần kinh. Nhiệm vụ của lớp vỏ Myelin này là giúp việc dẫn truyền các tín hiệu của các dây thần kinh đƣợc nhanh chóng và hiệu quả. - Axon của một nơron là một sợi dây đơn giản mang tín hiệu từ Soma của một nơron này tới Dendrite hay Soma của một nơron khác. - Dendrite của một nơron là những nhánh ngắn chạy từ thân nơron ra, nhiệm vụ của chúng là tiếp nhận những tín hiệu từ những nơron khác đƣa đến qua những Axons. - Khoảng giữa những sợi Myelin đƣợc gọi là nút Ranvier. - Soma hay thân tế bào nơron gồm một nhân và những cấu trúc khác của một tế bào. - Synapse là nơi hai nơron tiếp xúc nhau. Những thông tin hoá điện giữa các nơron xảy ra tại đây. Điểm tận cùng của Axon Dendrite Soma Nút Ranvier Một đoạn Myelin Sợi Axon bao bởi Myelin Nhân Hình 1.1: Mô hình nơron sinh học Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 4 1.1.2 Hoạt động của nơron sinh học Các tín hiệu đƣa ra bởi một khớp nối và đƣợc nhận bởi các dây thần kinh vào là kích thích điện tử. Việc truyền tín hiệu nhƣ trên liên quan đến một quá trình hóa học phức tạp mà trong đó các chất truyền đặc trƣng đƣợc giải phóng từ phía gửi của nơi tiếp nối. Điều này làm tăng hay giảm điện thế bên trong thân của nơron nhận. Nơron nhận tín hiệu sẽ kích hoạt nếu điện thế vƣợt ngƣỡng nào đó. Và một điện thế hoạt động với cƣờng độ cùng thời gian tồn tại cố định đƣợc gửi ra ngoài thông qua đầu dây thần kinh tới phần dây thần kinh vào rồi tới chỗ khớp nối để đến nơron khác. Sau khi kích hoạt, nơron sẽ chờ trong một khoảng thời gian đƣợc gọi là chu kỳ cho đến khi nó có thể đƣợc kích hoạt lại. Có 2 loại khớp nối là khớp nối kích thích và khớp nối ức chế. Khớp nối kích thích sẽ cho tín hiệu qua nó để tới nơron, còn khớp nối ức chế có tác dụng làm cản tín hiệu của nơron. Cấu trúc mạng nơron luôn thay đổi và phát triển, các thay đổi có khuynh hƣớng chủ yếu là làm tăng hay giảm độ mạnh các mối liên kết thông qua các khớp nối. Các khớp nối đóng vai trò rất quan trọng trong sự học tập. Khi chúng ta học tập thì hoạt động của các khớp nối đƣợc tăng cƣờng, tạo lên nhiều liên kết mạnh giữa các nơron. Có thể nói rằng ngƣời nào học càng giỏi thì càng có nhiều khớp nối và các khớp nối ấy càng mạnh mẽ, hay nói cách khác thì liên kết giữa các nơron càng nhiều càng nhạy bén. 1.2 Mạng nơron nhân tạo 1.2.1 Cấu trúc và mô hình của một nơron nhân tạo Mô hình toán học của mạng nơron sinh học đƣợc đề xuất bởi McCulloch và Pitts [2], thƣờng đƣợc gọi là nơron M-P, ngoài ra nó còn đƣợc gọi là phần tử xử lý và đƣợc ký hiệu là PE . Mô hình nơron có m đầu vào x1, x2, ..., xm, và một đầu ra yi nhƣ sau: Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 5 wi1 x1 Hàm truyền x2 wi2 . . . . . . . xm wim Đầu vào  f() Đầu ra Hàm tổng m Trọng số liên kết yi θi Ngƣỡng Hình 1.2: Mô hình một nơron nhân tạo Giải thích các thành phần cơ bản: - Tập các đầu vào: Là các tín hiệu vào của nơron, các tín hiệu này thƣờng đƣợc đƣa vào dƣới dạng một vector m chiều. - Tập các liên kết (các trọng số): Mỗi liên kết đƣợc thể hiện bởi một trọng số liên kết. Trọng số liên kết giữa tín hiệu vào thứ j cho nơron i thƣờng đƣợc ký hiệu là wij. Thông thƣờng các trọng số này đƣợc khởi tạo ngẫu nhiên ở thời điểm khởi tạo mạng và đƣợc cập nhật liên tục trong quá trình học mạng. - Bộ tổng (hàm tổng): Thƣờng dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó. - Ngƣỡng: Ngƣỡng này thƣờng đƣợc đƣa vào nhƣ một thành phần của hàm truyền. - Hàm truyền: Hàm này dùng để giới hạn phạm vi đầu ra của mỗi nơron. Nó nhận đầu vào là kết quả của hàm tổng và ngƣỡng đã cho. Thông thƣờng, phạm vi đầu ra của mỗi nơron đƣợc giới hạn trong đoạn [0,1] hoặc [-1,1]. Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn hàm truyền tùy thuộc vào từng bài toán và kinh nghiệm của ngƣời thiết kế mạng. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 6 - Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa một đầu ra. Về mặt toán học, cấu trúc của một nơron i đƣợc mô tả bằng cặp biểu thức sau: y  f(net i -θi ) và net i   wijx j Trong đó: x1, x2, …xm là các tín hiệu đầu vào, còn wi1, wi2,…,wim là các trọng số kết nối của nơron thứ i, neti là hàm tổng, f là hàm truyền, θi là một ngƣỡng, yi là tín hiệu đầu ra của nơron. Nhƣ vậy, tƣơng tự nhƣ nơron sinh học, nơron nhân tạo cũng nhận các tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu đƣợc rồi gửi kết quả đến hàm truyền), và cho một tín hiệu đầu ra (là kết quả của hàm truyền). Hàm truyền có thể có các dạng sau: 1 khi x  0 Hàm bƣớc y   0 khi x  0 (1.1) Hàm giới hạn chặt (hay còn gọi là hàm bƣớc) 1 khi x  0 y  sgn(x)   1 khi x  0 (1.2) 1 khi x  1  Hàm bậc thang y  sgn(x)   x khi 0  x  1 1 khi x  0  (1.3) Hàm ngƣỡng đơn cực y 1 1  eλx với λ>0 (1.4) Hàm ngƣỡng hai cực y 2 1 1  eλx với λ>0 (1.5) Đồ thị các dạng hàm truyền đƣợc biểu diễn nhƣ sau: Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 7 Hình 1.3: Đồ thị các dạng hàm truyền 1.2.2 Mô hình của mạng nơron nhân tạo Dựa trên những phƣơng pháp xây dựng nơron đã trình bày ở mục trên, ta có thể hình dung mạng nơron nhƣ là một hệ truyền đạt và xử lý tín hiệu. Đặc tính truyền đạt của nơron phần lớn là đặc tính truyền đạt tĩnh. Khi liên kết các đầu vào/ra của nhiều nơron với nhau, ta thu đƣợc một mạng nơron, việc ghép nối các nơron trong mạng với nhau có thể là theo một nguyên tắc bất kỳ. Vì mạng nơron là một hệ truyền đạt và xử lý tín hiệu, nên có thể phân biệt các loại nơron khác nhau, các nơron có đầu vào nhận thông tin từ môi trƣờng bên ngoài khác với các nơron có đầu vào đƣợc nối với các nơron khác trong mạng, chúng đƣợc phân biệt với nhau qua vector trọng số ở đầu vào w. Nguyên lý cấu tạo của mạng nơron bao gồm nhiều lớp, mỗi lớp bao gồm nhiều nơron có cùng chức năng trong mạng. Hình 1.4 là mô hình hoạt động của một mạng nơron 3 lớp với 8 phần tử nơron. Mạng có ba đầu vào là x1, x2, x3 và hai đầu ra y1, y2. Các tín hiệu đầu vào đƣợc đƣa đến 3 nơron đầu vào, 3 nơron này làm thành lớp đầu vào của mạng. Các nơron trong lớp này đƣợc gọi là nơron đầu vào. Đầu ra của các nơron này đƣợc đƣa đến đầu vào của 3 nơron tiếp theo, 3 nơron này Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 8 không trực tiếp tiếp xúc với môi trƣờng bên ngoài mà làm thành lớp ẩn, hay còn gọi là lớp trung gian. Các nơron trong lớp này có tên là nơron nội hay nơron ẩn. Đầu ra của các nơron này đƣợc đƣa đến 2 nơron đƣa tín hiệu ra môi trƣờng bên ngoài. Các nơron trong lớp đầu ra này đƣợc gọi là nơron đầu ra. Lớp vào Lớp ẩn Lớp ra x1 y2 x2 y3 x3 Hình 1.4: Mạng nơron ba lớp Mạng nơron đƣợc xây dựng nhƣ trên là mạng gồm 3 lớp mắc nối tiếp nhau đi từ đầu vào đến đầu ra. Trong mạng không tồn tại bất kỳ một mạch hồi tiếp nào. Một mạng nơron có cấu trúc nhƣ vậy gọi là mạng một hƣớng hay mạng truyền thẳng một hƣớng và có cấu trúc mạng ghép nối hoàn toàn (vì bất cứ một nơron nào trong mạng cũng đƣợc nối với một hoặc vài nơron khác). Mạng nơron bao gồm một hay nhiều lớp trung gian đƣợc gọi là mạng Multilayer Perceptrons (MLP-Network). Mạng nơron khi mới đƣợc hình thành thì chƣa có tri thức, tri thức của mạng sẽ đƣợc hình thành dần dần sau một quá trình học. Mạng nơron đƣợc học bằng cách đƣa vào những kích thích, và mạng hình thành những đáp ứng tƣơng ứng, những đáp ứng tƣơng ứng phù hợp với từng loại kích thích sẽ đƣợc lƣu trữ. Giai đoạn này đƣợc gọi là giai đoạn học của mạng. Khi đã hình thành tri thức mạng, mạng có thể giải quyết các vấn đề một cách đúng đắn. Đó có thể là vấn đề ứng dụng rất khác nhau, đƣợc giải quyết chủ yếu dựa trên sự tổ chức hợp nhất giữa các thông tin đầu vào của mạng và các đáp ứng đầu ra. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 9 Nếu nhiệm vụ của một mạng là hoàn chỉnh hoặc hiệu chỉnh các thông tin thu đƣợc không đầy đủ hoặc bị tác động của nhiễu. Mạng nơron kiểu này đƣợc ứng dụng trong lĩnh vực hoàn thiện mẫu, trong đó có một ứng dụng cụ thể là nhận dạng chữ viết. Nhiệm vụ tổng quát của một mạng nơron là lƣu giữ động các thông tin. Dạng thông tin lƣu giữ này chính là quan hệ giữa các thông tin đầu vào và các đáp ứng đầu ra tƣơng ứng, để khi có một kích thích bất kỳ tác động vào mạng, mạng có khả năng suy diễn và đƣa ra một đáp ứng phù hợp. Đây chính là chức năng nhận dạng theo mẫu của mạng nơron. Để thực hiện chức năng này, mạng nơron đóng vai trò nhƣ một bộ phận tổ chức các nhóm thông tin đầu vào, và tƣơng ứng với mỗi nhóm là một đáp ứng đầu ra phù hợp. Nhƣ vậy, một nhóm bao gồm một loại thông tin đầu vào và một đáp ứng đầu ra. Các nhóm có thể đƣợc hình thành trong quá trình học, và cũng có thể không hình thành trong quá trình học. 1.2.3 Mạng nơron một lớp Mỗi một nơron có thể phối hợp với các nơron khác tạo thành một lớp các trọng số. Mạng một lớp truyền thẳng nhƣ hình 1.5a. Một lớp nơron là một nhóm các nơron mà chúng đều có cùng trọng số, nhận cùng một tín hiệu đầu vào đồng thời. Trong ma trận trọng số, các hàng là thể hiện nơron, hàng thứ j có thể đặt nhãn nhƣ một vector wj của nơron thứ j gồm m trọng số wji. Các trọng số trong cùng một cột thứ j (j=1,2,...,n) đồng thời cùng nhận một tín hiệu đầu vào x j. wj = [wj1, wj2, ..., wjm] Tại cùng một thời điểm, vector đầu vào x = [x 1, x2,..., xn] có thể là một nguồn bên ngoài là cảm biến hoặc thiết bị đo lƣờng đƣa tới mạng. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 10 (a) Mạng truyền thẳng một lớp (b) Mạng hồi tiếp một lớp (c) Mạng truyền thẳng nhiều lớp (d) Mạng nơron hồi quy Hình 1.5: Một số dạng mạng nơron 1.2.4 Mạng nơron truyền thẳng nhiều lớp Mạng nơron nhiều lớp Hình 1.5.c có các lớp đƣợc phân chia thành 3 loại sau đây: Lớp vào là lớp nơron đầu tiên nhận tín hiệu vào xi (i = 1, 2, ..., n). Mỗi tín hiệu xi đƣợc đƣa đến tất cả các nơron của lớp đầu vào. Thông thƣờng các nơron đầu vào không làm biến đổi các tín hiệu vào x i, tức là chúng không có Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn