Tài liệu Nghiên cứu ứng dụng mạng nơron truyền thẳng nhiều lớp nhận dạng vị trí rôbốt hai khâu

5 Chương I.Tổng quan về mạng nơ ron nhân tạo LỜI CAM ĐOAN Tôi xin cam đoan luận văn này là công trình do tôi tổng hợp và nghiên cứu. Trong luận văn có sử dụng một số tài liệu tham khảo như đã nêu trong phần tài liệu tham khảo. Tác giả Luận văn Nguyễn Đắc Nam Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 6 Chương I.Tổng quan về mạng nơ ron nhân tạo LỜI NÓI ĐẦU Trong hệ thống điều khiển hiện đại, có rất nhiều phương pháp điều khiển đảm bảo được tốt chất lượng điều khiển. Trong điều khiển tự động, để điều khiển chính xác đối tượng khi chưa biết rõ được thông số, trước tiên ta phải hiểu rõ đối tượng đó. Đặc biệt đối với các đối tượng phi tuyến ta cần dạng được đặc tính vào-ra của nó để đảm bảo tạo ra tín hiệu điều khiển thích nghi được lựa chọn chính xác hơn. Những bộ điều khiển hiện đại thường được sử dụng như lôgic mờ, mạng nơron, mạng nơron mờ để nhận dạng và điều khiển thích nghi hệ thống phi tuyến. Trong thời gian của khoá học cao học, chuyên ngành Tự động hoá tại trường Đại Học Kỹ Thuật Công Nghiệp Thái Nguyên, được sự tạo điều kiện giúp đỡ của nhà trường và Tiến Sĩ Phạm Hữu Đức Dục em đã lựa chọn đề tài của mình là: “Nghiên cứu ứng dụng mạng nơron truyền thẳng nhiều lớp nhận dạng vị trí rôbốt hai khâu”. Trong khoảng 6 tháng thực hiện đề tài, được sự hướng dẫn nhiệt tình của Tiến Sĩ Phạm Hữu Đức Dục, sự giúp đỡ của bạn bè cùng với sự nỗ lực, cố gắng của mình bản luận văn đến nay đã hoàn thành. Dù đã có nhiều cố gắng, xong bản luận văn vẫn không tránh khỏi những thiếu sót và hạn chế, em rất mong nhận được sự góp ý của các thầy để bản luận văn được tốt hơn. Em xin trân trọng cảm ơn! Học viên Nguyễn Đắc Nam Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 7 Chương I.Tổng quan về mạng nơ ron nhân tạo MỤC LỤC Trang Lời cam đoan. Danh mục các ký hiệu, bảng, các chữ viết tắt. Danh mục các hình vẽ. PHẦN MỞ ĐÀU. 1 Chƣơng I- TÔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO. 5 1.1. Lịch sử phát triển của mạng nơ ron nhân tạo. 5 1.2. Các tính chất của mạng nơ ron nhân tạo. 5 1.3. Mô hình nơ ron. 6 1.3.1.Mô hình nơ ron sinh học. 6 1.3.1.1. chức năng, tổ chức và hoạt động của bộ não con người. 6 1.3.1.2. Mạng nơ ron sinh học. 9 1.3.2. Mạng nơ ron nhân tạo. 10 1.3.2.1. Khái niệm. 10 1.3.2.2. Phân loại mạng nơ ron. 13 1.3.2.3. Các luật học. 15 1.3.3. Mô hình toán học mạng nơ ron truyền thẳng và mạng nơ ron hồi quy. 19 1.3.3.1. Mạng nơ ron truyền thẳng. 19 1.3.3.2. Mạng nơ ron hồi quy. 22 1.4. Quá trình huấn luyện mạng nơ ron nhiều lớp. 24 1.4.1. Quá trình thực hiện. 24 1.4.2. Quy tắc chuỗi. 25 1.4.3. Độ chính xác của lan truyền ngược. 27 1.4.4. Biến thể của lan tryền ngược. 27 1.4.5. Tổng quát.(phép nội suy và phép ngoại suy). 28 1.5. Công nghệ phân cứng sử dụng mạng nơ ron. 31 1.6. So sánh khả năng của mạng nơ ron với mạch logic 32 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 8 Chương I.Tổng quan về mạng nơ ron nhân tạo 33 KẾT LUẬN CHƢƠNG 1. Chƣơng II- Các phƣơng pháp ứng dụng mạng nơ ron trong nhận dạng và điều khiển. 34 2.1. Các vấn đề chung. 34 2.2. Các phƣơng pháp ứng dụng mạng nơ ron trong nhận dạng. 34 2.2.1. Cơ sở lý luận. 34 2.2.2. Mô tả toán học của đối tượng ở miền rời rạc. 36 2.2.3. Mô hình dùng mạng nơ ron. 39 2.2.3.1. Mô hình song song. 39 2.2.3.2. Mô hình nối tiếp song song. 39 2.2.3.3. Mô hình ngược trực tiếp. 40 2.2.3.4. Mô hình tổ hợp. 41 2.3. Các phƣơng pháp ứng dụng mạng nơ ron trong điều khiển. 42 2.3.1. Bộ điều khiển đảm bảo tính ổn định vững chắc. 42 2.3.2. Bộ điều khiển thích nghi ngược trực tiếp. 42 2.3.3. Điều khiển phi tuyến mô hình trong. 44 2.3.4. Điều khiển dự báo. 44 2.3.5. Điều khiển thích nghi theo mô hình mẫu (MRAC) 45 2.3.6. Điều khiển thích nghi tự chỉnh. 46 2.3.7. Điều khiển thích nghi bằng mạng nơ ron hồi quy tuyến tính. 46 2.3.8. Điều khiển thích nghi ổn định trực tiếp. 48 2.3.9. Điều khiển tối ưu. 49 2.3.10. Phương pháp bảng tra. 50 2.3.11. Điều khiển lọc. 50 2.4. Những hạn chế và chú ý. 51 KẾT LUẬN CHƢƠNG 2 52 Chƣơng III - Ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô bốt hai khâu. 3.1. Mạng nơ ron truyền thẳng nhiều lớp Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 53 53 http://www.lrc-tnu.edu.vn 9 Chương I.Tổng quan về mạng nơ ron nhân tạo 3.1.1. Sơ đồ khối mạng nơ ron truyền thẳng nhiều lớp. 53 3.1.2. Thuật toán học lan truyền ngược của sai lệch. 53 3.2. Ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô bốt hai khâu. 57 3.2.1. Phân tích sơ đồ ứng dụng. 57 3.2.2. Mô tả động học của rô bốt hai khâu. 59 3.2.3. Thiết lập mạng nơ ron nhận dạng. 60 3.2.3.1. Thiết lập sơ đồ nhận dạng 60 3.2.4.2. Quá trình nhận dạng. 63 3.2.4.3. Kết quả mô phỏng và nhận dạng. 65 3.2.4.4. Kết luận chương III 74 KẾT LUẬN CHUNG Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 75 http://www.lrc-tnu.edu.vn 10 Chương I.Tổng quan về mạng nơ ron nhân tạo DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ. STT Ký hiệu Diễn giải tên hình vẽ. 1 Hình 1 Sơ đồ khối điều khiển thích nghi rô bốt hai khâu. 2 Hình 2 Sơ đồ ứng dụng mạng nơ ron nhận dạng vị trí rô bốt hai khâu. 3 Hình 1.1 Mô hình hai nơ ron sinh học. 4 Hình 1.2 Mô hình nơ ron nhân tạo. 5 Hình 1.3a Biểu diễn hình học của hàm Rump 6 Hình 1.3b Biểu diễn hình học của hàm bước nhảy. 7 Hình 1.3c Biểu diễn hình học của hàm giới hạn cứng. 8 Hình 1.3d Biểu diễn hình học của hàm Sigmoid hai cực. 9 Hình 1.4a Mạng một lớp truyền thẳng. 10 Hình 1.4b Mạng nhiều lớp truyền thẳng. 11 Hình 1.4c Mạng nơ ron có phản hồi. 12 Hình 1.4d Mạng nơ ron hồi quy. 13 Hình 1.5 Cấu trúc huấn luyện mạng nơ ron. 14 Hình 1.6 Mô hình học có giám sát và học củng cố. 15 Hình 1.7 Mô hình học không có giám sát. 16 Hình 1.8 Sơ đồ cấu trúc chung của quá trình học. 17 Hình 1.9 Cấu trúc mạng nơ ron một lớp. 18 Hình 1.10 Ký hiệu mạng R đầu vào và S nơ ron. 19 Hình 1.11 Ký hiệu mạng một lớp. 20 Hình 1.12 Cấu trúc mạng nơ ron 3 lớp. 21 Hình 1.13 Ký hiệu mạng nơ ron 3 lớp. 22 Hình 1.14 Ký hiệu mạng một l lớp hồi quy. 23 Hình 1.15 Ký hiệu mạng nơ ron 3 lớp hồi quy. 24 Hình 1.16a Mạng được huấn luyện theo phương pháp bình phương sai lệch cực tiểu. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 11 Chương I.Tổng quan về mạng nơ ron nhân tạo PHẦN MỞ ĐẦU 1.Lý do lựa chọn đề tài. Để điều khiển chính xác đối tượng khi chưa biết rõ được thông số, trước tiên ta phải hiểu rõ đối tượng đó. Đối với đối tượng là phi tuyến như rô bốt, ta cần thực hiện nhận dạng đặc tính vào ra của nó để đảm bảo tạo ra tín hiệu điều khiển thích nghi được lựa chọn chính xác hơn. Hiện nay thường sử dụng logic mờ (Fuzzy Logic), mạng nơ ron ( Neural Networks), và mạng no ron mờ (Fuzzy Neural Networks) để nhận dạng và điều khiển thích nghi hệ thống phi tuyến.Trong khuôn khổ của khoá học Cao học, chuyên ngành Tự động hoá tại trường Đại học Kỹ thuật Công nghiệp Thái Nguyên, được sự tạo điều kiện giúp đỡ của nhà trường và Tiến sĩ Phạm Hữu Đức Dục, em đã lựa chọn đề tài của mình là “Nghiên cứu ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô bốt hai khâu”. 2.Mục đích của đề tài. Nghiên cứu việc ứng dụng mạng nơ ron trong quá trình nhận dạng và điều khiển hệ thống phi tuyến nói chung. Đặc biệt đi sâu nghiên cứu mạng nơ ron truyền thẳng nhiều lớp nhận dạng đặc tính vào – ra của rô bốt hai khâu, làm cơ sở cho việc tạo ra tín hiệu điều khiển thích nghi được lựa chọn chính xác hơn. 3. Đối tƣợng và phạm vi nghiên cứu. a/ Đối tượng nghiên cứu. Đối tượng nghiên cứu của đề tài là sử dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí hai khâu rô bốt. Sơ đồ hình 1 mô tả một mô hình điều chỉnh thích nghi rô bốt hai khâu theo mô hình mẫu. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 12 Chương I.Tổng quan về mạng nơ ron nhân tạo ym Mô hình mẫu - ymh xd e2 ė2 e2 Bộ điều khiển u Rôbốt hai khâu K K Mạng nơron nhận dạng y ymh - e1 Hình 1. Sơ đồ khối điều khiển thích nghi rô bốt hai khâu Sơ đồ điều khiển được thực hiện theo hai giai đoạn sau đây: Giai đoạn 1: Sử dụng mạng nơ ron nhận dạng vị trí của rô bốt hai khâu, khi đó các khoá K mở. Căn cứ vào sai lệch e1 giữa tín hiệu ra của rô bốt (y) và tín hiệu ra của mạng nơ ron nhận dạng(ymh), mạng nơ ron tiến hành học để nhận dạng đặc tính vào ra y của rô bốt hai khâu, sao cho tín hiệu mạng nơ ron nhận dạng ymh bám theo được tín hiệu ra y của rô bốt hai khâu. Với e1= y- ymh Giai đoạn 2: Căn cứ vào kết quả nhận dạng ta có được mạng nơ ron có thể thay thế gần đúng cho rô bốt hai khâu từ đó tiến hành điều khiển thích nghi rô bôt  hai khâu theo mô hình mẫu. Các khoá K đóng, dựa vào bộ thông số sai lệch (e 2, e 2 ) giữa tín hiệu đầu ra của mô hình mẫu ym và tín hiệu đầu ra của mạng nơ ron nhận dạng ymh, bộ điều khiển thực hiện các luật học thích nghi tạo ra tín hiệu điều khiển u với mục đích tạo ra được tín hiệu đầu ra của mạng nhận dạng bám theo được tín hiệu đầu ra của mô hình. Với e2 = ym – ymh và ė2 là đạo hàm cấp một của sai lệch e2 Với thời gian nghiên cứu có hạn, luận văn này chỉ đi sâu nghiên cứu ứng dụng mạng nơ ron nhiều lớp truyền thẳng nhận dạng vị trí rô bốt hai khâu. b/ Phạm vi nghiên cứu của đề tài. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 13 Chương I.Tổng quan về mạng nơ ron nhân tạo Chương I. Tổng quan về mạng nơ ron nhân tạo: Phân tích tổng quan nề mạng nơ ron bao gồm : Lịch sử phát triển, kết cấu của các mạng nơ ron, vai trò của các mạng nơ ron trong điều khiển. Chương II. Các phương pháp ứng dụng mạng nơ ron trong nhận dạng và điều khiển: Trình bày các phương pháp ứng dụng mô hình mạng nơ ron trong nhận dạng và điều khiển. Chương III. Ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng vị trí rô bốt hai khâu. Đưa ra mô hình nhận dạng vị trí rô bốt hai khâu, từ đó phân tích, lựa chọn mạng nơ ron truyền thẳng nhiều lớp với luật học lan truyền ngược tiến hành nhận dạng đặc tính vào ra của rô bốt hai khâu với sơ đồ tổng quát như hình 2: xd Robot hai khâu (Mô hình tính toán vị trí) Mạng nơ ron nhận dạng y ymh e1 Hình2. Sơ đồ ứng dụng mạng nơ ron nhận dạng vị trí rô bốt hai khâu 4. Ý nghĩa khoa học và thực tiễn của đề tài. Với ứng dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng quỹ đạo chuyển động trong miền thời gian thực của rô bốt hai khâu. Sau khi nhận dạng được vị trí của rô bốt hai khâu, ta có thể thay thế gần đúng mô hình vị trí rô bốt hai khâu bằng một mạng nơ ron truyền thẳng, từ đó căn cứ vào các thông số mô phỏng của Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 14 Chương I.Tổng quan về mạng nơ ron nhân tạo mạng nơ ron ta tính toán được tín hiệu điều chỉnh nhằm điều khiển thích nghi vị trí của rô bốt hai khâu phù hợp với những yêu cầu cần thiết của điều chỉnh thích nghi vị trí rô bốt hai khâu. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 15 Chương I.Tổng quan về mạng nơ ron nhân tạo CHƢƠNG I TỔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO Mạng nơ ron nhân tạo (Artificial Neural Networks) là hệ thống được xây dựng dựa trên nguyên tắc cấu tạo của bộ não người. Nó cho chúng ta một hướng mới trong nghiên cứu hệ thống thông tin. Mạng nơ ron nhân tạo có thể thực hiện các bài toán: Tính toán gần đúng các hàm số, thực hiện các bài toán tối ưu, nhận mẫu, nhận dạng và điều khiển đối tượng hiệu quả hơn so với các phương pháp truyền thống. Mạng nơ ron nhân tạo có một số lượng lớn mối liên kết của các phần tử biến đổi có liên kết song song. Nó có hành vi tương tự như bộ não người với khả năng học ( Learning ), gọi lại (Recall) và tổng hợp thông tin từ sự luyện tập của các tập mẫu dữ liệu. Các phần tử biến đổi của mạng nơ ron nhân tạo được gọi là các nơ ron nhân tạo hoặc gọi tắt là nơ ron 1.1 LỊCH SỬ PHÁT TRIỂN CỦA MẠNG NƠ RON NHÂN TẠO. Mạng nơ ron nhân tạo đã có một lịch sử phát triển lâu dài. Năm 1943, McCulloch và Pitts đã đưa ra khả năng liên kết và một số liên kết cơ bản của mạng nơ ron. Năm1949, Hebb đã đưa ra các luật thích nghi trong mạng nơ ron. Năm 1958, Rosenbatt đưa ra cấu trúc Perception. Năm 1969, Minsky và Papert phân tích sự đúng đắn của Perception, họ đã chứng minh các tính chất và chỉ rõ các giới hạn của một số mô hình. Năm 1976, Grossberg dựa vào tính chất sinh học đã đưa ra một số cấu trúc của hệ động học phi tuyến với các tính chất mới. Năm 1982, Rumelhart đưa ra mô hình song song một số thuật toán và kết quả. Thuật toán học lan truyền ngược được Rumelhart, Hinton, Williams (1986) đề xuất luyện mạng nơ ron nhiều lớp. Những năm gần đây, nhiều tác giả đã đề xuất nhiều loại cấu trúc mạng nơ ron mới. Mạng nơ ron được ứng dụng trong nhiều lĩnh vực kinh tế kỹ thuật khoa học vũ trụ (Hecht – Nielsen, 1988) 1.2 CÁC TÍNH CHẤT CỦA MẠNG NƠ RON NHÂN TẠO. Là hệ phi tuyến: Mạng nơ ron có khả năng to lớn trong lĩnh vực nhận dạng và điều khiển các đối tượng phi tuyến. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 16 Chương I.Tổng quan về mạng nơ ron nhân tạo Là hệ xử lý song song: Mạng nơ ron có cấu trúc song song, do đó có độ tính toán rất cao rất phù hợp với lĩnh vực nhận dạng và điều khiển. Là hệ học và thích nghi: Mạng được luyện từ các số liệu quá khứ và có khả năng tự chỉnh khi số liệu đầu vào bị mất, có thể điều khiển on- line. Là hệ nhiều biến, nhiều đầu vào, nhiều đầu ra (MIMO), rất tiện dùng khi đối tượng điều khiển có nhiều biến số. 1.3 MÔ HÌNH NƠ RON 1.3.1.Mô hình nơ ron sinh học. 1.3.1.1 Chức năng, tổ chức và hoạt động của bộ não con người. Bộ não người có chức năng hết sức quan trọng trong đời sống của con người. Nó gần như kiểm soát hầu hết mọi hành vi của con người từ các hoạt động cơ bắp đơn giản đến những hoạt động phức tạp như học tập, nhớ, suy luận, tư duy, sáng tạo, ... Bộ não người được hình thành từ sự liên kết của khoảng 1011 phần tử (tế bào), trong đó có khoảng 1010 phần tử là nơ ron, số còn lại khoảng 9*1010 phần tử là các tế bào thần kinh đệm và chúng có nhiệm vụ phục vụ cũng như hỗ trợ cho các nơ ron. Thông thường một bộ não trung bình cân nặng khoảng 1,5 kg và có thể tích là 235 cm3 . Cho đến nay người ta vẫn chưa thực sự biết rõ cấu tạo chi tiết của bộ não. Tuy vậy về đại thể thì cấu tạo não bộ được phân chia ra thành nhiều vùng khác nhau. Mỗi vùng có thể kiểm soát một hay nhiều hoạt động của con người. Các đặc tính của não người: - Tính phân lớp: Các vùng trong bộ não được phân thành các lớp, thông tin được xử lý theo các tầng. - Tính môđun: Các vùng của bộ nhớ được phân thành các môđun được mã hoá bằng các định nghĩa mối quan hệ tích hợp giữa các tín hiệu vào qua các giác quan và các tín hiệu ra. - Mối liên kết: Liên kết giữa các lớp dẫn đến các dữ liệu dùng chung xem như các liên hệ phản hồi khi truyền tín hiệu. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 17 Chương I.Tổng quan về mạng nơ ron nhân tạo - Sử lý phân tán các tín hiệu vào: Các tín hiệu vào được truyền qua nhiều kênh thông tin khác nhau, được xử lý bằng các phương pháp đặc biệt. Bộ não có cấu trúc nhiều lớp. Lớp bên ngoài thường thấy như là các nếp nhăn, là lớp có cấu tạo phức tạp nhất. Đây là nơi kiểm soát và phát sinh các hành động phức tạp như nghe, nhìn, tư duy, ... Tín hiệu thu, nhận ở các dạng xung điện – Màng (Membrane): Mỗi tế bào thần kinh có một màng, có nhiệm vụ giữ cho các chất nuôi tế bào không tràn ra ngoài. Do đó, các phần tử nội bào và ngoại bào không bằng nhau, giữa chúng có dung dịch muối lỏng làm cho chúng bị phân rã thành các nguyên tử âm và dương. Các nguyên tử dương trong màng tạo ra điện thế màng, nó tồn tại trong trạng thái cân bằng lực: lực đẩy các nguyên tử dương ra khỏi tế bào bằng với lực hút chúng vào trong tế bào. Điện thế màng là phần tử quan trọng trong quá trình truyền tin của hệ thần kinh. Khi thay đổi khả năng thẩm thấu ion của màng thì điện thế màng của tế bào bị thay đổi và tiến tới một ngưỡng nào đó, đồng thời sinh ra dòng điện, dòng điện này gây ra phản ứng kích thích làm thay đổi khả năng thẩm thấu ion của tế bào tiếp theo. Xử lý thông tin trong bộ não: Thông tin được tiếp nhận từ các giác quanvà chuyển vào các tế bào thần kinh vận động vào các tế bào cơ. Mỗi tế bào thần kinh tiếp nhận thông tin, điện thế sẽ tăng trong thần kinh cảm giác, nếu điện thế này vượt ngưỡng nó tạo ra dòng điện trong tế bào thần kinh cảm giác, ý nghĩa dòng điện đó được giải mã và lưu ở thần kinh trung ương, kết quả xử lý thông tin được gửi đến các tế bào cơ. Các tế bào thần kinh đưa các tín hiệu giống nhau, do đó không thể phân biệt được đó là của loài động vật nguyên thuỷ hay của một giáo sư. Các khớp thần kinh chỉ cho các tín hiệu phù hợp qua chúng, còn lại các tín hiệu khác bị cản lại. Lượng tín hiệu được biến đổi được gọi là cường độ khớp thần kinh đó chính là trọng số của nơ ron trong mạng nơ ron nhân tạo. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 18 Chương I.Tổng quan về mạng nơ ron nhân tạo Tại sao việc nghiên cứu về mạng thần kinh lại có tầm quan trọng lớn lao. Có thể trả lời ngắn gọn là sư giống nhau của các tín hiệu của các tế bào thần kinh đơn lẻ, do đó chức năng thực sự của bộ não không phụ thuộc vào vai trò của một tế bào thần kinh đơn, mà phụ thuộc vào toàn bộ các tế bào thần kinh hay các tế bào thần kinh liên kết với nhau thành một mạng thần kinh hay một mạng nơ ron (Neural Networks) Hoạt động của bộ não nói riêng và của hệ thần kinh nói chung đã được con người quan tâm nghiên cứu từ lâu nhưng cho đến nay người ta vẫn chưa hiểu rõ thực sự về hoạt động của bộ não và hệ thần kinh. Đặc biệt là trong các hoạt động liên quan đến trí óc như suy nghĩ, nhớ, sáng tạo, ... Tuy thế cho đến nay, người ta cũng có những hiểu biết căn bản về hoạt động cấp thấp của não. Mỗi nơ ron liên kết với khoảng 104 nơ ron khác, cho nên khi hoạt động thì bộ não hoạt động một cách tổng lực và đạt hiệu quả cao. Nói một cách khác là các phần tử của não hoạt động một cách song song và tương tác hết sức tinh vi phức tạp, hiệu quả hoạt động thường rất cao, nhất là trong các vấn đề phức tạp. Về tốc độ xử lý của bộ não người rất nhanh mặc dù tốc độ xử lý của mỗi nơ ron (có thể xem như phần tử xử lý hay phần tử tính) là rất chậm so với xử lý của các cổng logic silicon trong các chip vi xử lý (10-3 giây so với 10-10 giây). Hoạt động của cả hệ thống thần kinh bao gồm não bộ và các giác quan như sau: Trước hết con người bị kích thích bởi giác quan từ bên ngoài hoặc trong cơ thể. Sự kích thích đó được biến thành các xung điện bởi chính các giác quan tiếp nhận kích thích. Những tín hiệu này được chuyển về trung ương thần kinh là não bộ để xử lý. Trong thực tế não bộ liên tục nhận thông tin xử lý, đánh giá và so sánh với thông tin lưu trữ để đưa ra các quyết định thích đáng. Những mệnh lệnh cần thiết được phát sinh và gửi đến những bộ phận thi hành thích hợp như các cơ tay, chân, ... Những bộ phận thi hành biến những xung điện thành dữ liệu xuất của hệ thống. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 19 Chương I.Tổng quan về mạng nơ ron nhân tạo Tóm lại: Bộ não người có chức năng hết sức quan trọng đối với đời sống của con người. Cấu tạo của nó rất phức tạp, tinh vi bởi được tạo thành từ mạng nơ ron có hàng chục tỉ tế bào với mức độ liên kết giữa các nơ ron là rất cao. Hơn nữa, nó còn được chia thành các vùng và các lớp khác nhau. Bộ não hoạt động dựa trên cơ chế hoạt động song song của các nơ ron tạo nên nó. 1.3.1.2. Mạng nơron sinh học. a/ Cấu tạo. Nơ ron là phần tử cơ bản tạo nên bộ não con người. Sơ đồ cấu tạo của một nơ ron sinh học được chỉ ra như trong hình 1.1. Một nơ ron điển hình có 3 phần chính: Nhánh Khớp nối Thân Sợi trục Hình1.1. Mô hình 2 nơ ron sinh học - Thân nơ ron (soma): Nhân của nơ ron được đặt ở đây. - Các nhánh (dendrite): Đây chính là các mạng dạng cây của các dây thần kinh để nối các soma với nhau. - Sợi trục (Axon): Đây là một nối kết, hình trụ dài và mang các tín hiệu từ đó ra ngoài. Phần cuối của axon được chia thành nhiều nhánh nhỏ. Mỗi nhánh nhỏ (cả của dendrite và axon) kết thúc trong một cơ quan nhỏ hình củ hành được gọi là synapte mà tại đây các nơ ron đưa các tín hiệu của nó vào các nơr on khác. Những điểm tiếp nhận với các synapte trên các nơ ron khác có thể ở các dendrite hay chính soma. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 20 Chương I.Tổng quan về mạng nơ ron nhân tạo b/ Hoạt động. Các tín hiệu đưa ra bởi một synapte và được nhận bởi các dendrite là các kích thích điện tử. Việc truyền tín hiệu như trên liên quan đến một quá trình hóa học phức tạp mà trong đó các chất truyền đặc trưng được giải phóng từ phía gửi của nơi tiếp nối. Điều này làm tăng hay giảm điện thế bên trong thân của nơ ron nhận. Nơ ron nhận tín hiệu sẽ kích hoạt (fire) nếu điện thế vượt khỏi một ngưỡng nào đó và một xung (hoặc điện thế hoạt động) với độ mạnh (cường độ) và thời gian tồn tại cố định được gửi ra ngoài thông qua axon tới phần nhánh của nó rồi tới các chỗ nối synapte với các nơ ron khác. Sau khi kích hoạt, nơ ron sẽ chờ trong một khoảng thời gian được gọi là chu kỳ, trước khi nó có thể được kích hoạt lại. Synapses là hưng phấn (excitatory) nếu chúng cho phép các kích thích truyền qua gây ra tình trạng kích hoạt (fire) đối với nơ ron nhận. Ngược lại, chúng là ức chế (inhibitory) nếu các kích thích truyền qua làm ngăn trở trạng thái kích hoạt (fire) của nơ ron nhận. 1.3.2. Mạng nơ ron nhân tạo. 1.3.2.1. Khái niệm. Nơ ron nhân tạo là sự sao chép nơ ron sinh học của não người, nó có những đặc tính sau: - Mỗi nơ ron có một số đầu vào, những kết nối (Synaptic) và một đầu ra (axon) - Một nơ ron có thể hoạt động (+35mV) hoặc không hoạt động (-0,75mV) - Chỉ có một đầu ra duy nhất của một nơ ron được nối với các đầu vào khác nhau của nơ ron khác. Điều kiện để nơ ron được kích hoạt hay không kích hoạt chỉ phụ thuộc những đầu vào hiện thời của chính nó.Thông thường một nơ ron có 3 phần như hình 1.2: Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 21 Chương I.Tổng quan về mạng nơ ron nhân tạo y1 Wi1 yj Wij ym  WiN u1 W*i1 uk W*ik uM W*iM 1  Hệ động học tuyến tính vi xi Hàm động học phi tuyến yi a(.) Hình 1.2. Mô hình nơ ron nhân tạo Trên mỗi đầu vào của nơ ron có gắn một trọng số để liên kết giữa nơ ron thứ i và nơ ron thứ j. Các trọng số này tương tự như các tế bào cảm giác của mạng nơ ron sinh học. N M j 1 k 1 * Tổng trọng: Vi(t) = neti(t) =  Wij . y j (t )   W ik .u k (t )   i (1.1) Với Vi(t) là tổng trọng của nơ ron thứ i; yj(t) là các đầu ra của nơ ron thứ jvà uk(t) là các đầu vào từ bên ngoài tương ứng với các trọng số Wij và W*ik;  là hằng số gọi là ngưỡng của nơ ron thứ i. Hệ động học tuyến tính SISO: Đầu vào là vi đầu ra là xi. Ở dạng toán tử Laplace ta có: Xi(s)= H(s).Vi(s) (1.2) Dạng thời gian của (1.2) có dạng (1.3) xi (t )  t  h(t   )vi ( )d (1.3)  Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 22 Chương I.Tổng quan về mạng nơ ron nhân tạo Quan hệ của H(s) và h(t) và quan hệ vào – ra tương ứng của nơ ron được cho trong bảng 1.1 H(s) 1 h(t)  (t ) 1 s 1 sT  1 1(t) 1 T e T t xi(t) = wi(t) x (t) = v (t) i i Txi(t) +xi(t) = vi(t) e  sT  (t  T ) xi(t) = vi(t-T) Bảng 1.1 Hàm động học phi tuyến: Mô tả mối quan hệ của đầu ra yi với đầu vào xi: yi=a(xi) với a(.) là hàm chuyển đổi. Hàm chuyển đổi: Để tìm được đầu ra của nơ ron ta phải tiến hành qua hai bước như sau: - Tìm các giá trị tổng trọng lượng đầu vào neti(t) - Căn cứ vào neti(t) để tìm ra yi bằng các hàm chuyển đổi vào ra. Hàm chuyển đổi a(.) thực hiện coi nơ ron như một hộp đen, chuyển đổi một tín hiệu vào thành tín hiệu ra.Các dạng hàm chuyển đổi thường được sử dụng có dạng như sau: + Hàm Rump (Rump Function) là hàm có biểu diễn toán học như (1.4): a(f) = 1 nếu f > 1 f nếu 0 f  1 0 nếu f < 0 (1.4) Biểu diễn hình học của hàm Rump như hình vẽ 1.3.a + Hàm bước nhảy (Step Function) là hàm có biểu diễn toán học như (1.5): 1 nếu f  0 a(f) = 0 nếu f < 0 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên (1.5) http://www.lrc-tnu.edu.vn 23 Chương I.Tổng quan về mạng nơ ron nhân tạo Biểu diễn hình học của hàm như hình vẽ 1.3.b + Hàm giới hạn cứng (Threshold Function) là hàm có biểu diễn toán học như (1.6): 1 nếu f  0 a(f) = (1.6) -1 nếu f < 0 Biểu diễn hình học của hàm như hình vẽ 1.3.c + Hàm sigmoid hai cực (Bipolar Sigmoid Function) là hàm có biểu diễn toán học như (1.7): a(f) = 2 1 1  e  f (1.7) Biểu diễn hình học của hàm như hình vẽ 1.3d a a 1 0 1 a 1 1 f 0 f 0 -1 f Hình 1.3a. Hàm Rump Hình 1.3b. Hàm bước nhảy Hình 1.3b. Hàm giới hạn cứng Hình 1.3.d Hàm Sigmoid hai cực 1.3.2.2. Phân loại mạng nơ ron. Nelson và IIlingworth (1991) đã đưa ra mộy số loại cấu trúc của mạng nơ ron như hình 1.4. Nơron được vẽ là các vòng tròn xem như một tế bào thần kinh, chúng có các mối liên hệ đến các nơ ron khác nhờ các trọng số, lập thành các ma trận trọng số tương ứng. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 24 Chương I.Tổng quan về mạng nơ ron nhân tạo Mỗi một nơ ron có thể phối hợp với các nơ ron khác tạo thành một lớp các trọng số. Mạng một lớp truyền thẳng (Single- Layer Feedforward Network) như hình 1.4 a Có thể nối vài lớp nơ ron với nhau tạo thành mạng nhiều lớp truyền thẳng (Multi- Layer Feedforward Network) như hình 1.4.b Hai loại mạng nơ ron một lớp và nhiều lớp được gọi là truyền thẳng nếu đầu ra của mỗi nơ ron được nối với các đầu vào của các nơ ron của lớp trước đó. Mạng nơ ron phản hồi là mạng mà đầu ra của mỗi nơ ron được quay trở lại nối với đầu vào của các nơ ron cùng lớp được gọi là mạng Laeral như hình 1.4.c Mạng nơ ron phản hồi có thể thực hiện đóng vòng được gọi là mạng nơ ron hồi quy (Recurrent Network) như hình 1.4.d x1 w11 x2 xm wmm Hình 1.4.a y1 x1 y1 y2 x2 y2 ym xm ym Hình 1.4.b x1 y1 x1 x2 y2 x2 xm ym xm Hình 1.4.c w11 y1 y2 wmm ym Hình 1.4.d Các nơ ron lớp vào trực tiếp nhận tín hiệu ở đầu vào, ở đó mỗi nơ ron chỉ có một tín hiệu vào. Mỗi nơ ron ở lớp ẩn được nối với tất cả các nơ ron lớp vào và lớp ra. Các nơ ron ở lớp ra có đầu vào được nối với tất cả các nơ ron ở lớp ẩn, chúng là đầu ra của mạng. Cần chú ý rằng một mạng nơ ron cũng có thể có nhiều lớp ẩn. Các mạng nơ ron trong mỗi nơ ron chỉ được liên hệ với tất cả các nơ ron ở lớp kế tiếp và Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn