Tài liệu Sử dụng mạng noron cho nhận dạng ký tự tiếng việt

1 LỜI CẢM ƠN Xin chân thành cảm ơn Thầy giáo, PGS.TS. Lê Bá Dũng đã tận tình chỉ dạy, hướng dẫn tôi trong suốt thời gian nghiên cứu và thực hiện luận văn. Tôi cũng xin chân thành cảm ơn các Thầy giáo Viện Công nghệ Thông tin và các Thầy giáo Trường Đại học sư phạm Hà Nội 2 đã giảng dạy, giúp đỡ trong suốt thời gian học tập. Xin cảm ơn tất cả các anh chị học viên Cao học khóa 15 – Khoa học máy tính, cảm ơn các cán bộ công chức, giảng viên Trường Đại học sư phạm Hà Nội 2 đã tạo điều kiện tốt cho tôi trong suốt trong hai năm học qua. Xin cảm ơn các bạn bè, đồng nghiệp, gia đình đã tạo mọi điều kiện thuận lợi cũng như đã chỉ bảo tôi rất nhiều trong thời gian thực hiện luận văn này để tôi có được kết quả như ngày hôm nay. Hà Nội, tháng 11/2013 Người viết luận văn Nguyễn Đức Thịnh 2 LỜI CAM ĐOAN Tôi xin cam đoan đề tài luận văn “Sử dụng mạng noron cho nhận dạng ký tự tiếng Việt” là công trình nghiên cứu của bản thân tôi. Các số liệu, kết quả nghiên cứu nêu trong luận văn này là trung thực và không sao chép y nguyên từ một công trình nào khác. Tôi xin chịu trách nhiệm về luận văn của mình. Hà Nội, tháng 11/2013 Người viết luận văn Nguyễn Đức Thịnh 3 MỤC LỤC Trang LỜI CẢM ƠN .................................................................................................. 1 LỜI CAM ĐOAN ............................................................................................ 2 MỤC LỤC ........................................................................................................ 3 DANH MỤC CÁC TỪ TIẾNG ANH VIẾT TẮT ........................................ 6 DANH MỤC CÁC HÌNH .............................................................................. 7 LỜI NÓI ĐẦU ................................................................................................. 8 CHƢƠNG 1. MỘT SỐ VẤN ĐỀ VỀ MẠNG NƠRON ............................. 10 1.1. Mạng Nơron sinh học............................................................................. 10 1.2. Mạng Nơ-ron nhân tạo .......................................................................... 11 1.2.1. Nơ-ron nhân tạo ............................................................................. 11 1.2.2. Mạng nơ-ron nhân tạo................................................................... 17 1.2.2.1. Mạng truyền thẳng. ............................................................. 18 1.2.2.2. Mạng hồi quy (Recurrent Neutral Network) ...................... 20 1.3. Đặc trƣng của mạng nơron. .................................................................. 21 1.4. Mạng KOHONEN. ................................................................................ 24 1.4.1. Giới thiệu về mạng Nơron Kohonen. ............................................ 24 1.4.2. Cấu trúc của mạng nơron Kohonen ............................................. 25 1.4.3. Thực hiện mạng nơron Kohonen. ................................................. 27 1.4.3.1. Chuẩn hóa đầu vào. ................................................................ 27 1.4.3.2. Tính toán đầu ra cho mỗi nơron. ............................................ 28 1.4.3.3. Chọn nơron chiến thắng. ........................................................ 28 1.4.3.4. Quá trình học của mạng nơron Kohonen. .............................. 29 1.4.4. Kết luận. ............................................................................................... 33 CHƢƠNG 2. MỘT SỐ VẤN ĐỀ NHẬN DẠNG KÝ TỰ SỬ DỤNG MẠNG NƠRON ............................................................................................ 35 4 2.1. Nhận dạng ký tự ..................................................................................... 35 2.1.1. Giới thiệu về nhận dạng ký tự ....................................................... 35 2.1.2. Mô hình tổng quát của một hệ nhận dạng ký tự. ......................... 38 2.2. Một số phƣơng pháp nhận dạng ký tự. ................................................ 38 2.2.1. Đối sánh mẫu. ................................................................................ 38 2.2.2. Phương pháp tiếp cận cấu trúc. .................................................... 39 2.2.3. Mô hình Markov ẩn (HMM - Hidden Markov Model) ................ 40 2.2.4 Máy véc tơ tựa (SVM) ..................................................................... 40 2.2.5. Mạng nơron .................................................................................... 41 2.2.5.1. Những bài toán thích hợp. ..................................................... 41 2.2.5.2. Các lĩnh vực ứng dụng mạng nơron. .................................... 41 CHƢƠNG 3. ỨNG DỤNG MẠNG KOHONEN CHO NHẬN DẠNG KÝ TỰ ............................................................................................... 43 3.1. Bài toán.................................................................................................... 43 3.1.1. Phát biểu bài toán .......................................................................... 43 3.1.2. Ý tưởng bài toán ............................................................................. 43 3.2. Xác định các tham số của mạng cho nhận dạng ký tự. ...................... 43 3.2.1. Các bước giải quyết bài toán sử dụng mạng nơron Kohonen.................................................................................................... 43 3.2.1.1. Xây dựng giao diện vẽ. .......................................................... 44 3.2.1.2. Xây dựng mạng nơron Kohonen............................................ 44 3.2.1.3. Xử lý dữ liệu (phân tích ảnh). ................................................ 45 3.2.1.4. Huấn luyện mạng nơron Kohonen. ........................................ 46 3.2.1.5. Nhận dạng mạng nơron Kohonen. ......................................... 48 3.2.1.6. Kết luận. ................................................................................. 48 3.2.2. Giao diện chương trình. ................................................................ 49 3.2.3. Quá trình nhận dạng ..................................................................... 50 5 3.3. Tính toán và huấn luyện mạng Nơron. ................................................ 50 3.3.1. Tính toán đầu ra của mạng KOHONEN. ..................................... 50 3.3.2. Huấn luyện mạng nơron Kohonen .............................................. 52 3.4. Kết quả chƣơng trình............................................................................. 54 3.5. Kết quả đạt đƣợc, hƣớng phát triển. .................................................... 56 3.5.1. Kết quả. ........................................................................................... 56 3.5.2. Hướng phát triển tiếp theo ............................................................ 56 KẾT LUẬN .................................................................................................... 57 TÀI LIỆU THAM KHẢO ............................................................................ 58 6 DANH MỤC CÁC TỪ TIẾNG ANH VIẾT TẮT STT Từ viết tắt Từ viết tƣờng minh 1 HMM Hiden Markov Model 2 LVQ Learning Vector Quantization 3 MLP Multi Layer Perception 4 OCR Optical Character Recognation 5 PDA Personal Digital Assistant 6 RFID Radio Frequency Identification 7 SOM Self Organizing Maps 8 SVM Support Vector Machine 7 DANH MỤC CÁC HÌNH Hình 1.1. Mô hình nơron sinh học Hình 1.2. Mô hình một nơron Hình 1.3. Mạng truyền thẳng một lớp Hình 1.4. Mạng truyền thẳng nhiều lớp Hình 1.5. Mạng một lớp có nối ngược Hình 1.6. Mạng nhiều lớp có nối ngược Hình 1.7. Cấu trúc của mạng Kohonen Hình 1.8. Mạng Kohonen điển hình Hình 1.9. Huấn luyện mạng Kohonen Hình 2.1. Mô hình tổng quát của một hệ nhận dạng ký tự Hình 3.1. Quá trình tìm giới hạn ký tự Hình 3.2. Quá trình lấy mẫu xuống Hình 3.3. Quá trình ánh xạ từ ma trận điểm sang ma trận giá trị Hình 3.4. Quá trình huấn luyện mạng nơron kohonen Hình 3.5. Giao diện chương trình mô phỏng Hình 3.6. Nhận dạng ký tự N Hình 3.7. Nhận dạng ký tự Ô Hình 3.8. Nhận dạng ký tự Á 8 PHẦN MỞ ĐẦU Công nghệ thông tin ngày nay càng ngày càng trở lên quan trọng trong cuộc sống hàng ngày của chúng ta. Trong công nghệ thông tin, trí tuệ nhân tạo hiện nay đang được quan tâm rất nhiều của xã hội. Nó như là một giải pháp mang đến hy vọng mới mô phỏng được bộ não con người. Nghiên cứu và mô phỏng trí não, cụ thể là tế bào thần kinh (Neural) là một ước muốn từ lâu của nhân loại. Với khoảng 15 tỷ Neural ở não người, mỗi Neural có thể nhận hàng vạn tín hiệu từ khớp thần kinh và được coi là một cơ chế sinh vật phức tạp nhất. Bộ não con người có khả năng giải quyết rất nhiều vấn đề như: nghe, nhìn, nói, hồi ức thông tin, phân biệt, phân tích các mẫu dựa trên một số thông tin đã có. Neural thần kinh chính là yếu tố chính giúp chúng ta có thể làm những công việc như vậy. Bộ não phân công công việc xủ lí cho hàng tỉ Neural có liên quan, điều khiển các mối liên hệ giữa các Neural đó. Neural không ngừng nhận và truyền thông tin lẫn nhau. Cơ chế hoạt động của Neural [1] bao gồm: liên kết (association), tổng quát hóa (generation), và tự tổ chức (Self Orgazation). Các Nơron tự liên kết với nhau thành mạng trong xử lý. Mỗi mạng gồm hàng vạn các phần tử Nơron khác nhau. Mỗi phần tử Nơron có khả năng liên kết với hàng nghìn các Nơron khác. Hiện nay, mạng Nơron được đưa vào ứng dụng rộng rãi trong rất nhiều lĩnh vực. Và bài toán nhận dạng là bài toán sử dụng các tính năng của mạng Nơron nhiều nhất. Bài toán nhận dạng với sự trợ giúp của mạng Nơron ngày nay đã không còn dừng ở mức độ nghiên cứu nữa mà nó trở thành một lĩnh vực để áp dụng vào thực tế. Các bài toán nhận dạng được nghiên cứu nhiều nhất hiện nay tập trung vào nhận dạng mẫu hình học (vân tay, mặt người, hình khối …), nhận dạng tiếng nói và nhận dạng chữ viết. Chúng được ứng dụng trong rất nhiều lĩnh vực như y học, dự báo thời tiết, dự báo cháy rừng, …, các 9 lĩnh vực tự động hóa như điều khiển rô-bốt, điều khiển các thiết bị bằng giọng nói,…. Trong số các bài toán nhận dạng này, nhận dạng chữ viết đang được ứng dụng rất phổ biến. Nhận dạng chữ viết được ứng dụng trong quá trình tự động hóa các công việc văn phòng như nhập liệu, lưu trữ văn bản, sách báo, phân loại thư tín,…, những công việc rất nhàm chán và đòi hỏi nhiều thời gian của con người. Nhận dạng bằng mạng Nơron đang được ứng dụng trong hàng loạt lĩnh vực quan trọng của cuộc sống, phục vụ lợi ích trực tiếp và thiết thực cho công việc của con người. Mục đích của luận văn là: Trình bày các kết quả nghiên cứu lý thuyết phục vụ cho chủ đề: “Nhận dạng chữ viết tay Tiếng Việt sử dụng mạng Nơron”. Tuy nhiên, do hạn chế về mặt thời gian cũng như độ phức tạp của bài toán mà trong khuôn khổ, thời lượng của luận văn, tôi chỉ đi sâu nghiên cứu và đưa ra một chương trình mô phỏng nhận dạng ký tự viết tay Tiếng Việt rời rạc trực tuyến sử dụng mạng Nơron Kohonen. 10 CHƢƠNG 1 MỘT SỐ VẤN ĐỀ VỀ MẠNG NƠRON 1.1. Mạng Nơron sinh học Bộ não con người có khoảng 1010 tế bào thần kinh liên kết chặt chẽ với nhau được gọi là các nơ-ron. Mỗi nơ-ron gồm có ba phần: Thân nơ-ron với nhân ở bên trong (soma), một đầu sợi trục thần kinh ra (axon) và một hệ thống tế bào hình cây (dendrite). Tế bào hình cây có nhiệm vụ mang các tín hiệu điện tới các tế bào thân, tế bào thân sẽ thực hiện gộp (Sum) và phân ngưỡng (Thresholds) các tín hiệu đến. Sợi trục thần kinh làm nhiệm vụ đưa các tín hiệu thân ra ngoài. Trong thực tế có rất nhiều dây thần kinh vào và chúng bao phủ một diện tích rất lớn (0.25 mm2) để nhận các tín hiệu từ các nơ-ron khác. Đầu thần kinh ra được rẽ nhánh nhằm chuyển giao tín hiệu từ thân nơ-ron tới nơ-ron khác. Các nhánh của đầu thần kinh được nối với các khớp thần kinh (synapse). Các khớp thần kinh này được nối với thần kinh vào của các nơ-ron khác. Sự sắp xếp của các nơ-ron và mức độ mạnh yếu của các khớp thần kinh được quyết định bởi quá trình hóa học phức tạp, sẽ thiết lập chức năng của mạng nơ-ron, các nơ-ron có thể sửa đổi tín hiệu tại các khớp, trong các nơ-ron nhân tạo được gọi là trọng số. Có thể nói, mạng nơ-ron sinh học hoạt động chậm hơn rất nhiều so với các linh kiện điện tử (10-3 giây so với 10-9 giây), nhưng bộ não có thể thực hiện nhiều công việc nhanh hơn rất nhiều so với máy tính thông thường. Do cấu trúc song song của mạng nơ-ron sinh học thể hiện toàn bộ các nơ-ron thực hiện đồng thời tại một thời điểm. Mạng nơ-ron nhân tạo cũng có được đặc điểm này. Các mạng nơ-ron nhân tạo chủ yếu thực nghiệm trên các máy tính mạnh có vi mạch tích hợp rất lớn, các thiết bị quang, bộ xử lý song song. Điều 11 này cũng giải thích tại sao những nghiên cứu khoa học về mạng nơ-ron nhân tạo có điều kiện phát triển cùng với sự phát triển về kỹ thuật công nghệ phần cứng máy tính. Có nhiều loại nơ-ron khác nhau về kích thước và khả năng thu phát tín hiệu. Tuy nhiên, chúng có cấu trúc và nguyên lý hoạt động chung. Hình vẽ (1.1) là một hình ảnh đơn giản hoá của một loại nơ-ron như vậy. [3] Hình 1.1. Mô hình nơ-ron sinh học Hoạt động của nơ-ron sinh học có thể mô tả tóm tắt như sau: Mỗi nơ-ron nhận tín hiệu vào từ các tế bào thần kinh khác. Chúng tích hợp các tín hiệu vào, khi tổng tín hiệu vượt quá một ngưỡng nào đó chúng tạo tín hiệu ra và gửi tín hiệu này tới các nơ-ron khác thông qua dây thần kinh. Các nơ-ron liên kết với nhau thành mạng. Mức độ bền vững của các liên kết này xác định một hệ số gọi là trọng số liên kết. 1.2. Mạng Nơ-ron nhân tạo 1.2.1. Nơ-ron nhân tạo Để mô phỏng các tế bào thần kinh và các khớp nối thần kinh của bộ não con người, mạng nơ-ron nhân tạo có các thành phần có vai trò tương tự là 12 các nơ-ron nhân tạo và kết nối giữa chúng (kết nối này gọi là weights). Nơ-ron là một đơn vị tính toán có nhiều đầu vào và một đầu ra, mỗi đầu vào đến từ một khớp nối thần kinh (synapse). Đặc trưng của nơ-ron là một hàm kích hoạt phi tuyến chuyển đổi một tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín hiệu đầu ra. Một nơ-ron nhân tạo là một đơn vị tính toán hay đơn vị xử lý thông tin cơ sở cho hoạt động của một mạng nơ-ron. Các thành phần cơ bản của một mô hình nơ-ron.[1] Trọng số và tổng tín hiệu đầu vào: Mỗi nơ-ron có rất nhiều dây thần kinh vào, nghĩa là mỗi nơ-ron có thể tiếp nhận đồng thời nhiều tín hiệu. Giả sử tại nơ-ron i có N tín hiệu vào, mỗi tín hiệu vào Sj được gán một trọng số Wij tương ứng. Ta ước lượng tổng tín hiệu đi vào nơ-ron neti theo một số dạng sau: (i) Dạng tuyến tính: neti N Wij s j (1.1) j 1 (ii) Dạng toàn phương: neti N Wij s 2j (1.2) j 1 (iii) Dạng mặt cầu: neti Trong đó: 2 N s j j 1 2 wij và w ij j 1, N lần lượt là tâm và bán kính mặt cầu (1.3) 13 Hàm kích hoạt (hàm chuyển): Hầu hết các đơn vị trong mạng nơ-ron chuyển net input bằng cách sử dụng một hàm vô hướng (scalar – to – scalar function) gọi là hàm kích hoạt, kết quả của hàm này là một giá trị gọi là mức độ kích hoạt của đơn vị. Trừ khả năng đơn vị đó thuộc lớp ra, giá trị kích hoạt được đưa vào một hay nhiều đơn vị khác. Các hàm kích hoạt thường bị ép vào một khoảng giá trị xác định, do đó thường được gọi là các hàm nén (squashing). Hàm biến đổi tín hiệu đầu vào net cho tín hiệu đầu ra out được gọi là hàm kích hoạt. Hàm này có đặc điểm là không âm và bị chặn, dùng để giới hạn biên độ đầu ra của nơ-ron. Có nhiều dạng hàm kích hoạt, người ta thường sử dụng một hàm kích hoạt chung cho toàn mạng. Một số hàm kích hoạt thường được sử dụng: 1) Hàm đồng nhất (Linear function, Identity function) g(x) = x (1.4) Nếu coi các đầu vào là một đơn vị thì chúng sẽ sử dụng hàm này. Có khi một hằng số được nhân với net-input tạo thành một hàm đồng nhất. Đồ thị hàm đồng nhất (Identity function) 2) Hàm bước nhị phân (Binary step function, Hard limit function) Hàm này còn gọi là hàm ngưỡng (Threshold function hay Heaviside function). Đầu ra của hàm này giới hạn một trong hai giá trị: 14 g( x) 1, neá ux 0, neá ux (1.5) ở đây là ngưỡng. Đồ thị hàm bƣớc nhị phân (Binary step function) Dạng hàm này thường sử dụng trong mạng một lớp. Trong hình vẽ được chọn bằng 1. 3) Hàm sigmoid (Sigmoid function (logsig)) Hàm sigma là dạng chung nhất của hàm kích hoạt được sử dụng trong cấu trúc mạng nơ-ron nhân tạo. Nó là một hàm tăng và nó thể hiện một sự trung gian giữa tuyến tính và phi tuyến. Một ví dụ của hàm này là hàm logistics, xác định như sau: g( x) Ở đó 1 1 e x (1.6) là tham số độ dốc của hàm sigma. Bằng việc biến đổi tham số , chúng ta thu được các hàm sigma với các độ dốc khác nhau. Thực tế, hệ số góc tại x= 0 là /4. Khi tham số hệ số góc tiến tới không xác định, hàm sigma trở thành một hàm ngưỡng đơn giản. Trong khi một hàm ngưỡng chỉ có giá trị là 0 hoặc 1, thì một hàm sigma nhận các giá trị từ 0 tới 1. Cũng phải ghi nhận rằng hàm sigma là hàm phân biệt, trong khi hàm ngưỡng thì không (Tính phân biệt của hàm là một đặc tính quan trọng trong lý thuyết mạng neuron). Hàm này thường được dùng cho các mạng được huấn luyện (trained) 15 bởi thuật toán lan truyền ngược (back –propagation), bởi nó dễ lấy đạo hàm, làm giảm đáng kể tính toán trong quá trình huấn luyện. Hàm được dùng cho các chương trình ứng dụng mà đầu ra mong muốn rơi vào khoảng [0,1]. Đồ thị hàm sigmoid 4) Hàm sigmoid lưỡng cực (Bipolar sigmoid function (tan(sig)) 1 ex g( x) 1 ex (1.7) Hàm này có đặc tính tương tự hàm sigmoid. Hàm làm việc tốt đối với các ứng dụng có đầu ra yêu cầu trong khoảng [-1,1]. Đồ thị hàm sigmoid lƣỡng cực Các hàm chuyển của các đơn vị ẩn (hidden units) là cần thiết để biểu diễn sự phi tuyến vào trong mạng. Nút bias: Là một nút thêm vào nhằm tăng khả năng thích nghi của mạng nơ-ron trong quá trình học. Trong các mạng nơ-ron có sử dụng bias, mỗi nơ-ron có thể có một trọng số tương ứng với bias. Trọng số này luôn có giá trị là 1. 16 Mô hình của một nút xử lý (nút thứ i): Hình 1.2. Mô hình nơ-ron 17 1.2.2. Mạng nơ-ron nhân tạo Mạng nơ-ron nhân tạo (Artificial Neural Network – ANN) là mô hình toán học hay mô hình tính toán được xây dựng dựa trên các mạng nơ-ron sinh học. Nó gồm có một nhóm các nơ-ron nhân tạo (nút) nối với nhau và xử lý thông tin bằng cách truyền theo các kết nối và tính giá trị mới tại các nút (cách tiếp cận connectionism đối với tính toán). Phần lớn mạng nơ-ron nhân tạo là một hệ thống thích ứng (adaptive system) tự thay đổi cấu trúc của mình dựa trên các thông tin bên ngoài hay bên trong chảy qua mạng trong quá trình học. Với việc giả lập các hệ thống sinh học, các cấu trúc tính toán, mạng nơron có thể giải quyết được các lớp bài toán nhất định, như: Bài toán người du lịch, bài toán tô màu bản đồ, bài toán nhận dạng mẫu... Các bài toán phức tạp cao, không xác định. Tuy nhiên, sự liên kết giữa một bài toán bất kỳ trong thực tế với một giải pháp mạng nơ-ron lại là một việc không dễ dàng. Xét một cách tổng quát, mạng nơ-ron là một cấu trúc xử lý song song thông tin phân tán mang các đặc tính nổi bật sau : Là mô hình toán học dựa trên bản chất của nơ-ron. Bao gồm một số lượng rất lớn các nơ-ron liên kết với nhau. Mạng nơ-ron có khả năng học, khái quát hóa tập dữ liệu học thông qua việc gán và hiệu chỉnh các trọng số liên kết. Tổ chức theo kiểu tập hợp mang lại cho mạng nơ-ron khả năng tính toán rất lớn, trong đó không có nơ-ron nào mang thông tin riêng biệt. Ví dụ: Hình 1.2 là một mô hình mạng thông dụng.  Các hình trạng của mạng Hình trạng mạng được định nghĩa bởi: số lớp (layers), số đơn vị trên mỗi lớp, và sự liên kết giữa các lớp đó. Các mạng thường được chia làm hai loại dựa trên cách thức liên kết các đơn vị: 18 1.2.2.1. Mạng truyền thẳng. - Mạng truyền thẳng một lớp Mạng perceptron một lớp do F.Rosenblatt đề xuất năm 1960 là mạng truyền thẳng chỉ một lớp vào và một lớp ra không có lớp ẩn. Trên mỗi lớp này có thể có một hoặc nhiều nơ-ron. Mô hình mạng nơ-ron của F.Rosenblatt sử dụng hàm ngưỡng đóng vai trò là hàm chuyển. Do đó, tổng của tín hiệu vào lớn hơn giá trị ngưỡng thì giá trị đầu ra của nơ-ron sẽ là 1, còn trái lại sẽ là 0. g( x) 1, neá ux 0, neá ux (1.8) Mô hình mạng nơ-ron truyền thẳng một lớp là mô hình liên kết cơ bản và đơn giản nhất. Các nơ-ron tổ chức lại với nhau tạo thành một lớp, đường truyền tín hiệu được truyền theo một hướng nhất định nào đó. Các đầu vào được nối với các nơ-ron theo các trọng số khác nhau, sau quá trình xử lý cho ra một chuỗi các tín hiệu ra. x1 y1 x2 y2 Xm yn Hình 1.3. Mạng truyền thẳng một lớp Với mỗi giá trị đầu vào: x = éëx1,x 2, ...,x n ù û . Qua quá trình xử lý của T mạng ta sẽ thu được một bộ tương ứng các giá trị đầu ra là: y = éëy1,y 2, ...,y n ù û T được xác định như sau: 19 æm ö y i = f i ççå wij x j - qi ÷ ,i = 1,n ÷ çè j= 1 ÷ ø (1.9) Trong đó: m: Số tín hiệu vào. n: Số tín hiệu ra. T WiT = éëwi1,wi 2 ,...,win ù û : là véc tơ trọng số của nơ-ron thứ i. f i : Là hàm kích hoạt nơ-ron thứ i i : Là ngưỡng của nơ-ron thứ i. Ngay từ khi mạng Perceptron được đề xuất nó được sử dụng để giải quyết bài toán phân lớp. Một đối tượng sẽ được nơ-ron i phân vào lớp A nếu: Tổng thông tin đầu vào wij x j i Trong trường hợp trái lại nơ-ron sẽ được phân vào lớp B. - Mạng truyền thẳng nhiều lớp (Multilayer Perceptron –MLP) Với mạng nơ-ron truyền thẳng một lớp ở trên, khi phân tích một bài toán phức tạp sẽ gặp rất nhiều khó khăn, để khắc phục vấn đề này người ta đưa ra mô hình mạng nơ-ron truyền thẳng nhiều lớp bằng việc kết hợp một số lớp nơ-ron lại với nhau. Lớp nhận tín hiệu vào gọi là lớp vào, lớp đưa tín hiệu ra của mạng được gọi là lớp ra. Các lớp ở giữa lớp vào và lớp ra được gọi là lớp ẩn và các nơ-ron trong các lớp ẩn có hàm chuyển (hàm kích hoạt) dạng phi tuyến. Mạng nơ-ron nhiều lớp có thể giải quyết các bài toán phi tuyến nhờ vào các lớp ẩn. Càng nhiều lớp ẩn thì khả năng mở rộng thông tin càng cao và xử lý tốt mạng có nhiều lớp vào và lớp ra. 20 Hình (1.4) mô tả cấu trúc của mạng nơ-ron truyền thẳng nhiều lớp. x1 Lớp vào Lớp ẩn Lớp ra y1 x2 y2 yn xm Hình 1.4. Mạng truyền thẳng nhiều lớp 1.2.2.2. Mạng hồi quy (Recurrent Neutral Network) Mạng hồi quy một lớp có nối ngược X1 Y1 X2 Y2 ... ... XN ... YM Hình 1.5. Mạng một lớp có nối ngƣợc Mạng hồi quy nhiều lớp có nối ngược. X1 Y1 X2 ... Y2 ... ... XN ... YM Hình 1.6. Mạng nhiều lớp có nối ngƣợc