Tài liệu Nghiên cứu mạng nơron và ứng dụng trong thẩm định vay vốn ngân hàng

.. ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ---------------- TRẦN ĐỨC CƢỜNG NGHIÊN CỨU MẠNG NƠRON VÀ ỨNG DỤNG TRONG THẨM ĐỊNH VAY VỐN NGÂN HÀNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2012 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -ii- LỜI CẢM ƠN Luận văn đƣợc thực hiện tại trƣờng Đại học Công nghệ Thông tin và Truyền Thông – Đại học Thái Nguyên dƣới sự hƣớng dẫn của PGS. TS Ngô Quốc Tạo. Trƣớc hết em xin bày tỏ lòng biết ơn sâu sắc tới thầy Ngô Quốc Tạo, ngƣời đã có những định hƣớng, những kiến thức quý báu, những lời động viên và chỉ bảo giúp em vƣợt qua những khó khăn để tôi hoàn thành tốt luận văn của mình. Em xin đƣợc bày tỏ lòng cảm ơn và sự kính trọng của mình đến các thầy cô giáo Trƣờng Đại học Công nghệ Thông tin và Truyền Thông, Đại học Thái Nguyên, đặc biệt là các thầy cô giáo đã giảng dạy và giúp đỡ em trong suốt quá trình học tập tại trƣờng. Em cũng đặc biệt cảm ơn tới bạn bè lớp Cao học K9, các đồng nghiệp đã luôn động viên, giúp đỡ em trong quá trình học tập và công tác, để em hoàn thành nhiệm vụ đƣợc giao. Bên cạnh đây em cũng xin cảm ơn em Hoàng Thị Thu Hiền và chị Trần Thị Vân Thanh – cán bộ thẩm định tại ngân hàng MaritimeBank đã đã giúp em hoàn thành luận văn này. Nhân dịp này, em cũng xin gửi lời cảm ơn đến gia đình, ngƣời thân, đã tạo điều kiện giúp đỡ, động viên, trợ giúp em về tinh thần trong suốt quá trình học tập. Thái Nguyên, tháng 9 năm 2012 Tác giả Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -iii- Trần Đức Cƣờng LỜI CAM ĐOAN Em xin cam đoan luận văn “Nghiên cứu mạng nơron và ứng dụng trong thẩm định vay vốn Ngân hàng” này là công trình nghiên cứu của riêng em. Các số liệu sử dụng trong luận văn là trung thực. Các kết quả nghiên cứu đƣợc trình bày trong luận văn chƣa từng đƣợc công bố tại bất kỳ công trình nghiên cứu nào khác. Trần Đức Cƣờng Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -iv- MỤC LỤC LỜI CẢM ƠN .............................................................................................................1 LỜI CAM ĐOAN ..................................................................................................... iii MỤC LỤC ..................................................................................................................iv DANH MỤC CÁC HÌNH VẼ.................................................................................. vii DANH MỤC CÁC BẢNG...................................................................................... viii DANH MỤC CÁC BẢNG...................................................................................... viii DANH MỤC CÁC TỪ VIẾT TẮT ...........................................................................ix MỞ ĐẦU .....................................................................................................................1 1. Lý do chọn đề tài .................................................................................................1 2. Đối tƣợng và phạm vi nghiên cứu .......................................................................2 3. Hƣớng nghiên cứu của đề tài ..............................................................................2 4. Phƣơng pháp nghiên cứu .....................................................................................2 5. Ý nghĩa khoa học của đề tài ................................................................................2 6. Cấu trúc của luận văn ..........................................................................................3 CHƢƠNG I:TỔNG QUAN VỀ MẠNG NƠRON .....................................................4 1.1. Sơ lƣợc về mạng nơron ....................................................................................4 1.1.1. Lịch sử phát triển ......................................................................................4 1.1.2. Ứng dụng ...................................................................................................5 1.1.3. Căn nguyên sinh học .................................................................................6 1.2. Đơn vị xử lý .....................................................................................................8 1.3. Hàm xử lý .........................................................................................................9 1.3.1. Hàm kết hợp ..............................................................................................9 1.3.2. Hàm kích hoạt (hàm chuyển) ..................................................................10 1.4. Các hình trạng của mạng ................................................................................13 1.4.1. Mạng truyền thẳng ..................................................................................13 1.4.2. Mạng hồi quy ..........................................................................................13 1.5. Mạng học ........................................................................................................14 1.5.1. Học có thầy .............................................................................................14 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -v- 1.5.2. Học không có thầy ..................................................................................15 1.6. Hàm mục tiêu .................................................................................................15 1.7. Mạng nơron truyền thẳng và giải thuật lan truyền ngƣợc ..............................16 1.7.1. Kiến trúc cơ bản ......................................................................................16 1.7.1.1. Mạng truyền thẳng ...........................................................................16 1.7.1.2. Mạng hồi quy ...................................................................................18 1.7.2. Khả năng thể hiện....................................................................................18 1.7.3. Vấn đề thiết kế cấu trúc mạng .................................................................19 1.7.3.1. Số lớp ẩn...........................................................................................19 1.7.3.2. Số đơn vị trong lớp ẩn ......................................................................20 1.7.4. Thuật toán lan truyền ngƣợc (Back-Propagation) ...................................22 1.7.4.1. Mô tả thuật toán ...............................................................................23 1.7.4.2. Sử dụng thuật toán lan truyền ngƣợc ...............................................28 1.7.4.3. Một số biến thể của giải thuật ..........................................................32 1.7.4.4. Nhận xét ...........................................................................................34 CHƢƠNG 2: ỨNG DỤNG MẠNG NƠRON TRONG DỰ BÁO DỮ LIỆU VÀ BÀI TOÁN THẨM ĐỊNH VAY VỐN NGÂN HÀNG ...........................................37 2.1. Lý thuyết thẩm định vay vốn ngân hàng ........................................................37 2.1.1. Một số khái niệm cơ bản .........................................................................37 2.1.2. Nguyên tắc vay vốn .................................................................................37 2.1.3. Điều kiện vay vốn ...................................................................................37 2.1.4. Tầm quan trọng của thẩm định tín dụng .................................................38 2.1.5. Quy trình thẩm định tín dụng ..................................................................39 2.1.6. Nội dung thẩm định vay vốn tại ngân hàng ............................................39 2.1.6.1. Thẩm định khách hàng vay vốn .......................................................40 2.1.6.2. Thẩm định dự án vay vốn.................................................................46 2.1.6.3. Thẩm định các biện pháp bảo đảm tiền vay .....................................49 2.2. Sơ lƣợc về lĩnh vực dự báo dữ liệu ................................................................51 2.3. Xây dựng chƣơng trình dự báo dữ liệu ..........................................................52 2.3.1. Lựa chọn các biến ...................................................................................53 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -vi- 2.3.2. Thu thập, phân tích và xử lý dữ liệu .......................................................53 2.3.2.1. Kiểu của các biến .............................................................................54 2.3.2.2. Thu thập dữ liệu ...............................................................................55 2.3.2.3. Phân tích dữ liệu...............................................................................56 2.3.2.4. Xử lý dữ liệu ....................................................................................57 2.3.3. Phân chia tập dữ liệu ...............................................................................60 2.3.4. Xác định cấu trúc mạng ..........................................................................60 2.3.5. Xác định các tiêu chuẩn đánh giá............................................................61 2.3.6. Huấn luyện mạng ....................................................................................61 2.3.7. Thực thi ...................................................................................................62 2.4. Sự cần thiết phải sử dụng mạng nơron ...........................................................63 CHƢƠNG 3: XÂY DỰNG CHƢƠNG TRÌNH HỖ TRỢ QUYẾT ĐỊNH CHO VAY VỐN TẠI NGÂN HÀNG ................................................................................65 3.1. Lựa chọn các biến ..........................................................................................66 3.2. Thu thập và tiền xử lý dữ liệu ........................................................................66 3.2.1. Thu thập dữ liệu ......................................................................................66 3.2.2. Tiền xử lý dữ liệu ....................................................................................67 3.3. Phân chia tập dữ liệu ......................................................................................68 3.4. Xác định cấu trúc mạng..................................................................................68 3.5. Xác định tiêu chuẩn đánh giá và huấn luyện mạng........................................69 3.5.1. Xác định tiêu chuẩn đánh giá ..................................................................69 3.5.2. Huấn luyện mạng ....................................................................................69 3.6. Thực thi ..........................................................................................................71 3.7. Xây dụng chƣơng trình ..................................................................................71 3.8. Một số nhận xét ..............................................................................................75 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ................................................................78 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -vii- DANH MỤC CÁC HÌNH VẼ Hình 1.1. Đơn vị xử lý (Processing unit) ....................................................................8 Hình 1.2. Hàm đồng nhất (Identity function)............................................................10 Hình 1.3. Hàm bƣớc nhị phân (Binary step function) ...............................................11 Hình 1.4. Hàm Sigmoid ............................................................................................11 Hình 1.5. Hàm sigmoid lƣỡng cực ............................................................................12 Hình 1.6. Mạng nơron truyền thẳng nhiều lớp ..........................................................13 (Feed-forward neural network) .................................................................................13 Hình 1.7. Mạng nơron hồi quy (Recurrent neural network) .....................................14 Hình 1.8. Mạng nơron truyền thẳng nhiều lớp (MLP) ..............................................16 Hình 1.9. Một ví dụ của mạng hồi quy .....................................................................18 Hình 1.10. Xấp xỉ hàm với –2 ≤ x ≤ 2 ......................................................................30 Hình 1.11. Xấp xỉ hàm với –2 ≤ x ≤ 2 ......................................................................30 Hình 2.1. Quy trình thẩm định vay vốn ....................................................................39 Hình 2.2. Nội dung thẩm định vay vốn .....................................................................40 Bảng 2.1. Thẩm định vay ngắn hạn...........................................................................50 Hình 2.3. Xử lý dữ liệu .............................................................................................54 Bảng 3.1. Các dữ liệu đầu vào dạng thô ...................................................................66 Bảng 3.2. Các dữ liệu đầu vào sau khi tiền xử lý......................................................68 Hình 3.1. Mô hình cấu trúc mạng .............................................................................69 Hình 3.2 Giao diện chính của chƣơng trình ..............................................................72 Hình 3.3. Giao diện tạo mạng ...................................................................................72 Hình 3.4. Giao diện huấn luyện mạng ......................................................................73 Hình 3.5. Giao diện bảng giới thiệu khách hàng.......................................................74 Hình 3.6. Giao diện bảng cân đối tài sản ..................................................................74 Hình 3.7. Giao diện bảng báo cáo kết quả kinh doanh .............................................75 Hình 3.8. Giao diện điều kiện vay vốn của khách hàng............................................75 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -viii- DANH MỤC CÁC BẢNG Bảng 2.1. Thẩm định vay ngắn hạn...........................................................................50 Bảng 3.1. Các dữ liệu đầu vào dạng thô ...................................................................66 Bảng 3.2. Các dữ liệu đầu vào sau khi tiền xử lý......................................................68 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -ix- DANH MỤC CÁC TỪ VIẾT TẮT VLSI: Very Large Scale Integrated-circuit SXKD: Sản xuất kinh doanh HĐKD: Hợp đồng kinh doanh MLP: Multilayer Perceptron LMS: Least Means Square Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -1- MỞ ĐẦU 1. Lý do chọn đề tài Ngân hàng là một trung gian tài chính, một kênh dẫn vốn quan trọng cho toàn bộ nền kinh tế. Hoạt động cho vay là một trong những hoạt động quan trọng nhất không những đối với Ngân hàng, mà còn đối với các doanh nghiệp, tổ chức, cá nhân, hộ gia đình. Các doanh nghiệp cần vốn đầu tƣ để mở rộng sản xuất kinh doanh, các hộ gia đình, các tổ chức cần vốn để phục vụ các nhu cầu cần thiết cho công việc, cuộc sống. Cho vay vốn là một trong những hoạt động mang tính chiến lƣợc, mang lại hiệu quả kinh tế quan trọng nhất đối với các Ngân hàng. Đồng thời, đây cũng là một hoạt động mang tính rủi ro cao. Công tác thẩm định các dự án vay vốn là một trong những hoạt động quyết định công tác cho vay vốn đối với các doanh nghiệp nhằm giảm thiểu các rủi ro một cách tối đa. Chất lƣợng công tác thẩm định dự án vay vốn quyết định công tác cho vay vốn đối với các doanh nghiệp trong các Ngân hàng thƣơng mại. Việc nâng cao chất lƣợng công tác thẩm định dự án vay vốn giúp Ngân hàng tăng cƣờng hiệu quả hoạt động kinh doanh và hội nhập với nền tài chính trong khu vực là vô cùng quan trọng. Hiện nay, với sự phát triển nhƣ vũ bão của ngành Công nghệ thông tin, việc ứng dụng các thành tựu đó vào các hoạt động trong Ngân hàng ngày càng phát triển mạnh mẽ và thu hút đƣợc sự quan tâm của các nhà kinh tế, các nhà phát triển phần mềm, …Các ứng dụng của mạng nơron, đặc biệt là mạng nơron truyền thẳng đa lớp đƣợc chứng minh là khá mạnh và hiệu quả trong các bài toán dự báo, phân tích dữ liệu. Qua quá trình tìm hiểu công tác thẩm định dự án vay đối với các doanh nghiệp tại Ngân hàng Hàng Hải Việt Nam MaritimeBank, em đã quyết định chọn đề tài “Nghiên cứu mạng nơron và ứng dụng trong thẩm định vay vốn Ngân hàng”. Luận văn này với mục đích làm sáng tỏ một số khía cạnh về mạng nơron truyền thẳng đa lớp, thuật toán lan Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -2- truyền ngƣợc và ứng dụng chúng trong việc giải quyết bài toán quyết định cho vay vốn đối với doanh nghiệp tại Ngân hàng thƣơng mại. 2. Đối tƣợng và phạm vi nghiên cứu  Cách thức thẩm định cho vay vốn của Ngân hàng thƣơng mại cổ phần Hàng Hải Việt Nam Maritime Bank.  Mạng nơron là một lĩnh vực rộng lớn và phát triển rất mạnh mẽ, do đó phạm vi nghiên cứu của luận văn tập trung vào việc tìm hiểu mạng nơron truyền thẳng và thuật toán lan truyền ngƣợc. 3. Hƣớng nghiên cứu của đề tài  Tìm hiểu mô hình của bài toán thẩm định cho vay vốn tại Ngân hàng.  Tìm hiểu và nghiên cứu mạng nơron truyền thẳng và thuật toán lan truyền ngƣợc.  Tìm hiểu về ngôn ngữ lập trình VB.net ứng dụng mạng nơron truyền thẳng trong dự báo dữ liệu. 4. Phƣơng pháp nghiên cứu  Phƣơng pháp liệt kê, đối sánh.  Phƣơng pháp phân tích - tổng hợp lý thuyết.  Phƣơng pháp thực nghiệm. 5. Ý nghĩa khoa học của đề tài Hiện nay, với sự phát triển nhƣ vũ bão của ngành Công nghệ thông tin, các ứng dụng của mạng nơron đƣợc sử dụng rất rộng rãi, đặc biệt là mạng nơron truyền thẳng đa lớp đƣợc chứng minh là khá mạnh và hiệu quả trong các bài toán dự báo, phân tích dữ liệu. Chính vì thế mà việc nghiên vấn đề này giúp cho Ngân hàng có thể hỗ trợ các cán bộ tín dụng thẩm định đƣợc rủi ro trong bài toán cho khách hàng vay vốn, thẩm định đƣợc khả năng có thể trả nợ của các khách hàng nhằm tránh rủi ro lớn về vốn cho ngân hàng. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -3- 6. Cấu trúc của luận văn Luận văn bao gồm 3 chƣơng, với những nội dung sau: Chƣơng 1: Tìm hiểu và giới thiệu tổng quan về mạng nơron, mô hình mạng nơron truyền thẳng đa lớp, thuật toán lan truyền ngƣợc. Chƣơng 2: Giới thiệu sơ lƣợc các khái niệm và các khâu trong quy trình thẩm định cho vay vốn tại Ngân Hàng Hàng Hải Việt Nam (MaritimeBank) nhƣ cho vay, tín dụng ngân hàng, các loại hình vay vốn… Tìm hiều về bài toán dự báo dữ liệu, cách thức và các bƣớc xây dụng một bài toán dự báo dữ liệu và ứng dụng mạng nơron truyền thẳng đa lớp, giải thuật lan truyền ngƣợc vào bài toán. Từ đó đƣa ra đƣợc tầm quan trọng và sự cần thiết của việc sử dụng mạng nơron. Chƣơng 3: Đƣa ra các bƣớc xây dụng bài toán thẩm định cho vay vốn ngân hàng áp dụng kỹ thuật mạng nơron truyền thẳng đa lớp và giải thuật lan truyền ngƣợc. Giới thiệu chƣơng trình minh họa bài toán. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -4- CHƢƠNG I:TỔNG QUAN VỀ MẠNG NƠRON 1.1. Sơ lƣợc về mạng nơron 1.1.1. Lịch sử phát triển Sự phát triển của mạng nơron trải qua cả quá trình đƣa ra các khái niệm mới lẫn thực thi những khái niệm này. Dƣới đây là các mốc đáng chú ý trong lịch sử phát triển của mạng nơron: - Cuối thế kỉ 19, đầu thế kỉ 20, sự phát triển chủ yếu chỉ là những công việc có sự tham gia của cả ba ngành Vật lý học, Tâm lý học và Thần kinh học, bởi các nhà khoa học nhƣ Hermann von Hemholtz, Ernst Mach, Ivan Pavlov. Các công trình nghiên cứu của họ chủ yếu đi sâu vào các lý thuyết tổng quát về HỌC (Learning), NHÌN (vision) và LẬP LUẬN (conditioning),... và không hề đƣa ra những mô hình toán học cụ thể mô tả hoạt động của các nơron. - Mọi chuyện thực sự bắt đầu vào những năm 1940 với công trình của Warren McCulloch và Walter Pitts. Họ chỉ ra rằng về nguyên tắc, mạng của các nơron nhân tạo có thể tính toán bất kỳ một hàm số học hay logic nào. - Tiếp theo hai ngƣời là Donald Hebb, ông đã phát biểu rằng việc thuyết lập luận cổ điển (classical conditioning) (nhƣ Pavlov đƣa ra) là hiện thực bởi do các thuộc tính của từng nơron riêng biệt. Ông cũng nêu ra một phƣơng pháp học của các nơron nhân tạo. - Ứng dụng thực nghiệm đầu tiên của các nơron nhân tạo có đƣợc vào cuối những năm 50 cùng với phát minh của mạng nhận thức (perceptron network) và luật học tƣơng ứng bởi Frank Rosenblatt. Mạng này có khả năng nhận dạng các mẫu. Điều này đã mở ra rất nhiều hy vọng cho việc nghiên cứu mạng nơron. Tuy nhiên nó có hạn chế là chỉ có thể giải quyết một số lớp hữu hạn các bài toán. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -5- - Cùng thời gian đó, Bernard Widrow và Ted Hoff đã đƣa ra một thuật toán học mới và sử dụng nó để huấn luyện cho các mạng nơron tuyến tính thích nghi, mạng có cấu trúc và chức năng tƣơng tự nhƣ mạng của Rosenblatt. Luật học Widrow-Hoff vẫn còn đƣợc sử dụng cho đến nay. - Tuy nhiên cả Rosenblatt và Widrow-Hoff đều cùng vấp phải một vấn đề do Marvin Minsky và Seymour Papert phát hiện ra, đó là các mạng nhận thức chỉ có khả năng giải quyết các bài toán khả phân tuyến tính. Họ cố gắng cải tiến luật học và mạng để có thể vƣợt qua đƣợc hạn chế này nhƣng họ đã không thành công trong việc cải tiến luật học để có thể huấn luyện đƣợc các mạng có cấu trúc phức tạp hơn. - Do những kết quả của Minsky-Papert nên việc nghiên cứu về mạng nơron gần nhƣ bị đình lại trong suốt một thập kỷ do nguyên nhân là không có đƣợc các máy tính đủ mạnh để có thể thực nghiệm. - Mặc dù vậy, cũng có một vài phát kiến quan trọng vào những năm 70. Năm 1972, Teuvo Kohonen và James Anderson độc lập nhau phát triển một loại mạng mới có thể hoạt động nhƣ một bộ nhớ. Stephen Grossberg cũng rất tích cực trong việc khảo sát các mạng tự tổ chức (Self organizing networks). - Vào những năm 80, việc nghiên cứu mạng nơron phát triển rất mạnh mẽ cùng với sự ra đời của PC. Có hai khái niệm mới liên quan đến sự hồi sinh này, đó là: - Việc sử dụng các phƣơng pháp thống kê để giải thích hoạt động của một lớp các mạng hồi quy (recurrent networks) có thể đƣợc dùng nhƣ bộ nhớ liên hợp (associative memory) trong công trình của nhà vật lý học Johh Hopfield. - Sự ra đời của thuật toán lan truyền ngƣợc (back-propagation) để luyện các mạng nhiều lớp đƣợc một vài nhà nghiên cứu độc lập tìm ra nhƣ: David Rumelhart, James McCelland,.... Đó cũng là câu trả lời cho Minsky-Papert. 1.1.2. Ứng dụng Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -6- Trong quá trình phát triển, mạng nơron đã đƣợc ứng dụng thành công trong rất nhiều lĩnh vực. Dƣới đây liệt kê ra một số ứng dụng chính của mạng nơron: - Aerospace: Phi công tự động, giả lập đƣờng bay, các hệ thống điều khiển lái máy bay, bộ phát hiện lỗi. - Automotive: Các hệ thống dẫn đƣờng tự động cho ô tô, các bộ phân tích hoạt động của xe. - Banking: Bộ đọc séc và các tài liệu, tính tiền của thẻ tín dụng. - Defense: Định vị - phát hiện vũ khí, dò mục tiêu, phát hiện đối tƣợng, nhận dạng nét mặt, các bộ cảm biến thế hệ mới, xử lý ảnh radar,... - Electronics: Dự đoán mã tuần tự, sơ đồ chip IC, điều khiển tiến trình, phân tích nguyên nhân hỏng chip, nhận dạng tiếng nói, mô hình phi tuyến. - Entertainment: Hoạt hình, các hiệu ứng đặc biệt, dự báo thị trƣờng. - Financial: Định giá bất động sản, cho vay, kiểm tra tài sản cầm cố, đánh giá mức độ hợp tác, phân tích đƣờng tín dụng, chƣơng trình thƣơng mại qua giấy tờ, phân tích tài chính liên doanh, dự báo tỷ giá tiền tệ. - Insurance: Đánh giá việc áp dụng chính sách, tối ƣu hóa sản phẩm. 1.1.3. Căn nguyên sinh học Bộ não con ngƣời chứa khoảng 1010 các phần tử liên kết chặt chẽ với nhau (khoảng 104 liên kết đối với mỗi phần tử) gọi là các nơron. Dƣới con mắt của những ngƣời làm tin học, một nơron đƣợc cấu tạo bởi các thành phần: tế bào hình cây (dendrite) - tế bào thân (cell body) – và sợi trục thần kinh (axon). Tế bào hình cây có nhiệm vụ mang các tín hiệu điện tới tế bào thân, tế bào thân sẽ thực hiện gộp (Sum) và phân ngƣỡng (Thresholds) các tín hiệu đến. Sợi trục thần kinh làm nhiệm vụ đƣa tín hiệu từ tế bào thân ra ngoài. Điểm tiếp xúc giữa một sợi trục thần kinh của nơron này và tế bào hình cây Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -7- của một nơron khác đƣợc gọi là khớp thần kinh (synapse). Sự sắp xếp của các nơron và mức độ mạnh yếu của các khớp thần kinh đƣợc quyết định bởi các quá trình hóa học phức tạp, sẽ thiết lập chức năng của mạng nơron. Một vài nơron có sẵn từ khi sinh ra, các phần khác đƣợc phát triển thông qua việc học, ở đó có sự thiết lập các liên kết mới và loại bỏ các liên kết cũ. Cấu trúc của mạng nơron luôn luôn phát triển và thay đổi. Các thay đổi sau này có khuynh hƣớng bao gồm chủ yếu là việc làm tăng hay giảm độ mạnh của các mối liên kết thông qua các khớp thần kinh. Mạng nơron nhân tạo không tiếp cận đến sự phức tạp của bộ não. Mặc dù vậy, có hai sự tƣơng quan cơ bản giữa mạng nơron nhân tạo và sinh học. Thứ nhất, cấu trúc khối tạo thành chúng đều là các thiết bị tính toán đơn giản (mạng nơron nhân tạo đơn giản hơn nhiều) đƣợc liên kết chặt chẽ với nhau. Thứ hai, các liên kết giữa các nơron quyết định chức năng của mạng. Cần chú ý rằng mặc dù mạng nơron sinh học hoạt động rất chậm so với các linh kiện điện tử (10-3 giây so với 10-9 giây), nhƣng bộ não có khả năng thực hiện nhiều công việc nhanh hơn nhiều so với các máy tính thông thƣờng. Đó một phần là do cấu trúc song song của mạng nơron sinh học: toàn bộ các nơron hoạt động một cách đồng thời tại một thời điểm. Mạng nơron nhân tạo cũng chia sẻ đặc điểm này. Mặc dù hiện nay, các mạng nơron chủ yếu đƣợc thực nghiệm trên các máy tính số, nhƣng cấu trúc song song của chúng khiến chúng ta có thể thấy cấu trúc phù hợp nhất là thực nghiệm chúng trên các vi mạch tích hợp lớn (VLSI: Very Large Scale Integrated-circuit), các thiết bị quang và các bộ xử lý song song. Mạng nơron, đôi khi đƣợc xem nhƣ là các mô hình liên kết (connectionist models), là các mô hình phân bố song song (parallel distributed models) có các đặc trƣng phân biệt sau: - Tập các đơn vị xử lý. - Trạng thái kích hoạt hay là đầu ra của đơn vị xử lý. Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -8- - Liên kết giữa các đơn vị. Xét tổng quát, mỗi liên kết đƣợc định nghĩa bởi một trọng số wjk cho ta biết hiệu ứng mà tín hiệu của đơn vị j có trên đơn vị k. - Một luật lan truyền quyết định cách tính tín hiệu ra của từng đơn vị từ đầu vào của nó. - Một hàm kích hoạt, hay hàm chuyển (activation function, transfer function), xác định mức độ kích hoạt khác dựa trên mức độ kích hoạt hiện tại. - Một đơn vị điều chỉnh (độ lệch) (bias, offset) của mỗi đơn vị. - Phƣơng pháp thu thập thông tin (luật học - learning rule). - Môi trƣờng hệ thống có thể hoạt động. 1.2. Đơn vị xử lý Một đơn vị xử lý (Hình 1.1), cũng đƣợc gọi là một nơron hay một nút (node), thực hiện một công việc rất đơn giản: nó nhận tín hiệu vào từ các đơn vị phía trƣớc hay một nguồn bên ngoài và sử dụng chúng để tính tín hiệu ra sẽ đƣợc lan truyền sang các đơn vị khác. X0 j Wj0  Wj1 X1 g(aj) zj Wjn Xn n aj =  wjixi + j i=1 zj = g(aj) Hình 1.1. Đơn vị xử lý (Processing unit) Trong đó: xi: các đầu vào. wji: các trọng số tƣơng ứng với các đầu vào. θj: độ lệch (bias). Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -9- aj: đầu vào mạng (net-input). zj: đầu ra của nơron. g(x): hàm chuyển (hàm kích hoạt). Trong một mạng nơron có ba kiểu đơn vị: - Các đơn vị đầu vào (Input units), nhận tín hiệu từ bên ngoài. - Các đơn vị đầu ra (Output units), gửi dữ liệu ra bên ngoài. - Các đơn vị ẩn (Hidden units), tín hiệu vào (input) và ra (output) của nó nằm trong mạng. Mỗi đơn vị j có thể có một hoặc nhiều đầu vào: x 0, x1, x2, … xn, nhƣng chỉ có một đầu ra zj. Một đầu vào tới một đơn vị có thể là dữ liệu từ bên ngoài mạng, hoặc đầu ra của một đơn vị khác, hoặc là đầu ra của chính nó. 1.3. Hàm xử lý 1.3.1. Hàm kết hợp Mỗi một đơn vị trong một mạng kết hợp các giá trị đƣa vào nó thông qua các liên kết với các đơn vị khác, sinh ra một giá trị gọi là net input. Hàm thực hiện nhiệm vụ này gọi là hàm kết hợp (combination function), đƣợc định nghĩa bởi một luật lan truyền cụ thể. Trong phần lớn các mạng nơron, chúng ta giả sử rằng mỗi một đơn vị cung cấp một bộ cộng nhƣ là đầu vào cho đơn vị mà nó có liên kết. Tổng đầu vào đơn vị j đơn giản chỉ là tổng trọng số của các đầu ra riêng lẻ từ các đơn vị kết nối cộng thêm ngƣỡng hay độ lệch (bias) θj: n aj = W i 1 x  j ji i Trƣờng hợp wji > 0, nơron đƣợc coi là đang ở trong trạng thái kích thích. Tƣơng tự, nếu nhƣ wji < 0, nơron ở trạng thái kiềm chế. Chúng ta gọi các đơn vị với luật lan truyền nhƣ trên là các sigma units. Trong một vài trƣờng hợp ngƣời ta cũng có thể sử dụng các luật lan truyền phức tạp hơn. Một trong số đó là luật sigma-pi, có dạng nhƣ sau: Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -10- n m i 1 k 1 a j   Wji  xk   j Rất nhiều hàm kết hợp sử dụng một "độ lệch" hay "ngƣỡng" để tính net input tới đơn vị. Đối với một đơn vị đầu ra tuyến tính, thông thƣờng, θ j đƣợc chọn là hằng số và trong bài toán xấp xỉ đa thức θj = 1. 1.3.2. Hàm kích hoạt (hàm chuyển) Phần lớn các đơn vị trong mạng nơron chuyển net input bằng cách sử dụng một hàm vô hƣớng (scalar-to-scalar function) gọi là hàm kích hoạt, kết quả của hàm này là một giá trị gọi là mức độ kích hoạt của đơn vị (unit's activation). Loại trừ khả năng đơn vị đó thuộc lớp ra, giá trị kích hoạt đƣợc đƣa vào một hay nhiều đơn vị khác. Các hàm kích hoạt thƣờng bị ép vào một khoảng giá trị xác định, do đó thƣờng đƣợc gọi là các hàm bẹp (squashing). Các hàm kích hoạt hay đƣợc sử dụng là: * Hàm đồng nhất (Linear function, Identity function ) g(x) = x Nếu coi các đầu vào là một đơn vị thì chúng sẽ sử dụng hàm này. Đôi khi một hằng số đƣợc nhân với net-input để tạo ra một hàm đồng nhất. Hình 1.2. Hàm đồng nhất (Identity function) * Hàm bƣớc nhị phân (Binary step function, Hard limit function) Hàm này cũng đƣợc biết đến với tên "Hàm ngƣỡng" (Threshold function hay Heaviside function). Đầu ra của hàm này đƣợc giới hạn vào một trong hai giá trị: Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -111 gx    0 khi khi xθ xθ Dạng hàm này đƣợc sử dụng trong các mạng chỉ có một lớp. Trong hình vẽ sau, θ đƣợc chọn bằng 1. Hình 1.3. Hàm bƣớc nhị phân (Binary step function) * Hàm sigmoid (Sigmoid function (logsig)) g ( x)  1 1  e x Hàm này đặc biệt thuận lợi khi sử dụng cho các mạng đƣợc huấn luyện (trained) bởi thuật toán Lan truyền ngƣợc (back-propagation), bởi vì nó dễ lấy đạo hàm, do đó có thể giảm đáng kể tính toán trong quá trình huấn luyện. Hàm này đƣợc ứng dụng cho các chƣơng trình ứng dụng mà các đầu ra mong muốn rơi vào khoảng [0,1]. Hình 1.4. Hàm Sigmoid * Hàm sigmoid lƣỡng cực (Bipolar sigmoid function (tansig)) 1  e x g ( x)  1  ex Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn