Tài liệu Nghiên cứu một số mô hình mạng học sâu và ứng dụng trong bài toán dự báo điểm tốt nghiệp của sinh viên trường cao đẳng cơ khí nông nghiệp

LỜI CAM ĐOAN Tên tôi là: Phùng Thị Minh Phƣơng Sinh ngày: 27/06/1991 Là học viên lớp cao học : 18M-CT52 Trƣờng Đại học Mở Hà Nội Nơi công tác: Trƣờng Cao đẳng Cơ Khí Nông Nghiệp – Vĩnh Phúc Tôi xin cam đoạn : 1. Tôi xin cam đoan “Nghiên cứu một số mô hình mạng học sâu và ứng dụng trong bài toán dự báo điểm tốt nghiệp của sinh viên trƣờng Cao đẳng Cơ khí Nông nghiệp” là công trình nghiên cứu khoa học của tôi dƣới sự hƣớng dẫn khoa học trực tiếp của PGS.TS. Nguyễn Long Giang. Các nội dung nghiên cứu , kết quả nghiên cứu đƣợc trình bày trong luận văn hoàn toàn là trung thực , không vi phạm bất cứ điều gì trong luật sở hữu trí tuệ và pháp luật của Việt Nam . 2. Mọi tham khảo dùng trong khóa luận đều đƣợc trích dẫn rõ ràng tên tác giả , tên công trình, thời gian, địa điểm công bố . 3. Mọi sao chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tôi xin chịu hoàn toàn trách nhiệm. Hà Nội , ngày 21 tháng 2 năm 2021 Học viên thực hiện Phùng Thị Minh Phƣơng i LỜI CẢM ƠN Lời cảm ơn trân trọng đầu tiên, tôi muốn dành tới các thầy, cô giáo Trƣờng Đại học Mở Hà Nội cùng các thầy, cô giáo Viện Hàn lâm Khoa học và Công nghệ Việt Nam đã tận tình giảng dạy và truyền đạt kiến thức trong suốt khóa học cao học vừa qua. Đặc biệt tôi xin bày tỏ lòng biết ơn chân thành và sâu sắc nhất của mình tới thầy PGS.TS. Nguyễn Long Giang, đã tận tình dìu dắt và hƣớng dẫn tôi trong suốt quá trình làm luận văn, sự chỉ bảo và định hƣớng của thầy giúp tôi tự tin nghiên cứu những vấn đề mới và giải quyết bài toán một cách khoa học. Tôi xin chân thành cảm ơn các thầy, cô giảng viên khoa Công nghệ Thông Tin Trƣờng Đại học Mở Hà Nội đã tạo điều kiện thuận lợi cho tôi trong quá trình học tập, nghiên cứu. Cuối cùng , tôi xin cảm ơn tập thể lớp Công nghệ thông tin khóa 18 đã cổ vũ, khích lệ và chia sẻ kinh nghiệm bản thân giúp luận văn của tôi ngày một hoàn thiện. Mặc dù đã cố gắng rất nhiều nhƣng chắc chắn trong quá trình học tập cũng nhƣ làm luận văn không khỏi những thiếu sót. Tôi rất mong nhận đƣợc sự thông cảm và chỉ bảo tận tình của các thầy cô và các bạn. Tôi xin chân thành cảm ơn! Hà Nội, ngày 21 tháng 02 năm 2021 Phùng Thị Minh Phương ii iii MỤC LỤC Trang LỜI CAM ĐOAN .................................................................................................................i LỜI CẢM ƠN ..................................................................................................................... ii MỤC LỤC ........................................................................................................................... iv DANH MỤC CÁC KÝ HIỆU, CÁC VIẾT TẮT ........................................................... vi DANH MỤC BẢNG .........................................................................................................vii DANH MỤC CÁC HÌNH .............................................................................................. viii MỞ ĐẦU ..............................................................................................................................1 1. Đặt vấn đề .....................................................................................................................1 2. Mục tiêu nghiên cứu....................................................................................................2 3. Mục đích nghiên cứu...................................................................................................2 4. Đối tƣợng và phạm vi nghiên cứu .............................................................................2 5. Phƣơng pháp nghiên c ứu và phƣơng pháp luận ......................................................2 CHƢƠNG 1 : GIỚI THIỆU TỔNG QUAN VỀ HỌC MÁY VÀ HỌC SÂU.............4 1.1. Giới thiệu về học máy..............................................................................................4 1.1.1. Khái niệm học máy ...........................................................................................4 1.1.2. Các phƣơng pháp học máy ...............................................................................5 1.1.3. Ứng dụng của học máy .....................................................................................7 1.2. Tổng quan về mạng học sâu (Deep Learning)......................................................7 1.2.1. Khái niệm học sâu .............................................................................................7 1.2.2. Học sâu với bộ não ngƣời.................................................................................8 1.2.3. Học sâu dựa trên mạng Neural nhân tạo.........................................................9 CHƢƠNG 2 : MỘT SỐ MÔ HÌNH HỌC SÂU ĐƢỢC SỬ DỤNG CHO BÀI TOÁN DỰ BÁO ............................................................................................................... 17 2.1. Tổng quan về bài toán dự báo. ............................................................................ 17 2.1.1. Các bƣớc giải quyết bài toán dự báo ............................................................ 17 2.1.2. Các tiêu chuẩn đánh giá ................................................................................. 19 2.1.3. Mô hình trong bài toán dự báo...................................................................... 23 2.1.4. Kỹ thuật xây dựng đặc trƣng........................................................................ 25 2.2. Giới thiệu về mạng Neural ................................................................................... 28 iv 2.3. Mạng Neural hồi quy ............................................................................................ 31 2.3.1. Mô hình mạng neural hồi quy ....................................................................... 31 2.3.2. Phân lo ại bài toán mạng neural hồi quy....................................................... 33 2.3.3. Mô hình mạng lan truyền ngƣợc liên hồi – BPTT ..................................... 34 2.3.4. Mô hình mạng bộ nhớ dài ngắn LSTM ....................................................... 37 2.4. Mạng Neural tích chập ......................................................................................... 44 2.4.1. Ý tƣởng mạng neural tích chập..................................................................... 44 2.4.2. Cấu trúc cơ bản của mạng Neural tích chập................................................ 44 Kết luận chƣơng ............................................................................................................ 46 CHƢƠNG 3 : ỨNG DỤNG MÔ HÌNH MẠNG HỌC SÂU CHO BÀI TOÁN DỰ BÁO ĐIỂM TỐT NGHIỆP CHO SINH VIÊN TRƢỜNG CAO ĐẲNG CƠ KHÍ NÔNG NGHIỆP ............................................................................................................... 47 3.1. Tổng quan bài toán................................................................................................ 47 3.1.2. Bài toán dự báo tỉ lệ sinh viên tốt nghiệp đúng tiến độ đào tạo ............... 47 3.1.1. Sự cần thiết của việc dự báo điểm tốt nghiệp ............................................. 50 3.2. Ứng dụng mô hình mạng học sâu trong bài toán dự báo điểm tốt nghiệp trƣờng Cao Đẳng Cơ Khí Nông Nghiệp .................................................................... 51 3.2.1. Lựa cho mô hình mạng học sâu sử dụng cho bài toán dự báo .................. 51 3.2.2. Xây dựng mô hình hệ thống .......................................................................... 52 3.2.2. Phƣơng pháp dự báo kết quả học tập của sinh viên ................................... 54 3.2.3. Mô hình dự báo kết quả học tập của sinh viên ........................................... 54 3.2.4. Huấn luyện mô hình dự báo điểm ................................................................ 56 3.2.5. Cài đặt và thử nghiệm bài toán ..................................................................... 58 3.3. Kết quả thử nghiệm............................................................................................... 61 3.3.1. Kết quả thử nghiệm ........................................................................................ 62 3.3.2. Đánh giá hiệu suất các mô hình .................................................................... 63 Kết luận chƣơng ............................................................................................................ 67 KẾT LUẬN VÀ KHUYẾN NGHỊ ................................................................................ 68 TÀI LIỆU THAM KHẢO ............................................................................................... 69 PHỤ LỤC .......................................................................................................................... 71 v DANH MỤC CÁC KÝ HIỆU, CÁC VIẾT TẮT STT Từ viết tắt Tiếng Anh Tiếng Việt 1 AI Artificial Intelligence Trí tuệ nhân tạo 2 ML Machine Learning Học máy 3 DL Deep Learning Học Sâu 4 ANN Artificial Neural Network Mạng Neural nhân tạo 5 RNN Recurrent Neural Network Mạng Neural hồi quy 6 CNN Convolutional Neural Network Mạng Neural tích chập 7 LSTM Long-Short Term Memory networks Kiến trúc mạng bộ nhớ dài-ngắn 8 BPTT Backpropagation Through Time Mô hình mạnh lan truyền ngƣợc liên hồi 9 NLP Natural Language Processing Xử lý ngôn ngữ tự nhiên 10 MSE Mean squared error Sai số bình phƣơng trung bình 11 RMSE Root Mean Square Error Sai số bình phƣơng trung bình gốc 12 R2 R Square R bình phƣơng 13 CĐCKNN Cao đẳng Cơ khí Nông nghiệp 14 TBC Điểm trung bình chung vi DANH MỤC BẢNG Trang Bảng 3.1: Dữ liệu mẫu học phần Quản trị mạng........................................................... 53 Bảng 3.2: Dữ liệu mẫu học phần Bảo trì hệ thống mạng............................................. 53 Bảng 3.3 Chi tiết bộ dữ liệu tại Cao Đăng Cơ Khí Nông Nghiệp............................... 54 Bàng 3.4 : Các thƣ viện hỗ trợ ........................................................................................ 58 Bảng 3.5 Thời gian huấn luyện các mô hình mạng ...................................................... 61 Bảng 3.6: Bảng kết quả huấn luyện học phần Quản trị mạng với Linux .................. 61 Bảng 3.7: Bảng kết quả huấn luyện học phần Bảo trì hệ thống mạng........................ 61 Bảng phụ lục 1: Danh sách hệ thống phần mềm........................................................... 66 Bảng phụ lục 2: Danh sách hệ thống phần cứng........................................................... 66 vii DANH MỤC CÁC HÌNH Trang Hình 1.1 Các phƣơng pháp học máy .............................................................................. 5 Hình 1.2 Sơ đồ mô tả học máy có hƣớng dẫn ............................................................... 6 Hình 1.3 Mối quan hệ giữa AI – ML – DL ................................................................... 8 Hình 1.4 Tế bào thần kinh sinh học(trái) và neural trong mạng neural ..................... 10 Hình 1.5: Mạng neural nông ............................................................................................ 11 Hình 1.6: Mạng neural sâu ............................................................................................ 13 Hình 1.7 Kiến trúc mạng học sâu .................................................................................. 14 Hình 2.1 Cấu trúc một neural .......................................................................................... 22 Hình 2.2 Cấu trúc chung của một mạng neural............................................................. 23 Hình 2.3 : Mô hình trong các bài toán Machine learning ............................................ 25 Hình 2.4 Mô hình RNN.................................................................................................... 30 Hình 2.5: Một số bài toán RNN ...................................................................................... 32 Hình 2.6: Mô hình mạng neural lan truyền ngƣợc liên hồi ......................................... 33 Hình 2.7: Quá trình truyền ngƣợc trên chuỗi dữ liệu ................................................... 34 Hình 2.8: Biểu đồ tanh và đạo hàm ................................................................................ 35 Hình 2.9: Các module lặp lại trong một nút mạng RNN tiêu chuẩn .......................... 38 Hình 2.10: Sự lặp lại kiến trúc module trong mạng LSTM chứa 4 tầng ẩn (3 sigmoid và 1 tanh) tƣơng tác .......................................................................................................... 39 Hình 2.11: Ký hiệu trong LSTM ..................................................................................... 39 Hình 2.12: Trạng thái của tế bào.................................................................................... 40 Hình 2.13: Cổng sàng lọc thông tin................................................................................ 40 Hình 2.14: Dữ liệu đƣợc truyền qua cổng quên ............................................................ 41 Hình 2.15: Dữ liệu đƣợc truyền qua cổng đầu vào ....................................................... 41 Hình 2.16: Dữ liệu đƣợc lan truyền qua thanh trạng thái ............................................ 42 viii Hình 2.17: Dữ liệu hội tụ ở đầu ra sau khi đi qua các cổng ........................................ 43 Hình 2.18: Cấu trúc cơ bản của một mạng Neural tích chập....................................... 45 Hình 3.1: Tổng quan mô hình dự báo điểm của học phần thay thế Đồ án/khóa luận tốt nghiệp............................................................................................................................ 49 Hình 3.2 : Mô hình mạng học sâu cho học phần: Quản trị mạng với Linux ............. 56 Hình 3.3: Mô hình mạng học sâu cho học phần: Bảo trì hệ thống mạng................... 57 Hình 3.4: Lƣu đồ mô hình mạng BPTT.......................................................................... 59 Hình 3.5 : Lƣu đồ mô hình mạng LSTM........................................................................ 60 Hình 3.6: Biểu đồ dự báo điểm học phần Quản trị mạng với Linux sử dụng các mô hình dự báo LSTM ............................................................................................................ 63 Hình 3.7: Biểu đồ dự báo điểm học phần Quản trị mạng với Linux sử dụng các mô hình dự báo BPTT ............................................................................................................. 63 Hình 3.8: Biểu đồ dự báo điểm học phần Bảo trì hệ thống mạng sử dụng các mô hình dự báo LSTM ............................................................................................................ 64 Hình 3.9: Biểu đồ dự báo điểm học phần Bảo trì hệ thống mạng sử dụng các mô hình dự báo BPTT ............................................................................................................. 64 ix MỞ ĐẦU 1. Đặt vấn đề Trong những năm gần đây, công nghệ thông tin phát triển mạnh mẽ ứng dụng trong nhiều lĩnh vực quan trọng của đời sống, kinh tế, xã hội đã làm lƣợng dữ liệu thu thập và lƣu trữ ở các hệ thống thông tin tăng lên một cách nhanh chóng. Trƣớc tình hình đó, việc khai thác chọn lọc những dữ liệu có ích từ lƣợng thông tin khổng lồ đó sẽ quyết định chất lƣợng của mọi hoạt động. Mặt khác, các dữ liệu sẽ đƣợc dự báo giúp việc đƣa ra quyết định phƣơng hƣớng trong tƣơng lai một cách chính xác và hiệu quả hơn. Hiện nay trên thế giới, trí tuệ nhân tạo đã nhận đƣợc rất nhiều sự chú ý, ai ai cũng đều nói về nó. Và trong lĩnh vực trí tuệ nhân tạo, học máy có lẽ là lĩnh vực đƣợc nói đến nhiều nhất. Machine learning - học máy là chƣơng trình chạy trên một mạng thần kinh nhân tạo, có khả năng huấn luyện máy tính "học" từ một lƣợng lớn dữ liệu đƣợc cung cấp để giải quyết những vấn đề cụ thể. Để học máy hiệu quả, chính xác hơn, Deep Learning (học sâu) đã ra đời. Deep learning sẽ giúp robot học nhanh, kỹ và áp dụng chính xác hơn. Vì những lý do đó, nhiều bài toán dự báo đƣợc các chuyên gia đã tin tƣởng và sử dụng các hệ thống thông minh khác nhau, trong đó có mạng học sâu Deep Learning. Tính cấp thiết của đề tài Với số lƣợng lớn học sinh, sinh viên đang theo học việc thực hiện công tác phân tích, đánh giá hiệu quả học tập của sinh viên trong trƣờng Cao đẳng Cơ Khí Nông Nghiệp gặp rất nhiều khó khăn. Từ dữ liệu về lý lịch sinh viên, kết quả học tập của sinh viên vậy làm thế nào để có thể thu thập đƣợc các thông tin có ích, hỗ trợ cho việc ra quyết định chẳng hạn nhƣ: Dự đoán đƣợc những học sinh, sinh viên sẽ thôi học hoặc bị buộc thôi học để từ đó có tác động kịp thời giảm số trƣờng hợp thôi học xuống mức thấp nhất; Dự đoán số lƣợng trúng tuyển từ hồ sơ đăng ký vào; dự đoán lƣợng thí sinh nguyện vọng một, nguyện vọng hai; Dự đoán chất lƣợng 1 sinh viên từ điểm đầu vào và các thông tin lý lịch; Tìm mối tƣơng quan các môn học cơ bản (Toán, Vật lý, Hóa Học, Tiếng Anh..) với các môn học chuyên ngành của sinh viên; Tìm ra nhóm sinh viên bị tụt dốc trong học tập … Nhận thấy đƣợc tầm quan trọng và thực tế đó, đƣợc sự gợi ý của thầy hƣớng dẫn và nhận thấy tính thiết thực của vấn đề em chọn đề tài: “Nghiên cứu một số mô hình mạng học sâu và ứng dụng trong bài toán dự báo điểm tốt nghiệp của sinh viên trường Cao đẳng Cơ Khí Nông Nghiệp” làm khoá luận tốt nghiệp cho luận văn tốt nghiệp của mình. 2. Mục tiêu nghiên cứu Nghiên cứu mô hình mạng học sâu giải quyết bài toán dự báo viên tốt nghiệp đúng tiến độ trong các cơ sở giáo dục. 3. Mục đích nghiên cứu - Nghiên cứu cơ sở lý thuyết về học máy nói chung và học sâu nói riêng, phân tích sự phát triển của học máy với việc triển khai các giải thuật toán học sâu, phân tích hiện trạng xu hƣớng sử dụng thuật toán học sâu cho những vấn đề đã đƣợc giải quyết và các vấn đề còn đang nghiên cứu. - Tìm hiểu mô hình mạng học sâu. - Nghiên cứu đánh giá, lựa chọn mô hình nhằm giải quyết bài toán dự báo đào tạo trong giáo dục và phân tích điểm mạnh điểm yếu của các mô hình. 4. Đối tƣợng và phạm vi nghiên cứu - Đối tƣợng nghiên cứu là lớp bài toán khảo sát, đánh giá, thống kê sử dụng mạng học sâu và các mô hình học sâu dự báo. - Phạm vi nghiên cứu là lý thuyết ứng dụng mạng học sâu cho bài toán dự báo điểm trƣờng Cao đẳng Cơ Khí Nông Nghiệp. 5. Phƣơng pháp nghiên cứu và phƣơng pháp luận 5.1 Phương pháp nghiên cứu 2 a. Về lý thuyết: - Nghiên cứu lý thuyết và tổng hợp các nghiên cứu liên quan đến các phƣơng pháp trong học máy, học sâu. Từ đó xây dựng mô hình, thuật toán học sâu cải tiến và chứng minh tính đúng đắn cho mô hình bằng lý thuyết ứng dụng cho bài toán thực tế. b. Về thực nghiệm: - Thu thập số liệu thực tế để thử nghiệm trên mô hình. - Cài đặt, chạy thử nghiệm mô hình mạng học sâu cải tiến trên các bộ dữ liệu mẫu và dữ liệu thực nhằm chứng minh tính hiệu quả của mô hình đề xuất. 5.2 Phương pháp luận - Về mặt lý thuyết: Phƣơng pháp phân tích, tổng hợp và mô hình hóa lý thuyết từ đó xây dựng cơ sở lý thuyết cho luận văn - Về thực nghiệm: Phƣơng pháp quan sát khoa học, phân tích và tổng kết kinh nghiệm từ đó xây dựng ứng dụng thực nghiệm cho luận văn. 3 CHƢƠNG 1 : GIỚI THIỆU TỔNG QUAN VỀ HỌC MÁY VÀ HỌC SÂU 1.1. Giới thiệu về học máy 1.1.1. Khái niệm học máy Trong những năm gần đây, công nghệ thông tin phát triển mạnh mẽ với thành tựu là AI đƣợc ứng dụng vào nhiều lĩnh vực quan trọng của đời sống, kinh tế, xã hội,... Nhƣ nhận dạng giọng nói, nhận dạng chữ viết, dự đoán kết quả, điều khiển tự động,... Nó đƣợc coi là xu hƣớng công nghệ thế giới và nhiều ngƣời cho rằng đó là cuộc cách mạng công nghiệp lần thứ 4. Chính vì vậy, việc tìm hiểu AI có lẽ cũng là nhu cầu thiết yếu trong bối cảnh hiện tại. AI là các kỹ thuật giúp cho máy tính thực hiện đƣợc những công việc của con ngƣời chúng ta. Trong lĩnh vực AI có một nhánh nghiên cứu về khả năng tự học của máy tính đƣợc gọi là học máy (machine learning). Hiện nay không có 1 định nghĩa chính thức nào về học máy cả nhƣng nổi bật rõ ràng nhất nhƣ sau: - Theo Arthur Samuel (1959): Học máy là ngành học cung cấp cho máy tính khả năng học hỏi mà không cần đƣợc lập trình một cách tƣờng minh. - Học máy (Machine learning) là một lĩnh vực của trí tuệ nhân tạo liên quan đến việc nghiên cứu và xây dựng các kĩ thuật cho phép các hệ thống “học” tự động từ dữ liệu để giải quyết những vấn đề cụ thể: Học từ dữ liệu để trích lọc ra các tri thức (khai phá dữ liệu); Học từ dữ liệu trong quá khứ để dự báo dữ liệu trong tƣơng lai (dự báo). - Machine learning là chƣơng trình chạy trên một mạng thần kinh nhân tạo, có khả năng huấn luyện máy tính “học” từ một lƣợng lớn dữ liệu đƣợc cung cấp để giải quyết những vấn đề cụ thể. Hệ thống Machine Learning đƣợc tạo thành từ 3 thành phần chính:  Mô hình (Model): hệ thống đƣa ra dự đoán hoặc nhận dạng 4  Tham số (Parameters): tín hiệu hoặc nhân tố đƣợc Model sử dụng để đƣa ra quyết định.  Learner: hệ thống điều chỉnh lại parameters và tiếp đó là model bằng cách so sánh sự khác biệt giữa dự đoán và kết quả thực tế. 1.1.2. Các phương pháp học máy Học máy đƣợc phân thành những phƣơng pháp sau đây: Học máy (Machine Learning) Học có giám sát (Supervised learning) Học không có giám sát (Unspervised learning) Học tăng cƣờng (Reinforcement learning) Hình 1.1: Các phương pháp học máy Học có giám sát hay học có thầy (supervised learning): Trong giai đoạn học (huấn luyện), thuật toán học xây dựng hàm đích (hàm dự báo, phân loại) dựa trên các tập mẫu cùng với nhãn phân loại tƣơng ứng (tập dữ liệu huấn luyện). Trong giai đoạn dự báo (phân loại), từ tập mẫu không có nhãn phân loại (tập dữ liệu kiểm tra), hàm đích đƣa ra nhãn phân loại (dự báo) của các mẫu này. Quá trình học đƣợc biểu diễn bằng sơ đồ sau: 5 Mẫu kiểm tra (không nhãn) Mẫu huấn luyện (có nhãn) Thuật toán học máy Hàm đích (dự báo, phân loại) Mẫu kiểm tra (không nhãn) Hình 1.2: Sơ đồ mô tả học máy có hướng dẫn Tìm kiếm trong không gian giả thuyết một giả thuyết phù hợp (khớp) nhất với dữ liệu huấn luyện là bản chất của việc học. Các chủ đề nghiên cứu (hay các công cụ) trong học có thầy bao gồm: - Học cây quyết định ứng dụng trong phân loại và dự đoán. - Học mạng Neural nhân tạo ứng dụng trong phân loại và dự đoán. - Học phân lớp Bayes đơn giản. - Học máy Vector hỗ trợ SVM (Suppor Vector Machines). - Học phân lớp sử dụng công cụ lý thuyết tập thô (rough set theory).  Học không có giám sát hay học không có thầy (unsupervised learning): Là phƣơng pháp học chỉ dựa trên các tập mẫu mà không có nhãn phân loại đi kèm. Các đặc trƣng, các mối tƣơng quan của các mẫu học đƣợc hệ thống học tự khám phá một cách tự động. Các chủ đề nghiên cứu (hay các công cụ) trong học không có thầy bao gồm:  Học phân cụm (Clustering), thuật toán phân cụm K-means.  Học luật kết hợp (Association Rule Learning).  Học dựa trên ví dụ: Phƣơng pháp k-láng giềng gần nhất (k-Nearest Neighbors, kNN).  Học mạng Neural nhân tạo. 6 1.1.3. Ứng dụng của học máy Có rất nhiều ứng dụng thực tế khác nhau của học máy trong nhiều lĩnh vực, sau đây là một số ứng dụng điển hình:  Nhận dạng: Nhận dạng ký tự, phát hiện và nhận dạng mặt ngƣời, nhận dạng tiếng nói.  Y khoa: Chuẩn đoán y tế, dự đoán ngƣời bệnh dựa trên triệu chứng quan sát đƣợc. Ứng dụng trong tin sinh học nhƣ phân tích gen, phân tích chuỗi DNA,…  Kinh doanh: Phân loại khách hàng, dự đoán chỉ số thị trƣờng chứng khoán, giá cả tiêu dùng…  Đào tạo: Dịch tự động, … 1.2. Tổng quan về mạng học sâu (Deep Learning) 1.2.1. Khái niệm học sâu Mạng học sâu cũng đƣợc bắt nguồn từ nền tảng mạng neural nhân tạo và phát triển nhƣ “một lĩnh vực nghiên cứu mới của học máy”, với các mạng lƣới có khả năng "học" mà không bị giám sát từ dữ liệu không có cấu trúc hoặc không đƣợc gắn nhãn. Học sâu tập trung vào các vấn đề hẹp hơn về một tập hợp các công cụ, kỹ thuật máy học và áp dụng chúng để giải quyết các vấn đề cần đòi hỏi về tƣ duy. Ngƣời ta có thể hiểu rằng trí tuệ nhân tạo đƣợc hiểu đơn giản là đƣợc cấu thành từ các lớp xếp chồng lên nhau, trong đó mạng thần kinh nhân tạo nằm ở dƣới đáy, machine learning nằm ở tầng tiếp theo và Deep Learning nằm ở tầng trên cùng. Deep Learning là một phƣơng pháp của Học máy(Machine learning). Nó cho phép chúng ta huấn luyện một AI có thể dự đoán đƣợc các đầu ra dựa vào một tập các đầu vào. Cả hai phƣơng pháp có giám sát và không giám sát đều có thể sử dụng để huấn luyện Deep Learning là máy sử dụng các lớp khác nhau để đào sâu hơn về việc học các đặc điểm của dữ liệu, được huấn luyện ở nhiều cấp độ tương ứng với các 7 mức độ trừu tượng khác nhau của lớp dữ liệu hình thành một hệ thống các tính năng phân cấp từ thấp đến cao. Hình 1.3: Mối quan hệ giữa AI – ML – DL Là một phạm trù nhỏ của Machine learning, Deep learning tập trung giải quyết các vấn đề liên quan đến mạng thần kinh nhân tạo nhằm nâng cấp các công nghệ nhƣ nhận diện giọng nói, tầm nhìn máy tính và xử lý ngôn ngữ tự nhiên. Deep learning đang trở thành một trong những lĩnh vực hot nhất trong khoa học máy tính. Chỉ trong vài năm, Deep learning đã thúc đẩy tiến bộ trong đa dạng các lĩnh vực nhƣ nhận thức sự vật (object perception), dịch tự động (machine translation), nhận diện giọng nói, … Đó là những vấn đề từng rất khó khăn với các nhà nghiên cứu trí tuệ nhân tạo. 1.2.2. Học sâu với bộ não người Trong nỗ lực tạo ra các hệ thống học tƣơng tự nhƣ cách con ngƣời học, kiến trúc cơ bản cho việc học sâu đƣợc lấy cảm hứng từ cấu trúc của bộ não con ngƣời. Vì lý do này, khá nhiều thuật ngữ cơ bản trong học sâu có thể đƣợc ánh xạ trở lại thần kinh học. Tƣơng tự nhƣ cách các tế bào thần kinh hình thành các khối xây 8 dựng cơ bản của não, kiến trúc học sâu chứa một đơn vị tính toán cho phép mô hình hóa các hàm phi tuyến đƣợc gọi là perceptron. Sự kỳ diệu của học sâu bắt đầu với perceptron khiêm tốn. Tƣơng tự nhƣ cách "neural" trong não ngƣời truyền các xung điện trong hệ thống thần kinh của chúng ta, tế bào cảm thụ nhận một danh sách các tín hiệu đầu vào và chuyển chúng thành tín hiệu đầu ra. Perceptron nhằm mục đích hiểu đƣợc biểu diễn dữ liệu bằng cách xếp chồng nhiều lớp lại với nhau, trong đó mỗi lớp chịu trách nhiệm hiểu một số phần của đầu vào. Một lớp có thể đƣợc coi là một tập hợp các đơn vị tính toán học cách phát hiện sự xuất hiện lặp lại của các giá trị. Mỗi lớp perceptron chịu trách nhiệm giải thích một mẫu cụ thể trong dữ liệu. Một mạng lƣới các perceptron này bắt chƣớc cách các neural trong não tạo thành một mạng lƣới, vì vậy kiến trúc đƣợc gọi là mạng neural (hay mạng neural nhân tạo). 1.2.3. Học sâu dựa trên mạng Neural nhân tạo Trong công nghệ thông tin, mạng Neural nhân tạo là một hệ thống các chƣơng trình và cấu trúc dữ liệu mô phỏng cách vận hành của não ngƣời. Các mạng neural này đƣợc xây dựng và phát triển nhƣ bộ não ngƣời, các neural đƣợc kết nối với nhau. Bản thân từng neural này chỉ trả lời đƣợc những câu hỏi hết sức cơ bản chứ không hề thông minh, nhƣng khi đƣợc gộp chung với nhau thì chúng lại có sức mạnh xử lý đƣợc cả những tác vụ khó. Và điều quan trọng ở đây là bằng những thuật toán phù hợp, chúng ta có thể dạy và huấn luyện đƣợc chúng. Theo các giáo sƣ LeCun, Bengio và Hinton, “Học sâu (Deep learning) cho phép các mô hình tính toán gồm nhiều tầng xử lý để học biểu diễn dữ liệu với nhiều mức trừu tƣợng khác nhau”. 9 Hình 1.4: Tế bào thần kinh sinh học(trái) và neural trong mạng neural Thật vậy, trong bộ não ngƣời, tế bào thần kinh là đơn vị tính toán cơ bản. Phần bên trái của Hình 1.4 mô tả một tế bào thần kinh sinh học, bao gồm các thành phần chính là thân tế bào (cell body), trục (axon), sợ nhánh (dendrite) và khớp (synapse) hay “axon terminals” nhƣ trong hình. Bộ não ngƣời chứa khoảng 86 tỉ tế bào thần kinh 1014-1015 khớp thần kinh. Các khớp có vai trò nối một tế bào thần kinh này với các tế bào thần kinh khác thông qua các sợi nhánh. Mỗi neural sinh học có 3 phần cơ bản: - Các nhánh vào cây (dendrites). - Thân tế bào (cell body). - Sợi trục ra (axon). Các nhánh hình cây truyền tín hiệu vào đến thân tế bào. Thân tế bào tổng hợp, xử lý cho tín hiệu đi ra từ thân tế bào này sang neural khác. Điểm liên kết giữa sợi trục của neural này với nhánh hình cây của neural khác gọi là synapse. Liên kết giữa các neural này và độ nhạy của mỗi synapse đƣợc xác định bởi quá trình hóa học phức tạp. 10 Vậy neural sinh học hoạt động theo cách thức sau: nhận tín hiệu đầu vào, xử lý các tín hiệu này và cho ra một tín hiệu output. Tín hiệu output này sau đó đƣợc truyền đi làm tín hiệu đầu vào cho các neural khác. Dựa trên những hiểu biết về neural sinh học mà con ngƣời đã xây dựng neural nhân tạo với hy vọng tạo nên một mô hình có sức mạnh nhƣ bộ não. Phần bên phải của Hình 1.4 mô tả một tế bào thần kinh nhân tạo. Thân tế bào thần kinh nhân tạo, từ đây sẽ gọi tắt là neural, gồm có phần tính tổng có trọng số (weighted sum) các đầu vào và hàm kích hoạt (activation function) f chuyển đổi kết quả tổng tính đƣợc thành đầu vào cho các neural khác. Mạng neural nông Ở dạng cơ bản nhất, mạng neural chứa ba lớp: lớp đầu vào, lớp ẩn và lớp đầu ra. Nhƣ thể hiện trong hình sau, một mạng chỉ có một lớp ẩn đƣợc gọi là mạng nơron nông. Hình 1.5: Mạng neural nông 11