Tài liệu ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUỐC TẾ HỒNG BÀNG  LÊ HỒNG PHONG ỨNG DỤNG MẠNG NEURAL TÍCH CHẬP NHẬN DẠNG KÝ TỰ SỐ VIẾT TAY LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH TP. HỒ CHÍ MINH – NĂM 2016 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUỐC TẾ HỒNG BÀNG LÊ HỒNG PHONG ỨNG DỤNG MẠNG NEURAL TÍCH CHẬP NHẬN DẠNG KÝ TỰ SỐ VIẾT TAY CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC TS.VŨ THANH HIỀN TP. HỒ CHÍ MINH – NĂM 2016 CHUẨN Y CỦA HỘI ĐỒNG BẢO VỆ LUẬN VĂN  Luận văn tựa đề “Ứng Dụng Mạng Neural Tích Chập Nhận Dạng Ký Tự Số Viết Tay” đƣợc “Lê Hồng Phong” thực hiện và nộp nhằm thỏa mãn một trong các yêu cầu tốt nghiệp Thạc sĩ ngành Khoa Học Máy Tính. Ngày bảo vệ lận văn, TPHCM, ngày … tháng … năm 2016 HỘI ĐỒNG CHẤM LUẬN VĂN Chủ tịch Hội đồng Ngƣời hƣớng dẫn GS.TSKH. Hoàng Văn Kiếm ĐH Quốc Tế Hồng Bàng – TP.HCM TS. Vũ Thanh Hiền ĐH Kinh Tế Tài Chính – TP.HCM Ngày … tháng … năm 2016 Ngày … tháng … năm 2016 Hiệu Trƣởng Viện Đào Tạo Sau Đại Học PGS.TS. Thái Bá Cần TS. Thái Hữu Tuấn Ngày … tháng … năm 2016 Ngày … tháng … năm 2016 i CÔNG TRÌNH ĐƢỢC HOÀN THÀNH TẠI TRƢỜNG ĐẠI HỌC QUỐC TẾ HỒNG BÀNG Luận văn thạc sĩ: Ứng Dụng Mạng Neural Tích Chập Nhận Dạng Ký Tự Số Viết Tay. Do học viên: Lê Hồng Phong - Cao học khóa: 2 – Đợt 2 - Ngành: Khoa học máy tính thực hiện Ngƣời hƣờng dẫn: TS. Vũ Thanh Hiền Đã đƣợc bảo vệ trƣớc Hội đồng, ngày: … / … / 2016 theo Quyết định số …, ngày …/…/ 2016 của Hiệu Trƣởng Trƣờng ĐH Quốc Tế Hồng Bàng. Thành phần Hội đồng đánh giá Luận văn Thạc sĩ gồm: STT Họ và tên Chức danh Hội đồng 1 GS.TSKH. Hoàng Văn Kiếm 2 TS.GVC. Võ Xuân Thể Phản biện 1 3 PGS.TS. Đỗ Văn Nhơn Phản biện 2 4 TS. Nguyễn Hòa 5 TS. Bùi Văn Minh Chủ tịch Ủy viên Ủy viên, Thƣ ký Chủ tịch Hội đồng đánh giá luận văn GS.TSKH. Hoàng Văn Kiếm ii LÝ LỊCH CÁ NHÂN - Họ tên: Lê Hồng Phong - Ngày sinh: 03 tháng 09 năm 1987 - Nơi sinh: Bến Tre - Tốt nghiệp PTTH tại Trƣờng Bán Công Bình Đại, năm 2007 - Tốt nghiệp Đại học ngành Công nghệ thông tin tại Trƣờng ĐH Quốc Tế Hồng Bàng, Thành phố Hồ Chí Minh. - Quá trình công tác: Thời gian Nơi công tác Chức vụ Từ năm 2010 đến nay Trƣờng ĐH Quốc Tế Hồng Bàng Thƣ ký văn phòng - Địa chỉ liên lạc: 5/19P Mễ Cốc, P.15, Q.8, TP.HCM - Điện thoại di động: 0983 162 630 - Email: [email protected] iii LỜI CAM ĐOAN Tôi cam đoan rằng luận văn “Ứng dụng mạng Neural tích chập nhận dạng ký tự số viết tay” là bài nghiên cứu của chính tôi. Ngoại trừ những tài liệu tham khảo đƣợc trích dẫn trong luận văn này, tôi cam đoan rằng toàn phần hay những phần nhỏ của luận văn này chƣa từng đƣợc công bố hay đƣợc sử dụng để nhận bằng cấp ở những nơi khác. Không có sản phẩm /nghiên cứu nào của ngƣời khác đƣợc sử dụng trong luận văn này mà không đƣợc trích dẫn theo đúng quy định. Tp. Hồ Chí Minh, ngày … tháng … năm 2016 Tác giả luận văn Lê Hồng Phong iv LỜI CẢM ƠN Tôi xin gửi lời cảm ơn sâu sắc đến TS.Vũ Thanh Hiền – Trƣờng Đại Học Kinh Tế Tài Chính TP.HCM, là ngƣời đã hƣớng dẫn tôi trong suốt quá trình nghiên cứu để tôi có đƣợc những kiến thức quý báu hoàn thành luận văn. Tôi xin bày tỏ lòng biết ơn đến quý thầy quý cô trong Viện Đào tạo Sau Đại học Trƣờng Đại học Quốc tế Hồng Bàng đã cung cấp những kiến thức quý báu cho tôi trong suốt quá trình học tập và nghiên cứu tại trƣờng. Tôi cũng xin gởi lời cảm ơn đến gia đình, đồng nghiệp, bạn bè và những ngƣời thân luôn quan tâm và giúp đỡ tôi trong suốt thời gian học tập và làm luận văn. Do thời gian và kiến thức có hạn nên luận văn chắc không tránh khỏi những thiếu sót nhất định. Tôi rất mong nhận đƣợc sự góp ý quý báu của thầy cô. Trân trọng. Lê Hồng Phong v TÓM TẮT Nhận dạng ký tự viết tay là một lĩnh vực đƣợc quan tâm nghiên cứu và đƣợc ứng dụng rộng rãi trong nhiều lĩnh vực nhƣ: nhận dạng các chữ số trên phiếu chi ngân hàng, mã số trên bì thƣ của dịch vụ bƣu chính, hay các chữ số trên các biểu mẫu … Vấn đề nhận dạng chữ viết tay nói chung và nhận dạng chữ số viết tay nói riêng là một thách thức lớn đối với các nhà nghiên cứu. Bài toán lớn luôn đặt ra phía trƣớc vì sự phức tạp của việc nhận dạng chữ viết phụ thuộc nhiều vào phong cách viết và cách thể hiện ngôn ngữ của ngƣời viết. Mạng Neural dựa trên việc mô phỏng cấp thấp hệ thống Neural sinh học, trong tƣơng lai với sự phát triển mô phỏng Neural sinh học có thể có loại máy tính thông minh thật sự để phát triển lĩnh vực này. Từ những ý tƣởng sáng tạo của các nhà khoa học đƣợc nêu trên và kết hợp với những kiến thức đã có về ký tự số viết tay nên tôi đã chọn đề tài nghiên cứu “Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay”. Hiện nay có rất nhiều phƣơng pháp nhận dạng nhƣng để nhận dạng đƣợc chữ viết tay thì rất khóa khăn, vì vậy ta phải xây dựng một tập cơ sở dữ liệu mẫu về ký tự viết tay khá lớn nhƣng khi xử lý đòi hỏi phải có độ chính xác cao và thời gian thực hiện ngắn nhất. Hệ thống “Ứng Dụng mạng NEURAL Tích chập nhận dạng ký tự số viết tay” nghiên cứu các vấn đề nhƣ sau: - Xử lý và phân tích đƣợc đƣợc các ký tự ảnh đầu vào. Chuyển đổi ký tự sang ma trận điểm ảnh và ma trận Kernel. Tiến hành nhận dạng ký tự bằng thuật toán mạng neural tích chập. Sau quá trình thực nghiệm trên tập dữ liệu thực MNIST, hiển thị kết quả thu đƣợc qua quá trình nhận dạng. vi ABSTRACT Recognizing the handwritten characters and digits is one of the most important fields which is researched and applied in our lives in so many ways. Such as recognizing the characters or number on the receipt papers of the banks, the pin numbers on the envelopes of the post offices, or digits on the form ... The problems of recognizing the handwritten digits and characters cause a big issue to challenge the studying and the scientists. The hard situations and huge questions always occur in the processing of the program because it is so complicated to regconize the hand writing. It depends on the styles of the people who is writing and language expression of the writer. The Neural network based on basic level simulations of biological neural systems , in the future with the development of biological neural simulation sewing machine intelligence have really to develop this field . From these creative ideas of the scientist and the knowledge of handwritten characters and digits, i have chosen the topic "Application convolution neural network recognition of handwritten characters ". Nowadays, there are so many methods of identification , but to recognize the handwriting is very difficult. Even though we must build a large collective database of handwritten characters, when treatment requires high precision and shortest implementation time. System "Application Integration convolution neural network recognition of handwritten characters" study the problem as follows: - Handling and analyzes the input image character. Convert characters into pixel matrix and matrix Kernel. Conduct a character recognition algorithm using neural network - convolution. After the experiments on real data sets MNIST, showing the results obtained through the identification process. vii NHẬN XÉT CỦA GIẢNG VIÊN HƢỚNG DẪN ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... TP. HCM, ngày … tháng … năm 2016 Chữ ký giảng viên viii NHẬN XÉT CỦA GIẢNG VIÊN PHẢN BIỆN 1 ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... TP. HCM, ngày … tháng … năm 2016 Chữ ký giảng viên ix NHẬN XÉT CỦA GIẢNG VIÊN PHẢN BIỆN 2 ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... TP. HCM, ngày … tháng … năm 2016 Chữ ký giảng viên x NHẬN XÉT CỦA HỘI ĐỒNG PHẢN BIỆN ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... ......................................................................................................................................... TP. HCM, ngày … tháng … năm 2016 Chữ ký giảng viên xi DANH MỤC BIỂU ĐỒ HÌNH VẼ Hình 1-1. Mô hình neural sinh học .................................................................................6 Hình 1-2. Mô hình Neural nhân tạo ở mức đơn giản .....................................................7 Hình 1-3. Hàm Heaviside ...............................................................................................8 Hình 1-4. Mô hình mạng 1 tầng...................................................................................10 Hình 1-5. Mô hình mạng đa tầng ..................................................................................11 Hình 2-1. Minh họa một số nhân lọc mịn ảnh ..............................................................15 Hình 2-2. A Lân cận của “?” P= dòng trước; L=lân cận trái ..................................20 Hình 2-3. Ảnh ban đầu (ảnh bên trái) và Tiến trình gán nhãn (ảnh bên phải) .............21 Hình 2-4. Xác định độ nghiêng của ảnh .......................................................................21 Hình 2-5. Các nhân của bộ lọc Sobel ...........................................................................22 Hình 2-6.Các thành phần cấu trúc đối xứng. ...............................................................24 Hình 2-7.Các thành phần cấu trúc không đối xứng. ....................................................25 Hình 2-8.Thành phần cấu trúc phát hiện biên. ............................................................25 Hình 2-9.Minh hoạ dò biên ..........................................................................................26 Hình 2-10.Hướng quy ước mã hóa ...............................................................................26 Hình 2-11.Đường biên đã được mã hóa .......................................................................27 Hình 2-12. Dabs=2 và ci chẵn , ci+1 chẵn ..................................................................27 Hình 2-13. Dabs=2 và ci lẻ, ci+1 lẻ .............................................................................28 Hình 2-14. Dabs=3 và ci chẵn, ci+1 lẻ ........................................................................28 Hình 2-15. Dabs=3, ci lẻ, ci+1 chẵn .............................................................................28 Hình 2-16.Minh hỏa ảnh sau tiền xử lý ........................................................................29 Hình 2-17. Feedforward Neural Network ....................................................................30 Hình 2-18. Image Classification with CNN ..................................................................30 xii Hình 2-19. Minh họa mô hình CNNs ............................................................................31 Hình 2-20. Minh họa việc lấy mẫu con ........................................................................32 Hình 2-21. Ma trận điểm ảnh (ảnh gốc) và ma trận kernel (đóng vai trò làm mặt nạ) cho quá trình tích chập ..................................................................................................33 Hình 2-22. Minh họa phương pháp SAME ...................................................................34 Hình 2-23. Minh họa phương pháp FULL ...................................................................35 Hình 2-24. Minh họa phương pháp VALID .................................................................36 Hình 2-25. Minh họa cách biểu diễn ảnh .....................................................................37 Hình 2-26. Minh họa kết quả tích chập trong kỹ thuật blur .........................................38 Hình 2-27. Minh họa kết quả tích chập trong kỹ thuật sharpen ..................................39 Hình 2-28. Minh họa kết quả tích chập trong kỹ thuật Outline ...................................40 Hình 2-29. Minh họa kết quả tích chập trong kỹ thuật Emboss ...................................40 Hình 3-1. Minh họa mô hình mạng sử dụng trong luận văn ........................................43 Hình 3-2. Minh họa kết quả xác định vùng ảnh chứa ký số ........................................44 Hình 3-3. Lưu đồ xác định hình chữ nhật nhỏ nhất ngoại tiếp ký số cần xác định......46 Hình 3-4. Ảnh trƣớc (kích thƣớc 60X60) và sau (kích thƣớc 32X32) khi thực hiện scale ...............................................................................................................................47 Hình 3-5. Minh họa thao tác thực hiện tích chập ........................................................48 Hình 3-6. Quá trình trích chọn đặc trƣng sử dụng CNNs ............................................49 Hình 4-1. Minh họa dữ liệu có trong cơ sở dữ liệu MNIST .........................................53 Hình 4-2. Giao diện của ứng dụng ...............................................................................54 Hình 4-3. Giao diện của ứng dụng sau khi mở file ảnh ...............................................55 Hình 4-4. Giao diện của ứng dụng sau khi ảnh đƣợc đóng khung ...............................56 Hình 4-5. Ảnh sau khi nhận dạng và đƣa về kích thƣớc chuẩn (32 X 32) ...................57 xiii Hình 4-6. Tùy vào ngƣời dùng chọn ảnh nào bên khung trái, khung phải sẽ hiển thị màu và giá trị màu của các pixel có trong ảnh (32 X 32)..............................................58 Hình 4-7. Hình bên trái: Ma trận điểm của ảnh sau khi thực hiện convolution, từ kích thƣớc 32 X 32 đã giàm còn 28 X 28. Hình bên phải:Ma trận điểm của ảnh sau khi thực hiện subsampling, từ kích thƣớc 28 X 28 đã giàm còn 14 X 14 ...........................59 Hình 4-8. Ảnh ban đầu và kết quả sau khi nhận dạng. .................................................60 xiv DANH MỤC THUẬT NGỮ TIẾNG ANH Neural Networks Mạng Nơron nhân tạo Soma Thân của Nơron Dendrites, Axons Dây dẫn tín hiệu Thershold Ngƣỡng giá trị Neurotransmitters Dẫn truyền thần kinh Transfer function Chức năng chuyển giao Back Propagation Thuật toán lan truyền ngƣợc Histogram biểu đồ Convolution Sự quấn lại Nonlinear activation function Hàm kích hoạt phi tuyến Layer Lớp Location Invariance Tính bất biến Translation Dịch chuyển Rotation Xoay Scaling Nhân rộng xv DANH MỤC THUẬT NGỮ VIẾT TẮT Viết tắt CNNs Viết đầy đủ Convolutional Neural Networks xvi MỤC LỤC CHUẨN Y CỦA HỘI ĐỒNG BẢO VỆ LUẬN VĂN ................................................... i LÝ LỊCH CÁ NHÂN .................................................................................................... iii LỜI CAM ĐOAN .......................................................................................................... iv LỜI CẢM ƠN ...............................................................................................................v TÓM TẮT ............................................................................................................. vi ABSTRACT ............................................................................................................ vii NHẬN XÉT CỦA GIẢNG VIÊN HƢỚNG DẪN ..................................................... viii NHẬN XÉT CỦA GIẢNG VIÊN PHẢN BIỆN 1........................................................ ix NHẬN XÉT CỦA GIẢNG VIÊN PHẢN BIỆN 2..........................................................x NHẬN XÉT CỦA HỘI ĐỒNG PHẢN BIỆN .............................................................. xi DANH MỤC BIỂU ĐỒ HÌNH VẼ .............................................................................. xii DANH MỤC THUẬT NGỮ TIẾNG ANH ..................................................................xv DANH MỤC THUẬT NGỮ VIẾT TẮT .................................................................... xvi MỤC LỤC .......................................................................................................... xvii CHƢƠNG 1. TAY TỔNG QUAN VỀ BÀI TOÁN NHẬN DẠNG KÝ TỰ SỐ VIẾT ...............................................................................................................1 1.1. Phát Biểu Bài Toán.............................................................................................1 1.2. Những khó khăn và thách thức của bài toán nhận dạng chữ viết. ......................3 1.3. Các công trình nghiên cứu trong và ngoài nƣớc. ...............................................4 CHƢƠNG 2. CƠ SỞ LÝ THUYẾT TIỀN XỬ LÍ ẢNH KÍ TỰ ................................6 2.1. KHÁI NIỆM MẠNG NEURAL ........................................................................6 2.1.1. Sơ lƣợc về neural sinh học.........................................................................6 2.1.2. Mạng Neural nhân tạo ...............................................................................7 xvii 2.1.3. Kiến trúc mạng ...........................................................................................9 2.1.4. Mạng một tầng ...........................................................................................9 2.1.5. Mạng Đa Tầng .........................................................................................11 2.2. HUẤN LUYỆN MẠNG NEURAL .................................................................12 2.2.1. Phƣơng pháp học ......................................................................................12 2.2.2. Học có giám sát .......................................................................................12 2.2.3. Học không giám sát .................................................................................12 2.2.4. Học tăng cƣờng ........................................................................................12 2.2.5. Thuật toán huấn luyện mạng ...................................................................13 2.3. LỌC MỊN ẢNH................................................................................................15 2.4. NHỊ PHÂN ẢNH .............................................................................................15 2.5. ĐÁNH NHÃN THÀNH PHẦN LIÊN THÔNG ..............................................18 2.5.1. Tách liên thông bằng kĩ thuật đệ quy ......................................................18 2.5.2. Giải thuật cải tiến .....................................................................................19 2.5.3. Chỉnh nghiêng ..........................................................................................21 2.6. CHUẨN KÍCH THƢỚC ..................................................................................23 2.7. LẤP KHOẢNG TRỐNG ẢNH BẰNG PHÉP ĐÓNG MORPHOLOGY.......23 2.7.1. Một số định nghĩa ....................................................................................23 2.7.2. Phép giãn .................................................................................................24 2.7.3. Phép co.....................................................................................................24 2.7.4. Phép đóng ................................................................................................24 2.8. LẤY ĐƢỜNG BIÊN VÀ LÀM TRƠN ĐƢỜNG BIÊN .................................25 2.8.1. Phát hiện biên ..........................................................................................25 2.8.2. Dò biên và mã hóa đƣờng biên ...............................................................25 xviii