Tài liệu Nghiên cứu, thiết kế và thực hiện cấu trúc vi mạch cho mạng lưới thần kinh tích chập convolutional neural network, hướng ứng dụng chẩn đoán bệnh ung thư vú

ĈҤI HӐC QUӔC GIA TP. HCM 75ѬӠ1*ĈҤI HӐC BÁCH KHOA ---------------o0o--------------- VÕ TҨN PHÁT NGHIÊN CӬU, THIӂT Kӂ VÀ THӴC HIӊN CҨU TRÚC VI MҤCH CHO MҤ1*/ѬӞI THҪN KINH TÍCH CHҰP ± &2192/87,21$/1(85$/1(7:25.+ѬӞNG ӬNG DӨNG CHҬ1Ĉ2È1%ӊ1+81*7+Ѭ9Ò Chuyên ngành: Kӻ ThuұWĈLӋn Tӱ Mã sӕ: 8520203 LUҰ19Ă17+Ҥ&6Ƭ TP. HӖ CHÍ MINH, WKiQJ 08 QăP21 &Ð1*75Î1+ĈѬӦC HOÀN THÀNH TҤI 75ѬӠ1*ĈҤI HӐC BÁCH KHOA ±Ĉ+4*±HCM Cán bӝ Kѭӟng dүn khoa hӑc : PGS. TS. Hoàng Trang Cán bӝ chҩm nhұn xét 1 : TS. Bùi Trӑng Tú Cán bӝ chҩm nhұn xét 2 : TS. NguyӉQ0LQK6ѫQ LuұQYăQWKҥFVƭÿѭӧc bҧo vӋ tҥi Trѭӡng Ĉҥi hӑc Bách Khoa, ĈHQG Tp. HCM ngày 22 tháng 08 QăP2021. Thành phҫn Hӝi ÿӗQJÿiQKJLiOXұn văn thҥFVƭJӗm: 1. Chӫ tӏch: PGS. TS. Hà Hoàng Kha 2. 7KѭNêTS. NguyӉQ/ê7KLrQ7Uѭӡng 3. Ӫy viên: TS. Bùi Trӑng Tú 4. Ӫy viên: TS. NguyӉQ0LQK6ѫQ 5. Ӫy viên: TS. 7UѭѫQJ4XDQJ9LQK Xác nhұn cӫa Chӫ tӏch Hӝi ÿӗQJÿiQKJLi/9Yj7Uѭӣng Khoa quҧn lý chuyên ngành sau khi luұn văn ÿã ÿѭӧc sӱa chӳa (nӃu có). CHӪ TӎCH HӜ,ĈӖNG PGS. TS. HÀ HOÀNG KHA 75ѬӢ1*.+2$Ĉ,ӊN-Ĉ,ӊN TӰ ĈҤI HӐC QUӔC GIA TP.HCM 75ѬӠ1*ĈҤI HӐC BÁCH KHOA CӜNG HÒA Xà HӜI CHӪ 1*+Ƭ$9,ӊT NAM Ĉӝc lұp - Tӵ do - Hҥnh phúc -----‫ކ‬----- -----‫ކ‬----- NHIӊM VӨ LUҰ19Ă1THҤ&6Ƭ Hӑ tên hӑc viên: VÕ TҨN PHÁT 1Jj\WKiQJQăPVLQK Chuyên ngành: Kӻ ThuұWĈLӋn Tӱ MSHV: 1870489 1ѫLVLQK73+&0 Mã sӕ: 8520203 I. 7Ç1Ĉӄ TÀI: Nghiên cӭu, thiӃt kӃ và thӵc hiӋn cҩu trúc vi mҥch cho mҥQJOѭӟi thҫn kinh tích chұp ± convolutional neural netZRUNKѭӟng ӭng dөng chҭQÿRiQEӋnh ung WKѭY~Research, design and implement microchip structure for convolutional neural network, application for breast cancer diagnosis). II. NHIӊM VӨ VÀ NӜI DUNG: - - NhiӋm vө 1 : Tìm hiӇu vӅ ung thu vú, dӵa vào các tiêu FKtQjRÿӇ [iFÿӏnh mӝt QJѭӡi bӋnh hay không bӋnh. Kho dӳ liӋu tәng hӧp các nghiên cӭu vӅ vҩQÿӅ này. NhiӋm vө 2: Tìm hiӇu kiӃn thӭc vӅ cҩu tҥo, chӭFQăQJFӫa vi mҥch nói chung. NhiӋm vө 3: Nghiên cӭu, xây dӵng kiӃn trúc mô phӓng mҥng tích chұp sӱ dөng framework tensorflow, ӭng dөng nhұn biӃt các yӃu tӕ gây ung thu vú dӵDWUrQFѫ sӣ dӳ liӋu khoa hӑc. NhiӋm vө 4: Xây dӵng thiӃt kӃ cҩu trúc phҫn cӭng cӫa vi mҥch trên ӭng dөQJÿӇ hiӋn thӵFKyDP{KuQKÿm[k\Gӵng ӣ nhiӋm vө 3. NhiӋm vө 5: KiӇm tra tính xác thӵc cӫa mҥQJQѫURQFKҥy mô phӓng). III. NGÀY GIAO NHIӊM VӨ : 21/09/2020 IV. NGÀY HOÀN THÀNH NHIӊM VӨ : 13/06/2021 V. CÁN BӜ +ѬӞNG DҮN : PGS. TS. HOÀNG TRANG 7S+&0QJj\WKiQJQăP CÁN BӜ +ѬӞNG DҮN CHӪ NHIӊM BӜ 0Ð1Ĉ¬27ҤO PGS. TS. HOÀNG TRANG 75ѬӢNG KHOA Ĉ,ӊN-Ĉ,ӊN TӰ i Lӡi cҧPѫQ *9+'3*676+2¬1*75$1* LͤI C̪0ˮ1 LӡLÿҫu tiên em xin chân thành cҧPѫQWҩt cҧ quý Thҫy C{ÿmKѭӟng dүn và chӍ bҧo em hӃt sӭc tұn tình trong thӡi gian vӯDTXDÿһc biӋWOjNKRDĈLӋn- ĈLӋn tӱ ÿmWҥRÿLӅu kiӋn thuұn lӧi nhҩt giúp em hoàn thành luұQYăQQj\(Pkính gӱi lӡi cҧm ѫQ ÿӃn Thҫy Hoàng Trang, Thҫy OjQJѭӡi trӵc tiӃSKѭӟng dүn và ViWFiQKFNJQJQKѭOX{QFKRHPFic ý kiӃQÿyQJJySQKҵm JL~SÿӅ WjLQJj\FjQJÿѭӧc hoàn thiӋQKѫQTXDWӯng ngày. Trong phҥm vi cӫDÿӅ tài này, GÿmFӕ gҳQJQKѭQJGRWKӡi gian có hҥn nên luұQYăQYj thiӃt kӃ thi công vi mҥch không tránh khӓi còn nhiӅu hҥn chӃ. VӟLѭӟc mong hӑc hӓi, em rҩt mong nhұQÿѭӧc sӵ ÿyQJJySêNLӃQKѭӟng dүn cӫa quý Thҫy C{ÿӇ WtFKONJ\ÿѭӧc thêm nhiӅu kinh nghiӋm KѫQQӳa, tӯ ÿy tiӃp tөc hoàn thiӋn và phát triӇn ÿӅ tài cӫa mình sau này. Xin chân thành cҧPѫQ Tp. H͛ Chí Minh, ngày tháng QăP . Hӑc viên ii LuұQYăQWKҥFVƭ GVHD: PGS. TS HOÀNG TRANG TÓM TҲT LUҰ19Ă1 8QJWKѭY~OjFăQEӋnh nguy hiӇm và là dҥQJXQJWKѭSKә biӃn nhҩt ӣ phө nӳ. Trong sӕ ÿyXQJWKѭELӇu mô ӕng dүn trӭng xâm lҩn (IDC) là loҥLXQJWKѭY~SKә biӃn nhҩt, theo HiӋp hӝL8QJWKѭ+RD.Ǥ. Tӹ lӋ tӱ vong cao nhҩWGRXQJWKѭY~OjGRWKLӃu nhұn thӭc vӅ tҫm quan trӑng cӫa viӋc phát hiӋn các triӋu chӭng sӟPFNJQJQKѭWKLӃXÿjRWҥo vӅ FiFK[iFÿӏnh các triӋu chӭQJXQJWKѭY~>@0һt khác, xác suҩt cӭu sӕng mӝt phө nӳ bӏ XQJWKѭY~SKө thuӝc chӫ yӃu vào viӋc bӋnh nhân nhұQÿѭӧc chҭQÿRiQEӋnh ӣ JLDLÿRҥQÿҫu và bҳWÿҫXÿLӅu trӏ ngay lұp tӭFKD\NK{QJ>@>@>@'RÿyYLӋF[iFÿӏnh và phân loҥi chính xác các loҥLXQJWKѭY~Oj mӝt nhiӋm vө lâm sàng quan trӑQJWURQJÿyFiFSKѭѫQJSKiSWӵ ÿӝng có thӇ ÿѭӧc sӱ dөQJÿӇ tiӃt kiӋm thӡi gian và giҧm thiӇu sai sót. LuұQYăQ này trình bày công viӋc cӫa chúng tôi vӅ viӋFÿiQKJLiKLӋu quҧ cӫa mӝt kiӃn trúc mҥQJQѫ-ron phӭc hӧp sâu mӟi (CNN) ÿѭӧFÿӅ xuҩt ÿӇ phân loҥi hình ҧnh mô hӑc vú cho các yӃu tӕ QJX\FѫXQJWKѭOjkPWtQKKD\GѭѫQJWtQK1JRjLUDFҩu trúc phҫn cӭng cӫa mô KuQKÿӅ xuҩWÿmÿѭӧc tәng hӧp và xác minh thành công thông qua Altera Quartus. KӃt quҧ chӍ ra rҵng mӝW&11ÿѭӧFÿjRWҥo trên mӝt tұp dӳ liӋu nhӓ ÿmÿҥWÿѭӧc giá trӏ AUC tәng thӇ (Khu vӵFGѭӟLÿѭӡng cong ROC - ROC là tӯ viӃt tҳt cӫDÿһc tính hoҥWÿӝng cӫa máy thu) là 0,922 trên mӝt bӝ 55505 hình ҧnh thӱ nghiӋm. iii LuұQYăQWKҥFVƭ GVHD: PGS. TS HOÀNG TRANG ABSTRACT Breast cancer is a deadly disease and is the most common form of cancer in women. Among them, invasive ductal carcinoma (IDC) is the most common type of breast cancer, according to the American Cancer Society. The highest mortality from breast cancer is due to a lack of awareness about the importance of detecting symptoms early, as well as a lack of training in how to identify breast cancer symptoms [1]. On the other hand, the probability of saving a woman's life with breast cancer depends mainly on whether the patient receives a diagnosis of the disease at an early stage and begins treatment immediately [2] [3] [4]. Therefore, the accurate identification and classification of breast cancers is an important clinical task, where automated methods can be used to save time and minimize errors. This thesis presents our work on evaluating the effectiveness of a proposed new deep complex neural network (CNN) architecture for breast histological image classification for cancer risk factors is negative or positive. In addition, the hardware structure of the proposed model has been successfully synthesized and verified through Altera Quartus. The results indicated that a CNN trained on a small data set achieved an overall AUC value (Area under the ROC curve - ROC stands for receiver operating characteristic) of 0.922 on a set of 55505 test images. iv LuұQYăQWKҥFVƭ GVHD: PGS. TS HOÀNG TRANG LӠ,&$0Ĉ2$1 7{L[LQFDPÿRDQVҧn phҭm luұQYăQ³1JKLrQ&ӭu, ThiӃt KӃ Và Thӵc HiӋn Cҩu Trúc Vi Mҥch Cho MҥQJ/ѭӟi Thҫn Kinh Tích Chұp ± &RQYROXWLRQDO1HXUDO1HWZRUN+ѭӟng Ӭng Dөng ChҭQĈRiQ%ӋQK8QJ7Kѭ9~´OjF{QJWUuQKQJKLrQFӭu cá nhân cӫa tôi trong thӡi gian qua. Toàn bӝ nӝi dung và kӃt quҧ nghiên cӭu là do tôi tӵ tìm hiӇu, phân tích mӝt cách khách quan, trung thӵc, có nguӗn gӕFU}UjQJYjFKѭDÿѭӧc công bӕ Gѭӟi bҩt kǤ hình thӭc nào. Tôi xin chӏu hoàn toàn trách nhiӋm nӃu có sӵ không trung thӵc trong thông tin sӱ dөng trong công trình nghiên cӭu này.         +ӑFYLrQ7iFJLҧ         9}7ҩQ3KiW v LuұQYăQWKҥFVƭ GVHD: PGS. TS HOÀNG TRANG MӨC LӨC 1. 2. GIӞI THIӊU ....................................................................................................................................1 1.1 Tәng quan ...................................................................................................................................1 1.2 Tình hình nghiên cӭXWURQJYjQJRjLQѭӟc .................................................................................1 1.3 NhiӋm vө luұQYăQ ......................................................................................................................2 LÝ THUYӂT ...................................................................................................................................3 2.1 Tәng quan mҥng thҫn kinh ..........................................................................................................3 2.2 Khҧo sát các mô hình mҥQJQѫURQ ............................................................................................3 2.2.1 Mҥng tiӃQÿѫQPӭc: .........................................................................................................3 2.2.2 Mҥng tiӃQÿDPӭc:............................................................................................................4 2.2.3 Mҥng thҫn kinh tích chұp (Convolutional neural network):.............................................6 2.3 Hàm mҩt mát (loss function): ......................................................................................................8 2.4 Các luұt huҩn luyӋn cho mҥQJQѫURQ ........................................................................................9 2.5 Khҧo sát chӑn hàm tích cӵc ......................................................................................................24 2.5.1 Hàm kích hoҥt ReLU......................................................................................................24 2.5.2 Hàm Softmax..................................................................................................................26 2.6 3. Tensorflow-XLA .......................................................................................................................27 THIӂT Kӂ VÀ THӴC HIӊN KIӂN TRÚC MҤNG THҪN KINH TÍCH CHҰ3Ĉӄ XUҨT ......28 3.1 Dӳ liӋu huҩn luyӋn ....................................................................................................................28 3.1.1 Phân tích tәng quan bӝ dӳ liӋu .......................................................................................28 3.1.2 Hình ҧnh cӫa mô khӓe mҥnh so vӟLP{XQJWKѭ ............................................................29 3.1.3 7ăQJVӕ Oѭӧng dӳ liӋu (Data Augmentation)..................................................................31 3.1.4 Chia bӝ dӳ liӋu cho các nhiӋm vө huҩn luyӋn và kiӇm tra.............................................31 3.2 Thӵc hiӋn kiӃn trúc mô hình mҥng thҫQNLQKÿӅ xuҩt ...............................................................32 3.2.1 Thӵc thi kiӃn trúc mҥng thҫn kinh tích chұp ..................................................................32 3.2.2 Thӵc hiӋn kiӃn trúc phҫn cӭng cho mҥng thҫn kinh tích chұSÿӅ xuҩt ..........................35 3.2.2.1 LegUp .....................................................................................................................35 3.2.2.2 LeFlow ...................................................................................................................36 vi LuұQYăQWKҥFVƭ 3.2.2.3 4. 5. GVHD: PGS. TS HOÀNG TRANG KiӃn trúc phҫn cӭng cho mҥng thҫn kinh tích chұp ...............................................36 KӂT QUҦ THӴC HIӊN ................................................................................................................39 4.1 Tóm tҳt kӃt quҧ ÿҥWÿѭӧc...........................................................................................................39 4.2 Các cҧi tiӃn và kӃt quҧ chi tiӃt ..................................................................................................40 4.2.1 Quy trình huҩn luyӋn mҥng ............................................................................................40 4.2.2 KiӃn trúc mҥng thҫn kinh tích chұSÿӅ xuҩt ...................................................................42 4.2.3 KӃt quҧ thӵc hiӋn mô phӓng trên phҫn cӭng..................................................................44 KӂT LUҰ19¬+ѬӞNG PHÁT TRIӆN .....................................................................................45 5.1 KӃt luұn .....................................................................................................................................45 5.2 Hѭӟng phát triӇn .......................................................................................................................45 TÀI LIӊU THAM KHҦO ......................................................................................................................46 vii LuұQYăQWKҥFVƭ GVHD: PGS. TS HOÀNG TRANG DANH SÁCH HÌNH 0,1++Ӑ$ Hình 1 Mô hình neuron tiêu chuҭn...........................................................................................................3 +uQK0{KuQK3HUFHSWURQÿѫQOӟp.........................................................................................................4 +uQK0{KuQKSHUFHSWURQÿDOӟp ...........................................................................................................6 Hình 4 Bӝ lӑFNtFKWKѭӟc 3x3 ..................................................................................................................6 Hình 5 KӃt quҧ sau khi bӝ lӑF³WUѭӧW´......................................................................................................6 Hình 6 Mô hình mҥQJQѫURQYӟi bӝ vector vào-ra mong muӕn ܺሺ݇ሻǡ ݀ሺ݇ሻ.........................................10 Hình 7 Mô hình mӝWQ~WÿѫQJLҧn trong biӇXÿӗ tính toán CNN ...........................................................13 Hình 8 Mô hình mӝWQ~WÿѫQJLҧn trong biӇXÿӗ tính toán CNN nhұQÿѭӧc giá trӏ truyӅn vӅ tӯ hàm mҩt mát ..........................................................................................................................................................13 Hình 9 Mô hình minh hӑa quá trình tính toán sai lӋch (loss gradient) ...................................................14 Hình 10 Ma trұn pixel ngõ vào X ...........................................................................................................14 Hình 11 Ma trұn pixel bӝ lӑc F ..............................................................................................................14 Hình 12 KӃt quҧ thӵc hiӋn tích chұp ......................................................................................................14 Hình 13 Mô hình minh hӑDTXiWUuQKWtQKWRiQQJѭӧc ...........................................................................15 Hình 14 Minh hӑa phép tính chұp tính toán giá trӏ ÿҥo hàm mҩt mát theo F .........................................19 Hình 15 Lұt bӝ lӑc F 1800 ......................................................................................................................23 Hình 16 Minh hӑa phép tích chұSÿҫ\ÿӫ (full convolution) tính toán giá trӏ ߲‫ ߲ܺܮ‬.............................23 +uQKĈӗ thӏ hàm ReLU .....................................................................................................................25 +uQKĈӗ thӏ hàm Tanh.......................................................................................................................25 +uQKĈӗ thӏ hàm Softmax .................................................................................................................26 Hình 20 Tóm tҳt tәng quan dӳ liӋu ........................................................................................................28 Hình 21 Hình ҧnh biӇu thӏ FiFP{GѭѫQJWtQK .......................................................................................29 Hình 22 Hình ҧnh biӇu thӏ các mô âm tính ............................................................................................29 Hình 23 BiӇXÿӗ nhiӋt (nhӏ phân) thӇ hiӋn các khu vӵFXQJWKѭFy[XKѭӟng xuҩt hiӋn .......................30 Hình 24 BiӇXÿӗ nhiӋt thӇ hiӋn các khu vӵFXQJWKѭFy[XKѭӟng xuҩt hiӋn ........................................31 Hình 25 Mô hình chia tách dӳ liӋu thành các tұp dӳ liӋu riêng biӋt ......................................................32 viii LuұQYăQWKҥFVƭ GVHD: PGS. TS HOÀNG TRANG Hình 26 KiӃn trúc mҥng thҫn kinh hӑFVkXÿӅ xuҩt cho chҭQÿRiQXQJWKѭP{WӃ bào vú ....................33 Hình 27 KiӃn trúc mҥng thҫn kinh nhân tҥRÿѭӧc biӇu diӉQGѭӟi dҥng Tensor graph ..........................34 Hình 28 Tәng quan cách hoҥWÿӝng cӫa LegUp[28] ..............................................................................35 Hình 29 Mô hình chuyӇQÿәi hoҥWÿӝng tӯ phҫn mӅm sang phҫn cӭng .................................................36 Hình 30 KiӃn trúc phҫn cӭng mҥng thҫn kinh (post-mapping) ..............................................................37 Hình 31 KiӃn trúc phҫn cӭng Register-transfer level (RTL) cӫa mҥng thҫn kinh .................................38 Hình 32 Tóm tҳt kӃt quҧ mô phӓng phҫn cӭng ......................................................................................40 Hình 33 BiӇXÿӗ traning mô hình phân loҥLÿѭӧFÿӅ xuҩWÿҫu tiên cӫa chúng tôi sӱ dөng Adam .........41 Hình 34 BiӇXÿӗ traning mô hình phân loҥLÿѭӧFÿӅ xuҩWÿҫu tiên cӫa chúng tôi sӱ dөng Adadelta ....41 Hình 35 BiӇXÿӗ traning mô hình phân loҥLÿѭӧFÿӅ xuҩt thӭ hai cӫa chúng tôi sӱ dөng Adam ..........41 Hình 36 BiӇXÿӗ traning mô hình phân loҥLÿѭӧFÿӅ xuҩt thӭ hai cӫa chúng tôi sӱ dөng Adadelta ......41 +uQKĈѭӡQJFRQJ52&FKRFiFSKѭѫQJWKӭc tiӃp cұQWURQJÿӅ tài ..................................................44 ix LuұQYăQWKҥFVƭ GVHD: PGS. TS HOÀNG TRANG DANH SÁCH BҦNG SӔ LIӊU Bҧng 1 Bҧng tәng hӧp thông sӕ các lӟp mҥng .......................................................................................35 Bҧng 2 Bҧng thӕng kê dӳ liӋu ................................................................................................................39 Bҧng 3 ThӕQJNrVRViQK$8&FKRFiFSKѭѫQJSKiS ...........................................................................39 Bҧng 4 Confusion matrix cӫa mô hình thӭ nhҩt ....................................................................................42 Bҧng 5 Confusion matrix cӫa mô hình thӭ hai ......................................................................................42 x LuұQYăQWKҥFVƭ GVHD: PGS. TS HOÀNG TRANG 1. GIӞI THIӊU 1.1 Tәng quan 8QJWKѭY~ OjORҥL XQJWKѭ WKѭӡQJJһSQKҩWYjJk\ WӱYRQJ KjQJÿҫXӣ SKөQӳ QKLӅX QѭӟF. Theo &ѫTXDQ1JKLrQFӭX8QJWKѭ7KӃJLӟL (IARC)[5@YjRQăP VӕFDPҳFPӟLOj QJѭӡLFKLӃPWURQJWәQJVӕFiFORҥLXQJWKѭӣSKөQӳWUrQWRjQ WKӃJLӟL&NJQJ theo IARC, VӕFDWӱYRQJWtQKULrQJWURQJQăPOjQJѭӡLFKLӃPWәQJVӕFD WӱYRQJGRXQJWKѭWUrQWRjQWKӃWKӟL. 8QJ WKѭ Y~ ÿDQJ WUӣ QrQ SKә ELӃQ WҥL FiF QѭӟF ÿDQJ SKiW WULӇQ 7ҥL 9LӋW 1DP, QăP 2018ӣQӳJLӟLXQJWKѭY~OjORҥL XQJWKѭ FyWҫQVXҩWFDRQKҩW YӟL [XҩWÿӝ FKXҭQKyDWKHR WXәLOj (trên 100 000 dân). 7KHRVӕOLӋXQăPWӯ,$5&VӕFDPҳFPӟLWҥL91OjYjWӱYRQJOjFD Ĉk\ Oj PӝW EӋQK KӃW VӭF SKӭF WҥS Pj WURQJ QKLӅX QăP TXD ÿm Fy QKLӅX QJKLrQ FӭX YӅ nguyên nhân, EӋQKVLQK và ÿLӅXWUӏ0ӝWÿLӅXTXDQWUӑQJFҫQSKҧLQKұQWKҩ\OjYLӋF phát KLӋQVӟPXQJWKѭY~TXDVӵWҫPVRiWӣQKӳQJSKөQӳEuQKWKѭӡQJÿmOjPWKD\ÿәLU} UjQJEӋQKVӱWӵQKLrQFӫDEӋQKFNJQJQKѭFҧLWKLӋQÿiQJNӇWLrQOѭӧQJEӋQK HiӋn nay có nhiӅXSKѭѫQJSKiSÿӇ chҭQÿRiQEӋQKXQJWKѭY~WX\QKLrQӭng dөng trí thông minh nhân tҥRÿӇ chҭQÿRiQOjPӝWSKѭѫQJSKiSJL~SWLӃt kiӋm thӡi gian, chi phí và ít bӏ xâm lҩQKѫQĈyQJYDLWUzQKѭPӝWFѫVӣ ÿӕi chiӃXÿiQJWLQFұ\JL~SFiFEiFVƭÿѭDUDTX\Ӄt ÿӏnh chuҭQ[iFKѫQ Công viӋFÿѭӧc trình bày ӣ ÿk\FKRWKҩy khҧ QăQJVӱ dөng các mҥng thҫn kinh nhұn dҥng các yӃu tӕ QJX\FѫFӫa bӋQKXQJWKѭY~Yӟi nhӳng cân nhҳc thӵc tӃ vӅ NtFKWKѭӟc mҥng thҫn kinh, cách sӱ dөng và triӇn khai hӋ thӕng. Bên cҥQKÿy kiӃn trúc mҥng ÿѭӧc ÿӅ xuҩt FNJQJ sӁ ÿѭӧc tәng hӧp và xác nhұn sӱ dөng Altera Quartus QKѭPӝt nӛ lӵFÿӇ ÿiQKJLiWtQKNKҧ thi cӫa hӋ thӕng tiӃp cұn. 1.2 Tình hình nghiên cӭXWURQJYjQJRjLQѭӟc +LӋQQD\WURQJQѭӟFYLӋFVӱGөQJWUtWK{QJPLQKQKkQWҥRÿӇFKҭQÿRiQEӋQKFzQQKLӅX KҥQ FKӃ 9үQ FzQ FҫQ QKLӅX WKӡL JLDQ ÿӇ WKӵF Vӵ SKiW WULӇQ ÿ~QJ YӟL WLӅP QăQJ 7UrQ WKӃ JLӟL YLӋF Vӱ GөQJ WUt WK{QJ PLQK QKkQ WҥR WURQJ FKҭQ ÿRiQ XQJ WKѭ ÿDQJ Jk\ UD UҩWQKLӅXWLӃQJYDQJOӟQQKӡYjRÿӝFKtQK[iFFӫDQyWX\QKLrQYүQFzQPӝWVӕKҥQFKӃFy WKӇVӁÿѭӧFNKҳFSKөFYjWUӣQrQKRjQWKLӋQWURQJWѭѫQJODLJҫQ. Trong [6-16@0ҥQJWKҫQNLQKFKX\ӇQÿәL&11- PӝWWUѭӡQJFRQFӫDPi\KӑFFNJQJÿm ÿѭӧFVӱGөQJÿӇSKkQORҥLKuQKҧQKP{EӋQKKӑFOjOjQKWtQKKD\iFWtQK 1 LuұQYăQWKҥFVƭ GVHD: PGS. TS HOÀNG TRANG 7X\QKLrQWURQJFiFSKѭѫQJSKiSFӫDFiFWjLOLӋXQJKLrQFӭXÿmÿӅFұSӣWUrQYLӋFOӵa FKӑQWULӇQNKDLSKҫQFӭQJFKRFiFNLӃQWU~F&11tWÿѭӧFFK~êPһFGOӧLtFKFӫDYLӋFWULӇQ NKDLSKҫQFӭQJ PҥQJ&11ÿmÿѭӧFFKӭQJPLQK>-19@YӟLJLDLÿRҥQVX\OXұQGRNLӃQWU~F VRQJVRQJYjKLӋXVXҩW cao WUrQPӝWÿѫQYӏF{QJVXҩW%rQFҥQKÿySKҫQFӭQJFyQKӳQJKҥQ FKӃGRWjLQJX\rQSKҫQFӭQJFyKҥQ'RÿyÿLӅXTXDQWUӑQJOjSKҧLWuPUDPӝWNLӃQWU~FSKҫQ FӭQJKLӋXTXҧFӫD &11ÿӇFXQJFҩSFKRQyNKҧQăQJWKӵFKLӋQ QKLӅXWtQKWRiQKѫQ. 1.3 NhiӋm vө luұQYăQ LuұQYăQ Qj\ÿӅ xuҩt mӝt mô hình có khҧ QăQJWULӇn khai phҫn cӭng mҥng CNN và khҳc phөc vҩQÿӅ giӟi hҥn tài nguyên phҫn cӭng. KiӃn trúc cӫDP{KuQKÿѭӧc xây dӵng vӟi kích WKѭӟc phù hӧSÿӇ ÿiSӭng khҧ QăQJWULӇn khai trong phҫn cӭng và nó sӁ ÿӫ linh hoҥWÿӇ thay ÿәi mӝt sӕ lӟp hoһc cho mөFÿtFKÿjRWҥo lҥi khi có sӵ WKD\ÿәi trong dӳ liӋXÿҫXYjRĈӗng thӡLP{KuQKÿѭӧFÿӅ xuҩt sӁ ÿҥWÿѭӧc giá trӏ AUC (DiӋQWtFKGѭӟLÿѭӡng cong ROC) tәng thӇ WѭѫQJÿѭѫQJYӟi kӃt quҧ ÿmÿѭӧc công bӕ cӫa các bài báo khoa hӑc dùng chung bӝ dӳ liӋu ÿѭӧc sӱ dөng trong luұQYăQQj\ cho nhiӋm vө phát hiӋn XQJWKѭY~ trên bӝ 55505 hình ҧnh thӱ nghiӋm. 2 LuұQYăQWKҥFVƭ GVHD: PGS. TS HOÀNG TRANG 2. LÝ THUYӂT 2.1 Tәng quan mҥng thҫn kinh *LҧÿӏQKUҵQJQJѭӡLÿӑFFyYӕQNLӃQWKӭFQKҩWÿӏQKYӅFiFNKiLQLӋPFKXQJFӫDPҥQJ WKҫQNLQKWX\QKLrQ PӝWVӕNKiLQLӋPTXDQWUӑQJYүQVӁÿѭӧFWUuQKEj\VDXÿk\. 0{KuQKWRiQKӑFWLrXFKXҭQFӫDPӝWQѫURQÿѭӧFWKӇKLӋQӣKuQKQѫURQOҩ\WәQJFӫD FiFWUӑQJVӕÿmÿѭӧFQKkQYӟLÿҫXYjRWѭѫQJӭQJ1J}UDFӫDQѫURQOjNӃWTXҧFӫDKjP NtFKKRҥWYӟLQJ}YjROjNӃWTXҧFӫDSKpSWtQKWәQJQrXWUrQ bi x1 w1 x2 w2 si f(si) yi : : wn xn Hình 1 Mô hình neuron tiêu chuҭn 2.2 Khҧo sát các mô hình mҥQJQѫURQ 2.2.1 Mҥng tiӃQÿѫQPӭc: Trong mӝt mҥQJQѫURQSKkQPӭFFiFQѫURQÿѭӧc tә chӭFGѭӟi dҥng các mӭc. Vӟi dҥng ÿѫQJLҧn nhҩt cӫa mҥng phân mӭc, chúng ta có mӝt mӭFÿҫu vào gӗm các nút nguӗn chiӃu trӵc tiӃp tӟi mӭFÿҫu ra cӫDFiFQѫURQ1KѭYұy, mҥng thӵc sӵ OjNK{QJFyFKXWUuQK1yÿѭӧc minh hӑa trong hình 2 FKRWUѭӡng hӧSEDQ~Wÿӕi vӟi cҧ mӭFÿҫu rDYjÿҫu vào. Mӝt mҥQJQKѭ vұ\ÿѭӧc gӑi là mҥQJÿѫQPӭFĈѫQPӭc tӭc là chӍ có mӝt mӭc, chính là mӭFÿҫu ra gӗm các nút tính toán. Chúng ta không tính mӭFÿҫu vào cӫa các nút nguӗn vì không có tính toán nào ÿѭӧc thӵc hiӋn ӣ ÿk\. Mҥng tiӃQÿѫQPӭc hay còn gӑi là perceptron mӝt lӟp có cҩXWU~FÿѫQJLҧn và dӉ thӵc hiên, tuy nhiên mҥng này không có lӟp ҭn (hidden layer) giӳa lӟp ngõ vào vӟi lӟp ngõ ra, do ÿyFyKҥn chӃ trong viӋc sӱ dөng nó cho nhӳng bài toán phӭc tҥp. Ngõ ra cӫa mҥng (có xét tӟi hӋ sӕ biaVÿѭӧc thӵc hiӋn bӣi công thӭc và hình vӁ sau. 3 LuұQYăQWKҥFVƭ GVHD: PGS. TS HOÀNG TRANG ே ‫݋‬௜ ൌ ݂ ቌ෍ ‫ݓ‬௜௝ ൈ ‫ݔ‬௝ ൅ ߠ௜ ቍ ௝ୀଵ Công thӭc 1 Hình 2 0{KuQK3HUFHSWURQÿѫQOӟp TroQJÿy x oi 7ѭѫQJӭng vӟi ngõ ra cӫDQѫURQWKӭ i x wij 7ѭѫQJӭng vӟi trӑng sӕ kӃt nӕi giӳa ngõ vào thӭ MÿӃQQѫURQWKӭ i x ࣄi : HӋ sӕ bias cӫDQѫURQWKӭ i x n : Sӕ ngõ vào cӫa mҥQJQѫURQPӝt lӟp 2.2.2 Mҥng tiӃQÿDPӭc: Mҥng perceptron nhiӅu lӟp (multilayer feedforward networks) có nhiӅu lӟSQѫURQPӝt hoһc không có lӟp vào, mӝt hay nhiӅu lӟp ҭn và mӝt lӟp ra. 7Uѭӡng hӧp tәng quát, mҥng QѫURQVӁ có nhiӅXKѫQOӟp, lúc này mҥng sӁ có mӝt lӟp QJ}YjR,QSXW/D\HUÿѭӧc kӃt nӕi tӯ các ngõ vào cӫa mҥng (x1, x2, ...., xn), mӝt hay nhiӅu lӟp ҭn (Hidden Layer) không trӵc tiӃp kӃt nӕi vӟi ngõ vào và ngõ ra cӫa mҥng, mӝt lӟp ngõ ra cӫa mҥng (Output layer) kӃt nӕi vӟLÿҫu ra cӫa mҥng(o1, o2, ..., oM). 3KѭѫQJWUuQKWәng quát tính output cӫa mҥng (có xét tӟi hӋ sӕ ELDVÿѭӧc thӵc hiӋQQKѭVDX: ;pWQѫURQWKӭ q lӟp (s-1) có tәng trӑng sӕ là: 4 LuұQYăQWKҥFVƭ GVHD: PGS. TS HOÀNG TRANG ௠ ሺ௦ିଵሻ ‫ܪ‬௤ ሺ௦ିଵሻ ൌ ෍ ‫ݓ‬௤௝ ሺ௦ିଶሻ Ǥ ‫݋‬௝ ሺ௦ିଵሻ ൅ ߠ௤ ௝ୀଵ Công thӭc 2 Tín hiӋu ra cӫDQѫURQWKӭ q lӟp (s-1) là: ሺ௦ିଵሻ ‫݋‬௤ ሺ௦ିଵሻ ൌ ݂ሺ‫ܪ‬௤ ሻ Công thӭc 3 ;pWQѫURQWKӭ i cӫa lӟp s có tәng trӑng sӕ là: ௠ ሺ௦ିଵሻ ௦ ‫ܪ‬௜௦ ൌ  ෍ ‫ݓ‬௜௤ Ǥ ‫݋‬௤ ௤ୀଵ ௠ ௠ ሺ௦ିଵሻ ൅ ߠ௜ ൌ ෍ ‫ݓ‬௜௤ Ǥ ݂ ቌ෍ ‫ݓ‬௤௝ ௤ୀଵ ሺ௦ିଶሻ Ǥ ‫݋‬௝ ሺ௦ିଵሻ ൅ ߠ௤ ቍ ൅ ߠ௜ ௝ୀଵ Công thӭc 4 Tín hiӋu ra cӫDQѫURQWKӭ i cӫa lӟp ngõ ra sӁ là: ‫݋‬௜௦ ൌ ݂ሺ‫ܪ‬௜௦ ሻ Công thӭc 5 TroQJÿy ሺ௦ିଵሻ x ‫ݓ‬௤௝ : Trӑng sӕ kӃt nӕi giӳa ngõ ra cӫDQѫURQ thӭ j trong lӟp (s-2) và ngõ vào cӫa Qѫ ron thӭ q trong lӟp (s-1) x ‫݋‬௝ x ߠ௤ x ‫ܪ‬௤ x x x ሺ௦ିଵሻ ‫݋‬௤ : Tín hiӋu ngõ ra cӫa QѫURQ thӭ q trong lӟp (s-1) ௦ ‫ܪ‬௜ : Tәng trӑng cӫa QѫURQ thӭ i trong lӟp (s) ௦ ‫ݓ‬௜௤ : Trӑng sӕ kӃt nӕi giӳa ngõ ra cӫa QѫURQ thӭ q trong ሺ௦ିଶሻ : Tín hiӋu ngõ ra cӫa QѫURQ thӭ j trong lӟp (s-2) ሺ௦ିଵሻ : HӋ sӕ bias cӫa QѫURQ thӭ q trong lӟp (s-1) ሺ௦ିଵሻ : Tәng trӑng cӫa QѫURQ thӭ q trong lӟp (s-1) lӟp (s-1) và ngõ vào cӫDQѫ ron thӭ i trong lӟp (s) ‫݋‬௜௦ : Tín hiӋu ngõ ra cӫa QѫURQ thӭ i trong lӟp (s) 5 LuұQYăQWKҥFVƭ GVHD: PGS. TS HOÀNG TRANG Hình 3 0{KuQKSHUFHSWURQÿDOӟp 2.2.3 Mҥng thҫn kinh tích chұp (Convolutional neural network): Thӡi gian gҫQÿk\0ҥng thҫn kinh tích chұp (CNNs) dҫQÿѭӧc quan tâm nhiӅXKѫQ. Vì CNN có thӇ [iFÿӏnh mӕi quan hӋ không gian trong dӳ liӋu và hình ҧnhGRÿy&11ÿѭӧc chӑn QKѭNLӃn trúc nӅn tҧQJÿӇ thӵc hiӋQÿӅ tài này. MҥQJQѫ-ron không cҫn phҧi có hình thӭc kӃt nӕi tӯQJÿҫu vào vӟi mӛLQѫ-ron. Trong thӵc tӃ, tӃ bào thҫn kinh có thӇ thӵc hiӋn hҫXQKѭEҩt kǤ hoҥWÿӝng nào miӉn là nó khác biӋt. Mӝt kiӃn trúc mҥng thҫn kinh phә biӃn khác là mҥQJQѫron tích chұp (CNN)YD\Pѭӧn tích chұp 2d tӯ FiFWUѭӡQJQKѭ[ӱ lý ҧnh. CNN có thӇ ÿѭӧF[HPQKѭOj³WUѭӧW´Pӝt bӝ lӑc nhӓ trên mӝt hình ҧnh ӣ cҩSÿӝ FiFÿLӇm ҧnh (pixels). Trong khi bӝ lӑFWUѭӧt, mӑi sӕ chӗng lҩSÿѭӧc QKkQOrQYjVDXÿyFiFQJ} UDÿѭӧc tính tәQJÿӇ tҥo ra pixel ngõ ra cuӕi cùng. Mӝt ví dө ÿѭӧc minh hӑa trong Hình 4 và 5[20]. Hình 4 Bӝ lӑFNtFKWKѭӟc 3x3 Hình 5 KӃt quҧ sau khi bӝ lӑF³WUѭӧW´ NӃXFK~QJWDFyNtFKWKѭӟc hình ҧnh ܰ ൈ ܰ YjNtFKWKѭӟc bӝ lӑc ‫ ܨ‬ൈ ‫ ܨ‬thì sau khi tích chұp kӃt quҧ sӁ là: 6 LuұQYăQWKҥFVƭ GVHD: PGS. TS HOÀNG TRANG ሺܰ ൈ ܰሻ ‫ כ‬ሺ‫ ܨ‬ൈ ‫ܨ‬ሻ ൌ ሺܰ െ ‫ ܨ‬൅ ͳሻ ൈ ሺܰ െ ‫ ܨ‬൅ ͳሻ Công thӭc 6 Theo ví dө trên, vӟi ҧQKSL[HOQJ}YjRNtFKWKѭӟc 5x5 sau khi bӝ lӑFNtFKWKѭӟc 3x3 ³WUѭӧW´WDWKXÿѭӧc kӃt quҧ là ma trұn pixel vӟLNtFKWKѭӟc 3x3. Chúng ta có thӇ quan sát rҵQJNtFKWKѭӟc cӫa ngõ ra nhӓ KѫQQJ}YjRĈӇ duy trì kích WKѭӟc cӫa ngõ ra bҵng vӟLNtFKWKѭӟc ngõ vào, phҫQÿӋm (padding) có thӇ ÿѭӧc sӱ dөngĈӋm là mӝt quá trình thêm sӕ không vào ma trұn ӣ ngõ vào mӝt cách ÿӕi xӭng. NӃu chúng ta áp dөng bӝ lӑc  ൈ  trong ma trұQÿҫu vào ሺ ൅ ʹ’ሻ  ൈ  ሺ ൅ ʹ’ሻ vӟi phҫQÿӋm, thì chúng ta sӁ nhұQÿѭӧFNtFKWKѭӟc ma trұQÿҫu ra ሺ ൅ ʹ’ െ  ൅ ͳሻ  ൈ  ሺ ൅ ʹ’ െ  ൅ ͳሻ 1KѭFK~QJWDELӃt rҵng sau khi áp dөng phҫQÿӋm, chúng ta sӁ có ma trұn ngõ ra có FQJNtFKWKѭӟc vӟLNtFKWKѭӟc vӟi ma trұn ӣ ngõ vào YjREDQÿҫuሺ ൈ ሻ'RÿyFK~QJ ta có: ሺ ൅ ʹ’ െ  ൅ ͳሻ ൈ  ሺ ൅ ʹ’ െ  ൅ ͳሻ ൌ  ൈ  ൏ൌ൐  ൅ ʹ’ െ ൅ ͳ ൌ  ܵ‫ܽݎݕݑ‬ǣ’ ൌ ሺ െ ͳሻ ʹ Công thӭc 7 Tӯ công thӭc 7 rút ra rҵng NtFKWKѭӟc bӝ ÿӋm tùy thuӝFYjRNtFKWKѭӟc bӝ lӑc. ViӋc triӇn khai các mҥng thҫQNLQKÿmÿѭӧc sҳp xӃp hӧp lý nhӡ FiFWKѭYLӋQÿѭӧc xây dӵng xung quanh symbolic differentiation, tӕLѭXKyDÿҥi sӕ tuyӃn tính và sӱ dөQJ*387Uѭӟc khi có các công cө này, cҫn phҧi tính toán sai sӕ OLrQTXDQÿӃn hàm mҩt mát cho mӝt tham sӕ ÿmFKRPӝt cách thӫ công, công viӋFÿzLKӓi quá trình tính toán rҩt phӭc tҥS7KD\YjRÿyYӟi các công cө này các giá trӏ mҩW PiW ÿѭӧc tӵ ÿӝng tính toán bҵng cách sӱ dөng symbolic differentiation. VӅ bҧn chҩt, các hoҥWÿӝQJÿѭӧc chuyӇn thành mӝt biӇXÿӗ bao gӗm các nút và các cҥQKÿӇ FiFÿҥo hàm có thӇ ÿѭӧF[iFÿӏnh bҵng thuұt toán. Mã tӕLѭXKyDVDXÿyFyWKӇ ÿѭӧc tҥo bҵng các hoҥWÿӝQJÿҥi sӕ tuyӃn tính tùy chӍnh, tӯ ÿyJL~SJLҧPÿӝ phӭc tҥp và tұn dөng phҫn cӭQJQKѭ*38 7URQJÿӅ tài này, framework Tensorflow[21@ÿѭӧc sӱ dөng. Tensorflow làm cho viӋc xây dӵng kiӃn trúc mҥng và tҥo ra bҧn mүu trӣ nên nhanh chóng và thuұn tiӋQKѫQ7KѭYLӋn hӛ trӧ 7 LuұQYăQWKҥFVƭ GVHD: PGS. TS HOÀNG TRANG mӝt sӕ lӟp mҥng phә biӃQ[iFÿӏQKWUѭӟc, có thӇ kӇ ÿӃQQKѭFiFOӟp dense hay các lӟp tích chұp. Cùng vӟLÿyYLӋc tùy chӍnh các lӟp hoһFSKѭѫQJWKӭc huҩn luyӋQFNJQJGӉ GjQJKѫQGR tính chҩt mã nguӗn mӣ cӫDIUDPHZRUNFNJQJQKѭFiFPүu có sҹn trong tài liӋXĈӗng thӡi mӝt backend chuyên biӋt cӫa frameZRUN7HQVRUIORZFNJQJVӁ ÿѭӧc sӱ dөQJÿӇ xây dӵng kiӃn trúc phҫn cӭng, tensorflow-XLA[22], sӁ ÿѭӧc thҧo luұQVkXKѫQӣ phҫn sau. 2.3 Hàm mҩt mát (loss function): Các mҥQJQѫURQÿmWUӣ nên phә biӃn do khҧ QăQJÿѭӧc huҩn luyӋn mӝt cách có giám sát vӟLÿӝ dóc gӕFFNJQJQKѭFiFWK{QJVӕ liên quan khác cӫDQyĈӇ thӵc hiӋn quá trình này, mӝt hàm mҩWPiW-ORVVIXQFWLRQKD\FzQÿѭӧc gӑi bҵng nhiӅXFiLWrQNKiFQKѭKjPOӛi (error function), hàm mөFWLrXREMHFWLYHIXQFWLRQKD\KjPÿLӅu chӍnh (fitness function) là cҫn thiӃt. Hàm mҩt mát vӅ FѫEҧQÿһt mӝt sӕ cho mӭFÿӝ sai lӋch cӫDQJ}UDQѫURQ+jPPҩWPiWÿѫQ giҧn nhҩt có thӇ kӇ ÿӃn là Sai sӕ EuQKSKѭѫQJWUXQJEuQK06( ௟ ͳ ଶ ‫ ܬ‬ൌ ෍൫‫ݕ‬௜ି௬ො೔ ൯ ʹ ௜ୀଵ Công thӭc 8 TroQJÿy x l: sӕ OѭӧQJQѫURQFyWURQJOӟp x ‫ݕ‬௜ : giá trӏ ngõ ra mong muӕn cӫDQѫURQL x ‫ݕ‬ො௜ : giá trӏ ngõ ra thӵc tӃ cӫDQѫURQL Trong kiӃQWU~FÿѭӧFÿӅ xuҩWWURQJÿӅ tài này, hàm mҩWPiWÿѭӧc lӵa chӑn sӱ dөng là phân loҥLFKpRFDWHJRULFDOFURVVHQWURS\ÿѭӧFÿӏnh QJKƭDQKѭVDX ெ ‫ ܬ‬ൌ െ ෍ ‫ݕ‬௖ Ž‘‰ ‫ݕ‬ො௖ ௖ୀଵ Công thӭc 9 TroQJÿy x M: sӕ Oѭӧng các lӟp ngõ vào cҫn phân loҥi x ‫ݕ‬௖ : giá trӏ ngõ ra mong muӕn cӫDQѫURQ 8