Tài liệu Phân đoạn khối u não sử dụng công nghệ học sâu

ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẶNG QUỐC AN PHÂN ĐOẠN KHỐI U NÃO SỬ DỤNG CÔNG NGHỆ HỌC SÂU Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 08 năm 2021 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học và Kỹ Thuật Máy Tính CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG - HCM Cán bộ hướng dẫn khoa học : TS. Nguyễn Đức Dũng Cán bộ chấm nhận xét 1 : PGS. TS. Nguyễn Tuấn Đăng Cán bộ chấm nhận xét 2 : TS. Trần Tuấn Anh Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp. HCM ngày 07 tháng 08 năm 2021 (trực tuyến) Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1. TS. Võ Thị Ngọc Châu - Chủ tịch 2. TS. Nguyễn Tiến Thịnh - Thư ký 3. PGS. TS. Nguyễn Tuấn Đăng - Phản biện 1 4. TS. Trần Tuấn Anh - Phản biện 2 5. PGS. TS. Huỳnh Trung Hiếu - Ủy viên Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH i ĈҤ,+Ӑ&48Ӕ&*,$73+&0 75ѬӠ1*ĈҤ,+Ӑ&%È&+.+2$ &Ӝ1*+Ñ$;­+Ӝ,&+Ӫ1*+Ƭ$9,ӊ71$0 ĈӝFOұS7ӵGR+ҥQKSK~F 1+,ӊ09Ө/8Ұ19Ă17+Ҥ&6Ƭ +ӑWrQKӑFYLrQĈһQJ4XӕF$Q 06+9 1Jj\WKiQJQăPVLQK 1ѫLVLQK1KD7UDQJ &KX\rQQJjQK.KRD+ӑF0i\7tQK 0mVӕ  , 7Ç1Ĉӄ7¬, 3KkQÿRҥQNKӕLXQmRVӱGөQJF{QJQJKӋ KӑFVkX ,, 1+,ӊ09Ө9¬1Ӝ,'81*  1JKLrQFӭXYjWKLӃWNӃP{KuQKKӑFVkXFyNKҧQăQJSKkQÿRҥQNKӕLXQmR  +LӋQWKӵFNLӇPWKӱYjÿiQKJLiP{KuQK  &yEjLEiRNKRDKӑF ,,, 1*¬<*,$21+,ӊ09Ө   ,9 1*¬<+2¬17+¬1+1+,ӊ09Ө 9 &È1%Ӝ+ѬӞ1*'Ү1 761JX\ӉQĈӭF'NJQJ 7S+&0QJj\WKiQJQăP &È1%Ӝ+ѬӞ1*'Ү1 +ӑWrQYjFKӳNê &+Ӫ1+,ӊ0%Ӝ0Ð1Ĉ¬27Ҥ2 +ӑWrQYjFKӳNê 75ѬӢ1*.+2$.+2$+Ӑ&9¬.Ӻ7+8Ұ70È<7Ë1+ +ӑWrQYjFKӳNê LL Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học và Kỹ Thuật Máy Tính Lời cảm ơn Để hoàn thành luận văn thạc sĩ này, tôi xin tỏ lòng biết ơn sâu sắc đến tiến sĩ Nguyễn Đức Dũng đã hướng dẫn tận tình trong suốt quá trình nghiên cứu. Tôi chân thành cám ơn quý thầy, cô trong khoa Khoa Học Và Kỹ Thuật Máy Tính, trường đại học Bách Khoa thành phố Hồ Chí Minh đã tận tình truyền đạt kiến thức trong những năm tôi học tập ở trường. Với vốn kiến thức tích lũy được trong suốt quá trình học tập không chỉ là nền tảng cho quá trình nghiên cứu mà còn là hành trang để bước vào đời một cách tự tin. Cuối cùng, tôi xin chúc quý thầy, cô dồi dào sức khỏe và thành công trong sự nghiệp cao quý. Hồ Chí Minh, ngày 13 tháng 10 năm 2021 Học viên thực hiện Đặng Quốc An iii Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học và Kỹ Thuật Máy Tính Tóm tắt luận văn Trong luận văn này, tôi nghiên cứu và đề xuất mô hình học sâu để giải quyết bài toán phân đoạn khối u não. Mô hình được đề xuất đã khắc phục những điểm yếu của mô hình UNet, bằng cách sử dụng khả năng tăng cường của attention. Ngoài ra, tôi cũng đề xuất phương pháp cải tiến một trong những cơ chế attention mới nhât, coordinate attention, để tăng tính hiệu quả đối với loại ảnh chụp cộng hưởng từ (MRI). iv Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học và Kỹ Thuật Máy Tính Thesis outline In this thesis, we research and propose a machine learning model for solving brain tumor segmentation task. The proposed alternative architecture based on the UNet, which solve some problem of the UNet model using the enhancement ability of the attention. Further more, we applied one of the latest attention module named Coordinate Attention module to our model and proposed modification of this module to improve the effective of this module for Magnetic Resonance Imaging (MRI) scans v Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học và Kỹ Thuật Máy Tính Lời cam đoan Tôi xin cam đoan đây là công trình nghiên cứu của riêng Tôi dưới sự hướng dẫn của tiến sĩ Nguyễn Đức Dũng. Nội dung nghiên cứu và các kết quả đều là trung thực và chưa từng được công bố trước đây. Các số liệu được sử dụng cho quá trình phân tích, nhận xét được chính chúng tôi thu thập từ nhiều nguồn khác nhau và sẽ được ghi rõ trong phần tài liệu tham khảo. Ngoài ra, tôi cũng có sử dụng một số nhận xét, đánh giá và số liệu của các tác giả khác, cơ quan tổ chức khác. Tất cả đều có trích dẫn và chú thích nguồn gốc. Nếu phát hiện có bất kì sự gian lận nào, tôi xin hoàn toàn chịu trách nhiệm về nội dung luận văn của mình. Trường đại học Bách Khoa thành phố Hồ Chí Minh không liên quan đến những vi phạm tác quyền, bản quyền do chúng tôi gây ra trong quá trình thực hiện. Hồ Chí Minh, ngày 13 tháng 10 năm 2021 Học viên thực hiện Đặng Quốc An vi Mục lục Mục lục Danh sách hình vẽ i Danh sách bảng Chương 1 Giới thiệu 1 Giới thiệu đề tài . . . 2 Mục tiêu đề tài . . . 3 Phạm vi đề tài . . . 4 Quá trình thực hiện . ii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 1 1 1 Chương 2 Công trình liên quan 1 Mô hình học sâu U-Net . . . . . . 2 Mô hình học sâu Attention U-Net 3 Squeeze-and-Excitation Block . . 4 Coordinate Attention . . . . . . . 5 Tiểu kết . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 4 5 6 7 . . . . . . . 8 8 8 8 9 9 10 11 Chương 4 Hiện thực 1 Chuẩn bị dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1 Chuẩn hóa dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Huấn luyện . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 12 13 13 Chương 5 Đánh giá 1 Đánh giá định tính . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Đánh giá định lượng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 16 17 Chương 6 Tổng kết 1 Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Đánh giá ưu, nhược điểm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1 Ưu điểm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 19 19 19 . . . . . . . . . . . . . . . . . . . . . . . . Chương 3 Mô hình đề xuất 1 Tổng quan . . . . . . . . . . . . 2 Coordinate Attention UNet . . 2.1 Vấn đề mất ngữ cảnh . . 2.2 Vấn đề thiếu ngữ cảnh . 2.3 Đề xuất mô hình . . . . 3 Max pool Coordinate Attention 4 Tiểu kết . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học và Kỹ Thuật Máy Tính 2.2 Nhược điểm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Hướng phát triển trong tương lai . . . . . . . . . . . . . . . . . . . . . . . 19 19 Danh sách các công trình khoa học Coordinate Attention UNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 21 Tài liệu tham khảo 28 Phụ lục Một số đồ thị trong quá trình huấn luyện . . . . . . . . . . . . . . . . . . . . . . 31 31 3 Danh sách hình vẽ 1 2 3 4 5 6 7 8 9 10 11 12 Một số ảnh u não . . . . . . . . . . . . . . . Cấu trúc mạng U-Net . . . . . . . . . . . . Cấu trúc attention gate . . . . . . . . . . . . Phép toán max pooling . . . . . . . . . . . . Phép toán transpose convolution . . . . . . Mô hình Coordinate Attention UNet . . . . Minh họa kiểu ảnh MRI . . . . . . . . . . . Một số kết quả phân đoạn của các mô hình. Kết quả phân đoạn với khối u quá nhỏ. . . . Kết quả phân đoạn với khối u phức tạp. . . Training Loss . . . . . . . . . . . . . . . . . Validation Loss . . . . . . . . . . . . . . . . i . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 5 8 9 10 12 15 16 17 31 31 Danh sách bảng 1 2 3 Mẫu phương sai . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Thông số mô hình được hiện thực. . . . . . . . . . . . . . . . . . . . . . . Kết quả phân đoạn của các mô hình trên tập dữ liệu BraTS 2020. . . . . . ii 11 14 18 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học và Kỹ Thuật Máy Tính Chương 1 1 Giới thiệu Giới thiệu đề tài Não bộ là bộ phận quan trọng nhất của con người. Bất kỳ một tổn thương nào liên quan đến não bộ, đều gây ra ảnh hưởng cực kỳ lớn đối với người bệnh. Trong đó, u thần kinh đệm não (u não) là căn bệnh nguy hiểm nhất của não bộ. Để chẩn đoán và điều trị căn bệnh này, các bác sĩ sử dụng ảnh chụp cộng hưởng từ (MRI) của não người bệnh để tiến hành chẩn đoán và điều trị. Hình 1 thể hiện một số hình ảnh chụp MRI của bệnh nhân mắc u não. Tuy nhiên để có thể chẩn đoán được khối u, các bác sĩ phải trải qua quá trình đào tạo trong thời gian dài và vô cùng tốn kém. Vì vậy nhu cầu cầu về một hệ thống hỗ trợ bác sĩ trong việc phân đoạn khối u trở nên cần thiết. Cùng với sự phát triển của trí tuệ nhân tạo trong thế kỷ 21, với những kết quả khả quan đã được kiểm chứng qua các công trình nghiên cứu. Một hệ thống phân đoạn khối u não sử dụng công nghệ học sâu đã trở nên khả thi. 2 Mục tiêu đề tài Với mục tiêu hỗ trợ các y bác sĩ trong việc chẩn đoán và điều trị u não. Trong đề tài này, tôi tiến hành nghiên cứu hệ thống mạng học sâu có khả năng phân đoạn khối u não. Đề tài này không chỉ có ý nghĩa về mặt học thuật (nghiên cứu mô hình học sâu) mà còn có ý nghĩa về thực tiễn (hỗ trợ bác sĩ xác định vị trí khối u). Bên cạnh đó, với sự phát triển ngày càng mạnh mẽ của công nghệ học sâu và những phần cứng hỗ trợ, đề tài này còn mang ý nghĩa thời đại phù hợp với sự phát triển của khoa học và công nghệ hiện đại. 3 Phạm vi đề tài Với mục đích xây dựng hệ thống học sâu phân đoạn khối u não. Vì vậy phạm vi đề tài được giới hạn trong các vấn đề sau: • Xây dựng hệ thống học sâu có khả năng phân đoạn khối u não. • Hệ thống sử dụng dữ liệu đầu vào là ảnh chụp MRI của bệnh nhân mắc bệnh u não 4 Quá trình thực hiện Quá trình thực hiện luận văn này trải qua 4 bước: Bước 1: Khảo sát những công trình liên quá đến phân đoạn khối u não: ở bước này, tôi tiến hành tìm hiểu những công trình liên quan đến đề tài, những phương pháp đã được sử dụng và kết quả của những phương pháp này. Phân đoạn khối u não sử dụng công nghệ học sâu Trang 1/32 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học và Kỹ Thuật Máy Tính Hình 1: Một số ảnh chụp MRI của bệnh nhân u não Bước 2: Xây dựng hệ thống học sâu phân đoạn khối u não: hệ thống được xây dựng phải có những cải tiến và giải quyết được vấn đề của các công trình đi trước và từ đó cải thiện kết quả phân đoạn u não. Bước 3: Thu thập dữ liệu: để có thể đánh giá kết quả hệ thống đề xuất, tôi tiến hành thu thập dữ liệu của bệnh nhân u não và tiến hành thí nghiệm và đánh giá trên tập dữ liệu này. Bước 4: Đánh giá kết quả: kết quả của hệ thống được đánh giá cả bằng định tính và định lượng. Từ đó rút ra nhận xét về tính hiệu quả của mô hình được đề xuất. Phân đoạn khối u não sử dụng công nghệ học sâu Trang 2/32 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học và Kỹ Thuật Máy Tính Chương 2 1 Công trình liên quan Mô hình học sâu U-Net Mô hình học sâu U-Net [1] là mô hình phân đoạn ảnh được sử dụng để phân đoạn ảnh y khoa. Trong bài công bố vào năm 2015, các nhà nghiên cứu mô hình U-Net đã hiện thực mô hình này và đã giành giải nhất trong cuộc thi phân đoạn cấu trúc tế bào thần kinh do hội thảo quốc tế về hình ảnh y sinh (ISBI) tổ chức. Nhiều nghiên cứu đã dựa trên mô hình này để tiến hành cải tiến và phát triển như UNet++ [2], UNet 3+ [3], VNet [4], KiUNet [5], DCUNet [6]. Và framework nnUNet [7] ra đời với mục tiêu tạo ra một framework thống nhất để sử dụng mô hình UNet và các biến thể của mô hình này. Từ đó có thể thấy mô hình UNet là mô hình học sâu kinh điển cho bài toán phân đoạn ảnh. Cấu trúc mạng UNet được minh hoạ trong hình 2. Mạng bao gồm phần trích xuất (phần mạng bên trái) và phần mở rộng (phần mạng bên phải). Hai phần mạng này có cấu trúc tương tự nhau nhưng chức năng lại trái ngược nhau. Phần mạng bên trái dùng để phân loại từng điểm ảnh, phần mạng bên phải dùng để củng cố thêm yếu tố vị trí các loại của điểm ảnh. Phần mạng trích xuất là kiến trúc của một mạng nơ-ron tích chập thông thường, bao gồm hai lớp tích chập 3 × 3 không thêm hệ số (unpadded convolution) với hàm kích hoạt là hàm tuyến tính chỉnh lưu (rectified linear unit - ReLU), sử dụng phép max-pooling với cửa sổ 2 × 2 với bước trượt là 2 để tiến hành down sampling. Ở mỗi bước down sampling số kênh đặc trưng được nhân đôi. Phần mạng mở rộng bao gồm các phép up-convolution sử dụng cửa sổ 2 × 2. Phép toán này làm giảm đi phân nửa số kênh đặc trưng của ma trận đặc trưng đầu vào, kết nối với ma trận đặc trưng tương ứng đã được cắt bớt bên nhánh thu nhỏ. Ma trận đặc trưng thu được, lại đi qua hai lớp tích chập 3 × 3 với hàm kích hoạt là hàm ReLu. Cuối cùng sử dụng lớp tích chập 1 × 1 để ánh xạ 64 vec-tơ đặc trưng thành phần sang số lớp mong muốn. Trong quá trình huấn luyện mô hình, tác giả nghiên cứu đã sử dụng Stochastic Gradient Descent (SGD) để huấn luyện mô hình, vì vậy hàm lỗi được tác giả sử dụng là hàm cross-entropy, công thức 1 là công thức tính độ lỗi được tác giả đề xuất. E= X w(x) log(pl(x) (x)) (1) x∈Ω Trong đó K là số lượng lớp, l : Ω → {1, . . . , K} là nhãn đúng của từng điểm ảnh, w : Ω → R là ma trận hệ số và pl (x) được tính bằng công thức 2. Phân đoạn khối u não sử dụng công nghệ học sâu Trang 3/32 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học và Kỹ Thuật Máy Tính Hình 2: Cấu trúc mạng U-Net. Ô màu xanh tương ứng với ma trận đặc trưng đa kênh. Số kênh được ghi trên từng ô. Chiều rộng và chiều cao được ghi ở rìa trái của ô. Những ô màu trắng đại diện cho những ma trận đặc trưng được sao lưu. Các mũi tên đại diện cho các phép toán khác nhau [1]. pk (x) = exp (ak (x))/( K X exp(ak0 (x))) (2) k0 =1 Trong công thức 2, ak (x) là giá trị kích hoạt của kênh đặc trưng k tại điểm ảnh có vị trí x ∈ Ω với Ω ⊂ Z2 . Mạng U-Net là mạng học sâu phân đoạn nổi tiếng, tại thời điểm hoàn thiện báo cáo này, nhiều mạng học sâu phân đoạn ảnh vẫn dựa trên thiết kế chính của mạng U-Net. Vì vậy, chúng tôi đã quyết định nghiên cứu, tìm hiểu sâu hơn về mạng học sâu này để từ đó thiết kế nên mô hình học sâu hiệu quả hơn. 2 Mô hình học sâu Attention U-Net Mô hình học sâu Attention U-Net [8] được phát triển dựa trên mô hình U-Net [1] và cơ chế attention. Cơ chế attention được sử dụng trong mạng học sâu này có tên là attention gate. sử dụng ngữ cảnh để lọc ra những đặc trưng cần thiết từ ma trận đặc trưng để từ đó làm nổi bật những đặc trưng quan trọng. Hình 3 mô tả cấu trúc attention gate. Phân đoạn khối u não sử dụng công nghệ học sâu Trang 4/32 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học và Kỹ Thuật Máy Tính Hình 3: Cấu trúc Attention Gate. Trong đó xl là ma trận đặc trưng đầu vào tại tầng l, g là ma trận ngữ cảnh. Ψ là hàm biến đổi tuyến tính. α là hệ số attention dùng để điều chỉnh ma trận đặc trưng đầu vào. [8]. Với ma trận đặc trưng tại tầng l, xl , và ma trận ngữ cảnh được chọn lọc g. Hệ số attention alpha được tính bằng công thức ??. Trong đó, Wx và Wg là ma trận trọng số của xl và g. Hàm kích hoạt σ1 là hàm ReLU và sigma2 là hàm kích hoạt sigmoid. αl = σ2 (σ1 (Wx xl + Wg g)) (3) Cơ chế này đã được sử dụng để củng cố đặc trưng được sử dụng lại từ nhánh thu nhỏ của mô hình U-Net. Trong đó ma trận đặc trưng từ nhánh thu nhỏ được dùng làm ma trận đặc trưng đầu vào, ma trận đặc trưng trước khi được mở rộng bên phần mạng mở rộng được dùng làm ma trận ngữ cảnh. Từ đó ngữ cảnh thu được từ nhánh thu nhỏ được củng cố và cải thiện kết quả phân đoạn. 3 Squeeze-and-Excitation Block Squeeze-and-Excitation Block [9] (SE Block) là một đơn vị tính toán với khả năng trích xuất đặc trưng đối với từng kênh của ma trận đặc trưng. SE Block bao gồm hai thành phần: bộ trích xuất (squeeze) và bộ kích hoạt (excitation). Bộ trích xuất dùng để trích xuất hệ số thống kê theo từng kênh của ma trận đặc trưng. Hệ số thống kê tại kênh thứ c được tính bằng công thức: zc = X X 1 xc (i, j) H × W 1≤i - Xem thêm -