Tài liệu Ứng dụng mô hình faster rcnn phát hiện vùng bất thường trên ảnh ct ngực

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG  LUẬN VĂN NGÀNH CÔNG NGHỆ THÔNG TIN Đề tài ỨNG DỤNG MÔ HÌNH FASTERRCNN PHÁT HIỆN VÙNG BẤT THƯỜNG TRÊN ẢNH CT NGỰC Giáo viên hướng dẫn: TS.Trần Nguyễn Minh Thư Cần Thơ, 06/2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG  LUẬN VĂN NGÀNH CÔNG NGHỆ THÔNG TIN Đề tài ỨNG DỤNG MÔ HÌNH FASTER-RCNN PHÁT HIỆN VÙNG BẤT THƯỜNG TRÊN ẢNH CT NGỰC Giáo viên hướng dẫn: TS.Trần Nguyễn Minh Thư Cần Thơ, 06/2020 NHẬN XÉT CỦA GIẢNG VIÊN ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------Cần Thơ, ngày tháng năm (GVHD ký và ghi rõ họ tên) LỜI CẢM ƠN Để có được bài luận văn này, em xin được bày tỏ lòng biết ơn chân thành và sâu sắc đến Cô TS.Trần Nguyễn Minh Thư – người đã trực tiếp tận tình hướng dẫn, giúp đỡ em. Trong suốt quá trình thực hiện luận văn, nhờ những sự chỉ bảo và hướng dẫn quý giá đó mà bài luận văn này được hoàn thành một cách tốt nhất. Em cũng xin gửi lời cám ơn chân thành đến các Thầy Cô Giảng viên Đại học Cần Thơ, đặc biệt là các Thầy Cô ở Khoa CNTT & TT, những người đã truyền đạt những kiến thức quý báu trong thời gian qua. Em cũng xin chân thành cảm ơn bạn bè cùng với gia đình đã luôn động viên, khích lệ và tạo điều kiện giúp đỡ trong suốt quá trình thực hiện để em có thể hoàn thành bài luận văn một cách tốt nhất. Tuy có nhiều cố gắng trong quá trình thực hiện luận văn, nhưng không thể tránh khỏi những sai sót. Em rất mong nhận được sự đóng góp ý kiến quý báu của quý Thầy Cô và các bạn để bài luận văn hoàn thiện hơn. Cần Thơ, ngày 27 tháng 06 năm 2020 Người viết Đề tài: Ứng dụng mô hình Faster-RCNN phát hiện vùng bất thường trên ảnh CT ngực MỤC LỤC PHẦN GIỚI THIỆU.................................................................................................. 7 1. Đặt vấn đề.......................................................................................................... 7 2. Lịch sử giải quyết vấn đề................................................................................... 7 3. Mục tiêu đề tài................................................................................................... 8 4. Đối tượng và phạm vi nghiên cứu...................................................................... 8 5. Phương pháp nghiên cứu................................................................................... 8 7. Bố cục luận văn................................................................................................. 8 PHẦN NỘI DUNG................................................................................................... 9 CHƯƠNG 1.............................................................................................................. 9 MÔ TẢ BÀI TOÁN.................................................................................................. 9 1.1. Mô tả chi tiết bài toán..................................................................................... 9 1.1.1 Chụp CT và ảnh CT ngực.......................................................................... 9 1.1.2 Dữ liệu Dicom........................................................................................... 9 1.1.3 Nhận diện vùng bất thường trên ảnh CT ngực........................................ 11 1.2. Vấn đề và giải pháp liên quan đến bài toán................................................... 12 1.2.1 Mạng Nơ-ron nhân tạo............................................................................ 12 1.2.2 Thị giác máy tính.................................................................................... 13 1.2.3 Mô hình phát hiện vùng trong ảnh.......................................................... 20 1.3. Các thư viện hỗ trợ cho mô hình Faster-RCNN............................................ 24 1.3.1 Thư viện Tensorflow............................................................................... 24 1.3.2 Thư viện Keras........................................................................................ 24 1.3.3 Thư viện SimpleITK............................................................................... 26 CHƯƠNG 2............................................................................................................ 28 THIẾT KẾ HỆ THỐNG.......................................................................................... 28 2.1.Tổng thể hệ thiết kế hệ thống......................................................................... 28 2.2. Cài đặt hệ thống............................................................................................ 28 2.2.1 Thu thập và xử lý dữ liệu........................................................................ 28 2.2.2 Quá trình xử lý rút trích đặc trưng từ ảnh................................................ 31 2.2.3 Xử lý đặc trưng qua Region Proposal Network (RPN)...........................32 1 Đề tài: Ứng dụng mô hình Faster-RCNN phát hiện vùng bất thường trên ảnh CT ngực 2.2.4 Quá trình xử lý nhận diện vùng bất thường............................................. 35 CHƯƠNG 3............................................................................................................ 38 KIỂM THỬ VÀ ĐÁNH GIÁ.................................................................................. 38 3.1 Dữ liệu và môi trường thực nghiệm............................................................... 38 3.2 Kết quả đánh giá............................................................................................ 40 3.2.1 Đánh giá thời gian thực nghiệm.............................................................. 40 3.2.2 Đánh giá tổng quát.................................................................................. 41 3.3.1 Đánh giá dữ liệu...................................................................................... 46 3.3.2 Nhược điểm hệ thống.............................................................................. 53 PHẦN KẾT LUẬN................................................................................................. 54 1. Kết quả đạt được.............................................................................................. 54 2. Hướng phát triển.............................................................................................. 54 TÀI LIỆU THAM KHẢO....................................................................................... 55 2 Đề tài: Ứng dụng mô hình Faster-RCNN phát hiện vùng bất thường trên ảnh CT ngực DANH MỤC HÌNH Hình ảnh 1: thông tin dữ liệu của Dicom phần header............................................ 10 Hình ảnh 2: Khối u có kích thước >= 3mm............................................................. 11 Hình ảnh 3: Thành phần cơ bản của nơ-ron nhân tạo.............................................. 12 Hình ảnh 4: Mô hình Multi Layer Perceptron (MLP).............................................. 13 Hình ảnh 5: Mô hình mạng nơ-ron tính chập.......................................................... 14 Hình ảnh 6: Phép tính chập trên ảnh CT ngực......................................................... 15 Hình ảnh 7: Quá trình chập mạng............................................................................ 16 Hình ảnh 8: Thực hiện tride bằng 1......................................................................... 16 Hình ảnh 9: Thực hiện tride bằng 2......................................................................... 16 Hình ảnh 10: Thực hiện padding với kích thước bằng 1.......................................... 17 Hình ảnh 11: Thực hiện Max Pooling và Average Pooling.....................................17 Hình ảnh 12: Fully connected layer......................................................................... 18 Hình ảnh 13: Quá trình hoạt động của CNN........................................................... 18 Hình ảnh 14: Cấu trúc VGG16................................................................................ 19 Hình ảnh 15: Cấu trúc của mô hình RCNN[4]........................................................ 20 Hình ảnh 16: Hình về ảnh thật và dự đoán của bounding box................................. 21 Hình ảnh 17: Tỷ lệ IoU........................................................................................... 22 Hình ảnh 18: Kiến trúc mô hình fast RCNN[2]....................................................... 23 Hình ảnh 19: Kiến trúc mô hình faster RCNN[3].................................................... 24 Hình ảnh 20: Biểu diễn ảnh thông qua simpleITK.................................................. 27 Hình ảnh 21: Kiến trúc của Faster RCNN trên ảnh CT ngực.................................. 28 Hình ảnh 22: xử lý dữ liệu....................................................................................... 29 Hình ảnh 23: Chuẩn Hounsfield trên ảnh chụp CT.................................................. 30 Hình ảnh 24: Xử lý dữ liệu và xác định vị trí vùng bệnh......................................... 31 Hình ảnh 25: Trích xuất dữ liệu sử dụng VGG16................................................... 32 Hình ảnh 26: Kích thước của anchor....................................................................... 33 Hình ảnh 27: Một vị trí Anchor tham chiếu đến ảnh gốc........................................33 Hình ảnh 28: Quá trình từ trích xuất đặc trưng qua tiền xử lý RPN........................33 Hình ảnh 29: đặc trưng của Anchor......................................................................... 34 Hình ảnh 30: Ví dụ kết quả của RPN...................................................................... 34 Hình ảnh 31 NMS sắp xếp theo tọa độ của y theo bên phải.................................... 35 24 Hình ảnh 32: NMS cho trên Faster RCNN ........................................................... 36 Hình ảnh 33: Xử lý đặc trưng thông qua Region of Interest (RoI)..........................36 Hình ảnh 34: Xử lý nhận nhận diện đối vùng bất thường........................................ 37 Hình ảnh 35: Nốt (Khối u) có trong phổi................................................................ 38 Hình ảnh 36: Nốt (khối u) có kích thước nhỏ.......................................................... 39 Hình ảnh 37: Đánh giá độ mất mát trên phân lớp RPN........................................... 41 Hình ảnh 38: Đánh giá độ mất mát của RPN Regression........................................ 42 Hình ảnh 39: Đánh giá độ mất mát phân lớp trên R-CNN....................................... 43 Hình ảnh 40: Đánh giá độ mất mát Regression trên R-CNN..................................44 Hình ảnh 41: Đánh giá độ mất mát tổng thể............................................................ 45 3 Đề tài: Ứng dụng mô hình Faster-RCNN phát hiện vùng bất thường trên ảnh CT ngực Hình ảnh 42: Kiểm thử ảnh CT ngực trong tập dữ liệu kiểm thử ảnh số 89 và 89. .47 Hình ảnh 43: Kiểm thử ảnh CT ngực trong tập dữ liệu kiểm thử ảnh số 40............48 Hình ảnh 44: Ảnh IM000190 của bệnh nhân BN05 được nhóm bác sĩ đánh giá với độ chính xác trung bình là 70%.................................................................................... 49 Hình ảnh 45: Ảnh chụp CT bệnh nhân BN07 qua mô hình..................................... 50 Hình ảnh 46: Ảnh chụp CT bệnh nhân BN06 qua mô hình..................................... 51 Hình ảnh 47: Những bộ phận chức năng trong ảnh CT........................................... 53 DANH MỤC BẢNG Bảng 1: Thời gian huấn luyện dữ liệu..................................................................... 40 Bảng 2: Đánh giá mất mát trên phân lớp RPN........................................................ 41 Bảng 3: đánh giá độ mất mát trên RPN Regression................................................. 42 Bảng 4: Đánh giá độ mát mát phân lớp trên R-CNN............................................... 43 Bảng 5: Đánh giá độ mất mát Regression trên R-CNN........................................... 44 Bảng 6: Đánh giá giá trị mất mát............................................................................. 45 Bảng 7: Đánh giá độ chính xác của bác sĩ qua ảnh CT ngực BN05........................49 Bảng 8: Đánh giá độ chính xác của bác sĩ qua ảnh CT ngực BN07........................50 Bảng 9: Đánh giá độ chính xác của bác sĩ qua ảnh CT ngực BN06........................51 Bảng 10: Đánh giá độ chính xác của bác sĩ qua ảnh CT ngực BN11......................52 Bảng 11: Đánh giá độ chính xác của bác sĩ qua ảnh CT ngực BN24......................52 4 Đề tài: Ứng dụng mô hình Faster-RCNN phát hiện vùng bất thường trên ảnh CT ngực TÓM TẮT Ung thư phổi là căn bệnh nguy hiểm, bác sĩ thường dựa vào những hình ảnh CT ngực để có xác định được khối u. Hiện nay, việc xác định khối u trong phổi qua hình ảnh CT ngực được hỗ trợ không nhỏ của trí tuệ nhân tạo và thị giác máy tính. Trong luận văn này, mô hình phát hiện vùng bất thường trên ảnh CT ngực bằng cách sử dụng mô hình Faster-RCNN được nghiên cứu và xây dựng. Mô hình VGG16 được sử dụng để rút trích đặc trưng về hình ảnh trong mô hình FasterRCNN. Đặc trưng thu được từ mô hình VGG16 là đầu vào của mô hình mạng Region Proposal Netword (RPN) để thu được những vùng ảnh cần phân loại. Sau đó, mô hình Fast-RCNN được sử dụng phát hiện vị trí của vùng bất thường. Dựa vào tập dữ liệu ảnh CT LUNA16, 950 ảnh được sử dụng huấn luyện và 326 ảnh được sử dụng để đánh giá. Hiệu quả đánh giá quá trình phát hiện vùng bất thường được thực hiện trên 34 lần lập với tổng thời gian 12 giờ 49 phút. Quá trình đánh giá trên 326 ảnh có giá trị mất mát tổng thể là 0.11 trong đó phân lớp RPN có giá trị mất mát là 0.023, mất mát của quá trình RPN Regression 0.032, mất mát của quá trình phân lớp RCNN 0.038 và RCNN Regresion 0.008. Kết quả đạt được của đề tài này là áp dụng mô hình Faster-RCNN để phát hiện ra vùng bất thường có kích thước nhỏ 3-5mm trên ảnh CT ngực. Thời gian huấn luyện quá trình phát hiện vùng bất thường trên mỗi hình ảnh CT khoảng 1,43s. 5 Đề tài: Ứng dụng mô hình Faster-RCNN phát hiện vùng bất thường trên ảnh CT ngực ABSTRACT Lung cancer is a serious disease, doctors often rely on chest CT images to identify tumors. Currently, the determination of tumors in the lungs through chest CT images is not slightly supported by artificial intelligence and computer vision. In this thesis, the model of detecting anomalous region in chest CT images using Faster-RCNN model was studied and built. VGG16 model is used to extract image characteristics from Faster-RCNN model. The characteristic obtained from the VGG16 model is the input of the Region Proposal Netword network model (RPN) to obtain the image areas to be classified. Later, the Fast-RCNN model is used to detect the location of the abnormal region. Based on the CT LUNA16 image dataset, 950 images were used for training and 326 images were used for evaluation. Effectiveness of abnormal area detection process was performed over 34 times with the total time of 12 hours 49 minutes. The process of evaluation over 326 image has an overall loss of 0.101 in which the loss of RPN classification process: 0.023, the loss of the RPN Regression process: 0.032, the loss of the RCNN classification process 0.038 and RCNN Regresion 0.008. The result of this project is to apply Faster-RCNN model to detect abnormal areas with small size of 3-5mm on chest CT image. Training time to detect abnormal areas on each CT image is about 1.43s. . 6 Đề tài: Ứng dụng mô hình Faster-RCNN phát hiện vùng bất thường trên ảnh CT ngực PHẦN GIỚI THIỆU 1. Đặt vấn đề Ung thư phổi là căn bệnh ung thư nguy hiểm, số người bệnh ung thư phổi ngày càng gia tăng ở Việt Nam cũng như thế giới, ước tính đến năm 2020 số ca mắc mới ung 1 thư phổi ở Việt Nam là hơn 34000 người mỗi năm . U phổi là căn bệnh phổ biến của ung thư phổi thể hiện với tình trạng mô phổi phát truyển bất thường tăng sinh quá mức, bệnh được phát triển qua nhiều giai đoạn, nếu được phát hiện kịp thời bệnh sẽ được chữa khỏi bằng các phương pháp y học tiên tiến. Ngược lại nếu người phát hiện bệnh muộn thì việc chữa trị có thể không còn tác dụng, bởi thế các khối u đã di căn, hiệu quả của việc phẩu thuật là khá thấp hoặc thậm chí không thể phẩu thuật. Để tìm ra nguyên nhân gây ra những triệu chứng ung thư phổi, bác sỹ phải xem xét tiền sử của người bệnh, tiền sử hút thuốc, tiếp xúc với các chất ở môi trường tự nhiên và môi trường lao động, tiền sử ung thư của gia đình. Nếu nghi ngờ ung thư phổi hoặc khối u ở phổi thì sẽ được bác sĩ chỉ định khám bệnh và chụp XQuang, CT lồng ngực và làm các xét nghiệm khác, sau các quá trình xét nghiệm và kết quả của chụp ảnh x quang thì việc làm để tìm kiếm ung thư hay khối u ở phổi trên ảnh CT ngực cũng khó khăn và rất thời gian của các bác sỹ để phát hiện ra. Việc nghiên cứu và phát triển một hệ thống phát hiện và nhận diện khối u trong chụp cắt lớp ngực tính toán (CT) để áp dụng vào mục đích y tế là một những thách thức lớn. Để thực hiện mục tiêu này, các nhà khoa học máy tính họ đã nghiên cứu ra các giải thuật, các bài toán nhận dạng, đây cũng là lĩnh vực nghiên cứu lớn đối với trí tuệ nhân tạo áp dụng cho bài toán của y học. Do đó, nghiên cứu và xây dựng các phương pháp phát hiện nhận diện khối u đã có trước đó để xây dựng một hệ thống nhận diện khối u trong ảnh CT là điều cần thiết cho lĩnh vực y học. Đó cũng là lý do cho đề tài: “Deep learning cho phân lớp và phát hiện vùng bất thường trên ảnh CT”. 2. Lịch sử giải quyết vấn đề Nhận dạng và phát hiện đối tượng đã được nghiên cứu từ nhiều năm trước đây bởi các nhà nghiên cứu từ nhiều viện trường trên thế giới như Mỹ, Australia, Đức, v.v… . Họ đã nghiên cứu các giải pháp để nhận diện và phát hiện bất thường dựa trên việc sử dụng ảnh số, sau đó tới ảnh CT, ảnh 3D. Năm 2018, Wentao Zhu cùng với các cộng sự [1] đã có ý tưởng sử dụng máy học cho hệ thống chuẩn đoán ung thư phổi dựa trên hình ảnh CT một cách tự động. Hệ thống có khả năng phân loại các khối u là lành tính hay ác tính, nhóm đã nghiên cứu thành công trên hình ảnh 3D của ảnh CT. Cơ sở dữ liệu được nhóm sử dụng là LIDC-IDRI và LUNA16 với nhiệm vụ là phát hiện khối u với các vị trí trong hình ảnh và kích thước của từng khối u đó. Giải pháp cho vấn đề này, hệ thống với độ chính xác là 90.44%. Năm 2016, cuộc thi Lung Nodule Analysis 16 (LUNA16) được tổ chức bởi Colin Jacobs, Arnaud Arindra Adiyoso Setio, Bram van Ginneken (Trung tâm y tế Đại học Radboud, Nijmegen, Hà Lan) và Alberto Traverso (Đại học Bách khoa 1 https://ungthuvietnam.com/ 7 Đề tài: Ứng dụng mô hình Faster-RCNN phát hiện vùng bất thường trên ảnh CT ngực Torino và Torino thuộc INFN, Torino, Ý) . LUNA16 là một trong những cuộc thi lớn liên quan đến lĩnh vực deep learning cho y học, mục tiêu của cuộc thi này là tạo ra những thuật toán đánh giá cao đối với việc nhận diện và phát hiện vùng bệnh, vùng khối u trên ảnh CT ngực. 3. Mục tiêu đề tài Mục tiêu chính của đề tài là nghiên cứu và xây dựng mô hình ứng dụng nhận dạng và phát hiện khối u trong ảnh CT. Nghiên cứu các bước cần thiết cho quá trình nhận dạng cũng như tìm hiểu các giải thuật, mô hình có thể phát hiện và nhận dạng trên hình ảnh từ đó so sánh và đánh giá mô hình dựa trên phương pháp đã thực hiện. 4. Đối tượng và phạm vi nghiên cứu - Đề tài tập trung các vấn đề sau:  Lý thuyết về nhận diện.  Lý thuyết về khối u phổi, lý thuyết ảnh bệnh cũng như ảnh CT.  Quá trình xử lý dữ liệu từ ảnh y khoa chuyển sang ảnh số.  Áp dụng giải thuật xử lý trên khu vực điểm ảnh.  Áp dụng thuật toán nhận dạng khối u xây dựng một hệ thống cơ bản - Phạm vi nghiên cứu: Để có thể nhận diện và phát hiện vị trí chính xác của khối u là một trong điều rất khó khăn do nó phải nhiều ảnh hưởng như kích thước quá nhỏ hoặc quá lớn đối với hình ảnh, các nét khúc trong lồng ngực khi chụp ảnh CT. 5. Phương pháp nghiên cứu Phương pháp ứng dụng xây dưng mô hình phát hiện và phân loại các khối u trên mô hình Faster R-CNN bao gồm các đăc trưng được rút trích từ VGG16 đánh giá qua mạng Region Proposal Network (RPN) sau thực hiện máy học để đánh giá và xác định khối u trên hình ảnh CT. 7. Bố cục luận văn Phần giới thiệu Giới thiệu tổng quát về đề tài: đặt vấn đề, lịch sử giải quyết vấn đề, mục tiêu đề tài, đối tượng và phạm vi nghiên cứu, nội dung nghien cứu, phương pháp nghiên cứu và bố cục của luận văn. Phần nội dung: Nội dung chính của đề tài được chia làm 3 chương Chương 1: Mô tả tổng quan. Chương 2: Cài đặt và thiêt kế hệ thống Chương 3: Kiểm tra và đánh giá Phần kết luận Trình bày kết quả đạt được và hướng phát triển hệ thống. 8 Đề tài: Ứng dụng mô hình Faster-RCNN phát hiện vùng bất thường trên ảnh CT ngực PHẦN NỘI DUNG CHƯƠNG 1 MÔ TẢ BÀI TOÁN 1.1. Mô tả chi tiết bài toán 1.1.1 Chụp CT và ảnh CT ngực Kể từ khi được giới thiệu vào những năm 1970, chụp ảnh CT đã trở thành một công cụ quan trọng trong chuẩn đoán dựa trên hình ảnh. Gần đây, nó đã được sử dụng để làm phương pháp chuẩn đoán hoặc sàng lọc bệnh, ví dụ như chụp CT cho những người có nguy cơ mắc ung thư phổi, quét tim toàn diện cho những người có nguy cơ mắc bệnh tim cao. Chụp ảnh CT kết hợp xử lý bằng máy tính của nhiều phép đo tia X được chụp từ các góc khác nhau để tạo ra hình ảnh cắt ngang (chụp cắt lớp) của các khu vực cụ thể của đối tượng được quét, cho phép người dùng nhìn vào bên trong đối tượng mà không cần cắt. Nhiều loại CT, chẳng hạn như chụp cắt lớp phát xạ positron (PET) và chụp cắt lớp phát xạ đơn photon (SPECT) Dữ liệu của CT có thể được vận dụng để chứng mình giải thích cấu trúc cũng như cấu tạo khác nhau dựa trên sự hấp thụ tia X khi được chiếu vào vật thể. Máy CT chạy vòng quanh cơ thể người bệnh nhân, phát sóng X quang và đo độ hấp thụ năng lượng tia X của các cấu trúc khác nhau của cơ thể. Sau đó sử dụng các thông tin này và ráp với hình ảnh của máy tính của cơ thể trên không gian 2 chiều hoặc 3 chiều. Chụp CT ngực là một loại X quang ngực chi tiết hơn về phổi và bên trong ngực của bạn, kết quả xét nghiệm hình ảnh này thường được thực hiện để theo dõi những phát hiện bất thường trong ngực bởi vậy việc chụp cắt lớp phổi sẽ giúp đề phòng được những căn bệnh nguy hiểm. Theo đó chụp CT phổi có tác dụng quan trọng trong ngành y học như: có thể giúp xác định nguyên nhân gây ra các triệu chứng về phổi như khó thở hoặc đau ngực, hoặc kiểm tra xem bạn có vấn đề gì về phổi như khối u, chất lỏng dư thừa quanh phổi được gọi là tràn dịch màng phổi, phổi thuyên tắc, khí phế thũng, lao và viêm phổi, Chấn thương ngực, xuất huyết nội và các tổn thương khác. Ngoài ra, còn chẩn đoán bệnh có liên quan trực tiếp tới lá phổi như: ung thư, khối viêm, dị vật, lao phổi, xác định vị trí của khối u, vị trí của dị vật, định hướng trước khi tiến hành phẫu thuật, xạ trị tại vị trí lá phổi. 1.1.2 Dữ liệu Dicom Hình ảnh chụp CT rất quan trọng đối với việc chuẩn đoán bệnh, ngoài ra những hình ảnh này còn được sử dụng để làm tư liệu cho các sinh viên, nghiên cứu sinh và các cuộc nghiên cứu về các bệnh liên quan đến hình ảnh được chụp CT. Hiện nay, sự phát triển của lưu trữ hình ảnh thì ảnh CT và các ảnh liên quan đến y khoa được lưu dưới trữ dữ liệu dưới dạng tập tin Dicom, trong tập tin này có thể xem các thông tin của ảnh CT như hình ảnh, thông tin người bênh, giới tính …. 9 Đề tài: Ứng dụng mô hình Faster-RCNN phát hiện vùng bất thường trên ảnh CT ngực 2 Digital Imaging and Communications in Medicine (DICOM) là tiêu chuẩn để xử lý, lưu trữ, in ấn, và thu/nhận hình ảnh trong y tế. DICOM được sử dụng phổ biến nhất để lưu trữ và truyền hình ảnh y tế cho phép tích hợp các thiết bị hình ảnh y tế như máy quét, máy chủ, máy trạm, máy in, phần cứng mạng và hệ thống lưu trữ hình ảnh. Nó đã được các bệnh viện áp dụng rộng rãi và đang áp dụng vào các ứng dụng nhỏ hơn như các thiết bị văn phòng. Các tệp DICOM có thể được trao đổi giữa hai thực thể có khả năng nhận dữ liệu hình ảnh và bệnh nhân ở định dạng DICOM, Các thiết bị khác nhau đi kèm với sự phù hợp của DICOM, trong đó nêu rõ các lớp DICOM mà chúng hỗ trợ và theo các tiêu chuẩn nhất định. Tiêu chuẩn này bao gồm cả việc định nghĩa cấu trúc tập tin và giao thức truyền thông tin. Giao thức truyền thông tin là một giao thức ứng dụng sử dụng nền tảng TCP/IP để giao tiếp lẫn nhau giữa các hệ thống. Các tập tin DICOM có thể được trao đổi lẫn nhau giữa các hệ thống khi các hệ thống này có khả năng thua nhận hình ảnh và dữ liệu bệnh nhân theo định dạng DICOM. DICOM kết hợp các tiêu chuẩn cho các phương thức hình ảnh như X quang, siêu âm, chụp CT, chụp cộng hưởng từ (MRI) và xạ trị. DICOM bao gồm các giao thức trao đổi hình ảnh (DVD, …), nén hình ảnh, ảo hóa 3 chiều, cũng như được dùng để trình bày và báo cáo trong y khoa. Theo định dạng dữ liệu thì DICOM nhóm thông tin vào các tập dữ liệu Hình ảnh 1, ví dụ: một tệp hình ảnh chụp CT ngực có thể chứa ID bệnh nhân trong tệp, do đó hình ảnh không bao giờ có thể bị tách khỏi thông tin này do nhầm lẫn điều này tương tự như cách định dạng các hình ảnh JPEG cũng có thể nhúng các thẻ để xác định và mô tả hình ảnh khác. Dữ liệu của DICOM bao gồm một số thuộc tính như: tên của người bệnh, ID, các thuộc tính đặc biệt chứa dữ liệu pixel hình ảnh. Hình ảnh 1: thông tin dữ liệu của Dicom phần header 3 2 https://en.wikipedia.org/wiki/DICOM 3 https://people.cas.sc.edu/rorden/dicom/index.html 10 Đề tài: Ứng dụng mô hình Faster-RCNN phát hiện vùng bất thường trên ảnh CT ngực 1.1.3 Nhận diện vùng bất thường trên ảnh CT ngực Khối u hay khối mô tân sinh dùng để mô tả vùng mô bất thường có dạng rắn và/hoặc chứa dịch. Mặc dù không phải tất cả các khối u đều là ung thư, nhưng nên đi khám bác sĩ nếu có sự xuất hiện của khối u, các chuyên gia định nghĩa một khối u là một khối mô bất thường, do các tế bào phân chia nhiều hơn mức cần thiết hoặc 4 các tế bào không chết theo đúng chu trình . Trong một cơ thể khỏe mạnh, các tế bào phát triển, phân chia và thay thế nhau trong cơ thể, khi các tế bào mới hình thành những tế bào cũ chết đi nhưng trong ung thư, các tế bào mới hình thành khi cơ thể không cần đến chúng do có quá nhiều tế bào mới, một nhóm tế bào hoặc khối u có thể hình thành và phát triển. Các khối u có thể thay đổi kích thước từ một nốt nhỏ đến một khối lớn qua việc phát triển khi các tế bào. Khối u sẽ được chia làm 2 loại chính là khối u lành tính và ác tính (các khối u ác tính có thể lây sang các vùng khác), tùy thuộc vào loại và có thể xuất hiện ở hầu hết mọi nơi trên cơ thể. Một số khối u lành tính có thể trở thành tiền ung thư và sau đó ác tính. Không phải lúc nào cũng rõ ràng biết được khối u sẽ tiến triển như thế nào trong tương lai. Khối u phổi là kết quả của sự phân chia và phát triển bất thường của những tế bào trong mô phổi, hoặc trong đường hô hấp dẫn đến phổi. Quá trình tế bào đã phân chia nhanh chóng. Tuy nhiên không chết đi, dẫn tới sự tích tụ của khối u,nếu khối u có kích cỡ 3cm (Hình ảnh 2) hoặc ít hơn thì thường được gọi là nốt phổi, khối u có đường kính lớn hơn 3cm thì được gọi là một khối. 5 Hình ảnh 2: Khối u có kích thước >= 3mm Xác định khối u trên ảnh CT ngực được phát triển theo cùng xu hướng trí tuệ nhân tạo và thị giác máy tính. Đây là một trong lĩnh vực phát triển quan trọng trong y khoa để xác định bệnh của các đối tượng các vùng. Trong bài nghiên cứu này sẽ xây dựng mô hình phát hiện vùng bất thường trên ảnh CT ngực, trong đó mô hình Faster-RCNN được sử dụng trong nghiên cứu và tập dữ liệu LUNA16 được sử dụng để huấn luyện mô hình. 4 http://bvnguyentriphuong.com.vn/ 5 https://pubmed.ncbi.nlm.nih.gov/21452728/ 11 Đề tài: Ứng dụng mô hình Faster-RCNN phát hiện vùng bất thường trên ảnh CT ngực 1.2. Vấn đề và giải pháp liên quan đến bài toán 1.2.1 Mạng Nơ-ron nhân tạo 1.2.1.1 Khái niệm về mạng nơ-ron nhân tạo 6 Mạng nơ-ron nhân tạo (Artifical Neural Network – ANN) là một mô hình chứa nhiều đơn vị xử lý, giả lập quá trình học tập tính toán của bộ não con người. Nó được tạo lên từ một số lượng lớn các phần tử (gọi là phần tử xử lý hay nơ-ron_ kết nối với nhau thông qua các liên kết (gọi là trọng số liên kết) làm việc như một thể thống nhất giải quyết một vấn đề nào đó cụ thể. Một mạng nơ-ron nhân tạo được cấu hình cho một ứng dụng cụ thể như nhận dạng mẫu, phân loại dữ liệu.... thông qua một quá trình học từ tập mẫu huấn luyện. Về bản chất, học chính là quá trình hiệu chỉnh trọng số liên kết giữa các nơ-ron thành phần cơ bản của một nơ-ron nhân tạo được trình bày ở Hình ảnh 3: 7 Hình ảnh 3: Thành phần cơ bản của nơ-ron nhân tạo  Tập các đầu vào(Inputs): là các tín hiệu vào của nơ-ron, các tín hiệu này thường được đưa vào dưới dạng một vector m chiều và được kết nối với các trọng số liên kết (w1, w2, …, wm), trong đó trọng số liên kết là đây là thành phần quan trọng của ANN, nó thể hiện mức độ quan trọng của dữ liệu liên kết đầu vào đối với quá trình xử lý thông tin hay quá trình chuyển đổi dữ liệu từ tầng này lên tầng khác).  Hàm kết hợp – hàm mạng (net): Tính tổng các trọng số của tất cả các input được đưa vào với mỗi nơ-ron hàm tổng của nơ-ron thường được tính theo công thức sau:  Độ lệch (bias): thường được đưa vào như một thành phần của hàm truyền. Y m =∑ i=1 xiwi + b i (1) 6 https://en.wikipedia.org/wiki/Artificial_neural_network 7 https://bom.to/hxKAAH 12 Đề tài: Ứng dụng mô hình Faster-RCNN phát hiện vùng bất thường trên ảnh CT ngực  Hàm kích hoạt (activation Function) hay hàm truyền (transfer function): hàm này được dùng để giới hạn phạm vi đầu ra của mỗi no-ron. Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho. Thông thường phạm vi đầu ra của mỗi nơ-ron được giới hạn trong đoạn [0,1] hoặc [-1,1]. Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến.  Đầu ra: là tính hiệu đầu ra của một nơ-ron. 1.2.1.2 Mạng nơ-ron đa tầng 8 Mạng nơ-ron đa tầng (Multi Layer Perceptron – MLP) được sử dụng rộng rãi phổ biến, là sự liên kết giữa các các mạng thành một mạng phức tạp. Mạng Noron Được gọi là Một mạng MLP khi nó là tập hợp các perceptron chia thành nhiều nhóm, với mỗi nhóm là một lớp. Mô hình MLP tổng quát (Hình ảnh 4) bao gồm 3 lớp chính: Input Layer (lớp đầu vào), Output layer (lớp đầu ra), Hidden layer (lớp ẩn) như hình. Kiến trúc của mạng MLP được mô tả: đầu vào là các vector (x1, x2, ..., xp) trong không gian p chiều, đầu ra là các vector (y1, y2, ..yq) trong không gian q chiều. Mỗi nơ-ron tầng sau liên kết với tất cả các nơ-ron tầng trước nó. Đầu ra của nơ-ron tầng trước là đầu vào của nơ-ron tầng sau. 9 Hình ảnh 4: Mô hình Multi Layer Perceptron (MLP) 1.2.2 Thị giác máy tính 10 Thị giác máy tính (computer vision) là lĩnh vực của khoa học máy tính nhằm giúp cho máy tính có thể “nhìn và hiểu” được nội dung của ảnh số như hình ảnh và phim. Thị giác máy tính thực hiện các mô phỏng như thị giác của con người gồm các giai đoạn nối tiếp nhau: mô phỏng mắt (thu nhận thông tin), xử lý ảnh kỹ thuật số, phân tích và trích xuất dữ liệu của hình ảnh thực chuyển sang số hóa về thông tin của ảnh. Việc nhận diện hình ảnh có thể xem là việc giải quyết vấn đề của các biểu tượng thông tin từ dữ liệu hình ảnh qua cách dùng các mô hình được xây dựng với sự giúp đỡ của các ngành lý thuyết học, thống kê, vật lý, y học. 8 https://en.wikipedia.org/wiki/Multilayer_perceptron 9 https://dominhhai.github.io/vi/2018/04/nn-intro/ 10 https://vi.wikipedia.org/wiki/Thị_giác_máy_tính 13 Đề tài: Ứng dụng mô hình Faster-RCNN phát hiện vùng bất thường trên ảnh CT ngực 1.2.2.1 Nhận dạng đối tượng Nhận dạng đối tượng là một thuật ngữ chung để mô tả một tập hợp các nhiệm vụ thị giác máy tính có liên quan liên quan đến việc xác định các đối tượng trong ảnh kỹ thuật số. Nó bao gồm việc phân loại một hình ảnh thành nhiều thể loại hoặc đặc điểm tên khác nhau, hiện nay có rất nhiều mô hình và những dữ liệu khá thông dụng về việc phân loại đã đạt được nhiều hiệu quả cao trong thực tế. Mặc dù có nhiều thách thức đối với việc phân loại hình ảnh, nhưng cũng đã nhiều cách nghiên cứu và giải pháp.Tương tự như phân loại, tìm vị trí của đối tượng trong hình ảnh, được sử dụng rất nhiều cho các vấn đề hữu ích. Ví dụ, cắt xén một hình ảnh bằng máy một cách thông minh (biết để cắt ảnh dựa trên vị trí của đối tượng) thậm chí có thể trích xuất thông thường để cho việc xử lý bởi các kỹ thuật khác. Nó có thể được kết hợp với phân loại để không chỉ định vị đối tượng mà còn phân loại nó thành một trong nhiều loại có thể. Vấn đề lập nhiều lần với việc tìm vị trí và việc phân loại, việc này thực hiện với nhu cầu như là phát hiện và phân loại cùng một lúc, đây cũng là khái niệm của phát hiện đối tượng. 11 CNN (Convolutional neural network) là mạng kết hợp giữa mạng nơ-ron đa tầng và thị giác máy tính để phân tích và xử lý hình ảnh. Các lớp của CNN thường bao gồm một loạt các lớp chập kết hợp với phép nhân. 12 Hình ảnh 5: Mô hình mạng nơ-ron tính chập Trong toán học và đặc biệt là trong giải tích hàm, tích chập là 1 phép toán thực hiện đối với 2 hàm số f và g, kết quả cho ra 1 hàm số thứ 3. Nó được ứng dụng trong xác suất, thống kê, thị giác máy tính (computer vision), xử lý ảnh, xử lý tín 13 hiệu, kỹ thuật điện, học máy, và các phương trình vi phân . Như một ví dụ ở Hình ảnh 6 để thể minh họa phép tích chập trên hình ảnh là với hình a hình ảnh đầu vào của ảnh CT ngực chúng ta có thể xem như một hàm số xử lý và hình b hình mặt nạ mạng khi đã được xử lý từ trước nó được xem như hàm, sau đó thực hiện phép toán tính chập vào 2 hàm trên ta lại thu một kết quả được biểu thị bằng ảnh c, sau khi nhận được kết quả ta vẫn có thể thực hiện tiếp tục đánh giá để thu được kết quả tốt nhất, ảnh d thể hiện lên được kích thước của khối u thông qua việc đánh giá lại kết quả đã thực hiện phép toán chập. 11 12 13 https://en.wikipedia.org/wiki/Convolutional_neural_network https://towardsdatascience.com/basics-of-the-classic-cnn-a3dce1225add https://vi.wikipedia.org/wiki/Tính_chập 14 Đề tài: Ứng dụng mô hình Faster-RCNN phát hiện vùng bất thường trên ảnh CT ngực 14 Hình ảnh 6: Phép tính chập trên ảnh CT ngực Hình a: hình ảnh đầu vào của ảnh CT ngực. Hinh b: mặt nạ mạng khi qua quá trình xử lý. Hình c: kết quả của việc phép toán chập của hình a và hình b. Hình d: hình đã qua xử lý để phát hiện ra vùng bất thường Convolution layer (lớp tính chập): là lớp đầu tiên để trích xuất đặc trung của dữ liệu đầu vào. Ví dụ để trích xuất một đăc trưng cần nhân ma trận trọng số đầu vào với ma trận kernel (ma trận kernel là ma trận vuông có kích thước k x k) trong đó k là một số lẻ bằng 1, 3, 5, … Theo một cách tổng quát thì kích thước của một ma trận có kích thước (W1, H1, D1) và kernel với số lượng là K, F là kích thước của kernel, số bước di chuyển là S và cuối cùng số lượng vòng điệm là P thì ta sẽ thu được ma trận như sau công thức được tính W2 = (W1 – F + 2P)/S + 1, H2 = (H1 – F + 2P)/S + 1, D2 = K. Ví dụ (Hình ảnh 7) ma trận đầu vào (I) kích thước 7x7x1và ma trận kernel (K) 3x3x1, Để tiến hành nhân từng phần tử của ma trận kernel với từng phần tử của ma trận đầu vào thu được ma trận kích thước (I*K). 14 shorturl.at/nouP9 15 Đề tài: Ứng dụng mô hình Faster-RCNN phát hiện vùng bất thường trên ảnh CT ngực 15 Hình ảnh 7: Quá trình chập mạng Strides là số bước di chuyển mỗi lần chập của ma trận kernel di chuyển trên ma trận đầu vào. Ví dụ, khi cho stride bằng 1 thì đồng nghĩa với việc ma trận kernel di chuyển 1 ô trên ma trận đầu vào như Hình ảnh 8, tương tự với stride bằng 2 thì ma trận kernel di chuyển bằng 2 ô (Hình ảnh 9). Lần 1 Lần 2 Hình ảnh 8: Thực hiện tride bằng 1 Lần 1 16 Lần 2 17 Hình ảnh 9: Thực hiện tride bằng 2 Padding: mỗi lần thực hiện Convolution xong thì kích thước ma trận đầu ra luôn nhỏ hơn kích thước ma trận đầu vào. Mục đích của padding là giữ lại kích thước cho ma trận đầu vào bằng cách them số 0 vào viền của ma trận tùy theo kích thước 15 16 17 https://www.zybuluo.com/hongchenzimo/note/1086311 https://viblo.asia/p/ung-dung-convolutional-neural-network-trong-bai-toan-phan-loai-anh-4dbZNg8ylYM https://viblo.asia/p/ung-dung-convolutional-neural-network-trong-bai-toan-phan-loai-anh-4dbZNg8ylYM 16