Tài liệu Ứng dụng xử lý ảnh đếm các đối tượng có ảnh chạm nhau

Trang phụNGUYÊN bìa ĐẠI HỌC THÁI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN THỊ THANH XUÂN ỨNG DỤNG XỬ LÝ ẢNH ĐẾM CÁC ĐỐI TƯỢNG CÓ ẢNH CHẠM NHAU LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên năm 2020 i LỜI CAM ĐOAN Tên tôi là: Nguyễn Thị Thanh Xuân Sinh ngày: 10/10/1977 Học viên lớp cao học CHK17A - Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên. Hiện đang công tác tại: Trường THPT Đồng Hỷ - tỉnh Thái Nguyên. Xin cam đoan: Đề tài “Ứng dụng xử lý ảnh đếm các đối tượng có ảnh chạm nhau” do TS. Phạm Đức Long hướng dẫn là công trình nghiên cứu của riêng tôi. Tất cả tài liệu tham khảo đều có nguồn gốc, xuất xứ rõ ràng. Tác giả xin cam đoan tất cả những nội dung trong luận văn đúng như nội dung trong đề cương và yêu cầu của thầy giáo hướng dẫn. Nếu sai tôi hoàn toàn chịu trách nhiệm trước hội đồng khoa học và trước pháp luật. Thái Nguyên, ngày 01 tháng 10 năm 2020 Tác giả luận văn Nguyễn Thị Thanh Xuân ii LỜI CẢM ƠN Sau một thời gian nghiên cứu và làm việc nghiêm túc, được sự động viên, giúp đỡ và hướng dẫn tận tình của Thầy giáo hướng dẫn TS. Phạm Đức Long, luận văn với Đề tài “Ứng dụng xử lý ảnh đếm các đối tượng có ảnh chạm nhau”. Tôi xin bày tỏ lòng biết ơn sâu sắc đến: Thầy giáo hướng dẫn TS. Phạm Đức Long đã tận tình chỉ dẫn, giúp đỡ tôi hoàn thành luận văn này. Phòng đào tạo Sau đại học Trường Đại học Công nghệ Thông tin và Truyền thông đã giúp đỡ tôi trong quá trình học tập cũng như thực hiện luận văn. Trường THPT Đồng Hỷ - tỉnh Thái Nguyên nơi tôi công tác đã tạo điều kiện tối đa cho tôi thực hiện khóa học này. Tôi xin chân thành cảm ơn bạn bè, đồng nghiệp và gia đình đã động viên, khích lệ, tạo điều kiện giúp đỡ tôi trong suốt quá trình học tập, thực hiện và hoàn thành luận văn này. Thái Nguyên, ngày 01 tháng 10 năm 2020 Tác giả luận văn Nguyễn Thị Thanh Xuân iii MỤC LỤC LỜI CAM ĐOAN ..................................................................................................... i LỜI CẢM ƠN .......................................................................................................... ii MỤC LỤC ............................................................................................................... iii DANH MỤC CÁC BẢNG...................................................................................... iv DANH MỤC CÁC HÌNH VẼ...................................................................................v DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT .......................................... vi ĐẶT VẤN ĐỀ ............................................................ Error! Bookmark not defined. CHƯƠNG 1. TỔNG QUAN ĐẾM ĐỐI TƯỢNG VÀ NHU CẦU ĐẾM BẰNG XỬ LÝ ẢNH ............................................................................................................2 1.1. Đếm đối tượng trong thực tế ..............................................................................2 1.1.1 Đếm thủ công bằng mắt ...................................................................................2 1.1.2 Đếm qua thiết bị sensor ....................................................................................3 1.1.3 Đếm qua ảnh ....................................................................................................4 1.2 Đặc điểm đếm đối tượng qua ảnh .......................................................................5 1.2.1 Ảnh số ..............................................................................................................5 1.2.2. Những thuận lợi khi áp dụng đếm bằng xử lý ảnh ..........................................8 1.2.3 Khó khăn khi đếm đối tượng qua ảnh ..............................................................8 KẾT LUẬN CHƯƠNG 1 ......................................................................................10 CHƯƠNG 2. CÁC PHƯƠNG PHÁP ĐẾM BẰNG XỬ LÝ ẢNH ...................11 2.1 Đếm các đối tượng tách rời ...............................................................................11 2.1.1 Thuật toán kinh điểm đếm các đối tượng tách rời nhau.................................11 2.1.2 Đếm sai khi có các đối tượng chạm nhau ......................................................12 2.2 Đếm đối tượng có ảnh dính nhau dùng hình thái học kinh điển .......................14 2.2.1 Hình thái học kinh điển ..................................................................................14 2.2.2 Hạn chế khi đếm các đối tượng dính nhau .....................................................16 2.3 Phối hợp Biến đổi Watershed và biến đổi khoảng cách....................................17 2.3.1 Biến đổi khoảng cách (DT - Distance Transform) .........................................17 iv 2.3.2 Phân vùng Watershed (WS-Watershed Segmentation) .................................19 2.3.3 Phối hợp biến đổi Watershed và biến đổi khoảng cách .................................27 2.4 Sử dụng mạng nơ ron ........................................................................................31 2.5 Đếm đối tượng có ảnh dính nhau dùng hình thái học định hướng....................35 2.5.1 Khảo sát Hình thái học gradients kinh điển ...................................................35 2.5.2 Hình thái học có định hướng .........................................................................37 2.6 Xây dựng thuật toán đếm đối tượng có ảnh dính nhau dùng hình thái học định hướng.......................................................................................................................41 KẾT LUẬN CHƯƠNG 2 ......................................................................................42 CHƯƠNG 3. ỨNG DỤNG XỬ LÝ ẢNH ĐẾM CÂY THÉP QUA ẢNH ĐẦU BÓ ...........................................................................................................................43 3.1 Cơ sở chọn thuật toán và nhu cầu thực tế .........................................................43 3.2 Đếm cây thép qua ảnh đầu bó ...........................................................................51 3.3 Kết quả thực nghiệm .........................................................................................52 3.4 Nhận xét và đánh giá, so sánh ...........................................................................55 KẾT LUẬN CHƯƠNG 3........................................................................................56 KẾT LUẬN .............................................................................................................56 HƯỚNG PHÁT TRIỂN ..........................................................................................57 TÀI LIỆU THAM KHẢO .......................................................................................58 PHỤ LỤC .................................................................................................................. I viv DANH MỤC CÁC BẢNG Bảng 2.1 Một số ví dụ biến đổi khoảng cách ..........................................................18 Bảng 3.1 Quy cách thép cây cường lực (thép cây có vằn) ......................................45 Bảng 3.2 Quy cách thép tròn trơn ...........................................................................46 Bảng 3.3 Độ chính xác kết quả đếm qua ảnh đầu bó thép (%) ...............................55 vvi DANH MỤC CÁC HÌNH VẼ Hình 1.1 Đếm sơ khai và trừu tượng với con số .......................................................2 Hình 1.2 Đếm thủ công đầu bó thép dùng sơn và mắt thường .................................2 Hình 1.3 Đếm bằng sensor ........................................................................................3 Hình 1.4 Đếm quả để ước tính sản lượng .................................................................4 Hình 1.5 Đếm hồng cầu qua kính hiển vi .................................................................4 Hình 1.6 Đếm ô tô trên đường cao tốc ......................................................................4 Hình 1.7 Nguyên lý máy ảnh số ................................................................................5 Hình 1.8 Nguyên lý sensor CCD. Trong hình là 3 vi điểm ảnh ................................6 Hình 1.9 Sensor CCD và sensor CMOS ...................................................................6 Hình 1.10 Sensor CMOS hiện tại ..............................................................................7 Hình 1.11 Ảnh thiếu sáng chất lượng kém, bị mất không tin ...................................9 Hình 1.12 Ảnh hồng cầu bị chạm, chồng lên nhau ..................................................9 Hình 1.13 Ảnh nhiễu và không nhiễu .......................................................................9 Hình 2.1 Tạo các điểm ảnh biên cho ảnh I..............................................................11 Hình 2.2 Minh họa phương pháp đếm kinh điển ....................................................12 Hình 2.3 a) ảnh nguyên bản b) ảnh nhị phân .......................................................13 Hình 2.4 Thực hiện phép co và phép dãn nở ảnh nhị phân .....................................13 Hình 2.5 a) Ảnh nguyên bản b) Sau khi dùng phép co c) Sau khi dùng phép dãn nở. ...............................................................................................................14 Hình 2.6 Ảnh nhị phân nguyên bản và sau khi thực hiện các phép hình thái học 15 Hình 2.7 Hình thái học trên ảnh xám ......................................................................16 Hình 2.8 Thực hiện hình thái học trên ảnh xám......................................................16 Hình 2.9 Dùng phép co để tách các đối tượng ........................................................17 Hình 2.10 Do phép co chưa đủ số lần thực hiện .....................................................17 Hình 2.11 Tác dụng của ba kiểu biến đổi khoảng cách .........................................19 Hình 2.12 Nguyên lý biến đổi lưu vực sông (watershed transform) nơi các giá trị cường độ xác định đồi và lưu vực. Đối với mục đích phân vùng, các lưu vực có thể bị ngập để kết hợp các vùng tương ứng. ..............................19 vii Hình 2.13 Địa hình khi chưa bị ngập nước ............................................................20 Hình 2.14 Bắt đầu cho ngập các thung lũng ...........................................................20 Hình 2.15 Vị trí của Watershed...............................................................................20 Hình 2.16 Xây dựng bức tường ngăn cách tại vị trí Watershed..............................20 Hình 2.17 Toàn bộ địa hình bị nhấn chìm...............................................................21 Hình 2.18 Ví dụ phân vùng ảnh bằng Watershed ...................................................21 Hình 2.19 Watershed transform trên lưới ô vuông, cho các kết nối khác nhau. .....26 Hình 2.20 Phân vùng quá mức do nhiễu khi áp dụng cho một lát cắt trục của hình ảnh CT. Ảnh cuối: các lưu vực riêng lẻ (individual basins) được hợp nhất để tạo thành các vùng lớn hơn liên tiếp. ................................................27 Hình 2.21 Thuật toán phối hợp biến đổi Watershed và biến đổi khoảng cách .......29 Hình 2.22 Phân vùng các đồng xu dính nhau .........................................................30 Hình 2.23 Tách các hạt cà phê dính nhau ...............................................................31 Hình 2.24 Trước tiên, mạng CNN-DC thực hiện phát hiện các điểm tâm cây thép bằng một mạng CNN (deep CNN), sau đó áp dụng thuật toán Phân cụm khoảng cách để có được thông tin về số lượng thanh thép và các vị trí tâm của các thanh thép. ...............................................................32 Hình 2.25 Minh họa quá trình phân cụm khoảng cách: (1) Tính khoảng cách.......33 Hình 2.26 Kiến trúc CNN .......................................................................................34 Hình 2.27 Quá trình sử dụng phương pháp dùng mạng nơ ron chập cuộn CNN cho đêm và định tâm các cây thép ................................................................34 Hình 2.28 Ví dụ hình thái học gradient với ảnh một con đường ............................36 Hình 2.29 Hình thái học gradient với tín hiệu 1D có tác dụng cải thiện tín hiệu cả hai vùng trong và ngoài. ........................................................................36 Hình 2.30 Ví dụ hình thái học gradient với ảnh một tấm bản mạch .......................37 Hình 2.31 Quy ước các hướng trong ảnh với thực hiện hình thái học có định hướng ...... 37 Hình 2.32 Hình thái học có hướng ..........................................................................38 Hình 2.33 Các vị trí và hướng thực hiện Hình thái học định hướng.......................39 Hình 2.34 Góc  thay đổi qua các trục thể hiện các điểm lõm (a) và lồi (b) của biên.…39 viii Hình 2.35 Điểm A đổi chiều gradient theo hướng Y-Y .........................................40 Hình 2.36 Tìm tọa độ các điểm thực hiện hình thái học định hướng ....................40 Hình 2.37 Các mặt nạ hình thái học theo hướng a) X-X, b) Y-Y c) Y-X d) X-Y ..40 Hình 3.1 Thép xây dựng a) dạng cây b) dạng cuộn ................................................44 Hình 3.2 Thép tròn trơn và thép vằn .......................................................................45 Hình 3.3 Phôi thép cán ............................................................................................48 Hình 3.4 Đầu thép thanh tròn và thép thanh cường lực ..........................................48 Hình 3.5 Dây chuyền cán và cơ cấu đếm của DANIEL (Ytalia) tại nhà máy Thái Trung – Thái Nguyên.............................................................................49 Hình 3.6 Hệ thống đếm thép 2 Camera của của dây chuyền cán Thái Trung (Thái Nguyên) sử dụng công nghệ DANIEL ..................................................49 Hình 3.7 Dây chuyền cán NasteelVina sử dụng đếm thủ công...............................49 Hình 3.8 a) Hệ thống đếm từng cây thép trên băng tải của SINOM GROUP LTD Sai số 0.7 % b) ảnh trên chương trình xử lý [11]. ...............................50 Hình 3.9 Đưa số đếm vào chương trình mã vạch để quản lý ..................................50 Hình 3.10 Tách đối tượng dùng mẫu ......................................................................52 Hình 3.11 Mẫu ảnh dùng trong thực nghiệm .........................................................53 Hình 3.12 Các bước thực hiện tách đối tượng trong ảnh a) ảnh nguyên bản b) ảnh xám c) ảnh nhị phân d), e), f) các bước trung gian g) tìm biên để xác định hưởng thực hiện hình thái học h) kết quả tách các đối tượng. ......54 Hình 3.13 Kết quả đếm số cây đầu bó ....................................................................55 Hình 3.14 Trường hợp đầu cây thép bị thụt vào .....................................................55 vi ix DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT AI- Artificial Intelligence Trí tuệ nhân tạo CNN - Convolutional Neural Networks Mạng nơ ron chập cuộn (phần mềm) CNN- Cellular Neural Netwwork Mạng nơ ron tế bào (phần cứng) Closing Toán tử đóng Closing Dilation Phép dãn nở DT - Distance Transform Biến đổi khoảng cách Deep learning Học sâu Erosion Phép co Morphological Operator Toán tử hình thái học Morphological Gradient Hình thái học Gradient Opening Toán tử mở Opening OM - Oriented Morphology Hình thái học định hướng Sensor CCD (Charge Coupled Device) Cảm biến CCD Sensor Complementary Metal-Oxide-Semiconductor (CMOS) Cảm biến bán dẫn ô xit kim loại Watershed Segmentation Biến đổi Watershed 1 MỞ ĐẦU Đếm các đối tượng trong ảnh là một bài toán được đặt ra nhiều trong thực tế như đếm các tế bào, đếm hồng cầu trong máu qua ảnh từ kính hiển vi điện tử, đếm các sản phẩm công nghiệp qua các camera công nghiệp… Khó khăn lớn nhất với việc đếm bằng xử lý ảnh là ảnh của các đối tượng cần đếm thường dính với nhau gây ra kết quả sai khác so với thực tế. Cho đến nay đã có nhiều phương pháp làm tăng độ chính xác của kết quả đếm bằng xử lý ảnh. Tuy nhiên kết quả của các phương pháp đó vẫn chưa cho độ chính xác 100%. Trong bài báo này chúng tôi đề xuất một phương pháp mới áp dụng hình thái học có định hướng để tách các đối tượng bị dính nhau trong ảnh để đưa độ chính xác kết quả của các quá trình đếm có khả năng đạt đến độ chính xác tuyệt đối trong một số ứng dụng trong công nghiệp hiện nay. Thực nghiệm được thực hiện trên ảnh của các bó thép cho số lượng cây thép có trong bó có thể đạt độ chính xác tuyệt đối. Kết quả này có thể được ứng dụng thay cho việc đếm bằng thủ công trong các nhà máy cán thép hiện nay. Nhu cầu đếm các đối tượng có rất nhiều trong thực tiễn. Đếm thủ công bằng mắt là một phương pháp tự nhiên, đã có lâu đời. Nhưng ngày nay việc đếm thủ công đã không còn đáp ứng được nữa do tốc độ xuất hiện và tồn tại các đối tượng cần đếm rất nhanh, do số lượng đối tượng cần đếm vô cùng lớn, do các đối tượng trong nhóm dính hoặc chồng lấn lên nhau Mục tiêu của luận văn là nghiên cứu Xây dựng thuật toán đếm đối tượng có ảnh dính nhau dùng hình thái học định hướng. Chúng ta thấy morphological gradient chỉ có tác dụng nổi biên ở các phía trong và ngoài biên cũng như nổi biên so với nền ảnh trong một số trường hợp và không tác dụng tách rời các đối tượng dính nhau. Với mục tiêu tách đối tượng tách rời các đối tượng dính nhau chúng tôi đưa ra một loại hình thái học mới thực hiện hình thái học dựa trên đặc điểm của biên ảnh tại những vị trí có biểu hiện đặc điểm của hai đối tượng “dính nhau”. Từ đó tiến hành xây dựng mô hình thực nghiệm đếm ảnh sản phẩm trên phần mềm Matlab. Do vậy em lựa chọn đề tài “Ứng dụng xử lý ảnh đếm các đối tượng có ảnh chạm nhau” cho đề tài luận văn tốt nghiệp. 2 CHƯƠNG 1 TỔNG QUAN ĐẾM ĐỐI TƯỢNG VÀ NHU CẦU ĐẾM BẰNG XỬ LÝ ẢNH 1.1. Đếm đối tượng trong thực tế 1.1.1 Đếm thủ công bằng mắt Nhu cầu đếm là một nhu cầu tự nhiên của con người. Từ lúc đi săn bắn ở rừng đã phải đếm xem bắt được/bắn được mấy con thú, hái được bao nhiêu quả rừng. Khi chưa xuất hiện số đếm con người dùng các bộ phận thân thể để nhớ số lượng, đánh dấu khi nhớ. Hình 1.1 Đếm sơ khai và trừu tượng với con số Số đếm ra đời cho phép con người đếm được nhiều hơn. Tuy nhiên với số lượng lớn sự bao quát của mắt không thể đáp ứng được. Lúc đó phải có đánh dấu, ví dụ đếm cây thép qua đầu bó thép mỗi cây thép đã đếm rồi thì phải bôi sơn vào để không đếm nhầm lại nữa. Hình 1.2 Đếm thủ công đầu bó thép dùng sơn và mắt thường 3 Tuy nhiên với các yêu cầu đếm nhanh, đếm tự động chính xác thì phải có những phương pháp khác. Đây mới chỉ đề cập đến đếm thuần túy và chưa kể đến đếm có kiểm tra ví dụ đếm tiền bằng máy đếm. 1.1.2 Đếm qua thiết bị sensor b) Đếm sản phẩm trên dây chuyền sản xuất b) Đếm người ra-vào qua cửa Hình 1.3 Đếm bằng sensor Đây là phương pháp hay được sử dụng trong công nghiệp và một số không gian công cộng (như bảo tàng, siêu thị, nhà ga): + Với lối ra vào hẹp chỉ đủ cho một người: Một (hoặc một số) sensor tiệm cận, sensor hồng ngoại được bố trí để khi không có vật (hoặc người) qua thì giá trị tín hiệu ra của sensor là “0” khi có tín hiệu của sản phẩm hoặc của người qua thì tín hiệu bằng “1” và số đếm = số đếm +1. + Với lối ra vào rộng: Để tránh trường hợp có 2 hay nhiều hơn số người cùng đi qua mà vẫn chỉ có một tín hiệu “1” thì các sensor cần bố trí theo dãy ngang từ trên xuống. Một số nhược điểm của dùng sensor là khi cường độ nhiễu của môi trường với biên độ lớn đến hơn 100V làm bộ điều khiển bị “treo” hoặc sensor báo tín hiệu sai. Đây là trường hợp dùng sensor đếm thép cây trên dây chuyền trong quá trình sản xuất tại nhà máy cán thép. 4 1.1.3 Đếm qua ảnh Khái niệm “ảnh” ở đây được hiểu không chỉ là ảnh quang học thu qua các camera mà cả ảnh thu qua các mảng sensor (ví dụ ảnh trên thiết bị kiểm tra vị trí xe ô tô). Trong thực tiễn để có kết quả đếm rất nhiều trường hợp không thể sử dụng đếm bằng sensor và đếm bằng mắt thì không đếm xuể ví dụ đếm hồng cầu, đếm quả trong vườn, [1], [2], [3]. Hình 1.4 Đếm quả để ước tính sản lượng Hình 1.5 Đếm hồng cầu qua kính hiển vi Hình 1.6 Đếm ô tô trên đường cao tốc 5 1.2 Đặc điểm đếm đối tượng qua ảnh 1.2.1 Ảnh số Hình 1.7 Nguyên lý máy ảnh số Các máy ảnh số hiện nay không phải thu và lưu trữ các ảnh thực như máy ảnh chụp phim mà dùng các sensor quang thu và lưu giữ các điểm ảnh thực đã được rời rạc hóa và chuyển sang giá trị số. Các máy ảnh đặc biệt chụp ban đêm hoặc y học có thể dùng các cảm biến quang ở vùng phổ tia X, tia gamma. Hai loại sensor quang được dùng trong các máy ảnh số thông dụng là CCD (hoặc CMOS). Trong hình 1.7 là nguyên lý của một máy ảnh số dùng sensor CCD. Cường độ sáng của đối tượng qua hệ thống ống kính tác động lên mảng sensor sẽ cho ra ở đầu ra của mảng sensor các điện áp khác nhau phụ thuộc độ sáng của mỗi điểm ảnh. Các gía trị điện áp này sẽ được bộ xử lý và bộ ADC chuyển sang các mức điện áp tương ứng với các giá trị số 0/1 (tức là mảng ảnh số). Để tích hợp ảnh màu cần có 3 mảng sensor để chuyển đổi một mảng tín hiệu quang học thành 3 nhóm tín hiệu màu cơ bản; chẳng hạn các nhóm RGB trong hệ màu Đỏ, Xanh lam, Xanh dương. Cả hai loại sensor ảnh phổ biến CCD và CMOS đều được phát triển từ giai đoạn cuối 1960-1970.  Sensor CCD (Charge Coupled Device) CCD bao gồm một mạng lưới các điểm bắt sáng (điểm ảnh, pixel). Các điểm này lại được phủ các lớp lọc màu (thường là 1 trong 3 màu cơ bản: đỏ, xanh lam và xanh dương (Red, Green, Blue) để mỗi điểm chỉ bắt một màu nhất định. Do các điểm ảnh được phủ các lớp lọc màu khác nhau và được đặt xen kẽ nhau nên màu nguyên thủy tại một điểm của hình ảnh thật sẽ được tái hiện bằng màu từ một điểm 6 ảnh chính kết hợp với các màu bù được bổ sung từ các điểm xung quanh bằng phương pháp nội suy. Hình 1.8 Nguyên lý sensor CCD. Trong hình là 3 vi điểm ảnh Khi chụp ảnh, cửa chập mở ra (cửa đóng/mở hệ thống thấu kính của máy ảnh), ánh sáng qua ống kính sẽ được lưu lại lại bề mặt chip thông qua các điểm ảnh. Thông tin về ánh sáng (độ sáng, màu) của mỗi điểm ảnh được chuyển đổi thành sự khác nhau về điện áp và sẽ được chuyển lần lượt ra bộ phận đọc giá trị điện áp này. Sau đó các giá trị này sẽ đi qua bộ khuyếch đại tín hiệu, rồi đến bộ chuyển đổi tín hiệu tương tự sang tín hiệu số (A/D converter-bộ chuyển đổi tín hiệu tương tự analog thành tín hiệu số digital), rồi tới bộ xử lý để tái hiện lại hình ảnh đã chụp được. Việc phải đọc lần lượt thông tin là do tốc độ xử lý hoàn thiện một bức ảnh khá chậm, ảnh ở một số vùng hoặc dễ bị thừa sáng hoặc thiếu sáng. Để xử lý vấn đề này, một bộ đọc ảnh có kích cỡ bằng mạng lưới các hạt sáng được bổ sung xen kẽ để làm tăng tốc độ xử lý ảnh mà không bị suy giảm chất lượng. Sự cải thiện này đòi hỏi phải có thêm không gian nhớ trên chip. Để sản xuất chip CCD cần có những thiết bị, phòng lab chuyên dụng, khiến cho giá thành CCD đã đắt lại càng thêm đắt. Hình 1.9 Sensor CCD và sensor CMOS 7  Sensor CMOS (Complementary Metal-Oxide-Semiconductor) Với sensor CMOS, cạnh mỗi một điểm bắt sáng trên cảm biến CMOS đều có một mạch bổ trợ, do đó người ta có thể tích hợp các quy trình xử lý ảnh như bộ chuyển đổi analog/digital, cân bằng trắng vào mạch bổ trợ này, giúp cho quá trình xử lý bức ảnh được thực hiện rất nhanh nhờ được thực hiện ngay tại từng điểm ảnh đơn lẻ. Các điểm ảnh đa chức năng này (vì thế ở CMOS thế hệ mới còn được gọi là các điểm ảnh chủ động APS – active pixel sensor) đều có khả năng tự làm việc. Cũng do khả năng này mà người ta có thể tương tác với một vùng pixel nhất định của chip cảm biến (ví dụ như zoom số - phóng to/thu nhỏ chỉ một phần của ảnh), điều không thể làm được đối với CCD vì CCD đã đọc là đọc hết toàn bộ bức ảnh. Với khả năng tích hợp cao, bảng mạch chính sẽ không bị mất thêm không gian (vì tất cả đã ở trên chip), không đòi hỏi thêm các chip bổ trợ. CMOS cũng tiêu thụ rất ít điện năng, việc sản xuất dễ dàng vì quy trình giống như quy trình sản xuất chip máy tính thông dụng ngày nay hay các chip trong các thiết bị điều khiển khác, không cần phải đầu tư thêm phòng lab mới. Giá thành sản xuất theo đó sẽ được giảm đáng kể. Tuy nhiên, do mỗi một điểm nhận ánh sáng trên CMOS lại có một mạch riêng nên khó có thể đảm bảo tính đồng nhất của mỗi mạch khi khuyếch đại. Điều này làm cho bức ảnh xuất ra luôn có một độ nhiễu nhất định (không mịn). Nếu như ở CCD, mỗi một điểm ảnh là một mặt bắt sáng khiến cho độ nhạy sáng của CCD cao hơn, dải màu thể hiện được nhiều hơn, độ phân giải cao hơn, thì mỗi một điểm ảnh của CMOS (bao gồm hạt bắt sáng và mạch khuyếch đại) khi bắt sáng sẽ có những phần ánh sáng rơi vào vị trí của mạch vì thế sẽ không được tái hiện. Điều này làm cho ảnh bị mất thông tin tại những vùng này dẫn đến độ phân giải của CMOS không cao. Hình 1.10 Sensor CMOS hiện tại 8 Với công nghệ chế tạo chip cảm biến CMOS mới hiện tại, các vấn đề nhược điểm của sensor CMOS đã được khắc phục. Để giải quyết vấn đề các mạch khuyếch đại luôn tạo ra một độ nhiễu nhất định trên ảnh, người ta khắc phục bằng cách đọc ảnh trên cảm biến CMOS hai lần, mỗi lần chỉ trong vòng khoảng 10/1.000 giây. Lần 1 đọc toàn bộ các giá trị bắt sáng của cảm biến, lần 2 chỉ đọc các giá trị của các mạch bổ trợ tại mỗi chip (giá trị gây nhiễu, hạt). Lấy giá trị lần 1 trừ đi giá trị lần 2 sẽ được bức ảnh chất lượng cao, loại bỏ gần như hoàn toàn độ nhiễu. Để không bị mất phần thông tin ánh sáng rơi vào vị trí của mạch, người ta đã thêm vào bên trên của mạch một lớp chắn sáng, một vi thấu kính sẽ được phủ lên toàn bộ bề mặt của hạt bắt sáng và của mạch, lái ánh sáng tại mọi vị trí của điểm ảnh rơi vào vị trí của hạt bắt sáng. Nhờ vào các ưu điểm và việc khắc phục các nhược điểm như trên của cảm biến CMOS mà giờ đây cảm biến CMOS đang là lựa chọn của rất nhiều nhà sản xuất máy chụp hình/quay phim nổi tiếng trên thế giới. Nhờ những đột phá về công nghệ mới đã khiến cho chất lượng của CMOS hiện tại trở nên ngang bằng hoặc thậm chí là vượt qua cả tiêu chuẩn của CCD. Với nhiều tính năng được tích hợp sẵn hơn là CCD, cảm biến CMOS hoạt động hiệu quả hơn, cần ít điện năng hơn và chụp ảnh tốc độ cao tốt hơn CCD. 1.2.2. Những thuận lợi khi áp dụng đếm bằng xử lý ảnh + Dễ dàng tin học hóa, tự động hóa, + Dùng được trong những trường hợp không thể dùng các phương pháp thủ công và cũng không dùng được các phương pháp đếm bằng cơ cấu cơ khí, đếm bằng sensor điện tử (ví dụ các trường hợp đếm thép cây trong nhà máy qua ảnh đầu bó thép, đếm hồng cầu qua ảnh thu được trên kính hiển vi điện tử). 1.2.3 Khó khăn khi đếm đối tượng qua ảnh Những khó khăn khi đếm đối tượng qua ảnh là: + Chất lượng ảnh phụ thuộc nhiều vào chất lượng ánh sáng khi tích hợp ảnh: Nếu cường độ sáng chiếu vào đối tượng mà nhỏ quá thì các các sensor không tác động hoặc cường độ điện áp ra thấp có nghĩa là ảnh không thấy gì hoặc chất lượng kém 9 làm ảnh hưởng đến các khâu xử lý ảnh. Ngược lại khi ảnh được chiếu sáng quá mức hoặc bị ngược sáng thì cũng cho ảnh chất lượng xấu. Hình 1.11 Ảnh thiếu sáng chất lượng kém, bị mất không tin + Ảnh của đối tượng bị dính (chạm) nhau hoặc chồng lên nhau. Hình 1.12 Ảnh hồng cầu bị chạm, chồng lên nhau + Tác động của nhiễu khi tích hợp ảnh cũng là vấn đề lớn; nhất là các ảnh y học siêu âm khi tích hợp thường xuất hiện nhiễu đốm là một loại nhiễu khó loại bỏ. Trong hình 1.13. Với nhiệm vụ phát hiện, đếm ô tô nếu ta không khử được nhiễu thì không thể thực hiện các bước nhận dạng ô tô và đếm. Hình 1.13 Ảnh nhiễu và không nhiễu 10 KẾT LUẬN CHƯƠNG 1 Trong cuộc sống thực tiễn các nhu cầu đếm đối tượng có trong nhiều lĩnh vực. Để có thể tự động hóa việc đếm có thể sử dụng các bộ cảm biến (sensor) hoặc đếm qua xử lý ảnh. Rất nhiều trường hợp không thể sử dụng sensor do nhiễu hoặc không lắp đặt được sensor, khi đó phương pháp đếm bằng xử lý ảnh là giải pháp duy nhất. Tuy nhiên đếm bằng xử lý ảnh cũng có những khó khăn do bản chất của phương pháp là phụ thuộc ánh sáng và có thể có sai số khi các đối tượng bị dính/chạm nhau nếu chúng ta không có phương pháp loại trừ thích hợp.