Tài liệu Nghiên cứu thiết kế hệ thống camera xử lý tốc độ cao

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ĐINH HỒNG HƯNG NGHIÊN CỨU THIẾT KẾ HỆ THỐNG CAMERA XỬ LÝ TỐC ĐỘ CAO LUẬN VĂN THẠC SĨ KỸ THUẬT KỸ THUẬT VIỄN THÔNG Hà Nội - 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI ĐINH HỒNG HƯNG NGHIÊN CỨU THIẾT KẾ HỆ THỐNG CAMERA XỬ LÝ TỐC ĐỘ CAO Chuyên ngành: Kỹ thuật viễn thông LUẬN VĂN THẠC SĨ KỸ THUẬT KỸ THUẬT VIỄN THÔNG NGƯỜI HƯỚNG DẪN KHOA HỌC TS. NGUYỄN HOÀNG DŨNG Hà Nội - 2017 MỤC LỤC DANH SÁCH CÁC TỪ VIẾT TẮT T 1 3 T 1 3 LỜI CAM ĐOAN T 1 3 T 1 3 LỜI CẢM ƠN T 1 3 T 1 3 TÓM TẮT LUẬN VĂN .......................................................................................... 1 T 1 3 T 1 3 ABATRACT THESIS ............................................................................................. 2 T 1 3 T 1 3 MỞ ĐẦU ................................................................................................................ 3 T 1 3 T 1 3 Chương I: CÔNG NGHỆ CẢM BIẾN HÌNH ẢNH CMOS VÀ CCD ..................... 5 T 1 3 T 1 3 1.1.Kiến trúc cảm biến hình ảnh .......................................................................... 5 T 1 3 T 1 3 1.2. Cảm biến CCD và CMOS ............................................................................. 7 T 1 3 T 1 3 1.2.1. Cảm biến CCD ....................................................................................... 7 T 1 3 T 1 3 1.2.2. Cảm biến CMOS .................................................................................. 19 T 1 3 T 1 3 1.2.3. So sánh CCD và CMOS ....................................................................... 26 T 1 3 T 1 3 1.3. Kết luận chương ......................................................................................... 28 T 1 3 T 1 3 Chương II: CẢM BIẾN CAMERA TỐC ĐỘ CAO ISIS ....................................... 29 T 1 3 T 1 3 2.1. Tổng quan về ISIS ...................................................................................... 29 T 1 3 T 1 3 2.2. Cấu trúc cảm biến và đặc điểm ................................................................... 30 T 1 3 T 1 3 2.2.1. Cấu trúc tổng thể .................................................................................. 30 T 1 3 T 1 3 2.2.2. Cấu trúc pixel....................................................................................... 33 T 1 3 T 1 3 2.2.3. Cấu trúc mặt cắt ngang ......................................................................... 34 T 1 3 T 1 3 2.2.4. Nguyên lý điều khiển tín hiệu bên trong ISIS ....................................... 35 T 1 3 T 1 3 2.2.5. So sánh và đánh giá ISIS với các loại cảm biến CCD khác ................... 37 T 1 3 T 1 3 2.3. Kết luận chương ......................................................................................... 44 T 1 3 T 1 3 Chương III: HỆ THỐNG ĐIỀU KHIỂN ELECTRONS TRONG ISIS .................. 45 T 1 3 T 1 3 3.1. Hệ thống điều khiển .................................................................................... 45 T 1 3 T 1 3 3.1.1. Đường đi của bus điều khiển trên main board ...................................... 45 T 1 3 T 1 3 3.1.2. Sơ đồ khối hệ thống ............................................................................. 46 T 1 3 T 1 3 3.1.3. Khối Decoder ....................................................................................... 47 T 1 3 T 1 3 3.1.4. Khối Controller .................................................................................... 49 T 1 3 T 1 3 3.1.5. Nhóm khối điều khiển VCCD và HCCD .............................................. 52 T 1 3 T 1 3 3.2. Kết quả mô phỏng ....................................................................................... 53 T 1 3 T 1 3 3.3. Kết luận chương ......................................................................................... 57 T 1 3 T 1 3 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .............................................................. 58 T 1 3 T 1 3 TÀI LIỆU THAM KHẢO ..................................................................................... 59 T 1 3 T 1 3 PHỤ LỤC 1 ........................................................................................................... 60 T 1 3 T 1 3 PHỤ LỤC 2 ........................................................................................................... 61 T 1 3 T 1 3 DANH MỤC HÌNH Hình 1.1. Sơ đồ khối cảm biến CCD ........................................................................ 6 Hình 1.2. Sơ đồ khối cảm biến CMOS ..................................................................... 6 Hình 1.3. Cấu trúc chip CCD ................................................................................... 8 Hình 1.4. Phân phối điện trường trong tiếp họp p-n: (a) internal potential và (b) với sự áp đặt của điện thế dương.................................................................................. 11 Hình 1.5. Cấu trúc tổng quát của CCD với giếng điện thế tạo nên do áp đặt điện thế khác nhau .............................................................................................................. 12 Hình 1.6. Sự di chuyển những thùng chứa nước (quang tử) trên những đai ............ 13 Hình 1.7. Di chuyển điện tích bằng cách thay đổi cách áp đặt điện thế .................. 14 Hình 1.8. Electron trong các điện cực .................................................................... 16 Hình 1.9. Hai dạng cơ bản của CCD ...................................................................... 16 Hình 1.10. Bộ khuếch đại tín hiệu đầu ra CCA và Tương quan lấy mẫu ................ 18 Hình 1.11. Cấu trúc cảm biến ảnh CMOS .............................................................. 21 Hình 1.12. Ánh sáng vào các pixel được đưa ra ngay............................................. 23 Hình 1.13. Mô hình CMOS APS (a) và cấu trúc mảng (b) ..................................... 23 Hình 1.14. Layout của CMOS điển hình ................................................................ 24 Hình 2.1. Cấu trúc mặt của ISIS-V16 [6] ............................................................... 32 Hình 2.2. Sơ đồ mặt trước của ISIS camera ........................................................... 33 Hình 2.3. Điện cực trong linear CCD ..................................................................... 33 Hình 2.4. Cấu trúc mặt cắt ngang........................................................................... 34 Hình 2.5. Nguyên lý hoạt động của ISIS ................................................................ 35 Hình 2.6 Hoạt động của linear CCD trong kĩ thuật truyền four-phase .................... 36 Hình 2. 7 ISIS-V16 camera thế hệ đầu tiên để đánh giá hiệu năng ......................... 38 Hình 2.8 Một phần cánh quạt được chụp bởi ISIS-V16 camera ............................. 38 Hình 2.9 Quạt điều khiển bằng lase có 200 cánh.................................................... 38 Hình 2.10. Mối quan hệ giữa tốc độ bắt hình và sự quay của cánh quạt ................. 39 Hình 2.11 Bốn ảnh liên tiếp của một xung ánh sáng LED ..................................... 40 Hình 2.12. Qmax vs Frame rate ............................................................................. 40 Hình 2.13. Cấu trúc pixel của CCD thông thường.................................................. 44 Hình 3. 1. Block diagram of CCD main board ....................................................... 45 Hình 3.2. Sơ đồ khối hệ thống điều khiển .............................................................. 46 Hình 3. 3. Tín hiệu trong Decoder ......................................................................... 47 Hình 3. 4. Tín hiệu trong khối Controller ............................................................... 51 Hình 3. 5. Sơ đồ khối kết nối khối điều khiển VCCD ............................................ 52 Hình 3. 6. Sơ đồ kết nối khối điều khiển HCCD .................................................... 53 Hình 3. 7. Kết quả mô phỏng tổng quan................................................................. 54 Hình 3. 8. Mô phỏng chế độ chụp của camera ....................................................... 55 Hình 3. 9. Mô phỏng hoạt động readout của ISIS .................................................. 56 DANH MỤC BẢNG BIỂU Bảng 1.1. So sánh giữa CCD và CMOS ................................................................. 27 Bảng 2.1 Thông số kĩ thuật của ISIS-V12 so với ISIS-V16[6] ............................... 31 Bảng 3.1. Chức năng các tín hiệu trong khối decoder ............................................ 48 Bảng 3.2. Trạng thái điều khiển trong khối Controller ........................................... 50 DANH SÁCH CÁC TỪ VIẾT TẮT Từ viết tắt Tên đầy đủ Nghĩa CCD Charge-couple device Thiết bị tích điện kép CMOS Complementary metal oxide semiconductor Chất bán dẫn bổ sung kim loại ISIS In-situ storage image sensor Cảm biến hình ảnh lưu trữ tại chỗ CCM Charge Carrier Multiplication Đa phí vận chuyển BSI Back-side illuminate Chiếu sáng sau VCCD Vertical charge-couple device Thiết bị tích điện kép dọc HCCD Horizontal charge-couple device Thiết bị tích điện kép ngang VHSIC Hardware Description Language Ngôn ngữ mô tả phần cứng VHSIC VHDL T 0 LỜI CAM ĐOAN Tôi xin cam đoan: Luận văn này là công trình nghiên cứu thực sự của tôi phối hợp cùng với nhóm nghiên cứu của phòng lab TS. Nguyễn Hoàng Dũng, được thực hiện dưới sự hướng dẫn khoa học của TS. Nguyễn Hoàng Dũng. Các số liệu, kết quả nghiên cứu trong luận văn này là trung thực hoàn toàn chính thống không sao chép từ bất kỳ luận văn nào đã được công bố. Các thông tin sử dụng trong luận văn có nguồn gốc và được trích dẫn rõ ràng. Tôi xin chịu trách nhiệm về nghiên cứu của mình. Tác giả luận văn Đinh Hồng Hưng LỜI CẢM ƠN Trong thời gian nghiên cứu để hoàn thiện đề tài luận văn một cách hoàn chỉnh, bên cạnh sự nỗ lực của bản thân còn có sự hướng dẫn nhiệt tình và chu đáo của các thầy cô trong Viện Điện tử - Viễn thông Trường Đại học Bách Khoa Hà Nội, sự ủng hộ của gia đình, bạn bè trong suốt thời gian học tập nghiên cứu thực hiện luận văn thạc sĩ. Tôi xin chân thành bầy tỏ lòng cảm ơn sâu sắc tới thầy TS. Nguyễn Hoàng Dũng, người đã tận tình hướng dẫn và giúp đỡ em hoàn thành luận văn thạc sỹ trong suốt thời gian vừa qua. Đồng thời, tôi xin chân thành gửi lời cảm ơn các quý thầy cô, các anh chị và đặc biệt các sinh viên trong phòng Lab của thầy Nguyễn Hoàng Dũng tại Trường Đại học Bách Khoa Hà Nội đã hỗ trợ và có những góp ý kịp thời và bổ ích, giúp đỡ tôi trong suốt quá trình nghiên cứu hoàn thiện luận văn này. Cuối cùng, tôi xin chân thành cảm ơn đến gia đình, các anh chị và các bạn đồng nghiệp đã hỗ trợ cho tôi rất nhiều trong suốt quá trình học tập, nghiên cứu và thực hiện đề tài luận văn thạc sĩ một cách hoàn chỉnh. Hà Nội, ngày 12 tháng 10 năm 2017 Tác giả luận văn Đinh Hồng Hưng 1 TÓM TẮT LUẬN VĂN Với khả năng ghi lại hình ảnh của đối tượng mà mắt người thường không thể quan sát được, sau đó quay chậm lại hình ảnh này với tốc độ cao (> 1000 hình/giây) để đánh giá quá trình diễn ra như thế nào, các camera tốc độ cao được ứng dụng để xử lý, giải quyết bài toán này. Hiện nay, các camera tốc độ cao đang được áp dụng cho nhiều lĩnh vực khác nhau (chẩn đoán và phát hiện sớm các sự cố hỏng hóc máy móc, điều chỉnh và giám sát các dây chuyền sản xuất có tốc độ cao như in ấn, đóng gói, nghiên cứu cơ sinh học, hóa học, vật lý, nghiên cứu và phân tích quá trình cháy nổ, rơi vỡ, đứt gẫy, va chạm, phân tích quỹ đạo, phân tích chuyển động của các dòng chất lỏng..v..v…), việc đồng bộ và lưu trữ hình ảnh thu được từ bộ cảm biến đòi hỏi tăng tốc độ xử lý nâng cao khung hình cũng như số lượng hình ảnh chụp được liên tiếp tại mỗi pixel và giảm thiếu số phần tử cần dùng của mạch đòi hỏi sự tính toán phù hợp trong thuật toán cùng với lượng dữ liệu cần xử lý cũng tăng lên. Trên cơ sở việc điều khiển tốc độ thu nhận , xử lý tín hiệu hình ảnh với những cảm biến CCD và CMOS trên nền tảng FPGA đang dần trở nên phổ biến hơn cùng công nghệ ISIS với những phiên bản khác nhau từ V2 đến gần đây nhất là V16, luận văn trình bày phương pháp điều khiển tốc độ ISIS camera thông qua việc sử dụng HDL trên nền tảng FPGA. Nhóm nghiên cứu đưa ra phương pháp điều khiển camera sử dụng cảm biến hình ảnh CCD In-situ Storage Image Sensor phiên bản 16 (ISIS-V16), tăng tốc độ xử lý, nâng cao khung hình cũng như số lượng hình ảnh chụp được liên tiếp tại mỗi pixel khiến độ phân giải giảm đi một nửa so với phiên bản trước (ISIS-V12), độ phức tạp của kiến trúc phần cứng và bộ điều khiển tín hiệu (đối với camera là các electron) đã có nhiều cải tiến mới. Từ khóa: Điều khiển cảm biến ISIS; Bộ cảm biến hình ảnh ISIS CCD; FPGA 2 ABATRACT THESIS With ability to record image that the eyes can not see, then it records slowly this T 7 3 T 7 3 T 7 3 T 7 3 T 7 3 T 7 3 image with high speed (>1000 images / sec) to evaluate how the process works, T 7 3 T 7 3 high speed cameras are applied to dispose and resolve this math. Now, high speed cameras are applied for many different fields (Diagnosis and early discover the break down machine, adjust and supervise high speed production chain as printing, packing, biomechanics, chemistry, physics, research and analyze explosion process, falling, broken, collision, trajectory analysis, moving analysis of liquid flow and so on...), synchronic and store image collected from sensor requires speeding up of enhance the image as well as the quantity of image taken continuously at every pixel and decreasing the necessary element quantity of circuit needs to be calculated appropriately algorithm with the data need to be processed also increasing. On the base of controlling record speed, signal image processing with sensors CCD and CMOS on FPGA are become more popular with ISIS technology with different versions from V2 and the latest one is V16, the essay is presented speed controlling method ISIS camera through using HDL on FPGA. Researcher team give the method of control camera by using sensor image CCD in situ Storage Image Sensor with version 16 (ISIS-V16), speed up of processing, enhance the image frame as well as the image taken continuously at every pixel make resolution decrease a half compare to the last version (ISIS-V12), the complication of hardware architecture and signal control (for camera is electrons) with new innovation. Key words: ISIS sensor control; ISIS CCD image sensor; FPGA. 3 MỞ ĐẦU Camera tốc độ cao và các ứng dụng của nó đã đang phát triển mạnh trong nhiều lĩnh vực. Việc nghiên cứu cải thiện nâng cao tốc độ thu nhận, xử lý tín hiệu của các cảm biến không tăng kích thước của cảm biến đang là xu hướng hiện nay. Từ những năm đầu tiên của thế kỉ 21, nhóm nghiên cứu của trường đại học Kinki (Osaka-Japan) đã phát triển một bộ cảm biến ISIS-V2 dựa trên cảm biến CCD với 260 × 312 điểm ảnh có khả năng chụp 103 hình ảnh liên tiếp với khung hình 1M frame/s[1]. Bên trong mỗi điểm ảnh của cảm biến này, 103 bộ nhớ được cài đặt; tín hiệu hình ảnh được lưu trữ tại các vùng nhớ của thiết bị mà không được đọc ngay tại đầu ra của cảm biến. Việc ghi tốc độ cao cuối cùng được kích hoạt bằng cách lưu trữ tất cả các điểm ảnh cùng một lúc. Với những phiên bản về sau V4, V12 hay V16 thì số lượng hình ảnh chụp được liên tiếp tăng lên cùng với sự mở rộng về khung hình. (Đối với ISIS V16 khung hình đã lên tới 16 Mfps [2]). Hiện nay đã có một số hãng thiết kế chip xử lý đã hỗ trợ kỹ thuật điều khiển thiết bị bên ngoài bằng cách sử dụng các nguồn tài nguyên phần cứng FPGA, do đó giúp giảm sự phức tạp phần cứng trong thiết kế số. Hơn nữa, FPGA hỗ trợ thực hiện xử lý tín hiệu kỹ thuật số. Các tính năng quan trọng nhất của FPGA là hiệu suất tốc độ cao, kiểm soát tốc độ hoạt động và hoạt động của các hệ thống phần mềm theo cách thức rõ ràng. FPGA xử lý tín hiệu kỹ thuật số là một giải pháp tốt cho xử lý số lượng lớn dữ liệu với tốc độ cao. Sự phát triển FPGA mở ra phương pháp mới cho điều khiển tốc độ thu nhận xử lý tín hiệu hình ảnh với cảm biến CCD và CMOS trên nềm tảng FPGA với công nghệ ISIS. Việc tối ưu tối ưu về mặt tốc độ xử lý hay diện tích của sensor (liên quan đến số phần tử sử dụng). Với sự định hướng của thầy TS. Nguyễn Hoàng Dũng, nhóm đã tiến tới nghiên cứu, kế thừa những kết quả đã đạt được từ ISIS-V12, V16 và phát triển đề tài: “ Nghiên cứu thiết kế hệ thống camera xử lý tốc độ cao” với mục đích như trên. Để giải quyết vấn đề nêu trên nhóm nghiên cứu sử dụng phương pháp thiết kế và mô phỏng kết quả trên máy tính. Trong nội dung trình bầy luận văn đưa ra các cấu 4 trúc, ưu nhược điểm của các loại cảm biến công nghệ CCD và CMOS, tập trung nghiên cứu cấu trúc ISIS CCD với những phiên bản khác nhau đồng thời đưa ra kiến trúc và phương án tối ưu với ISIS-V16. Do thời gian nghiên cứu, thực hiện đề tài hạn hẹp tác giả cũng như nhóm nghiên cứu chưa thiết kế ra thành phẩm để đánh giá và so sánh kết quả mô phỏng với thực tế. Luận văn được thực hiện bao gồm các phần: Chương I: Giới thiệu công nghệ cảm biến hình ảnh CMOS và CCD. Trong chương này sẽ đề cập đến khái niệm cũng như phần loại, so sánh các loại cảm biến hình ảnh. Chương II: Cảm biến CCD cho camera tốc độ cao. Trong chương II, trình bày cơ sở lý thuyết, đặc điểm của ISIS camera qua các thế hệ. Từ đó có thể đánh giá được ISIS-V16 về hiệu suất cũng như các thông số liên quan. Chương III: Phân tích thiết kế phần cứng hệ thống, đưa ra sơ đồ khối tổng quan hệ thống, đồng thời đưa ra kết quả đã đạt được thông qua mô phỏng và hướng phát triển. Kết luận và kiến nghị: Đưa ra các nhận xét, đánh giá về hệ thống, những điểm đạt được và những hạn chế, điểm chưa đạt được của đề tài. Nêu kiến nghị bản thân và các đề xuất hoàn thiện hệ thống cũng như hướng phát triển của đề tài. 5 Chương I: CÔNG NGHỆ CẢM BIẾN HÌNH ẢNH CMOS VÀ CCD Các loại cảm biến hình ảnh hiện nay được chế tạo dựa trên hai công nghệ , CCD và CMOS, trước đây cảm biến hình ảnh CCD là kỹ thuật được sử dụng nhiều nhất nhưng công nghệ CMOS đã phát triển mạnh mẽ trong 10 năm qua và ngày nay cả hai công nghệ đều có thể so sánh được về chất lượng hình ảnh, kích thước và chi phí. Mỗi công nghệ có lợi thế và bất lợi riêng của nó và sự lựa chọn cảm biến được áp dụng vào những ứng dụng cụ thể. Trong chương này, trình bầy cả hai công nghệ cảm biến hình ảnh CCD và CMOS sự khác nhau trong đó sự khác biệt cấu trúc của CCD và CMOS, những điểm mạnh và điểm yếu tương ứng. Chương này đề cập đến các thuộc tính xác định hiệu suất của một cảm biến hình ảnh. 1.1.Kiến trúc cảm biến hình ảnh Đơn vị nhỏ nhất của một hình ảnh là điểm ảnh trong các cảm biến hình ảnh được thể hiện bởi một photodiode chuyển các photon tới các điện tử. Trách nhiệm của các electron cho biết cường độ ánh sáng tại điểm ảnh và bằng cách kết hợp các mảng này trong một mảng hình ảnh có thể được tái tạo bởi bộ xử lý hình ảnh. Cấu trúc của điểm ảnh là một trong những đặc điểm quan trọng nhất định nghĩa chất lượng hình ảnh của toàn bộ cảm biến. Giao diện và nội dung của pixel ảnh hưởng đến khả năng thu thập các photon tới. Trong các cảm biến CCD mỗi điểm ảnh chỉ chứa một photodiode chuyển đổi các photon thành một điện tích sau đó chuyển thành một dòng điện hoặc điện áp ở một phần khác của cảm biến. Điều này cho phép CCD hiệu suất vượt trội về mặt chất lượng hình ảnh, tỷ lệ diện tích hoạt động quang học đến tổng diện tích cảm biến, trở nên rất cao (toàn bộ pixel đang thu thập ánh sáng). Trong cảm biến CMOS có một vài bóng bán dẫn kết hợp vào mỗi pixel để cho phép có nhiều chức năng cấp độ điểm ảnh hơn, ví dụ: mỗi điểm ảnh CMOS thực hiện chuyển đổi điện áp đến điện áp riêng và có thể định địa chỉ riêng. 6 Trong thiết bị CCD, điện áp nạp trên thực tế được qua một chip và được đọc ở góc của một mảng. Bộ chuyển đổi ADC sẽ biến giá trị mỗi pixel thành giá trị số tương ứng. Hình 1.1. Sơ đồ khối cảm biến CCD Trong hầu hết những thiết bị CMOS có vài transistor cho mỗi một pixel và được khuếch đại và chuyển tín hiệu tới mạch nạp truyền thống. CMOS đạt được nhiều sự linh hoạt bởi vì mỗi pixel được đọc giá trị riêng biệt. Hình 1.2. Sơ đồ khối cảm biến CMOS 7 Giá thành sản xuất CCD thường đắt hơn so với CMOS, nguyên nhân chủ yếu là do CCD đòi hỏi phải có dây chuyền sản xuất riêng trong khi có thể sử dụng dây chuyền sản xuất chip, bảng mạch thông thườngđể sản xuất CMOS. Những CCD được chế tạo đặc biệt để có thể chuyển tín hiệu nạp tới chip mà không bị méo tín hiệu. Sự xử lý này để sản xuất những cảm biến với chất lượng cao với độ tin cậy cao và độ nhạy sáng cao. Như một máy ảnh bình thường, một máy ảnh số có một thấu kính và một cửa trập cho phép ánh sáng đi qua. Nhưng có một điểm khác là ánh áng tác dụng lên một mảng của những tế bào quang điện hoặc những ô cảm quang thay cho phim. Mảng tế bào quang điện là một chip khoảng 6-11nm chiều ngang. Mỗi bộ cảm biến hình ảnh là một thiết bị tích điện (Charged Couple Device – CCD ), nó chuyển đổi ánh sáng thành điện tích. Sự tích điện được lưu dưới dạng thông tin tương tự rồi được số hóa bởi một thiết bị khác gọi là bộ biến đổi tương tự - số (Analog to Digital Converter – ADC ). Mỗi phần tử quang điện trong mảng của hàng ngàn phần tử, tạo ra một pixel và mỗi pixel chứa một vài thông tin được lưu trữ. Một số máy ảnh số sử dụng bộ cảm biến hình ảnh bằng chip CMOS (Complementary Metal Oxide Semiconductor ). Công nghệ CMOS liên quan tới quá trình thiết kế bộ cảm biến. Quá trình này cũng giống quá trình sản xuất hàng loạt DRAM và những bộ vi xử lý nên bộ cảm biến CMOS rẻ hơn và dễ làm hơn nhiều so với bộ cảm biến CCD. 1.2. Cảm biến CCD và CMOS 1.2.1. Cảm biến CCD Trong thập niên 1960, CCD được đầu tư thiết kế để trở thành bộ nhớ giá rẻ. Năm 1969, Willard Boyle và George Smith, thuộc phòng thí nghiệm Bell, chế tạo thành công bộ nhớ CCD. Sau đó, cảm biến ảnh CCD đầu tiên mật độ 100x100 điểm ảnh được Fairchild Electronics chế tạo thành công vào năm 1974. Chỉ một năm sau, thiết bị này được ứng dụng rộng rãi trong máy quay truyền hình thương mại, kính viễn vọng, hệ thống hình ảnh y khoa và hiện nay là máy ảnh số. 8 Cảm biến ảnh CCD tích hợp hàng triệu tế bào cảm quang hình vuông. Sau khi định lượng năng lượng ánh sáng chiếu vào tế bào cảm quang và chuyển đổi chúng sang tín hiệu điện, cảm biến CCD đọc dữ liệu từ tế bào cảm quang theo cơ chế tuần tự. Lần lượt giá trị các hàng, các cột sẽ được chuyển đến thanh ghi chuyển hàng (row transfer register) và thanh ghi chuyển cột (column transfer register). Dữ liệu (đã ở dạng số) trên thanh ghi tiếp tục được chuyển đến bộ xử lý hình ảnh. Tế bào cảm quang chỉ có thể ghi nhận cường độ ánh sáng chiếu vào chứ không phân biệt được màu sắc nên bên trên mỗi tế bào cảm quang, nhà sản xuất đặt thêm một kính lọc màu, tạo nên ma trận 3 màu RGB cơ bản. Dạng ma trận đang được dùng phổ biến được phân bổ theo nguyên tắc khảm (mosaic) với mức phân bố 25% màu đỏ, 50% màu xanh lục và 25% màu xanh dương (tỷ lệ 1:2:1). Do mắt người có khả năng nội suy màu từ các điểm lân cận và cũng do kích thước các điểm ảnh rất nhỏ nên hình ảnh tái hiện cuối cùng vẫn có sự liên tục màu sắc. Hình 1.3. Cấu trúc chip CCD 9 Thông tin về số lượng ánh sáng lưu lại của mỗi điểm (thể hiện bằng độ khác nhau về điện áp) sẽ được chuyển lần lượt theo từng hàng ra ngoài bộ phận đọc giá trị (để đọc các giá trị khác nhau của mỗi điểm ảnh). Sau đó các giá trị này sẽ đi qua bộ khuếch đại tín hiệu, rồi đến bộ chuyển đổi tín hiệu tương tự sang tín hiệu số (A/D converter), rồi tới bộ xử lý để tái hiện lại hình ảnh đã chụp được. Việc phải đọc thông tin theo từng hàng lần lượt một này khiến cho chip CCD có bất lợi đó là tốc độ xử lý hoàn thiện một bức ảnh khá chậm, ảnh ở một số vùng hoặc dễ bị thừa sáng, thiếu sáng. Để xử lý vấn đề này, một bộ đọc ảnh có kích thước bằng mạng lưới các hạt sáng được bổ sung xen kẽ để làm tăng tốc độ xử lý ảnh mà không bị suy giảm chất lượng, do đó quá trình đọc ảnh chỉ qua một lần đổ dữ liệu. Nhưng sự cải thiện này đỏi hỏi phải có thêm không gian trên chip. Mà để sản xuất chip CCD cần có những thiết bị, phòng lab chuyên dụng, khiến cho giá thành CCD trở nên đắt. 1.2.1.1. Nguyên lý hoạt động của chip cảm biến hình ảnh CCD Nguyên 1ý vận hành căn bản của CCDs dựa vào hình tượng hứng nước mưa và di chuyển dây chuyền. Chúng ta có thể dùng hình ảnh di chuyển này để diễn tả sự di chuyến điện tích trong CCD imager. Một số pixels được sắp đặt trên một vùng hình vuông hay hình chữ nhật. Nước mưa tượng trưng cho quang tử hay điện tích và thùng chứa tương đương với điểm ảnh (pixels). Lúc đầu các thùng nước trống không và sau đó hứng nước mưa tương đương với khi tấm silíc CCD được phơi bày dưới ánh sáng (luồng quang tử). Một khi ngừng nhận nước mưa (tương đương với thời điểm một phần của tấm CCD bị che khuất bởi màn chắn sáng), những đai chuyền bắt đầu di động và chuyển những thùng chứa nước mưa, từng thùng một, đến ống đo nằm ở góc phải phía dưới của tấm CCD . Nước mưa được hứng ở những chiếc thùng với những lượng khác nhau; tương tư như lượng điện tích tích tụ ở mảng lưới giếng điện thế tùy theo điện thế áp đặt . Những chiếc thùng này di chuyển trên những đai chuyền xếp theo hàng dọc rồi đổ vào những chiếc thùng trống theo hàng ngang trước khi đưa đến ống đo . Tỉ số của lượng nước mưa nhận 10 được khi đến ống đo và lượng nước mưa hứng lúc ban đầu tương đương với hiệu xuất di chuyển (hay transfer efficiency của CCDs) và thời gian di chuyển cùng một lượng nước có thể giảm thiểu bằng cách gia tăng tầm kích của thùng chứa (tương đương với binning format trong CCDs). Tiến trình này cứ tiếp tục cho đến khi lượng mưa của tất cả những chiếc thùng được chuyển dịch và đo lường. Sau khi đo xong, chu kỳ một được hoàn tất, ống đo trở nên trống và chu kỳ kế tiếp bắt đầu. Cảm biến hình ảnh CCD gồm có một mảng lưới (array) với mộ số lượng lớn phần tử cảm biến quang (light-sensing elements) dàn xếp theo hai chiều ngang và dọc trên một tấm nền silíc. Đơn vị cảm biến căn bản của CCD có dạng MOS (metaloxide-semiconductor) và được xử dụng hoặc như quang đi -ốt hay bộ tích tụ điện tích. Hình ảnh của CCDs có thể thực hiện theo ba dạng thức: hoặc từng pixel một, từng hàng một hoặc từng vùng. Nguyên lý hoạt động của CCD imager gồm có 4 giai đoạn: tạo điện tích do sự tác dụng của quang tử ở những vùng cảm quang, thu thập và tích trữ điện tích phóng ra, chuyển dịch và đo lường điện tích. Khi ánh sáng chiếu trên bề mặt của CCD, quang tử biến đổi sang điện tích nằm ở những vị trí riêng rẽ như là điểm ảnh (pixels), vùng quang tử, quang điốt hay bộ tụ điện. Theo hiệu ứng quang điện, quang tử rọi vào bề mặt của tấm silic, tạo nên những hạt quang điện tử tự do (free electrons) và holes. Nếu cứ giữ như vậy, hạt electrons sẽ tái kết hợp với holes , phát ra năng lượng nhiệt.rất khó đo lường. Thế nên phương pháp thích hợp là góp nhặt và thu thập hạt electrons , đo lường và thu xếp số lương electrons để tạo hình ảnh (images). Điều này thực hiện được bằng cách áp đặt một điện thế dương (hay dịch chuyển về hướng dương) những vùng riêng rẻ để thu hút hạt electrons phóng ra trong lúc quang tử rọi trên mặt nền. Vì lớp cách điện (hay channel stop) nằm phía dưới, hạt electrons không thể đi xuyên qua gate điện cực và được giữ lại với điện cực dương áp đặt ở phía trên Diễn tả ở đây là một sơ đồ hình đơn giản của một điểm ảnh (pixel). Như có thể thấy ở đồ hình, những hạt electron thặng dư khuếch tán vào p-layer; trong khi đó những holes thặng dư sẽ khuếch tán vào n-layer. Sự chuyển đi hai loại hạt tải (carriers) này tạo nên điện trường bên trong (internal electric field). Và mức điện trường tối đa nằm ngay ở trong n-layer;