Tài liệu Tra cứu ảnh dựa trên lưới và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LÊ THỊ LAN ANH TRA CỨU ẢNH DỰA TRÊN LƯỚI VÀ ỨNG DỤNG Ngành Chuyên ngành Mã số : Công nghệ thông tin : Hệ thống thông tin : 60 48 05 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. TS Ngô Quốc Tạo Hà Nội – 2012 4 MỤC LỤC LỜI CẢM ƠN _______________________________________________________ 2 LỜI CAM ĐOAN ____________________________________________________ 3 MỤC LỤC __________________________________________________________ 4 DANH MỤC HÌNH VẼ _______________________________________________ 6 Chƣơng 1: TỔNG QUAN VỀ TRA CỨU ẢNH ____________________________ 9 1.1 Giới thiệu chung ___________________________________________________ 9 1.2 Các đặc trưng mức thấp của ảnh ______________________________________ 10 1.3 Cấu trúc của một hệ thống tra cứu ảnh theo nội dung ______________________ 11 1.4 Một số hệ thống tra cứu ảnh theo nội dung ______________________________ 12 1.4.1 Hệ thống QBIC ______________________________________________ 12 1.4.2 Hệ thống Photobook __________________________________________ 13 1.4.3 Hệ thống VisualSEEK và WebSEEK _____________________________ 13 1.4.4 Hệ thống RetrievalWare _______________________________________ 13 1.4.5 Hệ thống Imatch _____________________________________________ 13 1.5 Một số ứng dụng cơ bản của tra cứu ảnh _______________________________ 14 1.6 Kết luận chương __________________________________________________ 14 Chƣơng 2: MỘT SỐ PHƢƠNG PHÁP TRÍCH CHỌN ĐẶC TRƢNG HÌNH ẢNH __ 15 2.1 Phương pháp trích chọn đặc trưng theo màu sắc__________________________ 16 2.1.1 Không gian màu _____________________________________________ 16 2.1.2 Lượng tử hoá màu ____________________________________________ 18 2.1.3 Các moment màu ____________________________________________ 19 2.1.4 Biểu đồ màu ________________________________________________ 19 2.2 Phương pháp trích chọn đặc trưng theo kết cấu __________________________ 21 2.2.1 Các đặc trưng Tamura_________________________________________ 21 2.2.2 Các đặc trưng Wold __________________________________________ 23 2.2.3 Mô hình SAR _______________________________________________ 24 2.2.4 Ma trận đồng khả năng ________________________________________ 24 2.2.5 Lọc Gabor __________________________________________________ 25 2.2.6 Biến đổi dạng sóng ___________________________________________ 26 2.3 Phương pháp trích chọn đặc trưng hình dạng ____________________________ 27 2.3.1 Biên và các phương pháp phát hiện biên __________________________ 29 2.3.2 Xử lý ảnh trong miền tần số và biến đổi Fourier ____________________ 32 2.4 Thông tin không gian ______________________________________________ 36 2.5 Phân đoạn _______________________________________________________ 36 2.6 Kết luận _________________________________________________________ 36 Chƣơng 3: TRA CỨU ẢNH DỰA TRÊN LƢỚI __________________________ 37 3.1 Định nghĩa lưới ___________________________________________________ 38 3.2 Phương pháp tra cứu ảnh dựa trên lưới _________________________________ 38 3.2.1 Một số khái niệm cơ bản _______________________________________ 38 5 3.2.1.1 Khái niệm về hình dạng ____________________________________ 38 3.2.1.2 Trục chính của hình dạng __________________________________ 38 3.2.1.3 Trục phụ của hình dạng ____________________________________ 38 3.2.1.4 Độ lệch tâm _____________________________________________ 39 3.2.1.5 Độ đo tương tự ___________________________________________ 39 3.2.2 Tra cứu ảnh dựa trên lưới ______________________________________ 39 3.2.2.2 Biểu diễn vùng hình dạng dựa trên lưới ________________________ 40 3.2.2.3 Chuần hóa xoay __________________________________________ 40 3.2.2.4 Chuẩn hóa co dãn _________________________________________ 41 3.2.2.5 Chỉ mục vùng hình dạng ___________________________________ 41 3.2.2.6 Độ đo tương tự ___________________________________________ 42 3.2.2.6 Các phép toán khác _______________________________________ 43 3.2.2.7 Xử lý trường hợp vùng hì nh dạng có hơn một trục chí nh __________ 43 3.2.2.8 Quy trì nh tạo chỉ mục và tra cứu ảnh dựa trên lưới _______________ 44 3.3 Tra cứu ảnh dựa vào chỉ mục kết hợp màu sắc và hình dạng ________________ 45 3.3.1 Các đặc trưng màu sắc và hình dạng______________________________ 45 3.3.1.1 Phương pháp lập chỉ mục màu sắc ____________________________ 45 3.3.1.2 Biểu diễn hình dạng _______________________________________ 50 3.3.2 Quá trình lập chỉ mục và truy vấn ________________________________ 50 3.3.2.1 Chỉ mục màu sắc _________________________________________ 50 3.3.2.2 Chỉ mục hình dạng ________________________________________ 52 3.3.2.3 Truy vấn ________________________________________________ 52 3.3.2.4 Độ đo tương tự ___________________________________________ 53 3.4 Kết luận _________________________________________________________ 53 Chƣơng 4: THIẾT KẾ VÀ CÀI ĐẶT CHƢƠNG TRÌNH MÔ PHỎNG _______ 54 TRA CỨU ẢNH DỰA TRÊN LƢỚI ____________________________________ 54 4.1 Phát biểu bài toán _________________________________________________ 54 4.2 Cài đặt sử dụng phương pháp tra cứu ảnh dựa trên lưới ____________________ 54 4.2.1 Chuyển đổi ảnh về ảnh đen trắng ________________________________ 54 4.2.2 Tìm hình chữ nhật cơ sở _______________________________________ 54 4.2.3 Chuẩn hóa vùng hình dạng _____________________________________ 55 4.2.3.1 Co dãn đối tượng _________________________________________ 55 4.2.3.2 Tìm trục chính cho vùng hình dạng ___________________________ 55 4.2.3.3 Xoay vùng hình dạng ______________________________________ 55 4.2.4 Phủ lưới vùng hình dạng _______________________________________ 55 4.2.5 Tính độ tương tự _____________________________________________ 56 4.3 Giao diện chương trình _____________________________________________ 56 KẾT LUẬN ________________________________________________________ 58 TÀI LIỆU THAM KHẢO ____________________________________________ 59 6 DANH MỤC HÌNH VẼ (1) Hình 1.1 Đặc trưng hình dạng. (2) Hình 1.2 Đặc trưng kết cấu. (3) Hình 1.3 Biểu diễn hình dạng qua mối quan hệ không gian. (4) Hình 1.4 Cấu trúc hệ thống tra cứu ảnh theo nội dung. (5) Hình 2.1 Không gian màu RGB. (6) Hình 2.2 Mô tả không gian màu HSV. (7) Hình 2.3 Biểu diễn hình dạng theo đường biên và theo vùng. (8) Hình 2.4 Biểu diễn hình dạng theo miền thời gian và miền tần số. (9) Hình 2.5 Ảnh thực (a) và ảnh thu được sau biến đổi Fourier (b). (10) Hình 3.1 Biểu diễn lưới. (11) Hình 3.2 Tạo chuỗi bít biểu diễn vùng hình dạng. (12) Hình 3.3 Hai hướng của cùng một vùng hì nh dạng. (13) Hình 3.4 Phép đối xứng. (14) Hình 3.5 Bảng tra cứu màu. (15) Hình 3.6 Minh họa phân vùng màu. (16) Hình 3.7 Ảnh đã tìm được biên. (17) Hình 3.8 Bản đồ vị trí. (18) Hình 3.9 Minh họa tìm vị trí. (19) Hình 3.10 Cấu trúc chỉ mục. (20) Hình 3.11 Ví dụ về bảng băm. (21) Hình 4.1 Phủ lưới ảnh và tô màu đối tượng. (22) Hình 4.2 Tra cứu dựa trên hình dạng. (23) Hình 4.3 Tra cứu kết hợp màu sắc và hình dạng. 7 MỞ ĐẦU Cùng với sự phát triển như vũ bão của khoa học công nghệ, công nghệ thông tin ngày càng được ứng dụng rộng rãi vào tất cả các lĩnh vực của đời sống xã hội. Từ thành thị đến nông thôn, từ tổ chức đến cá nhân hay các lĩnh vực tưởng chừng như rất xa vời với công nghệ thông tin thì cũng đã và đang được áp dụng những thành tựu của công nghệ thông tin. Công nghệ thông tin đã thực sự len lỏi vào mọi ngõ ngách của đời sống con người. Công nghệ thông tin làm cho con người năng động hơn, nhanh nhẹn hơn, … thích nghi tốt hơn đối với môi trường và tạo ra năng suất, hiệu quả cao. Công nghệ thông tin nói chung, Internet nói riêng cùng với sự phát triển của công nghệ kỹ thuật số đã tạo nên một kho dữ liệu ảnh khổng lồ vượt quá sự kiểm soát của con người. Khi có nhu cầu tra cứu một vài bức ảnh nào đó trong một cơ sở dữ liệu, công việc cần thực hiện là xem lần lượt từng tấm ảnh một và tiến hành so sánh với ảnh cần tìm cho đến khi đạt được kết quả như mong muốn. Điều này là rất khó khăn khi cơ sở dữ liệu ảnh có tới hàng trăm ngàn ảnh. Do đó, việc xây dựng một hệ thống phục vụ công việc tra cứu ảnh là rất cần thiết. Hệ thống tra cứu đảm bảo sẽ trả về kết quả nhanh hơn so với việc tra cứu thủ công. Các công cụ tra cứu ảnh có thể dựa vào đặc trưng văn bản đi kèm hoặc nội dung ảnh. Một số công cụ tra cứu ảnh theo văn bản đi kèm như: Google Image Search, Yahoo!, … và một số công cụ tra cứu ảnh dựa vào nội dung ảnh như: Google Image Swirl, Bing, … Do đó, việc xây dựng các hệ thống tra cứu là rất cần thiết. Các công cụ tra cứu ảnh thường dựa vào hai đặc trưng chính là văn bản đi kèm ảnh hoặc nội dung ảnh. Ngày nay có một số công cụ tra cứu ảnh theo văn bản đi kèm như Google Image Search, Yahoo!, MSN, … và một số công cụ tra cứu ảnh dựa vào nội dung ảnh như Google Image Swirl, Bing, … Trước đây, người ta thường sử dụng phương pháp tra cứu ảnh theo văn bản đi kèm (Text Based Image Retrieval). Theo phương pháp này người ta sẽ gán cho mỗi bức ảnh một lời chú thích phù hợp với nội dung hoặc một đặc điểm nổi bật nào đó của ảnh, sau đó việc tra cứu ảnh được thực hiện dựa trên những lời chú thích này. Phương pháp này khá đơn giản. Tuy nhiên, việc tra cứu ảnh dựa vào văn bản đi kèm còn có nhiều nhập nhằng giữa nội dung ảnh hiển thị với nội dung văn bản đi kèm ảnh trong quá trình tra cứu. Ví dụ, với truy vấn có lời chú thích là “Apple” thì hệ thống tra cứu khó có thể phân biệt được người dùng muốn tìm hình ảnh quả táo hay tìm logo của hãng Apple. Thêm vào đó phương pháp tra cứu ảnh theo văn bản còn khó có thể áp dụng để tra cứu trong các cơ sở dữ liệu ảnh có số lượng ảnh lớn. Tra cứu ảnh theo nội dung (Content Based Image Retrieval) là một trong những phương pháp được nhiều người quan tâm nghiên cứu hiện nay. Ý tưởng chính của phương pháp này là trích chọn các đặc điểm dựa vào nội dung trực quan của ảnh như 8 màu sắc, kết cấu, hình dạng và bố cục không gian của ảnh để làm cơ sở cho việc tra cứu, sắp xếp, tổ chức cơ sở dữ liệu ảnh. Một số hệ thống tra cứu ảnh nổi tiếng như QBIC, Virage, Photobook, VisualSEEK, … đã áp dụng khá thành công phương pháp tra cứu này. Khi tra cứu ảnh theo nội dung người ta có thể trích chọn theo đặc trưng màu sắc, kết cấu, hình dạng hoặc có thể kết hợp nhiều đặc trưng để cho kết quả tra cứu tốt hơn. Tuy nhiên khi tra cứu ảnh dựa vào màu sắc hay kết cấu thì khó cho kết quả tốt với những tìm kiếm liên quan tới hình dạng các đối tượng. Do đó tra cứu ảnh theo hình dạng là một công cụ hữu hiệu giải quyết nhu cầu thiết thực này. Phương pháp tra cứu ảnh theo hình dạng cho phép người dùng yêu cầu các đối tượng có hình dạng tương tự với hình dạng của đối tượng được truy vấn. Một phương pháp tra cứu mới dựa trên hình đại diện và độ tương tự được gọi là phương pháp tra cứu ảnh dựa trên lưới. Phương pháp này sử dụng kỹ thuật phủ lưới lên vùng hình dạng nhằm trích chọn ra chuỗi bít đặc trưng phục vụ cho việc đối sánh để có được kết quả tra cứu phù hợp nhất. Không chỉ đơn thuần sử dụng lưới cho vùng hình dạng người ta còn có thể kết hợp thêm với đặc trưng màu sắc để cho kết quả tra cứu tốt hơn. Một phương pháp mới được giới thiệu gồm hai giai đoạn dựa vào hai đặc trưng mức thấp của ảnh là màu sắc và hình dạng. Với phương pháp này, ảnh được phân vùng thành các vùng màu trội với các thông tin mô tả tương ứng như vị trí, diện tích, … được sử dụng làm chỉ mục cho khâu tra cứu dựa vào màu sắc. Kết quả là các vùng màu sắc được tìm thấy, từ đó ta thực hiện phương pháp tra cứu ảnh dựa trên lưới với các vùng màu sắc này. Khi kết hợp cả hai đặc trưng này sẽ cho kết quả tra cứu tốt hơn rất nhiều. Nội dung luận văn gồm có bốn chương: Chƣơng 1: Giới thiệu về tra cứu ảnh, các đặc trưng của ảnh, cấu trúc hệ thống tra cứu ảnh theo nội dung và một số lĩnh vực ứng dụng của tra cứu ảnh. Chƣơng 2: Trình bày một số phương pháp trích chọn đặc trưng hình ảnh như màu sắc, kết cấu, hình dạng … Chƣơng 3: Tập trung tìm hiểu kỹ thuật tra cứu ảnh dựa trên lưới. Đồng thời giới thiệu phương pháp tra cứu ảnh kết hợp giữa đặc trưng màu sắc và hình dạng có sử dụng kỹ thuật lưới vùng. Chƣơng 4: Từ cơ sở lý thuyết đã xây dựng ở chương 3 đưa ra ý tưởng, thuật toán xây dựng chương trình mô phỏng tra cứu ảnh dựa trên lưới. 9 Chƣơng 1: TỔNG QUAN VỀ TRA CỨU ẢNH 1.1 Giới thiệu chung Với lịch sử phát triển từ đầu những năm 1920, xử lý ảnh được biết đến với ứng dụng truyền ảnh số qua dây cáp - giúp giảm thiểu thời gian truyền tải hình ảnh. Bình thường để truyền một hình ảnh qua biển Atlantic phải mất tới hơn một tuần thì qua hệ thống này chỉ mất hơn 3 giờ đồng hồ. Đây một hệ thống chuyên dụng đã được trang bị để mã hóa các bức ảnh thành một dạng tín hiệu sau đó truyền qua hệ thống dây cáp, ở đầu nhận tín hiệu sẽ có một hệ thống chuyên dụng để giải mã và khôi phục lại chúng. Ngày nay phạm vi ứng dụng của xử lý ảnh đã được mở rộng nhằm phục vụ cho nhiều mục đích khác nhau. Kỹ thuật xử lý ảnh có liên quan tới xử lý tín hiệu hai chiều và được áp dụng bằng một chuẩn riêng về kỹ thuật xử lý ảnh cho nó. Quá trình thực thi của hệ thống xử lý ảnh bao gồm: - Thu nhận ảnh. - Số hóa ảnh. - Phân tích ảnh. - Nhận dạng ảnh. Thu nhận ảnh: Ảnh thu nhận được từ môi trường thực tế thông qua các thiết bị như máy chụp hình (Camera), máy quét hình (Scanner) hay bộ cảm ứng (Sensor) được lắp đặt trên các vệ tinh, ảnh này trong thực tế là ảnh liên tục về không gian và giá trị độ sáng, sau quá trình thu nhận sẽ cho đầu ra là ảnh có dạng bản đồ các bit (ảnh bitmap). Ngày nay ảnh còn có thể được xây dựng ngay trên hệ thống máy tính, thông qua các thuật toán xử lý đồ họa máy tính. Do đó trong một vài trường hợp ảnh đầu vào sẽ là tín hiệu đã được số hóa. Số hóa ảnh: Trước khi phân tích ảnh người ta phải số hóa bức ảnh đó, ảnh đầu vào dạng bitmap qua bộ số hóa sẽ tạo ra một ảnh vector có hướng. Phân tích ảnh: Đây là quá trình tác động vào ảnh đã số hóa nhằm mục đích tăng cường ảnh, phân vùng, phân đoạn ảnh hay phát hiện biên … để phục vụ cho các mục đích khác nhau trong xử lý ảnh. Nhận dạng ảnh: Là quá trình mô tả ảnh, mô tả đối tượng nhằm vào các mục đích khác nhau như: Nhận dạng vân tay, nhận dạng mặt người, nhận dạng chữ viết, ... Muốn thực hiện được các công việc này người ta phải sử dụng cơ sở tri thức hoặc một bộ lưu trữ gồm một tập các mẫu hay gọi là cơ sở dữ liệu thông tin. Qua quá trình tra cứu nhận dạng ra các đối tượng có trong ảnh và các ảnh tương tự trong cơ sở dữ liệu thông tin với ảnh đầu vào để xác nhận tính đúng đắn. Ngoài ra 10 người ta còn dùng tra cứu ảnh để phục vụ các mục đích như tra cứu ảnh tương tự với ảnh đầu vào nhưng có chất lượng tốt hơn, mang thông tin quan trọng hơn, … Tra cứu ảnh được biết đến là một quá trình tìm kiếm ảnh trong một cơ sở dữ liệu ảnh những ảnh thoả mãn một yêu cầu nào đó. Khi tra cứu ảnh người ta có thể sử dụng phương pháp tra cứu ảnh theo văn bản đi kèm hay theo nội dung ảnh. Với tra cứu ảnh theo văn bản đi kèm có thể gây nên sự nhập nhằng về ngữ nghĩa khi nội dung văn bản không lột tả hết được nội dung cơ bản của ảnh và kết quả trả về thường mang tính chủ quan, cảm ngữ cảnh. Tra cứu ảnh theo nội dung có vẻ như cho kết quả tốt hơn vì khi tra cứu ảnh người ta sẽ dựa trên các đặc trưng mức thấp của ảnh như màu sắc, kết cấu hay hình dạng. Tra cứu ảnh theo nội dung được thực hiện theo nguyên tắc sử dụng các đặc trưng mức thấp của ảnh như màu sắc, kết cấu, … để biểu diễn ảnh. Sau đó tính độ tương tự giữa ảnh cần tìm và ảnh trong cơ sở dữ liệu để đưa ra kết quả là bức ảnh có độ tương tự cao nhất. 1.2 Các đặc trƣng mức thấp của ảnh Đặc trưng mức thấp của ảnh là một vài đặc điểm thu nhận được từ một bức ảnh như: Hình dạng, màu sắc, kết cấu, và mối liên hệ không gian giữa các đối tượng. Các đặc trưng đó rất quan trọng, người ta có thể dùng các đặc trưng này để mô tả và biểu diễn nội dung ảnh. Ngày nay, một vài hệ thống tra cứu ảnh theo nội dung (CBIR) đã sử dụng các đặc trưng này như: QBIC (Query by Image Content), Photobook, … Trong các đặc trưng mức thấp của ảnh thì đặc trưng màu sắc là đặc trưng được sử dụng phổ biến hơn cả do đặc trưng này cho phép con người nhận ra sự khác biệt rõ ràng nhất giữa các hình ảnh. Do đó, lược đồ màu là kỹ thuật được sử dụng nhiều để biển diễn màu sắc của ảnh. Và các độ đo tương tự giữa các lược đồ màu cũng được nghiên cứu và đưa vào sử dụng. Hình dạng của đối tượng trong ảnh là một đặc trưng khác khá quan trọng trong nội dung ảnh. Ở một vài trường hợp người ta có thể nhận dạng một đối tượng chỉ qua hình dạng của chúng. Hình dạng của đối tượng có thể thu được bởi đường viền bao xung quanh. Có hai cách tiếp cận được sử dung để phân tích hình dạng, đó là dựa trên vùng hình dạng và dựa trên đường viền bao quanh của đối tượng hay còn gọi là biên. Hình 1.1: Đặc trưng hình dạng 11 Ngoài đặc trưng màu sắc và hình dạng thì kết cấu cũng là một đặc trưng quan trọng trong nhận dạng bản mẫu và tra cứu ảnh. Nó cung cấp bản mẫu trực quan về vùng của ảnh. Các thuộc tính quan trọng của đặc trưng kết cấu như: Độ tương phản, thuộc tính thô, hướng, tính quy luật, chu kỳ và tính ngẫu nhiên. Kết cấu của ảnh có thể được biểu diễn bằng kỹ thuật biến đổi wavelet, đây là kỹ thuật được sử dụng nhiều trong xử lý ảnh. Tương tự như kỹ thuật biến đổi Fourier, nó có thể biến đổi tín hiệu từ miền thời gian sang miền tần số. Hình 1.2: Đặc trưng kết cấu Mối quan hệ không gian (spatial relationship), đây cũng là đặc trưng quan trọng và được sử dụng nhiều trong xử lý ảnh, dùng để phân biệt các đối tượng khác nhau trong một ảnh. Có 2 cách để biểu diễn mối liên hệ không gian, đó là theo đối tượng và theo quan hệ. Hình 1.3: Biểu diễn hình dạng qua mối quan hệ không gian Những năm gần đây, các đặc trưng trên đang dần được hoàn thiện. Tuy nhiên, những kỹ thuật đưa ra với các đặc trưng đó chưa hẳn là tốt nhất, do đó để có những hệ thống làm việc hiệu quả cao đáp ứng nhu cầu sử dụng thì cần phải tiếp tục nghiên cứu kết hợp và đưa ra những cách tiếp cận tốt hơn. Có những hệ thống tra cứu hiệu quả đối với đặc trưng màu sắc nhưng lại không hiệu quả trong những bức hình kết cấu, và có những bức hình đạt hiệu quả tra cứu tốt trong tra cứu ảnh kết cấu nhưng đối với một vài loại ảnh có bố cục đầy đủ lại phải sử dụng phương pháp quan hệ không gian mới mong đạt được hiệu quả tốt nhất. Nhiều hệ thống đã kết hợp các kỹ thuật khác nhau nhằm đạt được hiệu quả tra cứu tối ưu. 1.3 Cấu trúc của một hệ thống tra cứu ảnh theo nội dung Một hệ thống tra cứu ảnh có thể thực hiện qua nhiều công đoạn: Nhập ảnh truy vấn, nhập dữ liệu ảnh cho cơ sở dữ liệu, chuẩn hóa ảnh, trích chọn đặc trưng của ảnh 12 truy vấn và ảnh trong cơ sở dữ liệu, tính toán độ tương tự và cách hiển thị kết quả lên màn hình, … Tuy nhiên có thể miêu tả khái quát một hệ thống tra cứu ảnh thông qua những công đoạn chính như hình 1.4. Hình 1.4: Cấu trúc hệ thống tra cứu ảnh theo nội dung Một số công đoạn trong hệ thống tra cứu ảnh theo nội dung: Trích chọn đặc trƣng cho ảnh truy vấn: Ở công đoạn này ảnh truy vấn ngay khi được nhập vào hệ thống sẽ xử lý để trích chọn đặc trưng theo đặc trưng nhất định nào đó nhằm phục vụ tính toán độ tương tự, sau đó đưa ra kết quả. Trích chọn đặc trƣng: Đây là công đoạn tính toán đặc trưng cho ảnh trong cơ sở dữ liệu sinh ra cơ sở dữ liệu lưu trữ các đặc trưng, công đoạn này thường sẽ được tính toán từ khi nhập ảnh vào cơ sở dữ liệu, hoặc tiến hành khi người dùng cho phép thực hiện. Đo độ tƣơng tự: Công đoạn này là công đoạn so sánh các ảnh tồn tại trong cơ sở dữ liệu và ảnh truy vấn thông qua đặc trưng đã trích chọn trước đó. Tra cứu và hiển thị kết quả: Hiển thị kết quả vừa thu được cho người dùng theo một giá trị ngưỡng tương tự nào đó. 1.4 Một số hệ thống tra cứu ảnh theo nội dung 1.4.1 Hệ thống QBIC Hệ thống QBIC (Query By Image Content) của hãng IBM là một hệ thống tra cứu ảnh thương mại đầu tiên và nổi tiếng nhất trong số các hệ thống tra cứu ảnh dựa trên nội dung. Nó cho phép người sử dụng tra cứu ảnh dựa vào màu sắc, hình dạng và kết cấu. QBIC cung cấp một số phương pháp: Simple, Multi-feature và Multi-pass. Phương pháp truy vấn Simple chỉ sử dụng một đặc điểm. 13 Truy vấn Multi-feature bao gồm nhiều hơn một đặc điểm và mọi đặc điểm đều có trọng số như nhau trong suốt quá trình tra cứu. Truy vấn Multi-pass sử dụng đầu ra của các truy vấn trước làm cơ sở cho bước tiếp theo. Người sử dụng có thể vẽ ra và chỉ định màu, kết cấu mẫu của hình ảnh yêu cầu của mình. Trong hệ thống QBIC, màu tương tự được tính toán bằng độ đo bình phương sử dụng biểu đồ màu k phần tử và màu trung bình được sử dụng như là bộ lọc để cải tiến hiệu quả của truy vấn. 1.4.2 Hệ thống Photobook Hệ thống này được phát triển ở viện kỹ thuật Massachusetts. Nó cho phép người sử dụng tra cứu ảnh dựa trên màu sắc, hình dạng và kết cấu. Hệ thống này cung cấp một tập các thuật toán đối sánh gồm: Euclidean, mahalanobis, vector space angle, histogram, Fourier peak, và wavelet tree distance như là những độ đo khoảng cách. Hệ thống như là một công cụ bán tự động và có thể sinh ra một mẫu truy vấn dựa vào những ảnh mẫu được cung cấp bởi người sử dụng. Điều này cho phép người sử dụng trực tiếp đưa những yêu cầu truy vấn của họ với những lĩnh vực khác nhau, và mỗi lĩnh vực họ có thể thu được những mẫu truy vấn tối ưu. 1.4.3 Hệ thống VisualSEEK và WebSEEK Cả hai hệ thống này đều được phát triển tại Trường Đại học Colombia. VisualSEEK là hệ thống cơ sở dữ liệu ảnh. Nó cho phép người sử dụng tra cứu ảnh dựa trên màu sắc, không gian miền và đặc điểm kết cấu. Thêm vào đó VisualSEEK còn cho phép người sử dụng tạo truy vấn bằng việc chỉ định vùng màu và những không gian vị trí của chúng. WebSEEK là một catalog ảnh và là công cụ tìm kiếm trên website. 1.4.4 Hệ thống RetrievalWare Hệ thống này được phát triển bởi tập đoàn công nghệ Excalibur cho phép người sử dụng tra cứu ảnh bởi nội dung màu, hình dạng, kết cấu, độ sáng, kết cấu màu và hệ số co. Người sử dụng có thể điều chỉnh tỷ trọng của những đặc điểm này trong suốt quá trình tìm kiếm. 1.4.5 Hệ thống Imatch Hệ thống này cho phép người sử dụng tra cứu ảnh bởi nội dung màu, hình dạng, và kết cấu. Nó cung cấp một số phương pháp để tra cứu ảnh tương tự: Màu tương tự, màu và hình dạng, màu và hình dạng mờ, và phân bố màu. Màu tương tự để tra cứu những ảnh tương tự với ảnh mẫu dựa trên sự phân bố màu toàn cục. Màu và hình dạng thực hiện tra cứu bởi việc kết hợp cả hình dạng, kết cấu và màu. Màu và hình dạng mờ thực hiện thêm những bước xác định đối tượng trong ảnh mẫu. Phân bố màu cho phép người sử dụng vẽ ra sự phân bố màu hoặc xác định tỷ lệ phần trăm của một màu trong 14 hình ảnh mong muốn. Imatch cũng cung cấp những đặc điểm khác nội dung để xác định ảnh: Ảnh nhị phân, lưu trữ trong những định dạng khác và những ảnh có tên tương tự. 1.5 Một số ứng dụng cơ bản của tra cứu ảnh Tra cứu ảnh cùng với sự phát triển lớn mạnh của mình ngày càng được ứng dụng rộng rãi trong các lĩnh vực: Ngân hàng: Khi khách hàng thực hiện giao dịch, hệ thống ngân hàng sẽ phải kiểm tra xem chữ ký của khách hàng với mẫu chữ ký đã được lưu trữ trong cơ sở dữ liệu ảnh chữ ký của khách hàng. Tuy nhiên tại các ngân hàng ở Việt Nam người ta vẫn sử dụng phương pháp so sánh bằng mắt thường vì việc so sánh bằng phần mềm chưa được thực hiện. Sở hữu trí tuệ: Tra cứu ảnh được ứng dụng trong bài toán quản lý biểu diễn (logo) trong lĩnh vực sở hữu trí tuệ. Khi một đơn vị muốn đăng ký logo riêng cho đơn vị của mình thì cơ quan quản lý phải tiến hành đánh giá xem mẫu logo đó đã được sử dụng hay chưa hoặc có tương tự với mẫu logo nào đó đang được sử dụng hay không. Nếu sử dụng mắt thường để duyệt thì sẽ tốn rất nhiều thời gian, nếu có các phần mềm cho phép tra cứu trong cơ sở dữ liệu ảnh có sẵn những biểu trưng tương tự với biểu trưng mẫu thì việc đánh giá sự tương tự sẽ dễ hơn rất nhiều. Ngăn chặn tội phạm: Từ dữ liệu ảnh gốc (có thể là ảnh chân dung, ảnh vân tay) của đối tượng sau đó tìm trong cơ sở dữ liệu lưu trữ để có thể đưa ra thông tin về lịch sử phạm tội của đối tượng. Quân sự: Hỗ trợ giảng dạy và tra cứu vũ khí đạn dược trong nước và trên thế giới, nâng cao khả năng tìm kiếm tài liệu, tiết kiệm rất nhiều thời gian giúp cho cán bộ chuyên môn ở đơn vị khai thác, sử dụng hiệu quả vũ khí đạn dược đang quản lý. Ngoài ra tra cứu ảnh còn ứng dụng trong các lĩnh vực như: Quản lý tài sản trí tuệ, thiết kế kiến trúc máy móc, thiết kế thời trang và nội thất, báo chí quảng cáo, chẩn đoán y học, hệ thống thông tin địa lý, di sản văn hóa, giáo dục và đào tạo, giải trí … 1.6 Kết luận chƣơng Tra cứu ảnh theo nội dung (CBIR) là một lĩnh vực khoa học được phát triển dựa trên cơ sở lý thuyết và ứng dụng của xử lý ảnh. Hệ thống cho phép người dùng tra cứu các ảnh tương tự trong một cơ sở dữ liệu hình ảnh. Các hình ảnh này có thể được thu thập thông qua các thiết bị chụp hình, cảm biến, và thiết bị quét hình ảnh, cũng có thể được chia sẻ thông qua hệ thống mạng máy tính toàn cầu. Tra cứu ảnh theo nội dung được thực hiện thông qua việc tính độ tương tự giữa hai bức ảnh được biểu diễn bởi một trong số các đặc trưng mức thấp của ảnh như: Màu sắc, hình dạng, kết cấu… Kết quả đưa ra là tập các bức ảnh tương tự với ảnh truy vấn được xắp xếp theo thứ tự giảm dần độ tương tự. 15 Chƣơng 2: MỘT SỐ PHƢƠNG PHÁP TRÍCH CHỌN ĐẶC TRƢNG HÌNH ẢNH Như chúng ta đã biết, nội dung của một bức ảnh có thể bao gồm cả cả nội dung trực quan và nội dung ngữ nghĩa. Trong nội dung trực quan của ảnh lại được phân làm hai loại là nội dung tổng quan và nội dung đặc tả. Nội dung tổng quan bao gồm màu sắc, kết cấu, hình dạng và các quan hệ không gian giữa các đối tượng ảnh hoặc giữa các vùng ảnh. Nội dung đặc tả thì tuỳ vào từng ứng dụng cụ thể, ví dụ với các ứng dụng tra cứu ảnh người thì mặt người hoặc con mắt là các nội dung đặc tả và với các ứng dụng tra cứu ảnh ô tô thì bánh xe là một nội dung đặc tả. Nội dung ngữ nghĩa có thể phát hiện thông qua các chú thích hoặc sử dụng các phương pháp suy diễn từ nội dung trực quan. Tuy nhiên trong khuôn khổ luận văn này chỉ tập trung vào việc mô tả nội dung trực quan tổng quan của ảnh. Phương pháp mô tả nội dung trực quan được thiết kế tốt phải có tính bất biến đối với các biến đổi bất thường sinh ra trong quá trình xử lý ảnh (ví dụ như những biến đổi bất thường về độ sáng của cảnh vật). Tuy nhiên cũng cần phải chú ý tới sự cân bằng giữa tính bất biến và khả năng đáp ứng những thay đổi tuỳ ý của các đặc trưng trực quan của ảnh, bởi vì một hệ thống có tính bất biến lớn thì thường là không có tính nhạy cảm, mất khả năng phản ánh những thay đổi nhỏ nhưng rất quan trọng. Một phương pháp mô tả nội dung trực quan có thể là phương pháp toàn cục hoặc phương pháp cục bộ. Phương pháp mô tả nội dung toàn cục sử dụng các đặc trưng trực quan của toàn bộ bức ảnh, còn phương pháp mô tả nội dung cục bộ lại sử dụng những đặc trưng trực quan của các vùng ảnh hoặc các đối tượng ảnh để mô tả nội dung của ảnh. Để mô tả được nội dung cục bộ của ảnh trước hết người ta phải chia ảnh thành các phần riêng biệt. Cách đơn giản nhất để phân chia ảnh là sử dụng một bộ phân hoạch chia ảnh thành các ô có kích thước và hình dạng giống nhau. Cách phân chia đơn giản như vậy không tạo ra được những vùng ảnh có ý nghĩa thực sự nhưng nó là cách đơn giản để biểu diễn nội dung toàn cục của ảnh với độ chính xác cao hơn. Một phương pháp phân chia tốt hơn là phân chia ảnh thành các vùng đồng nhất dựa vào các tiêu chí sử dụng các thuật toán phân vùng ảnh đã được nghiên cứu và áp dụng trong ngành thị giác máy tính. Một cách phức tạp hơn phân chia ảnh là thực hiện phân chia theo các đối tượng ảnh để tách ra các đối tượng ảnh có nghĩa thực sự. Phần tiếp theo giới thiệu một số kỹ thuật đang được sử dụng rộng rãi để trích chọn các đặc trưng ảnh như màu sắc, kết cấu, hình dạng, … 16 2.1 Phƣơng pháp trích chọn đặc trƣng theo màu sắc Màu sắc thường là vấn đề tập trung giải quyết nhiều nhất, bởi vì với một ảnh màu thì thông tin quan trọng nhất trong ảnh chính là màu sắc. Hơn nữa thông tin về màu sắc là thông tin người dùng quan tâm nhất; qua đặc trưng màu sắc, có thể lọc được rất nhiều lớp ảnh, thông qua vị trí, không gian, định lượng của màu trong ảnh. Sự nhận thức về màu sắc là quá trình quan trọng của con người. Sự nhận thức về màu sắc phụ thuộc vào cả tính chất vật lý của ánh sáng và quá trình xử lý của thị giác với sự góp phần rất quan trọng của kinh nghiệm. Con người dùng thông tin màu sắc để phân biệt đối tượng, vật liệu, đồ ăn, vị trí và ngay cả thời gian của ngày. Với sự phát triển mạnh mẽ của các thiết bị kinh tế, máy móc xử lý màu sắc trở nên thông dụng. Chúng ta có các thiết bị như máy quay phim màu, thiết bị chiếu màu và những phần mềm xử lý ảnh màu. Máy móc có thể dùng màu sắc cho những mục đích như là con người. Đặc biệt, màu sắc thuận tiện bởi vì nó cung cấp phép đo lường đa dạng tại mỗi điểm ảnh đơn, có thể phân lớp, phân loại mà không cần đến những sự xử lý không gian phức tạp để đưa đến quyết định. Tra cứu ảnh dựa trên màu sắc hầu hết là biến đổi dựa trên ý tưởng giống nhau của các biểu đồ màu. Mỗi ảnh khi đưa vào tập hợp ảnh đều được phân tích, tính toán dựa trên một biểu đồ màu. Sau đó, biểu đồ màu của mỗi ảnh sẽ được lưu trữ trong cơ sở dữ liệu. Khi tìm kiếm, người sử dụng có thể xác định tỷ lệ của mỗi màu mong muốn (ví dụ 75% Blue, 25% Red) hoặc đưa ra một ảnh mẫu với biểu đồ màu đã được tính toán. Quá trình tra cứu sẽ đối sánh biểu đồ màu này với biểu đồ màu trong cơ sở dữ liệu để tìm ra kết quả tương tự nhất. Kỹ thuật đối sánh được sử dụng phổ biến nhất là biểu đồ màu giao nhau được phát triển đầu tiên bởi Swain. Những kỹ thuật cải tiến từ kỹ thuật này ngày nay được sử dụng rộng rãi trong các hệ thống tra cứu ảnh hiện thời. 2.1.1 Không gian màu Với mỗi điểm ảnh trên một bức ảnh có thể được biểu diễn bằng một điểm trong một không gian màu 3 chiều. Một số không gian màu được sử dụng nhiều nhất trong các hệ thống tra cứu ảnh là RGB, CIE L*a*b, CIE L*u*v, HSV, YUV, YIQ và không gian màu đối lập. Người ta cũng chưa chỉ ra được rằng không gian màu nào được sử dụng tốt hơn cho việc tra cứu ảnh. Tuy nhiên tính chất quan trọng nhất để một không gian màu phù hợp nhằm sử dụng trong một hệ thống tra cứu ảnh là tính đồng nhất. Một không gian màu được gọi là có tính đồng nhất nếu các cặp 2 màu tương tự nhau trong không gian màu thì cũng được con người cảm nhận như nhau. Nói một cách khác, khoảng cách đo được giữa hai màu bất kỳ phải có liên quan trực tiếp với độ đo tương tự sinh học giữa hai màu đó. Một số không gian màu phổ biến: RGB, CMY, HSx, … 17 Không gian màu RGB RGB là không gian màu được sử dụng phổ biến nhất để hiển thị ảnh. Không gian RGB bao gồm 3 thành phần màu là Đỏ (Red), Xanh lá cây (Green) và Xanh lam (Blue). Các thành phần này gọi là màu cộng bởi vì các màu sắc trong không gian RGB đều có thể thu được bằng cách cộng 3 thành phần màu này lại với nhau. Một màu trong không gian màu RGB đại diện cho một véc tơ với ba tọa độ. Khi tất cả ba giá trị đều bằng 0 thì cho màu Black, khi tất cả ba giá trị đều bằng 1 thì cho màu White. Hình 2.1 Không gian màu RGB. Không gian màu CMY Hệ thống màu CMY theo mô hình in trên giấy trắng và theo khuôn mẫu trừ từ màu trắng thay vì thêm vào từ màu đen như hệ thống màu RGB. CMY là viết tắt của Cyan-Magenta-Yellow (màu lục lam, màu đỏ tươi, màu vàng), đó là ba màu chính tương ứng với ba màu mực in. Cyan hấp thu sự chiếu sáng của màu đỏ, Magenta hấp thu màu xanh lục, Yellow hấp thu màu xanh dương. Do đó, tạo ra sự phản ánh tương ứng như khi in ảnh được chiếu sáng với ánh sáng trắng. Hệ thống dưới dạng âm tính vì mã hóa theo dạng hấp thụ màu. Có một số mã hóa như sau: Trắng (0,0,0) vì không có ánh sáng trắng được hấp thụ, đen (255,255,255) vì tất cả các thành phần của màu trắng đều được hấp thụ. Hệ thống màu CMY dường như là một sự đảo ngược của hệ thống màu RGB. Đặc tính của nó là sự đơn giản, ứng dụng nhiều trong thực tế. Tuy nhiên khuyết điểm của nó cũng tương tự như không gian màu RGB, tức là cách mã hóa khác với cách mà con người cảm nhận về màu sắc. Không thích hợp cho bài toán tìm kiếm ảnh dựa vào nội dung. Không gian màu HSx Không gian màu HSI, HSV, HSB, HLS thường được gọi là HSx có mối liên quan gần gũi với sự nhận thức về màu sắc của con người hơn là không gian màu RGB. Những trục từ không gian màu HSx mô tả những đặc tính của màu như sắc độ, độ bão hoà và độ sáng. Sự khác nhau giữa những không gian màu HSx là sự biến đổi 18 của chúng từ không gian màu RGB, chúng thường được mô tả bằng những hình dạng khác nhau (như hình nón, hình trụ). Trong hình 2.2 không gian màu HSV được mô tả như hình nón. Hình 2.2 Mô tả không gian màu HSV. Sắc độ là thành phần của không gian màu HSx. Sắc độ là góc giữa những đường tham chiếu và điểm gốc màu trong không gian màu RGB như hình 2.1. Vùng giá trị này từ 00 đến 3600. Theo uỷ ban quốc tế về màu sắc CIE (Commission International d'E clairage) thì sắc độ là thuộc tính của cảm giác có liên quan đến thị giác, qua đó một vùng xuất hiện tương tự với một màu được cảm nhận như red, green, blue hoặc là sự kết hợp của hai trong số những màu được cảm nhận. Cũng theo CIE độ bão hoà là màu được đánh giá theo tỷ lệ độ sáng của nó. Trong hình nón độ bão hoà là khoảng cách từ tâm đến cạnh hình nón. Chiều cao của đường cắt chính là Value đây chính là độ sáng hoặc độ chói của màu. Khi độ bão hoà S = 0 thì H không xác định, giá trị nằm trên trục V biểu diễn ảnh xám. Không gian màu HSV dễ dàng lượng tử hoá. Mức lượng tử hoá thông dụng trong không gian màu này là 162 mức với H nhận 18 mức, S và V nhận 3 mức. 2.1.2 Lượng tử hoá màu Lượng tử hóa màu là quá trình làm giảm số màu sắc được sử dụng để mô tả ảnh. Việc lượng tử hóa màu trong không gian màu RGB được thực hiện bằng cách chia khối hình lập phương lớn thành những khối nhỏ và mỗi khối nhỏ có thể đại diện cho một màu đơn. Ví dụ, chia hình lớn thành 64 hình nhỏ bằng cách chia các trục Red, Green, Blue mỗi trục thành 4 phần nhỏ và tất cả các màu sắc được xác định trong một hình khối nhỏ sẽ đại diện cho một màu đơn. Với hệ thống máy tính hiện thời thì không gian RGB thường thể hiện bởi hệ thống màu thực 24 bit. Trong hệ thống màu 24 bit thì mỗi màu được xác định bằng 3 số nguyên:{Red, Green và Blue} và 3 số nguyên này nằm trong khoảng từ 0 - 27 như vậy nó cho ta khoảng 16.777.216 màu. Bởi vì quá trình lượng tử hóa không gian màu RGB tương tự như quá trình làm giảm số màu nên có thể xác định số màu trong không gian màu một cách đơn giản là giảm số màu từ 24 bit màu xuống còn n3 màu như sau: Khi giảm một màu {R, G ,B} 24 bit màu thành màu mới {R’, G’ ,B’} với n3 màu ta đặt: 19 R'  n*R 28 G'  n*G 28 B'  n*B 28 (2.1) Vì vậy, sau khi giảm số màu sẽ có n*n*n=n3 màu. 2.1.3 Các moment màu Các moment màu đã được sử dụng rất thành công trong nhiều hệ thống tra cứu ảnh, đặc biệt là khi ảnh chỉ chứa một đối tượng ảnh. Các thành phần moment bậc nhất (trung vị), bậc hai (phương sai) và bậc ba (độ lệch) đã được chứng minh là có thể được sử dụng rất hiệu quả để biểu diễn sự phân bố màu sắc của ảnh. Công thức toán học để biểu diễn 3 moment này như sau: i  1 N N f j 1 i  1 N si  3 1 N ij (2.2) N ( f j 1 ij N ( f j 1 ij  i ) 2  i )3 (2.3) (2.4) Trong đó fij là giá trị của thành phần màu thứ i của điểm ảnh thứ j và N là số lượng điểm ảnh của ảnh đó. Sử dụng cả thành phần moment bậc ba si sẽ giúp tăng cường hiệu năng tra cứu so với khi chỉ sử dụng các moment bậc nhất i và bậc hai i. Tuy nhiên đôi khi việc sử dụng moment bậc 3 làm cho việc biểu diễn đặc trưng của ảnh nhạy cảm hơn đối với những thay đổi của cảnh nền và do đó làm giảm khả năng của hệ thống. Do chỉ sử dụng 9 giá trị (3 moment cho mỗi màu trong bộ ba màu) để biểu diễn nội dung màu của mỗi ảnh nên việc sử dụng moment màu để biểu diễn véc tơ đặc trưng màu là rất đơn giản nếu so sánh với các phương pháp biểu diễn khác. Và cũng chính do sự đơn giản đó nên phương pháp này cho kết quả khá hạn chế. Thông thường, phương pháp biểu diễn bằng moment màu được sử dụng trong những bước đầu tiên của quá trình tra cứu ảnh với mục đích làm giảm kích thước không gian tìm kiếm trước khi áp dụng các phương pháp phức tạp hơn để tra cứu. 2.1.4 Biểu đồ màu Biểu đồ màu (Color Histogram) để biểu diễn nội dung màu của một bức ảnh. Biểu đồ màu dễ tính toán và rất hiệu quả để biểu diễn cả sự phân bố màu tổng quan và sự phân bố màu cục bộ của ảnh. Ngoài ra, biểu đồ màu không bị ảnh hưởng bởi sự dịch chuyển hay sự quay của ảnh và rất ít bị ảnh hưởng của tỉ lệ và góc nhìn ảnh. 20 Biểu đồ màu liên kết có bổ sung thêm các thông tin khác mà không làm giảm sự đơn giản của biểu đồ màu. Để đạt được điều này, người ta phải lựa chọn rất cẩn thận các đặc trưng cục bộ sẽ bổ sung vào biểu đồ màu liên kết. Mỗi phần tử trong biểu đồ màu liên kết chứa số lượng điểm ảnh trong ảnh được mô tả bởi một bộ các giá trị đặc trưng. Như vậy biểu đồ màu liên kết là lược đồ biểu đồ màu đa chiều. Mặt khác, do biểu đồ màu không phản ánh được các thông tin mang tính không gian của các điểm ảnh, vì vậy về mặt lý thuyết, các ảnh rất khác nhau có thể có sự phân bố màu tương tự nhau. Vấn đề này rất dễ xảy ra đối với các cơ sở dữ liệu ảnh lớn. Người ta đã đề xuất một vài cách khác nhau để khắc phục vấn đế này, một cách đơn giản nhất là chia các bức ảnh thành những phân vùng nhỏ hơn và tính biểu đồ màu của từng phân vùng. Có thể sử dụng phương pháp phân vùng đơn giản là phân thành các hình chữ nhật đồng đều hoặc phức tạp hơn là phân theo các vùng ảnh hoặc các đối tượng ảnh. Ảnh được phân vùng càng nhỏ thì độ chính xác càng cao nhưng khối lượng tính toán cũng nhiều hơn. Ta có thể sử dụng tập hợp của các mức mà mỗi mức chỉ ra số pixel của một màu riêng biệt trong ảnh. Biểu đồ màu H cho ảnh được định nghĩa như là một vector: H={H[0], H[1], H[2], ..., H[i], ...H[N]}. Ở đây i đại diện cho một màu trong biểu đồ màu và tương ứng với một hình vuông nhỏ trong không gian màu RGB, H[i] là số điểm có màu i trong ảnh, và N là số mức trong biểu đồ màu tức là số màu trong không gian màu được chấp nhận. Trong biểu đồ màu của ảnh, giá trị của mỗi mức sẽ là tổng số điểm ảnh có cùng màu tương ứng. Để so sánh những ảnh có kích cỡ khác nhau biểu đồ màu nên được chuẩn hóa và biểu đồ màu chuẩn hóa được định nghĩa như sau: H’={H’[0], H’[1], H’[2], ..., H’[i], ...H’[N]} Với H ' [i]  (2.5) H [i] P (2.6) và P là tổng số các điểm trong ảnh. Một lượng tử hóa không gian màu lý tưởng sao cho những màu khác biệt không được định vị trong cùng một hình khối nhỏ, và những màu tương tự nên gán cho cùng một hình khối nhỏ. Sử dụng ít màu sẽ làm giảm khả năng những màu tương tự được gán cho những mức khác nhau nhưng nó làm tăng khả năng những màu phân biệt được gán cho những mức giống nhau, và vì vậy nội dung thông tin của ảnh sẽ bị giảm đáng kể. Mặt khác biểu đồ màu với số lượng lớn các mức sẽ chứa nhiều thông tin về nội dung ảnh hơn, nhưng nó làm giảm khả năng các màu riêng biệt sẽ được gán cho các mức khác nhau, tăng không gian lưu trữ cơ sở dữ liệu, tăng thời gian tính toán khoảng cách giữa các biểu đồ. Chính vì thế cần phải có sự cân nhắc trong việc xác định bao nhiêu mức nên được sử dụng trong biểu đồ màu. 21 2.2 Phƣơng pháp trích chọn đặc trƣng theo kết cấu Có những lớp ảnh mà màu sắc không thể giải quyết được, đòi hỏi phải dùng đặc trưng kết cấu. Ví dụ như những ảnh liên quan đến kết cấu của điểm ảnh như: Cỏ, mây, đá, sợi. Kết cấu (texture) là một tính chất quan trọng khác của ảnh. Kết cấu là một thành phần có ảnh hưởng rất quan trọng đối với sự cảm nhận trực quan của con người. Tất cả mọi người đều có thể nhận ra kết cấu nhưng lại rất khó có thể định nghĩa chính xác nó là gì. Không giống như màu sắc, kết cấu “xảy ra” trên một vùng chứ không phải tại một điểm ảnh và thường được định nghĩa bằng các mức xám. Rất nhiều cách thể hiện kết cấu đã được nghiên cứu trong lĩnh vực nhận dạng và thị giác máy tính. Xét một cách cơ bản, các phương pháp biểu diễn kết cấu có thể được chia thành hai loại: Phương pháp cấu trúc và phương pháp thống kê. Các phương pháp cấu trúc bao gồm các toán tử hình thái và đồ thị liền kề, mô tả kết cấu bằng cách định nghĩa các nguyên thuỷ cấu trúc và luật sắp đặt của chúng. Các phương pháp này tỏ ra có hiệu quả khi áp dụng trong trường hợp kết cấu thông thường. Các phương pháp thống kê bao gồm: Phương pháp phổ năng lượng Fourier, ma trận đồng khả năng, Tamura, Phân tích Wold, trường ngẫu nhiên Markov, mô hình fractal, các bộ lọc đa phân giải như biến đổi Gabor và biến đổi dạng sóng... thể hiện kết cấu bằng sự phân bố thống kê của độ sáng của các điểm ảnh. Phần tiếp theo sẽ trình bày một số phương pháp biểu diễn kết cấu được sử dụng rộng rãi và có hiệu quả trong các hệ thống tra cứu ảnh theo nội dung. 2.2.1 Các đặc trưng Tamura Các đặc trưng Tamura bao gồm độ thô, độ tương phản, độ định hướng, độ tuyến tính, độ đồng đều và độ gồ ghề, được thiết kế phù hợp với sự cảm nhận của thị giác con người đối với kết cấu. Ba thành phần đầu tiên của các đặc trưng Tamura là độ thô, độ tương phản và độ định hướng được dùng nhiều nhất trong các hệ thống tra cứu ảnh nổi tiếng như QBIC, Photobook. Cách tính toán các đại lượng đặc trưng này như sau: Độ thô Độ thô được dùng để đo tính chất hạt của kết cấu. Để tính toán độ thô, tại mỗi điểm ảnh (x,y) ta tính toán một trung bình động (average moving) Ak(x,y) sử dụng một cửa sổ kích thước 2k×2k (k = 0, 1, ..., 5): 22 Ak ( x, y)  x  2 k 1 1 y  2 k 1 1   g (i, j) / 2 i  x 2 k 1 j  y 2 2k k 1 (2.7) Trong đó g(i,j) là độ sáng của điểm ảnh ở vị trí (i,j). Bước tiếp theo là tính toán sự khác nhau giữa các cặp trung bình động không chồng lấn lên nhau theo chiều dọc và chiều ngang của các điểm ảnh: Ek , h ( x, y ) | Ak ( x  2k 1 , y )  Ak ( x  2k 1 , y ) | (2.8) Ek , v ( x, y ) | Ak ( x, y  2k 1 )  Ak ( x, y  2k 1 ) | (2.9) Sau đó, giá trị k nào làm cho E lớn nhất theo bất kỳ chiều nào sẽ được sử dụng để đặt cho kích thước tốt nhất cho mỗi điểm ảnh, nghĩa là: Sbest(x,y) = 2k (2.10) Độ thô được tính toán bằng cách lấy giá trị trung bình của Sbest trên phạm vi toàn bức ảnh, nghĩa là: Fcrs  1 m  m.n i 1 n S j 1 best (i, j ) (2.11) Ngoài ra người ta cũng có thể tính toán độ thô bằng cách sử dụng histogram để tính toán sự phân bố của Sbest. Nếu so sánh với việc chỉ dùng một giá trị để thể hiện độ thô thì các tính toán độ thô kiểu histogram có thể giúp cải thiện đáng kể hiệu năng của hệ thống tra cứu ảnh vì cách này có khả năng phù hợp với các ảnh hoặc vùng ảnh có nhiều loại kết cấu. Độ tương phản Công thức tính độ tương phản như sau: Fcon   4  4 (2.12) 4  4 ,  4 là moment thứ tư (trung vị) và  2 là độ biến đổi. Công Trong đó thức này có thể sử dụng trên toàn bức ảnh hoặc trong một vùng ảnh nào đó. 4  Độ định hướng Để tính toán độ định hướng, ta nhân chập ảnh với 2 ma trận kích thước 3×3 là 1 0 1 1 0 1 1 0 1 1 0 và 1 0 1 0 1 1 1 sau đó tính toán véc tơ gradient cho mỗi điểm ảnh. Độ lớn và góc pha của véc tơ này được định nghĩa như sau: