Đăng ký Đăng nhập
Trang chủ Nghiên cứu vài kỹ thuật hỗ trợ tìm kiếm ảnh theo nội dung...

Tài liệu Nghiên cứu vài kỹ thuật hỗ trợ tìm kiếm ảnh theo nội dung

.PDF
60
122
142

Mô tả:

ĐẠI HỌC QUỐC GIA HÀ NỘI KHOA CÔNG NGHỆ ĐINH ĐỨC HÙNG NGHIÊN CỨU MỘT SỐ KĨ THUẬT Hỗ TRỢm • m TÌM KIẾM ẢNH THEO NỘI DUNG Chuyên ngành: Công nghệ Thông tin Mã số: 1.01.10 LUẬN VĂN THẠC s ĩ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS NGÔ QUỐC TẠ O Hà n ộ i-2003 ị i)ĨW HOC C.UÓCGiA MA 2 MỤC LỤC LỜI CẢM ƠN.................................. ............................................ ...........1 Chương 1 TỔNG QUAN VỀ TRA ctnu ẢNH............................................................... 5 1.1. Giới thiệu về xử lí ảnh..................................................... ............................... 5 ỉ . 1.1. C ác giai đoạn trong x ử lí ả n h ................................. ................................... . 5 L 1 .2 . M ộ t s ố khái niệm trong x ử lí ảnh .....................................................................7 1.2. Giới thiệu về tìm kiếm ảnh................................................................... ....8 L3. Mục tiêu của luận văn..................................................... ............................. 10 1.4. Kết luận •••••••••••:........................................... ••••••••••••••••••••"••••••••••••• 11 Chương 2 MỘT số KĨ THUẬT CHUNG VỀ TÌM KIẾM ẢNH THEO NỘI DUNG. 12 21. Giới thiệu.._____ ____ ___________________ -•••••••••••••• 12 2.2. Phạm vi của tìm kiếm ảnh theo nội 12 2.2.7. Phân loại theo ứng dụng ......................................................................... 12 2.2.2. Vùng ảnh và lỗ hổng cảm giác ............................................................... 13 2.2.3. T ri thức vùng ...................... ..................................................................... 14 2.3. Biểu diễn nội dung ảnh, xử lí ảnh................................................................ 16 2 .3 .L Xử lí màu sắ c ............................................................................................ 17 2.3.2. Xử lí hình dạng cục bộ .. .....................................................................17 2.3.3. Xử lí cấu trúc ả n h .................................................................................... 18 2 3 .4 . K ết lu ậ n .................................................................................................... 18 2A. Thể hiện nội dungỉ Các đặc trư n g ."""".......................................... 18 2.4.1. Gộp dữ liệu .................................................................................................. 19 2.4.2. C ác đặc trưng ............................................................................................. 19 2.4.3. M ô tả cấu trú c .................................................................................................... 21 2.5. Sự thể hiện và độ tương tự ••••••••••••••••••••............... . 22 2.5.1. T h ể hiện ngữ n g h ĩa ........................................................................................... 22 2.5.2. Đ ộ tương tự .................................................................................................22 2.5.3. Thảo luận về sự th ể hiện và độ tương tự ................................................ 25 2.6. Tương tác..:.......... :.......... ................................................. ...........................25 2.6.1. Không gian truy vấn .................................................................................. 25 2.6.2. H iển thị không gian truy v ấ n ......................................................... ....... 26 2.6.3. Tương tác với không gian truy vấn .......................................................... 27 2.6.4. K ết lu ậ n ...................................................................................................... 27 2.7* Hệ thống ••••••••••••••••••••••••••••••........................................................... 28 2.7.7. Lưu trữ và đánh ch ỉ số .............................................................................. 28 2.7.2. K iến trúc hệ thống ..................................................................................... 29 2.7.3. Đ ánh giá hệ thống ..................................................................................... 29 2 7 .4 . K ết lu ậ n ...................................................................................................... 31 2.8 Một số kết luận chung................................................................................... 31 3 Chlĩơng 3 HAI Kĩ THUẬT Hỗ TRỢ TÌM KIẾM ẢNH THEO NỘI DUNG 3.1. Giới thiệu........................................ ......... ............... ....................... 3.2. Kĩ thuật phân đoạn ảnh sử dụng kì vọng lớn nhất................. 3.2.1. Trích chọn các đặc trư n g ......................................................... 3.2.2. N hóm các điểm ảnh thành các vùng ....................................... 3 2 3 . Biểu diễn các vù n g .................................................................... 3.3. Kĩ thuật so khớp theo qui hoạch động........................... ........... 3.3.1. Biểu diễn hình dạng trong D P ................................................. 3 3 2 , Các trường hợp cần so khớp .................................................... 3.3.3. Bảng qui hoạch động (DP ta b le ) ........................................... 3.3.4. Đ ánh giá so khớp bằng hàm khoảng c á c h ............................ 3 3 .5 . Các yếu tố ảnh hưởng đến giá so kh ớ p .................................. Chương 4 ÚNG DỤNG TRONG TÌM KIẾM ẢNH THEO NỘI DUNG •••••• 4 丄 Giới thiệu........................................................................................ 34 34 34 34 38 40 41 41 42 43 45 46 4.2. ứng dụng của k ĩ thuật phàn đoạn sử dụng kì vọng lớn nhất 50 50 50 4.3. ứ n g dụng k ĩ th u ậ t qui hoạch độ n g ................................................. 4 .3 .1 . Q uá trình so k h ớ p ........................................................................... 52 52 KẾT LUẬN VÀ KIẾN NGHỊ.......................................................... TÀI LIỆU THAM KHẢO............................................ ............. PHỤ LỤC........................................................................ ........ 57 58 60 4 DANH MỤC BẢNG BIỂU VÀ HÌNH VẼ Bảng 1: Ba sự phân loại theo mục đích của các hệ thống tìm kiếm ảnh theo nội dung.....................................................................................13 Bảng 2: So sánh vùng rộng và vùng h ẹ p .............................................................. 14 Hình 1: Các giai đoạn chính trong xử lí ảnh......................................... ........ 5 Hình 2: Các thành phần của một hệ thống xử lí ảnh........................................6 Hình 3: Các nguồn tri thức chung theo thứ tự bằng nhau............................... 15 Hình 4: Các module xử lí ảnh...................................................................... 16 Hình 5: Các cách khác nhau để nhóm dữ liệu ảnh.........................................18 Hình 6 : Sơ đổ k ĩ thuật phân đoạn ảnh sử dụng kì vọng lớn nhất.......................34 Hình 7: Các cửa sổ khởi tạo thuật toán EM.................................................. 37 (a)K = 2 ,(b )K = 3 ,(c)K = 3và(d)K = 4, (e) K= 5. Hình 8: Ví dụ vể một bảng DP với ;VI=5 (shape A) và A)=7 (shape B).......... 44 s, X và T là các ô trong phần khởi động, tính toán và kết thúc. Hình 9: Các con số hình học cho việc định nghĩa độ quan trọng cùa đoạn.... 46 Hình 10: Tóm tắt thuật toán so khớp.................................................................... 53 Hình 11 : Các trường hợp biểu diễn đường cong..................................................55 Aj là đường cong ban đầu, A2 là đường cong đối xứng, A 3minh hoạ quá trình duyệt theo hướng ngược lại và A4 là đối xúng của Aj với hướng duyệt ngược ỉại. 5 Chương 1 TỔNG QUAN VỂ TRA c ứ u ẢNH 1丄 Giới thiệu về xử lí ảnh Trong những năm gần đây, cùng với sự phát triển như vũ bão của các ngành Khoa học K ĩ thuật nói chung đặc biệt là Công nghệ Thông tin thì x ử lí ảnh, m ột Khoa học của Công nghệ Thông tin thuộc chuyên ngành T rí tuệ nhân tạo đã có những phát triển và ứng dụng đáng kể trong nhiều ĩĩn h vực khác nhau. Khoâ học xử lí ảnh so với nhiều ngành khoa họe khác còn tương đối m ới mẻ, nhất là trên quy mô công nghiệp, x ử lí ảnh cũng đã thu được nhiều kết quả và ứng dụng lớn ở V iệ t nam cũng như rất nhiều nước trên thế giới. Các giai đoạn trong xử lí ảnh Bài toán xử lí ảnh bao gồm các giai đoạn tổng quát như sau [1]: H ình 1: Các giai đoạn chính trong xử lí ảnh • Thu nhận ảnh: ảnh có thể được thu nhận qua camera nó có thể là tín hiệu tương tự cũng có thể là tín hiệu số. Ngoài ra ảnh cũng có thể được thu nhận từ vệ tinh thông qua các bộ cảm ứng (sensor), hoặc tranh ảnh được quét bằng scanner, • Ảnh sau kh i được thu nhận số hoá để lưu trữ hoặc sẽ được ♦ 攀 có thể được • • • phân tích trong giai đoạn tiếp theo (phân tích ảnh. Phân tích ảnh gồm 6 nhiẻu giai đoạn nhỏ hơn: tăng cường, nâng cao chất lượng ảnh (khắc phục những thiếu xót của quá trình thu nhận ảnh như :nhiểu, m éo.v.v ), làm nổi bật những đặc trưng chính của ảnh hoặc làm cho ảnh trở về tình trạng ban đầu.v.v.x tiếp theo là việc phát hiện các đặc trưng của ảnh như : biên, vùng ảnh,trích chọn các đặc trưng của ảnh. • Cuối cùng ảnh sẽ được nhận dạng, phân lớp hoặc phục vụ cho các mục đích khác nhau. Đé xử lí các quá trìn h trên đây thì m ột hệ thống xử lí ảnh bao gồm m ột số thành phần sau đây (phần cứng) [ 1 ]: Hình 2: Các thành phần của m ột hệ thống xử lí ảnh • Camera: cũng giống như con m ắt của hệ thống. Camera có hai loại: loại CCIR ứng với chuẩn CCIR quét ảnh v ớ i tần số 1/25,m ỗi ảnh gồm 625 dòng; loại CCD gồm các photo đ iố t tương ứng m ột cường độ sáng tại m ột điểm ảnh ứng vớ i m ột phần tử ảnh (p ixe l). • Bộ xử lí tương tự (analog processor) thực hiện các chức năng: - Chọn camera thích hợp nếu hệ thống có nhiều camera. 一 Chọn màn hình hiển th ị tữ i hiệu* « • •• 7 - Thu nhận tín hiệu video bởi bộ số hoá (digitalizer). Thực hiện lấy mẫu và mã hoá. 一 Tiển xử lí ảnh khi thu nhận. • Bộ xử lí ảnh số gồm nhiều bộ xử lí chuyên dụng: xử lí lọc, trích chọn đường bao, nhị phân hoá ảnh. • Máy chủ đóng vai trò điểu khiển các thành phần nêu trên. • Bộ nhớ ngoài: lưu trữ dữ liệu ảnh cũng như các kiểu dữ liêu khác, để có thể chuyển giao cho quá trình khác. 1.1.2. Một số khái niệm trong xử lí ảnh. • Pixel (phần tử ảnh hay điểm ảnh): Để xử lí được ảnh bằng máy tính điện tử cần số hoá nó hay nói cách khác là biến đổi các ảnh từ tín hiệu liên tục sang tín hiệu rờ i rạc thông qua việc lấy mẫu và lượng tử hoá. Trong quá trình này người ta sử dụng khái niệm pixel. M ỗ i pixel được đặc trưng bởi cặp toạ độ (x , y) và màu sắc của nó. • Ảnh là m ột tập hợp các pixel (điểm ảnh) ta có thể coi ảnh là m ột mảng hai chiếu I(n , p) có n dòng và p cột, với ảnh này sẽ có nxp pixel. Ta k í hiệu I(x , y) để chỉ m ột pixel. • Mức xám (Gray level): đó là kết quả cua việc mã hoá ứng với m ột cường độ sáng của m ỗi điểm ảnh với m ột giá trị số. Thông thường ảnh được mã hoá dưới dạng 16,32 hay 64 mức. • Biẻu diển ảnh: trong biểu diễn ảnh người ta ữiường đùng các phần tử đặc trưng của ảnh là pixel. M ộ t hàm hai biến chứa các thông tin như m ột biểu diẽn ảnh. M ộ t số mô hình thường dùng để biểu diẽn ảnh là: mô hình toán (biểu diễn ảnh nhờ các hàm cơ sở), mô hình thống kê (ảnh 8 được coi như m ột phần tử của m ột tập hợp đặc trưng bởi kì vọng toán, hiệp biến, phương sai, moment V.V.). • Tăng cường ảnh: đây là m ột bước tiền xử lí quan trọng bao gồm các k ĩ thuật lọc độ tương phản, khử nhiễu, nổi màu.v.v. • Biến đổi ảnh (Image Transform ) nói tớ i m ột lớp các ma trận đơn v ị và các k ĩ thuật dùng để biến đổi ảnh: Biến đổi Fourier, Sin, Cosin, tích Kronecker, biến đổi Karhum en Loeve.v.v. • Phân tích ảnh: liê n quan đến việc xác đinh các độ đo đinh lượng của m ột ảnh để đưa ra m ột mô tả đầy đủ về ảnh. Có nhiều k ĩ thuật hổ trợ phân tích ảnh: xác định biên của ảnh, các k ĩ thuật lọc v i phân, dò theo quy hoạch động, các k ĩ thuật phân vùng ảnh dựa trên các tiêu chuẩn đánh giá về màu sắc,cường độ.v.v. • Nhận dạng ảnh: quá trình này liên quan đến các mô tả đối tượng mà người ta m uốn đặc tả nó. Nhận dạng ảnh thường đi sau quá trình trích chọn các đặc trưng chủ yếu của đối tượng. • Tra cứu ảnh (hay tìm kiếm ảnh): để có thể tra cứu được ảnh cũng cần mô tả được ảnh như trong quá trình nhận dạng ảnh. Tra cứu ảnh có nhiệm vụ tìm được ảnh theo yêu cầu của người sử dụng. Nhiều hệ thống nhận dạng và tra cứu ảnh đã được nghiên cứu rất thành công trong những năm gần đây [13]. • Nén ảnh: nhằm giảm kích cỡ ảnh để có thể truyền tải ảnh qua mạng hay để giảm bộ nhớ lưu trữ giữ liệu ảnh [ 1 ]. 1.2. Giới thiệu về tìm kiếm ảnh. Gần đây có m ột sự bùng nổ mạnh mẽ về thông tin , nhiều cơ sở dữ liệu đã được xây dựng [13]. Nó là nguồn tài sản vô cùng quý giá đối với nhiều 9 ngành kin h tế cũng như nhiều ngành khoa học k ĩ thuật. Tuy nhiên, để có thể sứ đụng m ột cách hiệu quả những cơ sở dữ liệu ảnh này thì cần phải có những phương pháp đồng bộ bao gồm tất cả các khâu trong quá trình xử lí ảnh. • X ử lí các nhiẻu méo trong quá trình thu nhận ảnh để ảnh lưu trữ trung thực nhất với hình ảnh ban đầu. Đồng thời đưa ra các thuật toán tố i ưu để xử lí nhiễu méo. Gắn mô đun xử lí này vào hệ thống tra cứu ảnh để nâng cao hiệu quả của hệ thống. • Tìm cách lưu trữ ảnh một cách hiệu quả tiế t kiệm nhất không gian bộ nhớ lưu trữ, [5 ], [1 0 ] ,[11] vì dữ liệu ảnh là rất lớn so với dữ liệu dưới dạng văn bản. Ngoài ra việc lưu trữ dữ liệu ảnh như thế nào còn giúp cho việc xử lí thuận lợ i dữ liệu này, chẳng hạn để tra cứu ảnh đúng yêu cầu với tốc độ nhanh, thuật toán xử lí ảnh dẻ cài đặt, để có thể đưa ảnh lên mạng Internet và truyền đ i với tốc độ cao. • Biểu diễn dữ liệu ảnh theo phương pháp nào để tìm kiếm ảnh đạt hiệu quả cao nhất [5]. • Tra cứu (tìm kiếm ) m ột ảnh đúng theo yêu cầu,với tốc độ và độ chính xác cao. M ộ t hệ thống tìm kiếm ảnh rất cần trong các thư viện điện tử, ngày càng được phát triển rộng rãi. Để giải quyết bài toán tìm kiếm ảnh cần giải quyết tố t nhiểu bài toán liên quan: lưu trữ, biểu diễn, tăng cường ảnh (sửa chữa nhiễu, méo nhất là đối với những ảnh khảo cổ học với chất lượng rất xấu). Ngoài ra thuật toán tra cứu ảnh phải chạy được trên tập dữ liệu ảnh cực 1 ÓĨ1 . • X ây dựng hệ thống tìm kiếm tương tác trực quan với người sử dụng: cho phép người sử dụng đặc tả yêu cầu lần thứ nhất và những lần tìm kiếm tiếp theo m ột cách thuận lợ i thoải m ái [5 ], [13]. 10 • Hệ thống tra cứu ảnh có thể tra cứu ở mức cao hơn đó là tìm theo đối tượng theo yêu cầu nằm trong các ảnh (tìm theo nội dung). M ộ t cách tổng quát, tìm kiếm ảnh là dùng m ột phương pháp nào đó để c5 tìm ra m ột ảnh thoả mãn yêu cầu củâ người sử dụng. T im kiếm ảnh theo rùi dung là m ột trường hợp riêng của tìm kiếm ảnh nói chung, Tìm kiếm ảnh theo nội dung là việc tìm kiếm ảnh theo những đặc trưng thuộc về ảnh mà ta g?i là nộ i dung: theo vùng, theo đối tượng trong ảnh, theo sơ đồ mức xám.v.v. 1.3. Mục tiêu của luận văn Trong khuôn khổ m ột luận văn cao học và m ột khoảng thời gian hạn chế chúng tôi không đặt ra mục tiêu quá cao đối với m ột vấn đề quá lớn. Luận vin chỉ đề cập đến m ột số vấn đế dư óiđây: • N ghiên cứu, phân tích và đưa ra cái nhìn chung nhất vể tìm kiếm ảnh theo nội dung và các phương pháp tìm kiếm ảnh theo nội dung trong những năm gần đây [13] trên m ột số khía cạnh sau: các đặc trưng, kiểu loại ảnh, chỗ hổng cảm ứng và chỗ hổng ngữ nghĩav .. • T ìm hiểu các hệ thống tra cứu ảnh theo: các đặc trưng toàn cục, các điểm nổi bật, đặc trưng hình dạng, kết hợp các đấu hiệu và cấu trúc, độ tương tự của các ảnh và các đối tượng trong ảnh. Tương tác của người sử dụng và hệ thống. • Nghiên cứu đánh giá phương pháp phân đoạn ảnh B lobw orld và sử dụng k ì vọng cực đại để truy vấh ảnh; phương pháp tìm kiếm ảnh bằng qui hoạch động [1 3 ] ,[8 ] ,[5]. • M ộ t số thử nghiệm của các thuật toán đưa ra. • V iệc cải tiến, đưa ra thuật toán và ứng dụng vào thực tế trong các bài toán Nhận dạng và tìm kiếím ảnh dành cho những nghiên cứu lớn hơn. 11 1 A Kết luận Trong chương 1 chúng tôi giới thiệu một số khái niệm về xử lí ảnh, khái quát về một hệ xử lí ảnh. Trong chương này chúng tôi cũng giới thiệu tổng quát vế một số vấn đề trong tra cứu ảnh và mục tiêu luận văn cần đạt được. 12 Chương 2 MỘT SỔ K ĩ THUẬT CHUNG VỂ TÌM KIẾM ẢNH THEO NỘI DUNG 2.1. Giới thiệu Các ảnh trong thực tế được quan tâm dưới nhiều khía cạnh khác nhau như là một ảnh, là một đối tượng hay với mục đích khác. Từ những năm 90 của thế kỉ trước cho tới nay vắn đề tra cứu ảnh theo nội dung đã được nghiên cứu và có nhiểu ứng dụng. Theo chúng tôi việc tổng kết đánh giá và đưa ra một số khái niệm về vấn đề này là cần thiết cho việc phát triển, ứng dụng các kĩ thuật đó ờ Việt nam. Nội dung của chương được đưa ra theo thứ tự sau: phạm vi của tìm kiếm ảnh, các phương pháp xử lí ảnh theo màu sắc, cấu trúc, ••” phân chia dữ liệu, tính toán đặc trưng, độ tương tự giữa hai ảnh, truy vấn ảnh. 2.2. Phạm vi của tìm kiếm ảnh theo nội dung 2.2.1. Phân loại theo ứng dụng Tìm kiếm ảnh theo nội dung được phân chiâ theo ứng dụng thành 3 loại sau: tìm kiếm bằng cách duyệt một tập dữ liệu ảnh từ các cơ sở dữ liệu không được đặc tả; tìm kiếm đích trên các ảnh được đặc tả; tìm theo hạng loại (theo lớp tương tự) và tìm kiếm kết hợp. Sự phân loại trên có thể được tóm tắt như bảng 1 trên các khía cạnh: mục tiêu cần đạt được, truy vấn bằng mẫu,độ tương tự, các sự kiện trong không gian, sự phản hồi, cập nhật tương tác (ảnh, đặc trưng, độ tương tự.) 13 Tìm kiếm Đích, tìm theo lạng loại và tim kiếm kết hợp trong tra cứu ảnh Đích Mục tiêu đối tượng Truy vấn bằng ví dụ Độ tương tự Phân loai 1 đối tượng được Một đối tượng phức tạp đăc tả từ một lớp được đặc tả 1...N đối tượng với các 1…N đối tượng nhăn lớp Dựa trên đặc Theo lớp trưng Kết hợp Không định nghĩa tại vị tríbắỉđẩu N đối tượng cộng với sự kết hợp Đặc tả phiên Các sự kiện trong Fkhông gian. Xáp xỉ truy vấn Phản hổi Theo vị trí thứ tự Khả năng trên các lớp Phản hỗi thích đáng trên độ tương tự thành phần trên các giá tri kết hợp Cập nhật tương tác: Của ảnh của truy vấn Của đặc trưng truy vấn Lọc từng bước Của độ tương tự Thành phẩn phân lớp Truy vấn mở rộng Lọc tửng bước Thích hợp YỚi nhóm Các cụm Lọc từng bước Thay đổi từng bước Tao lai hỉnh dang cho đích • Bảng 1: Phân loại các hệ thống tìm kiếm ảnh theo nội dung 2.2.2. Vùng ảnh và lỗ hổng cảm giác Vùng ảnh z cần nghiên cứu được phân chia thành hai loại: vùng rộng và hep. 1) V ùng hẹp là m ột vùng m à sự biến th iên của nó được giới hạn và xá c định trong tấ t cả các kh ía cạnh thích đáng của sự xu ấ t h iện của vùng. 2) V ùng rộng có sự biến thiên không giới h ạ n ,không xá c định trong tấ t cả các sự xu ấ t hiện của vùng thậm c h í cả với ỷ nghĩa tương tự. Trong một vùng hẹp, người ta tìm kiếm một tính chất thay đổi được giới hạn cua nội dung ảnh. Trong một vùng rộng ngữ nghĩa của ảnh được diễn tả chỉ là cục bộ. Khi tìm kiếm ảnh theo nội dung, cần quan tâm đến một khái niệm là “ chỗ hổng cảm giác” . C hỗ hổng cảm giác là ch ỗ hổng giữa đối tượng trong th ế giới và thông tin trong m ột sự th ể hiện (tín h to án) thu được từ việc thu ảnh đó. 14 Chỗ hổng cảm giác đã đặt ra cho việc thể hiện đối tượng ảnh m ột vấn đề đó ỉà sự không chắc chắn trong trạng thái của đối tượng. Chỗ hổng cảm giác là m ột thiếu xót k h i m ột tri thức chính xác của điều kiện thu nhận ảnh bị mất. Hầu hết các thiếu xót của các hệ thống tìm kiếm ảnh gần đây xuất phát từ việc không tìm ra chỗ hổng ngữ nghĩa và khắc phục những hậu quả của nó cho hộ thống. X é t trên khía cạnh người sử dụng ta có thể c o i chỗ hổng cảm giác là sự thiếu sự trùng khớp giữa thông tin mà người ta có th ể trích ra từ cơ sỏ dữ liệu nhìn thấy và sự biễu diễn các dữ liệu đó do người sử dụng đưa ra. So sánh các vùng rộng và hẹp trong tìm kiếm ảnh Hẹp—— thấp đươc đăc tả Sự biến thiên nội dung Các nguồn tri thức Các ngữ nghĩa Sư chính xác Thể hiên nôidung^ Ngoại cảnh và cảm ứng Hướng ứng dụng Kiều ứng dụng Các công cụ Tương tắc Sự ước lượng Kiến trúc hệ thống Kích cỡ Muc đích đổng nhất có thể khách quan có thể đươc điốu khiển đươcđăctả Rộng Cao Chung không đổng nhất không thể chù quan không biết Chung chuyên biệt Phổ dụng theo mẫu, các bất biến được đặc tả được giới hạn định lượng theo cơ sở dữ liốu biến đổi trung bỉnh nhận dạng đối tượng cảm giác, văn hoá, các bát biến Rộng khắp, lặp lại định lượng Theo tương tác mođun Rộng cho đến rất rộng tỉm thông tin Bảng 2: So sánh vùng rộng và vùng hẹp Khác với văn bản luôn cần đến ngữ cảnh còn ảnh thì tự nó đã cho ta biết nội dung. Các giá trị đặc trưng ngữ nghĩa được thêm vào cùng với các từ khoá hoặc các chú giải là g iải pháp để giảm chi phí lớn trong việc truy cập vào nội dung ảnh trong các cơ sở dữ liệu ảnh quá lớn. 2.2,3. T ri thức vùng Trong tìm kiếm ảnh thể hiện chính xác tri thức vùng là rất quan trọng để làm giảm chỗ hổng cảm giác. Và sau đây là m ột số quy tắc cần tuân thủ: 15 • Các quy tắc về sự bằng nhau và sự tương tự vể cú pháp định nghĩa các mối quan hệ liên quan giữa các điểm ảnh hoặc giữa các đặc trưng ảnh mà bỏ qua những nguyên nhân cảm ứng hay vật lí. • Các quy tắc biểu diễn tri giác của con người về sự bằng nhau và sự tương tự là rất quan trọng bởi vì chúng định nghĩa độ bằng nhau trên các nguyên tắc nẻn tảng giống nhau như độ bằng nhau về kin h nghiệm của người sử dụng. • Các quy tắc vật lí diễn tả sự bằng nhau và khác nhau của các ảnh dưới sự khác nhau về tri giác và đặc tính bể m ặt của đối tượng. • Các quy tắc về cấu trúc và tính chất hình học diễn tả sự bằng nhau và sự khác nhau của các đặc trưng trong không gian. • Các quy tắc dựa trên các phạm trù để mã hoá các đặc điểm thông thường vào lớp z của không gian tất cả các k í hiệu z . • Các quy tắc bằng nhau và khác nhau dựa trên văn hoá. N hư vậ y: Đ iểm chủ chốt trong tìm kiếm ảnh theo nội dung là tìm ra sự tương tự về nội dung của ảnh cần tìm trong cơ sở dữ liệu . Các ứng đụng của tìm kiếm ảnh theo n ộ i dung theo được phân chia thành: tìm kiếm đích, tìm kiếm theo phạm trù và tìm kiếm kết hợp. H ình 3: Các nguồn tri thức chung theo thứ tự bằng nhau 16 Chỗ hổng cảm giác giữa các tính chất trong m ột ảnh và các đặc điểm của đối tượng ảnh hưởng lớn đến tìm kiếm ảnh theo nội dung. Các hệ thống tìm kiếm ảnh theo nội dung phải có khả năng khắc phục chỗ hổng ngữ nghĩa giữa các đặc trưng và làm giàu ngữ nghĩa của người sử dụng. Việc phân tích các đặc điểm của vùng ảnh, vùng tri thức và các kiểu sử dụng các yếu tố sẵn có để xác định chức năng của m ột hệ thống tìm kiếm ảnh theo nội dung. 2.3. Biểu diễn nội dung ảnh, xử lí ảnh* Đầu tiên, hãy thảo luận vể các toán tử xử lí ảnh, biến đổi dữ liệu ảnh thành m ột mảng dữ liệu không gian khác, xem hình 4. Hình 4: Các m odule xử lí ảnh Các phương pháp được phân chia theo màu cục bộ, cấu trúc cục bộ,tính chất hình học cục bộ. Công thức biến đổi tổng quát như sau: f ( x ) = g o i(x ) (2.1) Trong đó /(X ) là ảnh, g là m ột toán tử trên các ảnh, f (jc) là ảnh kết quả. Ở đây, có thể sử dụng bất biến như m ột công cụ để xử lí những hiện tượng bị méo trong thông tin ảnh [3]. Hai đối tượng tị nào đó là tương đương dưới m ột nhóm biến đổi w nếu chúng ở trong m ột lớp tương đương: /ị (2.2) 17 M ộ t tính chất f của t là bất biến dưới w nếu và chỉ nếu f t không đổi dưới w. h 〜 , 2 ^ ft\ = f t 2 (2.3) 2.3.1. Xử ií màu sác M ỗ i ảnh i(x) có m ột giá trị màu trong m ột không gian véc tơ màu. M ô hình màu RGB là m ột các lựa chọn thích hợp để biểu diẻn xử lí màu sắc. Trong mô hình RGB m ột ảnh được biểu diễn bở i bộ (/? (x ),G (x ),i? (x )). M ô hình HSV thường được lựa chọn cho các tửìh chất bất biến của nó (độ Hue) thuận lợ i hơn cho tìm kiếm đối tượng. Sự bất biến về màu sắc là khả năng của con người có thể nhận biết được các màu xuất hiện giống nhau trong các sự biến thiên của độ rọ i sáng mà sự thay đổi phổ vật lí của độ sáng thu được, Sự bất biến này được sử dụng để tìm kiếm bằng cách sử dụng m ột thể hiện màu bất biến về độ chói sáng. 2.X2. Xử lí hình dạng cục bộ Tất cả các chi tiế t hình học tỉ m ỉ, rõ ràng trong m ột ảnh (hình dạng cục bộ) đều cần được quan tâm. Các đặc điểm hình dạng cục bộ thu được từ đạo hàm màu theo hướng cũng được sử dụng, ứng dụng trong các máy dò ảnh. L í thuyết vể không gian tỉ lệ cung cấp cơ sở phát hiện các chi tiế t chuứì xác trên bất kì tỉ lệ nào. H ình dạng cục bộ và thông tin cường độ cho điểm nhìn và tìm kiếm đối tượng bất biến. K ết hợp giữa hình dạng cục bộ và màu sắc trong thể hiện bất biến là m ột sự kết hợp hữu ích; trong đó màu sắc ở trong và ngoài củađộ cong lớn nhất trong cạnh màu được lưu trong đối tượng nhận dạng. m :r t s v i U ' r î H 18 2.3.3. Xử lí cấu trúc ảnh Các cấu trúc ảnh được tạo bởi nhiều thành phần, số các thành phần này thường lớn hơn rất nhiểu con số nhận được khi các đối tượng bị tách ra. Các thành phần có thể được thay thế bởi nhiều hoặc ít hơn m ột cách ngẫu nhiên. Trong khuôn khổ tìm kiếm ảnh, các nghiên cứu tập trung vào các phương pháp sinh ra hay phân tích sự biểu th ị đặc điểm từng phần. 2.3.4. Kết luận X ử lí ảnh nhằm mục đích nâng cao chất lượng thông tin ảnh để tìm kiếm ảnh theo nội dung. Trong đó, xử lí màu sắc ảnh để giảm các lỗ i do điéu kiện ngẫu nhiên gây ra (ví dụ chỗ hổng cảm giác), ứ ig dụng thể hiện hình học thu được từ lí thuyết không gian tỉ lệ cho thấy m ột góc độ và cảnh độc lập với tập điểm nổi bật vì vậy sẽ có cách tìm tính tương tự của ảnh trén các vùng hoặc m ột vài điểm chứa thông tin* Thảo luân ờ trên đã phân biệt màu sắc, hình học cục bộ và cấu trúc. Các vùng đồng nhất được biểu diễn như các tập hợp của các elipsolid của các màu và cấu trúc đồng nhất. Trong tìm kiếm ảnh theo nội dung bước đầu tiên là tạo nên khả năng phân biệt các tính chất bất biến. 2.4. Thể hiện nội dung: Các đặc trưng Gộp ảnh ■ phân <ỉoạiì 0iạob - —■ 夢 Phao doạ» yếu các vùng nổi bật ■— 爹 Nhận ra dấũ hiệu V ị ưí các dấu hiệu Ftlânchia Dữ liệu độc lập với các phán ảnh ► 11 ^ các áổi tượng dược phân đoạn H ình 5: Các cách khác nhau để nhóm dữ liệu ảnh 19 2.4.1. Gộp dữ liệu Trong tìm kiếm ảnh theo nội dung các ảnh thường được phân chia thành các phần trước khi các đặc trưng được tính toán trên m ỗi phần đó, xem hình 5. Việc phân chia các ảnh thành các phần nhằm mục đích thu được các đặc trưng được theo lựa chọn. Có các sựt Ẵ phân đoạn • • • • như sau: • P hân đoạn m ạnh là sự phân chia d ữ liệu ảnh thành các vùng, trong đó vùng T c h ỉ chứa các điểm ảnh của hình chiếu của đối tượng o trong th ế giới thực, được đặc tả bởi: T = ỡ . • Phân đoạn yếu là việc nhóm dữ liệu ảnh trong m ột vùng T chính xác đồng nhất bên trong theo m ột s ố tiêu chuẩn, với T c O . Tiêu chuẩn được thoả mãn nếu vùng T ở bên trong biên của đối tượng o ,nhưng không đảm bảo rằng vùng bao phủ toàn bộ vùng đối tượng. • K h i m ột đối tượng có m ột hình dạng cố định thì: khoanh vùng các dấu hiệu là tìm m ột đối tượng với hình dạng và ngữ nghĩa c ố định, với T= xcenIer. Các dấu hiệu rất hữu ích trong tìm kiếm ảnh dựa trên nội dung kh i chúng biểu diễn m ột sự thể hiện ngữ nghĩa duy nhất và trực tiếp. • D ạ n g gộp yếu nhất là phân chia. S ự phân ch ia ở đây chính chính là phân chia dãy dữ liệu bất chấp dữ liệu, được k í hiệu là: T ^ o . Vùng T ở đây có thể là toàn bộ ảnh, hoặc là trung tâm ảnh, bên trên, bên trá i,bên phải. M ộ t cách phân chia khác là ảnh được chia thành các phần bằng nhau, m ỗi phần được gán m ộ t nhãn. 2.4.2* Các đặc trưng • C ác đặc trưng toàn cục: là các đặc trưng được tính toán từ toàn bộ ảnh. Đặc trưng tích lu ỹ tính theo công thức sau: 20 F j-ỵ h o f(x ) h (2.4) Trong đó z là toán tử kết hợp; Fj là tập các đặc trưng tích luỹ hoặc là tập các đặc trưng tích lu ỹ đánh số trong m ột biểu đồ mức xám; Tj là phần phân chia qua giá trị Fj được tính. Toán tử/ỉ là trọng số liê n quan. Để tính các đặc trưng tích lu ỹ có thể sử dụng biểu đồ mức xám. Nó cũng tỏ rõ m ột số ưu điểm : không cần thông tin vế v ị trí đối tượng trong ảnh, thay đổi rất chậm so vớ i các tiêu chuẩn khác. T uy nhiên, đố i vớ i cơ sở dữ liệu lớn dùng biểu đồ mức xám đơn giản không thể phân b iệt được. Để giải quyết vấn để này người ta đã thêm vào cấu trúc cục bộ, đặc trưng cục bộ, cạnh định hướng, khoảng cách cục bộ, biểu đồ mức xám , các đặc trưng hình học. • C ác đặc trưng Dổi b ậ t: Để tránh sự các nhược điểm của phân đoạn mạnh là sử dụng phân đoạn yếu. Đ iều này đã dẫn đến việc gộp dữ liệu thành các vùng và việc lựa chọn phải dựa trên các đặc trưng nổi bật của vùng. Các dặc trưng nổ i bật có thể được đưa ra trong phương trìn h tổng quát sau: FẢ x) = A h o f ( x) Tj (2-5) Trong đó, 八 là một toán tử lựa chọn cục bộ, h cho ta max của trường ảnh được xử lí f(x). Vùng Tj được xét trên giá trị củâ Fj được tìm trên toàn ảnh. Thông tin của ảnh chỉ được thể hiện trong m ột số giá trị đặc trưng nổi bật. Những giá tr ị này được lưu trữ để tìm kiếm ảnh. N goài ra những giá trị bất biến cũng cần được ghi lạ i và được coi như các điểm nổ i bật. • C ác dấu h iệ u : k h i m ột thể hiện của m ột ảnh có ưu thế (mang ý nghĩa của ảnh) thì ảnh có dấu hiệu và được biểu diễn bằng xác suất p trên sự thể hiện z như công thức sau: (2 .6)
- Xem thêm -

Tài liệu liên quan