Tài liệu Phương pháp phân cụm dữ liệu không gian và ứng dụng trong việc xác định vị trí tối ưu đặt máy atm

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ---------- NGUYỄN SƠN PHƯƠNG PHÁP PHÂN CỤM DỮ LIỆU KHÔNG GIAN VÀ ỨNG DỤNG TRONG VIỆC XÁC ĐỊNH VỊ TRÍ TỐI ƯU ĐẶT MÁY ATM LUẬN VĂN THẠC SỸ HÀ NỘI -2011 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ---------- NGUYỄN SƠN PHƯƠNG PHÁP PHÂN CỤM DỮ LIỆU KHÔNG GIAN VÀ ỨNG DỤNG TRONG VIỆC XÁC ĐỊNH VỊ TRÍ TỐI ƯU ĐẶT MÁY ATM Ngành: Chuyên ngành: Mã số: Công nghệ thông tin Hệ thống thông tin 60 48 05 LUẬN VĂN THẠC SỸ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. TS Đặng Văn Đức HÀ NỘI -2011 MỤC LỤC CHƢƠNG 1. MỞ ĐẦU ............................................................................................... 1 CHƢƠNG 2. TỔNG QUAN HỆ THÔNG TIN ĐỊA LÝ VÀ KHAI PHÁ DỮ LIỆU KHÔNG GIAN ............................................................................................................ 3 2.1. Tổng quan về Hệ thông tin địa lý ................................................................... 3 2.1.1. Một số định nghĩa về hệ thông tin địa lý .................................................... 3 2.1.2. Các thành phần của hệ thông tin địa lý ....................................................... 4 2.1.3. Biểu diễn dữ liệu địa lý.............................................................................. 7 2.1.4. Phân tích và xử lý dữ liệu không gian ....................................................... 14 2.1.5. Ứng dụng của hệ thông tin địa lý ............................................................. 19 2.2. Tổng quan về khai phá dữ liệu ..................................................................... 21 2.2.1. Khái niệm................................................................................................. 21 2.2.2. Tiến trình khai phá dữ liệu........................................................................ 21 2.2.3. Các mô hình khai phá dữ liệu ................................................................... 23 2.2.4. Các hƣớng tiếp cận và kỹ thuật sử dụng trong khai phá dữ liệu ................ 24 2.2.5. Các dạng dữ liệu có thể khai phá .............................................................. 25 2.2.6. Các ứng dụng của khai phá dữ liệu ........................................................... 25 2.3. Khai phá dữ liệu không gian ........................................................................ 26 2.3.1. Các đặc trƣng của khai phá dữ liệu không gian ......................................... 26 2.3.2. Kho dữ liệu không gian và các chiều dữ liệu ............................................ 27 2.3.3. Một số ứng dụng của khai phá dữ liệu không gian .................................... 28 CHƢƠNG 3. PHÂN CỤM DỮ LIỆU KHÔNG GIAN .............................................. 32 3.1. Khái quát về phân cụm dữ liệu..................................................................... 32 3.1.1. Phân cụm phân hoạch .............................................................................. 32 3.1.2. Phân cụm phân cấp .................................................................................. 35 3.1.3. Phân cụm dựa trên mật độ ....................................................................... 36 3.1.4. Phân cụm dựa trên lƣới............................................................................ 49 3.2. Phân cụm dữ liệu không gian ....................................................................... 50 3.2.1. Các đặc trƣng của dữ liệu không gian ....................................................... 50 3.2.2. Các quan hệ/thuộc tính không gian của dữ liệu không gian ...................... 51 3.2.3. Các độ đo tƣơng đồng trong phân cụm dữ liệu không gian ....................... 53 CHƢƠNG 4. ỨNG DỤNG PHÂN CỤM KHÔNG GIAN TRONG BÀI TOÁN XÁC ĐỊNH VỊ TRÍ TỐI ƢU LẮP ĐẶT MÁY ATM ......................................................... 62 4.1. Phân tích bài toán ......................................................................................... 62 4.1.1. Nguồn dữ liệu đầu vào và phạm vi bài toán .............................................. 62 4.1.2. Phƣơng pháp kỹ thuật giải quyết bài toán ................................................. 63 4.2. Xây dựng chương trình ứng dụng ................................................................ 64 4.2.1. Phân tích thiết kế hệ thống........................................................................ 64 4.2.2. Cài đặt chƣơng trình ................................................................................. 68 4.3. Thử nghiệm và đánh giá các thuật toán phân cụm ..................................... 71 CHƢƠNG 5. KẾT LUẬN ......................................................................................... 75 TÀI LIỆU THAM KHẢO.......................................................................................... 76 DANH MỤC HÌNH VẼ Hình 1: 5 thành tố của GIS........................................................................................... 4 Hình 2: Mối quan hệ giữa các thành phần của GIS....................................................... 5 Hình 3. Ví dụ biểu diễn vị trí nước bị ô nhiễm ............................................................. 8 Hình 4. Ví dụ biểu diễn đường ..................................................................................... 8 Hình 5. Ví dụ biểu diễn khu vực hành chính ................................................................ 9 Hình 6. Biểu diễn vector của đối tượng địa lý ............................................................ 13 Hình 7. Biểu diễn thế giới bằng mô hình raster .......................................................... 13 Hình 8: Tìm đường đi ngắn nhất giữa 2 địa điểm trên bản đồ Hà Nội ........................ 15 Hình 9: Chồng phủ đa giác ........................................................................................ 17 Hình 10. Tiến trình phủ đa giác.................................................................................. 18 Hình 11: Tiến trình khám phá tri thức từ cơ sở dữ liệu ............................................... 22 Hình 12: Kiến trúc điển hình của một hệ khai phá dữ liệu .......................................... 23 Hình 13: Phân cụm polygon để phân tích xu thế giảm giá trung bình nhà cho thuê xung quanh một khu vực ở Regensburg [ESKS01] ............................................................. 29 Hình 14: Khái quát hóa mô hình 3D của vật thể ......................................................... 29 Hình 15: Phân cụm dữ liệu ảnh viễn thám thu được theo sự tổ hợp tín hiệu của 5 kênh màu của 5 ảnh viễn thám vùng ven biển California [ESKS01] ................................... 30 Hình 16: Phân tích thủy hệ tại vùng Nebraska, Hoa Kỳ [JOS11] ............................... 30 Hình 17: các địa phương có tỷ lệ người nghỉ hưu cao [ESKS01] ................................ 31 Hình 18: Minh họa thuật toán k-means ...................................................................... 34 Hình 19: Phân cụm phân cấp ..................................................................................... 35 Hình 20: Kề mật độ trực tiếp, q là đối tượng lõi (core), p là đối tượng biên................ 37 Hình 21: Kề mật độ.................................................................................................... 37 Hình 22: Kết nối theo mật độ ..................................................................................... 38 Hình 23: Minh họa đồ thị khoảng cách 4-dist đã được sắp xếp của một CSDL .......... 41 Hình 24: Đồ thị k-dist và một phương pháp ước lượng tham số Eps .......................... 42 Hình 25: Đồ thị 4-dist của dữ liệu bản đồ “Hệ thống siêu thị” .................................... 42 Hình 26: Đồ thị 4-dist của dữ liệu bản đồ “Ngân hàng” ............................................. 43 Hình 27: Các cụm phát hiện được bởi CLARANS (a) và DBSCAN (b) ..................... 43 Hình 28: Các cụm được phát hiện bởi DBRS(a), DBSCAN(b), K-Means(c), CLARANS(d) [WAHA03]. ....................................................................................... 49 Hình 29: Phân cụm dựa theo lưới vùng ...................................................................... 49 Hình 30: Quan hệ về hướng của các đối tượng không gian [ESKS01] ........................ 52 Hình 31: Mô hình 9-intersection [EGFRA94] ............................................................. 53 Hình 32: Quan hệ về tô pô của các đối tượng không gian [ESKS01] .......................... 53 Hình 33: Khoảng cận điểm ........................................................................................ 55 Hình 34: Khoảng cách cận-viễn ................................................................................ 56 Hình 35: So sánh khoảng cách Hausdorff với khoảng cách tâm ................................. 56 Hình 36: Mối quan hệ tô pô giữa hai đa giác dựa trên đối tượng tham chiếu tuyến tính. ........................................................................................................................... 60 Hình 37: Hình ảnh chồng phủ (vùng màu vàng) của các cụm “Ngân hàng” (màu xanh) và “Siêu thị” (màu đỏ) ............................................................................................... 68 Hình 38: Kết quả phân cụm DBRS đối với dữ liệu thử nghiệm tự tạo ........................ 69 Hình 39: Kết quả phân cụm DBRS đối với dữ liệu thực “Nút mạng đường bộ” của Tỉnh Thừa Thiên- Huế ............................................................................................... 69 Hình 40: Kết quả phân cụm và chồng phủ các cụm điểm tiện ích “Siêu thị” và “Khách sạn” trong nội thành Hà Nội. Vùng màu vàng có thể coi là vị trí tối ưu cho việc lắp đặt các máy ATM. ........................................................................................................... 70 Hình 41: Khả năng phát hiện nhiễu và cụm có hình dạng bất kỳ của K-means (trái) và DBSCAN (phải) ........................................................................................................ 71 Hình 42: Khả năng phân cụm theo thuộc tính của DBSCAN (trái) và DBRS (phải) ... 72 Hình 43: Đồ thị so thời gian thực hiện phân cụm của các thuật toán K-measn, DBSCAN và DBRS với cùng một tập dữ liệu đầu vào. .............................................. 72 Hình 44: Đồ thị thời gian thực hiện phân cụm của các thuật toán K-measn, DBSCAN và DBRS trên các tập dữ liệu khác nhau. ................................................................... 73 KÝ HIỆU VIẾT TẮT CSDL Cơ sở dữ liệu GIS Hệ thông tin địa lý KDD Khám phá tri thức từ cơ sở dữ liệu KPDL Khai phá dữ liệu OLAP Xử lý phân tích dữ liệu trực tuyến SDBS Hệ cơ sở dữ liệu không gian SDW Kho dữ liệu không gian 1 CHƢƠNG 1. MỞ ĐẦU Khai phá dữ liệu không gian hay còn gọi là khai phá tri thức từ dữ liệu không gian là một lĩnh vực có nhu cầu rất cao. Bởi lẽ dữ liệu đầu vào ở đây bao gồm một khối lượng dữ liệu không gian khổng lồ đã được thu thập từ nhiều ứng dụng khác nhau, từ thiết bị viễn thám đến hệ thống thông tin địa lý, từ bản đồ số, từ các hệ thống quản lý và đánh giá môi trường, …Việc phân tích và khai thác lượng thông tin khổng lồ này ngày càng tạo ra các thách thức và khó khăn, đòi hỏi phải có các nghiên cứu sâu hơn để tìm ra các kỹ thuật khai phá dữ liệu hiệu quả hơn. Trong những năm gần đây, việc nghiên cứu về khai phá dữ liệu đã có xu hướng chuyển từ cơ sở dữ liệu quan hệ và cơ sở dữ liệu giao dịch sang cơ sở dữ liệu không gian. Sự thay đổi này không những giúp hiểu được dữ liệu không gian mà còn giúp khám phá được mối quan hệ giữa dữ liệu không gian và phi không gian, các mô hình dựa trên tri thức không gian, phương pháp tối ưu câu truy vấn, tổ chức dữ liệu trong cơ sở dữ liệu không gian, ... Khai phá dữ liệu không gian được sử dụng nhiều trong các hệ thống thông tin địa lý (GIS), viễn thám, khai phá dữ liệu ảnh, ảnh y học, rô bốt dẫn đường, … Khám phá tri thức từ dữ liệu không gian có thể được thực hiện dưới nhiều hình thức khác nhau như sử dụng các quy tắc đặc trưng và quyết định, trích rút và mô tả các cấu trúc hoặc cụm nổi bật, kết hợp không gian, … Các bài toán truyền thống của một hệ thông tin địa lý có thể trả lời các câu hỏi kiểu như: - Những con phố nào dẫn đến Nhà hát lớn Hà Nội ? Những căn nhà nào nằm trong vùng quy hoạch mở rộng phố? Khai phá dữ liệu không gian có thể giúp trả lời cho các câu hỏi dạng: - Xu hướng của các dòng chảy, các đứt gãy địa tầng ? Nên bố trí các trạm tiếp sóng điện thoại di động như thế nào? Những vị trí nào là tối ưu để đặt các máy ATM ? Một trong những bài toán liên quan đến dữ liệu không gian, cụ thể là dữ liệu địa lý có ý nghĩa thực tế cao là bài toán xác định vị trí tối ưu cho việc đặt các máy ATM của các ngân hàng. Hiện nay, cùng với chủ trương xây dựng Chính phủ điện tử và thúc đẩy giao dịch điện tử ở Việt Nam, việc thanh toán đang chuyển dần từ sử dụng tiền mặt sang thanh toán qua tài khoản, đồng thời với nhu cầu sử dụng thẻ tín dụng ngày càng tăng, các ngân hàng trong nước sử dụng tối đa mọi lợi thế để cạnh tranh, thu hút khách hàng. Một trong các cách để cạnh tranh hiệu quả là thông qua việc thiết lập các trạm ATM để khách hàng có thể tự thực hiện các giao dịch của mình một cách thuận tiện. 2 Tính đến cuối năm 2010, số lượng trạm ATM đã đạt gần 8000 máy, số thẻ ATM được phát hành là hơn 12 triệu thẻ bởi hơn 40 tổ chức ngân hàng. Tuy nhiên, việc phát triển hệ thống các trạm ATM chưa được quy hoạch theo chiến lược bài bản, vị trí đặt các trạm ATM vẫn còn nhiều bất cập như tình trạng thừa hoặc thiếu ATM ở một số khu vực, do đó chưa khai thác được hết tiềm năng của hình thức giao dịch này. Xuất phát từ nhu cầu thực tế đó, luận văn giới thiệu một số phương pháp phân cụm dữ liệu trong khai phá cơ sở dữ liệu không gian được sử dụng hiện nay. Trên cơ sở đó cài đặt thử nghiệm một ứng dụng sử dụng kỹ thuật phân cụm dữ liệu địa lý, trong đó khai thác thông tin địa lý của các đối tượng địa lý có tầm ảnh hưởng quan trọng đến vị trí đặt các máy ATM như: các siêu thị, trung tâm thương mại, khách sạn, nhà hàng, khu đông dân cư, đường giao thông… để hỗ trợ giải quyết bài toán tìm vị trí tối ưu đặt các máy ATM trong thành phố Hà Nội. Luận văn được chia thành các chương mục sau: - Chương 1: Mở đầu, giới thiệu bài toán - Chương 2: Tổng quan về Hệ thông tin Địa lý (GIS) và khai phá dữ liệu không gian. - Chương 3: Một số phương pháp phân cụm dữ liệu không gian - Chương 4: Xây dựng chương trình thử nghiệm ứng dụng phân cụm dữ liệu không gian hỗ trợ tìm vị trí tối ưu đặt máy ATM trong khu vực nội thành Hà Nội. - Chương 5: Kết luận, đánh giá 3 CHƢƠNG 2. TỔNG QUAN HỆ THÔNG TIN ĐỊA LÝ VÀ KHAI PHÁ DỮ LIỆU KHÔNG GIAN 2.1. Tổng quan về Hệ thông tin địa lý Khái niệm Địa lý (Geography) đề cập lĩnh vực nghiên cứu mô tả Trái đất (GeoEarth). Ngày nay, khái niệm này và khái niệm Không gian (Space) được sử dụng thay thế nhau trong một số trường hợp. Tuy nhiên, về mặt bản chất thì Địa lý là tập các mô tả về không gian (hai chiều), khí quyển (ba chiều), … của Trái đất. Còn Không gian cho phép mô tả bất kỳ cấu trúc đa chiều nào, không quan tâm đến vị trí địa lý của nó. Như vậy có thể coi Địa lý như là một phần cấu trúc nhỏ trong tập cấu trúc Không gian. Khi mô tả Trái đất, các nhà địa lý luôn đề cập đến quan hệ không gian (spatial relationship) của các đối tượng trong thế giới thực. Mối quan hệ này được thể hiện thông qua các bản đồ (map) trong đó biểu diễn đồ họa của tập các đặc trưng trừu tượng và quan hệ không gian tương ứng trên bề mặt trái đất, ví dụ: bản đồ dân số biểu diễn dân số tại từng vùng địa lý. Dữ liệu bản đồ còn là loại dữ liệu có thể được số hóa. Để lưu trữ và phân tích các số liệu thu thập được, cần có sự trợ giúp của hệ thông tin địa lý (Geographic Information System-GIS). 2.1.1. Một số định nghĩa về hệ thông tin địa lý Có nhiều cách diễn giải khác nhau cho từ viết tắt GIS, tuy nhiên các cách diễn giải đó đều mô tả việc nghiên cứu các thông tin địa lý và các khía cạnh khác liên quan. GIS cũng giống như các hệ thống thông tin khác, có khả năng nhập, tìm kiếm và quản lý các dữ liệu lưu trữ, để từ đó đưa ra các thông tin cần thiết cho người sử dụng. Ngoài ra, GIS còn cho phép lập bản đồ với sự trợ giúp của máy tính, giúp cho việc biểu diễn dữ liệu bản đồ tốt hơn so với cách truyền thống. Dưới đây là một số định nghĩa GIS hay dùng [DVD01]: Định nghĩa của dự án The Geographer's Craft, Khoa Địa lý, Trường Đại học Texas GIS là cơ sở dữ liệu số chuyên dụng trong đó hệ trục tọa độ không gian là phương tiện tham chiếu chính. GIS bao gồm các công cụ để thực hiện những công việc sau: - Nhập dữ liệu từ bản đồ giấy, ảnh vệ tinh, ảnh máy bay, số liệu điều tra và các nguồn khác. - Lưu trữ dữ liệu, khai thác, truy vấn cơ sở dữ liệu. 4 - Biến đổi dữ liệu, phân tích, mô hình hóa, bao gồm cả dữ liệu thống kê và dữ liệu không gian. - Lập báo cáo, bao gồm bản đồ chuyên đề, bảng biểu, biểu đồ và kế hoạch. Từ định nghĩa trên, ta thấy: Thứ nhất, GIS có quan hệ với ứng dụng cơ sở dữ liệu. Thông tin trong GIS đều liên kết với tham chiếu không gian và GIS sử dụng tham chiếu không gian như phương tiện chính để lưu trữ và truy nhập thông tin. Thứ hai, GIS là công nghệ tích hợp, cung cấp các khả năng phân tích như phân tích ảnh máy bay, ảnh vệ tinh hay tạo lập mô hình thống kê, vẽ bản đồ... Cuối cùng, GIS có thể được xem như một hệ thống cho phép trợ giúp quyết định. Cách thức nhập, lưu trữ, phân tích dữ liệu trong GIS phải phản ánh đúng cách thức thông tin sẽ được sử dụng trong công việc lập quyết định hay nghiên cứu cụ thể. Định nghĩa của David Cowen, NCGIA, Mỹ GIS là hệ thống phần cứng, phần mềm và các thủ tục được thiết kế để thu thập, quản lý, xử lý, phân tích, mô hình hóa và hiển thị các dữ liệu qui chiếu không gian để giải quyết các vấn đề quản lý và lập kế hoạch phức tạp. Một cách đơn giản, có thể hiểu GIS như một sự kết hợp giữa bản đồ (map) và cơ sở dữ liệu (database). GIS = Bản đồ + Cơ sở dữ liệu Bản đồ trong GIS là một công cụ hữu ích cho phép chỉ ra vị trí của từng địa điểm. Với sự kết hợp giữa bản đồ và cơ sở dữ liệu, người dùng có thể xem thông tin chi tiết về từng đối tượng/thành phần tương ứng với địa điểm trên bản đồ thông qua các dữ liệu đã được lưu trữ trong cơ sở dữ liệu. Ví dụ, khi xem bản đồ về các thành phố, người dùng có thể chọn một thành phố để xem thông tin về thành phố đó như diện tích, số dân, thu nhập bình quân, số quận/huyện của thành phố, … 2.1.2. Các thành phần của hệ thông tin địa lý Một hệ thông tin địa lý thường bao gồm 5 thành phần: Con người Dữ liệu Phần cứng Phần mềm Phương pháp phân tích dữ liệu Hình 1: 5 thành tố của GIS 5 Các thành phần này kết hợp với nhau nhằm tự động quản lý và phân phối thông tin thông qua biểu diễn địa lý. Hình 2: Mối quan hệ giữa các thành phần của GIS Con người Con người là thành phần quan trọng nhất, là nhân tố thưc hiện các thao tác điều hành sự hoạt động của hệ thống GIS. Con người tham gia vào hệ thông tin địa lý với một hoặc nhiều vai trò sau: Người xây dựng bản đồ: sử dụng các lớp bản đồ được lấy từ nhiều nguồn khác nhau, chỉnh sửa dữ liệu để tạo ra các bản đồ theo yêu cầu. Người thiết kế CSDL: xây dựng các mô hình dữ liệu lôgic và vật lý. Người phát triển: xây dựng hoặc cải tạo các phần mềm GIS để đáp ứng các nhu cầu cụ thể. Người dùng GIS là những người sử dụng các phần mềm GIS để giải quyết các bài toán không gian theo mục đích của họ. Họ thường là những người được đào tạo tốt về lĩnh vực GIS hay là các chuyên gia. Dữ liệu Một hệ thống thông tin không thể thiếu dữ liệu, dữ liệu là nguồn đầu vào, là nguyên liệu để hệ thống thực hiện phân tích, xử lý và cho ra kết quả phục vụ nhu cầu khai thác thông tin của người dùng. Một cách tổng quát, người ta chia dữ liệu trong GIS thành 2 loại: Dữ liệu không gian (spatial) cho ta biết kích thước vật lý, hình dạng và vị trí địa lý của các đối tượng trên bề mặt trái đất. Dữ liệu thuộc tính (non-spatial) là các dữ liệu ở dạng văn bản, cung cấp thêm thông tin mô tả về đối tượng dữ liệu không gian. 6 Phần cứng Phần cứng GIS giúp xây dựng, lưu trữ dữ liệu địa lý, kết nối các thiết bị khai thác và sử dụng hệ thống và trình bày thông tin địa lý. Phần cứng GIS có thể là các máy tính điện tử: PC, mini Computer, Smart Phone … là các thiết bị mạng cần thiết khi triển khai GIS trên môi trường mạng. GIS cũng đòi hỏi các thiết bị ngoại vi đặc biệt cho việc nhập và xuất dữ liệu như: máy số hoá (digitizer), máy vẽ (plotter), máy quét (scanner)… Phần mềm Phần mềm giúp kết nối các thành tố của một hệ thông tin địa lý với nhau, đồng thời mang lại thông tin từ dữ liệu địa lý thông qua các chức năng phân tích và xử lý dữ liệu. Hệ thống phần mềm GIS rất đa dạng. Mỗi công ty xây dựng GIS đều có hệ phần mềm riêng của mình. Tuy nhiên, có một dạng phần mềm mà các công ty phải xây dựng là hệ quản trị CSDL địa lý. Dạng phần mềm này nhằm mục đích nâng cao khả năng cho các phần mềm CSDL thương mại trong việc: sao lưu dữ liệu, định nghĩa bảng, quản lý các giao dịch do đó ta có thể lưu các dữ liệu đồ địa lý dưới dạng các đối tượng hình học trực tiếp trong các cột của bảng quan hệ và nhiều công việc khác. Các phép phân tích dữ liệu Mục đích chung của mọi hệ thông tin là khai thác, phân tích, xử lý dữ liệu để đưa ra các thông tin phục vụ nhu cầu của con người. Các chức năng phân tích, xử lý và trình bày dữ liệu của một hệ thông tin địa lý tối thiểu phải gồm: Capture: thu thập dữ liệu. Dữ liệu có thể lấy từ rất nhiều nguồn, có thể là bản đồ giấy, ảnh chụp, bản đồ số… Store: lưu trữ. Dữ liệu có thể được lưu dưới dạng vector hay raster (sẽ đề cập ở mục sau). Query: truy vấn (tìm kiếm). Người dùng có thể truy vấn thông tin đồ họa hiển thị trên bản đồ. Analyze: phân tích. Đây là chức năng hỗ trợ việc ra quyết định của người dùng. Display: hiển thị. Hiển thị dữ liệu địa lý và kết quả phân tích dưới những cách thức hiểu được đối với người dùng. Output: xuất dữ liệu. Hỗ trợ việc kết xuất dữ liệu bản đồ dưới nhiều định dạng: giấy in, Web, ảnh, file… 7 2.1.3. Biểu diễn dữ liệu địa lý 2.1.3.1. Các thành phần của dữ liệu địa lý Trong GIS, dữ liệu được chia làm hai loại: thành phần không gian và thành phần phi không gian (thuộc tính). Hai loại thành phần dữ liệu này được kết hợp thông qua một chỉ số chung để mô tả một đối tượng thực. Sự kết hợp này thể hiện đặc trưng không gian của đối tượng, nó cho phép: Mô tả “vị trí, hình dạng”: vị trí tham chiếu, đơn vị đo, dạng hình học của thực thể địa lý. Mô tả “quan hệ và tương tác” giữa các thực thể địa lý: những thửa đất nào liền kề với khu công nghiệp ? Mô tả “thông tin” của các đối tượng địa lý: ai là chủ sở hữu của thửa đất này, thuộc quản lý của địa phương nào?... Thành phần không gian Thành phần dữ liệu không gian hay thường được gọi là dữ liệu hình học hay dữ liệu bản đồ trong GIS, là dữ liệu về đối tượng mà vị trí của nó được xác định trên bề mặt trái đất. Dữ liệu không gian sử dụng trong hệ thống địa lý luôn được xây dựng trên một hệ thống tọa độ, bao gồm tọa độ, quy luật và các ký hiệu dùng để xác định một hình ảnh bản đồ cụ thể trên mỗi bản đồ. Hệ thống GIS dùng thành phần dữ liệu không gian để tạo ra bản đồ hay hình ảnh bản đồ trên màn hình hoặc trên giấy thông qua thiết bị ngoại vi. Mỗi hệ thống GIS có thể dùng các mô hình khác nhau để mô hình hóa thế giới thực sao cho giảm thiểu sự phức tạp của không gian nhưng không mất đi các dữ liệu cần thiết để mô tả chính xác các đối tượng trong không gian. Hệ thống GIS 2D dùng 3 kiểu dữ liệu cơ sở sau để mô tả hay thể hiện các đối tượng trên bản đồ vector (sẽ làm rõ hơn ở phần sau), đó là: Ðiểm (Point) Điểm được xác định bởi cặp giá trị tọa độ (x, y). Các đối tượng đơn với thông tin về địa lý chỉ bao gồm vị trí thường được mô tả bằng đối tượng điểm. Các đối tượng biểu diễn bằng kiểu điểm thường mang đặc tính chỉ có tọa độ đơn (x, y) và không cần thể hiện chiều dài và diện tích. Ví dụ, trên bản đồ, các vị trí của bệnh viện, các trạm rút tiền tự động ATM, các cây xăng, … có thể được biểu diễn bởi các điểm. Hình 3 là ví dụ về vị trí nước bị ô nhiễm. Mỗi vị trí được biểu diễn bởi 1 điểm gồm cặp tọa độ (x, y) và tương ứng với mỗi vị trí đó có thuộc tính độ sâu và tổng số nước bị nhiễm bẩn. Các vị trí này được biểu diễn trên bản đồ và lưu trữ trong các bảng dữ liệu. 8 Hình 3. Ví dụ biểu diễn vị trí nước bị ô nhiễm Ðường – Cung (Line - Arc) Đường được xác định bởi dãy các điểm hoặc bởi 2 điểm đầu và điểm cuối. Đường dùng để mô tả các đối tượng địa lý dạng tuyến như đường giao thông, sông ngòi, tuyến cấp điện, cấp nước… Các đối tượng được biểu diễn bằng kiểu đường thường mang đặc điểm là có dãy các cặp tọa độ, các đường bắt đầu và kết thúc hoặc cắt nhau bởi điểm. Ví dụ, bản đồ hệ thống đường bộ, sông, đường biên giới hành chính, … thường được biểu diễn bởi đường và trên đường có các điểm (vertex) để xác định vị trí và hình dáng của đường đó. Hình 4. Ví dụ biểu diễn đường 9 Vùng (Polygon) Vùng được xác định bởi ranh giới của nó là đường gấp khúc, có điểm đầu trùng với điểm cuối. Các đối tượng địa lý có diện tích và được bao quanh bởi đường thường được biểu diễn bởi vùng. Các đối tượng biểu diễn bởi vùng có đặc điểm là được mô tả bằng tập các đường bao quanh vùng và điểm nhãn (label point) thuộc vùng để mô tả, xác định cho mỗi vùng. Ví dụ, các khu vực hành chính, hình dạng các công viên, … được mô tả bởi kiểu dữ liệu vùng. Hình 5 mô tả ví dụ cách lưu trữ một đối tượng vùng. Hình 5. Ví dụ biểu diễn khu vực hành chính Một đối tượng có thể biểu diễn bởi các kiểu khác nhau tùy thuộc vào tỷ lệ của bản đồ đó. Ví dụ, đối tượng công viên có thể được biểu diễn bởi điểm trong bản đồ có tỷ lệ nhỏ, và bởi vùng trong bản đồ có tỷ lệ lớn. Thành phần phi không gian Thành phần dữ liệu phi không gian hay còn gọi là dữ liệu thuộc tính, là những diễn tả đặc tính, số lượng, mối quan hệ của các hình ảnh bản đồ với vị trí địa lý của chúng thông qua một cơ chế thống nhất. Hệ thống GIS có cơ chế liên kết dữ liệu không gian và phi không gian của cùng một đối tượng với nhau. Có thể nói, một trong những chức năng đặc biệt của công nghệ GIS chính là khả năng liên kết và xử lý đồng thời dữ liệu bản đồ và dữ liệu thuộc tính. Dữ liệu thuộc tính trong hệ thống GIS bất kỳ thường phân thành 4 loại sau: Bộ xác định: có thể là một số duy nhất, liên tục, ngẫu nhiên hoặc chỉ báo địa lý, số liệu xác định vị trí lưu trữ chung. Bộ xác định cho một thực thể chứa tọa độ phân bố của nó, số hiệu mảnh bản đồ, mô tả khu vực hay con trỏ đến vị trí lưu trữ của số liệu liên quan. Bộ xác định thường lưu trữ với các bản ghi tọa độ hay mô tả khác của hình ảnh không gian và các bản ghi số liệu thuộc tính liên quan. 10 Số liệu hiện tượng, tham khảo địa lý: miêu tả thông tin danh mục, các hoạt động liên quan đến các vị trí địa lý xác định (ví dụ như: cho phép xây dựng, báo cáo tai nạn, nghiên cứu y tế,…) Thông tin này được lưu trữ và quản lý trong các tệp/ bảng độc lập, trong đó mỗi bản ghi chứa yếu tố xác định vị trí của sự kiện hay hiện tượng quản lý. Chỉ số địa lý: bao gồm tên, địa chỉ, khối, phương hướng định vị, … liên quan đến các đối tượng địa lý. Một chỉ số có thể bao gồm nhiều bộ xác định cho thực thể địa lý. Ví dụ: chỉ số địa lý về đường phố và địa chỉ địa lý liên quan đến phố đó. Quan hệ giữa các đối tượng tại một vị trí địa lý cụ thể trong không gian. Đây là thông tin quan trọng cho các chức năng xử lý của hệ thống thông tin địa lý. Các mối quan hệ không gian có thể là mối quan hệ đơn giản hay lôgic, ví dụ tiếp theo số nhà 101 phải là số nhà 103. 2.1.3.2. Mô hình biểu diễn dữ liệu không gian Như đã đề cập ở trên, dữ liệu địa lý bao gồm thành phần dữ liệu không gian và thành phần dữ liệu thuộc tính. Ở phần này, chúng ta sẽ xem xét cách thức biểu diễn thành phần dữ liệu không gian trong hệ thông tin địa lý. Hệ thông tin địa lý biểu diễn các thực thể địa lý trong tự nhiên bằng dữ liệu của nó, hệ thống GIS chứa càng nhiều dữ liệu thì khả năng mang lại thông tin càng lớn. Dữ liệu của GIS có được thông qua việc mô hình hóa các thực thể địa lý. Mô hình biểu diễn dữ liệu địa lý là cách thức chúng ta biểu diễn trừu tượng các thực thể địa lý. Mô hình biểu diễn dữ liệu địa lý đóng vai trò quan trọng vì cách thức biểu diễn thông tin sẽ ảnh hưởng tới khả năng thực hiện phân tích dữ liệu và khả năng hiển thị đồ họa của một hệ thống thông tin địa lý. Các mức trừu tượng của dữ liệu được thể hiện qua 3 mức mô hình, bao gồm [DVD01]: - Mô hình quan niệm Mô hình logic Mô hình vật lý Mô hình quan niệm Đây là mức trừu tượng đầu tiên trong tiến trình biểu diễn các thực thể địa lý. Là tập các thành phần và các quan hệ giữa chúng liên quan đến hiện tượng tự nhiên nào đó. Mô hình này độc lập lập với hệ thống, độc lập với cấu trúc, tổ chức và quản lý dữ liệu. Một số mô hình quan niệm thường được sử dụng trong GIS là: Mô hình không gian trên cơ sở đối tượng: Mô hình này tập trung vào các hiện tượng, thực thể riêng rẽ được xem xét độc lập hay cùng với quan hệ của chúng với thực thể khác. Bất kỳ thực thể lớn hay 11 nhỏ đều được xem như một đối tượng và có thể độc lập với các thực thể láng giềng. Đối tượng này lại có thể bao gồm các đối tượng khác và chúng cũng có thể có quan hệ với các đối tượng khác. Ví dụ các đối tượng kiểu thửa đất và hồ sơ là tách biệt với các đối tượng khác về không gian và thuộc tính. Mô hình hướng đối tượng phù hợp với các thực thể do con người tạo ra như nhà cửa, đường quốc lộ, các điểm tiện ích hay các vùng hành chính. Một số thực thể tự nhiên như sông hồ, đảo…cũng thường được biểu diễn bằng mô hình đối tượng do chúng cần được xử lý như các đối tượng rời rạc. Mô hình dữ liệu kiểu vector (sẽ đề cập đến ở phần sau) là một ví dụ của mô hình không gian trên cơ sở đối tượng. Mô hình không gian trên cơ sở mạng: Mô hình này có một vài khía cạnh tương đồng với mô hình hướng đối tượng, nhưng mở rộng xem xét cả mối quan hệ tương tác giữa các đối tượng không gian. Mô hình này thương quan tâm đến tính liên thông, hay đường đi giữa các đối tượng không gian, ví dụ mô hình mạng lưới giao thông, mạng lưới cấp điện, cấp thoát nước…Trong mô hình này, hình dạng chính xác của đối tượng thường không được quan tâm nhiều. Mô hình topo là một ví dụ về mô hình không gian trên cơ sở mạng. Mô hình quan sát trên cơ sở nền: Mô hình này quan tâm đến tính liên tục, trải dài về mặt không gian của thực thể địa lý, ví dụ các thực thể như thảm thực vật, vùng mây bao phủ, vùng ô nhiễm khí quyển, nhiệt độ bề mặt đại dương…thích hợp khi sử dụng mô hình này. Mô hình dữ liệu kiểu raster (sẽ đề cập ở phần sau) là một ví dụ về mô hình quan sát trên cơ sở nền. Mô hình logic Sau khi biểu diễn các thực thể ở mức mô hình quan niệm, bước tiếp theo là cụ thể hóa mô hình quan niệm của các thực thể địa lý thành các cách thức tổ chức hay còn gọi là cấu trúc dữ liệu cụ thể để có thể được xử lý bởi hệ thông tin địa lý. Ở mô hình logic, các thành phần biểu diễn thực thể và quan hệ giữa chúng được chỉ rõ dưới dạng các cấu trúc dữ liệu. Một số cấu trúc dữ liệu được sử dụng trong GIS là: Cấu trúc dữ liệu toàn đa giác: Mỗi tầng trong cơ sở dữ liệu của cấu trúc này được chia thành tập các đa giác. Mỗi đa giác được mã hóa thành trật tự các vị trí hình thành đường biên của vùng khép kín theo hệ trục tọa độ nào đó. Mỗi đa giác được lưu trữ như một đặc trưng độc lập, do vậy không thể biết được đối tượng kề của một đối tượng địa lý. Như vậy quan hệ topo (thể hiện mối quan hệ không gian giữa các đối tượng địa lý như quan hệ kề nhau, bao hàm nhau, giao cắt nhau…) không thể hiện 12 được trong cấu trúc dữ liệu này. Nhược điểm của cấu trúc dữ liệu này là một số đường biên chung giữa hai đa giác kề nhau sẽ được lưu hai lần, và như vậy, việc cập nhật, sửa đổi dữ liệu thường gặp nhiều khó khăn. Cấu trúc dữ liệu cung nút: Cấu trúc dữ liệu cung nút mô tả các thực thể địa lý dưới dạng các điểm (nút) và các đường (cung). Như vậy, có thể biểu diễn được quan hệ topo giữa các đối tượng địa lý. Trong cấu trúc dữ liệu này, các phần đối tượng không gian kề nhau sẽ được lưu trữ một lần, ngoài ra, các đối tượng lân cận của một đối tượng địa lý cũng được chỉ rõ, điều này giúp dễ dàng thực hiện các phép phân tích không gian, đồng thời cũng tối ưu được dung lượng lưu trữ dữ liệu. Cấu trúc dữ liệu dạng cây: Trong một số mô hình dữ liệu như mô hình raster, dữ liệu có thể được phân hoạch thành các đối tượng nhỏ hơn với nhiều mức khác nhau để giảm thiểu dung lượng lưu trữ và tăng tốc độ truy vấn. Ví dụ cấu trúc cây tứ phân chia một vùng dữ liệu làm 4 phần, trong mỗi phần này lại có thể được chia tiếp thành 4 phần con. Mô hình dữ liệu vật lý Dữ liệu địa lý cần được lưu trữ vật lý trên máy tính theo một cách thức nhất định, tùy theo các hệ thống thông tin địa lý cụ thể mà cách thức lưu trữ, cài đặt dữ liệu khác nhau. Mô hình dữ liệu vật lý thường khá khác nhau đối với từng hệ thống GIS cụ thể. Một số hệ GIS thương mại có thể kể đến như: Arc/Info, ERDAS, Geovision, Grass, Caris, DBMS based, Ingres, Oracle, Postgres…có các cách thức lưu trữ vật lý dữ liệu khác nhau, đồng thời cũng chia sẻ một vài khuôn dạng dữ liệu chung để có thể dễ dàng trao đổi. Như vậy, từ một thực thể địa lý, thông qua 3 mức mô hình biểu diễn mà được cụ thể hóa thành dữ liệu trên máy tính và có thể có dạng thể hiện khác nhau đối với từng hệ GIS cụ thể. Mỗi hệ thông tin địa lý đều sử dụng mô hình dữ liệu quan niệm riêng để biểu diễn mô hình dữ liệu vật lý duy nhất. Hệ thông tin địa lý cung cấp các phương pháp để người sử dụng làm theo các mô hình quan niệm tương tự ba lớp mô hình mô tả trên. Hai nhóm mô hình dữ liệu không gian thường gặp trong các hệ GIS thương mại là mô hình dữ liệu vector và mô hình dữ liệu raster. Mô hình vector Mô hình vector sử dụng tọa độ 2 chiều (x, y) để lưu trữ hình khối của các thực thể không gian trên bản đồ 2D. Mô hình này sử dụng các đặc tính rời rạc như điểm,