Tài liệu (luận văn thạc sĩ) xây dựng hệ thống data warehouse và ứng dụng công nghệ olap để phân tích dữ liệu kinh doanh của doanh nghiệp

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH --------------------------------------- NGUYỄN KHÁNH DUY XÂY DỰNG HỆ THỐNG DATA WAREHOUSE VÀ ỨNG DỤNG CÔNG NGHỆ OLAP ĐỂ PHÂN TÍCH DỮ LIỆU KINH DOANH CỦA DOANH NGHIỆP LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH TP. HỒ CHÍ MINH - 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH --------------------------------------- NGUYỄN KHÁNH DUY XÂY DỰNG HỆ THỐNG DATA WAREHOUSE VÀ ỨNG DỤNG CÔNG NGHỆ OLAP ĐỂ PHÂN TÍCH DỮ LIỆU KINH DOANH CỦA DOANH NGHIỆP Chuyên ngành : Khoa học máy tính Mã số chuyên ngành : 60 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH HƯỚNG DẪN KHOA HỌC PGS.TS ĐỖ PHÚC TP. HỒ CHÍ MINH - 2019 i LỜI CAM ĐOAN Tôi cam đoan rằng luận văn “XÂY DỰNG HỆ THỐNG DATA WAREHOUSE VÀ ỨNG DỤNG CÔNG NGHỆ OLAP ĐỂ PHÂN TÍCH DỮ LIỆU KINH DOANH CỦA DOANH NGHIỆP” là bài nghiên cứu của chính tôi. Ngoại trừ những tài liệu tham khảo được trích dẫn trong luận văn này, tôi cam đoan rằng toàn phần hay những phần nhỏ của luận văn này chưa từng được công bố hoặc được sử dụng để nhận bằng cấp ở những nơi khác. Không có sản phẩm/nghiên cứu nào của người khác được sử dụng trong luận văn này mà không được trích dẫn theo đúng quy định. Luận văn này chưa bao giờ được nộp để nhận bất kỳ bằng cấp nào tại các trường đại học hoặc cơ sở đào tạo khác. TP. Hồ Chí Minh, tháng 11 năm 2019 Nguyễn Khánh Duy ii LỜI CẢM ƠN Sau thời gian học tập và nghiên cứu tại Trường Đại học Mở Thành phố Hồ Chí Minh, bằng sự biết ơn và kính trọng, tôi xin gửi lời cảm ơn chân thành đến Ban giám hiệu nhà trường, khoa Công nghệ thông tin cùng các giảng viên đã nhiệt tình giảng dạy và tạo điều kiện tốt nhất cho tôi hoàn thành đề tài nghiên cứu khoa học này. Đặc biệt tôi xin gửi lời cảm ơn sâu sắc đến thầy PGS.TS Đỗ Phúc, người đã trực tiếp hướng dẫn tôi bằng tất cả sự nhiệt huyết của mình và luôn đồng hành cùng tôi trong suốt quá trình thực hiện đề tài. Tôi cũng xin chân thành cảm ơn các đồng nghiệp trong công ty đã tạo điều kiện và giúp đỡ để tôi có thể hoàn thành đề tài nghiên cứu này. Mặc dù đã rất cố gắng, nhưng do hạn chế về thời gian và một số điều kiện khách quan nên luận văn không thể tránh khỏi những thiếu sót. Kính mong nhận được sự đóng góp ý kiến của Quý thầy cô, bạn bè và các đồng nghiệp để đề tài được hoàn thiện hơn nữa. iii TÓM TẮT Trong thời đại hiện nay, dữ liệu đang trở thành nguồn tài nguyên vô tận để các cá nhân, tổ chức khai thác ở mọi lĩnh vực. Nguồn tài nguyên này ngày càng trở nên quan trọng đối với ngành bán lẻ, việc khai thác tốt dữ liệu sẽ giúp các nhà quản trị đưa ra những quyết định mang tính chiến lược, đột phá nhằm mở rộng quy mô và nâng cao lợi nhuận trong kinh doanh. Hệ thống Data Warehouse là một trong những giải pháp hiệu quả nhất để quản lý lượng dữ liệu khổng lồ của doanh nghiệp. Chính vì vậy mà tác giả lựa chọn thực hiện đề tài “Xây dựng hệ thống Data Warehouse và ứng dụng công nghệ OLAP khai thác dữ liệu kinh doanh của doanh nghiệp” để giải quyết 3 vấn đề chính: − Xây dựng hệ thống Data Warehouse là nơi tập trung dữ liệu để Chuỗi cửa hàng Retailer khai thác cho nhu cầu tạo báo cáo. − Rút ngắn tối đa thời gian tạo báo cáo, ứng dụng kỹ thuật OLAP để phân tích các dữ liệu mà hệ thống Data Warehouse cung cấp. − Ứng dụng hệ thống Data Warehouse đã xây dựng vào thực tiễn vận hành của Chuỗi cửa hàng Retailer. Nội dung của chương 2 trình bày về kiến trúc dòng dữ liệu cũng như một số mô hình dữ liệu của Data Warehouse; các kiến trúc của tiến trình trích xuất, biến đổi và chuyển nạp dữ liệu; các thao tác OLAP thực thi phân tích dữ liệu đa chiều. Chương này cũng đã nêu rõ ưu – khuyết điểm của từng kiến trúc để làm cơ sở cho giai đoạn thiết kế Data Warehouse. Chương 3 thực hiện khảo sát hiện trạng hệ thống, các yêu cầu tạo và phân tích báo cáo làm căn cứ cho việc thiết kế kiến trúc của hệ thống Data Warehouse. Sau khi hoàn tất khảo sát, tiến hành giai đoạn thiết kế kiến trúc dòng dữ liệu và lựa chọn mô hình tổ chức dữ liệu phù hợp; xây dựng tiến trình trích xuất, biến đổi, chuyển nạp dữ liệu; triển khai khối dữ liệu đa chiều thông qua các công cụ SSIS và SSAS của Microsoft. Khối dữ liệu đa chiều này là đối tượng chính để các thao tác OLAP khai thác dữ liệu. iv Chương 4 tiến hành sử dụng thao tác Drill down, Roll up, Slice, Dice nhằm tổng hợp dữ liệu thành thông tin giúp nhà quản trị có căn cứ đưa ra những quyết định quan trọng. Kỹ thuật OLAP tạo ra những báo cáo có khung nhìn linh động, thời gian thực thi được rút ngắn đáng kể từ đó giải quyết được các mục tiêu ban đầu. Bên cạnh đó, các hạn chế cũng được chỉ ra và đề xuất hướng giải quyết để dần hoàn thiện hệ thống Data Warehouse. v ABSTRACT Nowadays, data become an endless resource for individuals and organization to exploit for their purpose. This resource has an especially important role in retail industry. Data mining will support business managers making strategic and breakthrough decisions to expand the organization scale and improve profits. Data Warehouse system is one of the most effective solutions to manage huge data volume of enterprises. Therefore, the author decided to choose the project “Builidng Data Warehouse System And Organization Adoption Of OLAP Technology To Exploid Data”. This project aim to solve 3 main objectives: − Building Data Warehouse system that store all data of Retailer Convenience Store Chain for reporting purpose. − Increasing performance of creating reports, apply OLAP techniques to analyze data provided by Data Warehouse system. − Implementing Data Warehouse system to support operations of Retailer Convenience Store Chain. Chapter 2 covers data flow architectures and data models of Data Warehouse system; the architectures of extraction, transformation and loading process (ETL); the OLAP operations that analyze data using multidimensional database. This chapter highlights advantages and disadvantages of each architecture for Data Warehouse designing phase. Chapter 3 carries out a system status survey, the requirements for creating and analyzing reports. The author design data flow architecture and selecting the appropriate data model base on result of survey; building extraction, transformation and loading process; deploy OLAP cube by using SSIS and SSAS tools. This OLAP cube is the main object for OLAP operations to exploit data. Finally, chapter 4 applies OLAP operations Drill down, Roll up, Slice, Dice to organize and present data in a given context so that making data become useful vi information. OLAP operations create reports with flexible views, shortening execution time, supporting business managers making decisions. In addition, limitions of this research were also pointed out and proposed solutions to improve the Data Warehouse system. vii MỤC LỤC LỜI CAM ĐOAN ...................................................................................................... i LỜI CẢM ƠN ........................................................................................................... ii TÓM TẮT ................................................................................................................ iii ABSTRACT ...............................................................................................................v DANH MỤC CHỮ VIẾT TẮT .............................................................................. ix DANH MỤC CÁC BẢNG ........................................................................................x DANH MỤC HÌNH ẢNH ....................................................................................... xi CHƯƠNG 1: TỔNG QUAN.....................................................................................1 1.1. Giới thiệu .......................................................................................................1 1.2. Mục tiêu của luận văn ....................................................................................2 1.2.1. Giới thiệu về Chuỗi cửa hàng Retailer ...................................................2 1.2.2. Mục tiêu nghiên cứu của luận văn ..........................................................3 1.3. Phạm vi, đối tượng và nội dung nghiên cứu ..................................................3 1.3.1. Phạm vi ...................................................................................................3 1.3.2. Đối tượng ................................................................................................3 1.3.3. Nội dung .................................................................................................4 1.4. Ý nghĩa của luận văn .....................................................................................4 1.5. Bố cục luận văn .............................................................................................4 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT DATA WAREHOUSE ................................6 2.1. Lý thuyết về Data Warehouse .......................................................................6 2.1.1. Khái niệm ................................................................................................6 2.1.2. Kiến trúc Data Warehouse ......................................................................7 2.1.3. Mô hình dữ liệu đa chiều ......................................................................11 2.2. Lý thuyết về ETL .........................................................................................12 2.2.1. Khái niệm ..............................................................................................12 2.2.2. Kiến trúc ETL .......................................................................................15 2.3. Lý thuyết về OLAP......................................................................................16 2.3.1. Khái niệm ..............................................................................................16 2.3.2. Phân loại OLAP ....................................................................................17 2.3.3. Các thao tác của OLAP .........................................................................20 CHƯƠNG 3: KHẢO SÁT HIỆN TRẠNG VÀ THIẾT KẾ HỆ THỐNG DATA WAREHOUSE ........................................................................................................24 viii 3.1. Khảo sát và phân tích yêu cầu .................................................................... 24 3.1.1. Hiện trạng hệ thống thông tin của doanh nghiệp ................................. 24 3.1.2. Khảo sát dữ liệu ................................................................................... 26 3.1.3. Khảo sát báo cáo .................................................................................. 28 3.2. Thiết kế kiến trúc Data Warehouse và mô hình hóa dữ liệu ...................... 30 3.2.1. Thiết kế Stage ...................................................................................... 31 3.2.2. Thiết kế DDS ....................................................................................... 33 3.2.3. Ánh xạ dữ liệu ...................................................................................... 40 3.3. Xây dựng tiến trình ETL............................................................................. 42 3.3.1. Trích xuất dữ liệu của ODS ................................................................. 43 3.3.2. Biến đổi và chuyển dữ liệu vào DDS................................................... 45 3.4. Triển khai cơ sở dữ liệu đa chiều................................................................ 54 CHƯƠNG 4: ỨNG DỤNG OLAP VÀ ĐÁNH GIÁ HỆ THỐNG ..................... 57 4.1. Báo cáo số lượng sản phẩm bán ra ............................................................. 58 4.2. Báo cáo doanh số ........................................................................................ 62 4.2.1. Báo cáo doanh số theo nhà cung cấp ................................................... 62 4.2.2. Báo cáo doanh số theo KHTT .............................................................. 63 4.3. Phát hiện bất thường dữ liệu ....................................................................... 65 4.4. Đánh giá hệ thống ....................................................................................... 67 4.4.1. Kết quả đạt được .................................................................................. 67 4.4.2. Hạn chế của hệ thống Data Warehouse ............................................... 69 4.4.3. Hướng phát triển tiếp theo ................................................................... 69 KẾT LUẬN ............................................................................................................. 70 TÀI LIỆU THAM KHẢO ..................................................................................... 71 ix DANH MỤC CHỮ VIẾT TẮT BI Business Intelligence OLTP Online Transactional Processing OLAP Online Analytical Processing ETL Extraction, Transformation, Loading NDS Normalized Data Store ODS Operational Data Store DDS Dimensional Data Store POS Point of Sale KHTT Khách hàng thân thiết SSIS SQL Server Integration Services SSAS SQL Server Analysis Services SSRS SQL Server Report Services LSET Last Successful Extraction Timestamp CET Current Extraction Timestamp x DANH MỤC CÁC BẢNG Bảng 2. 1 Ví dụ về xác thực chất lượng dữ liệu 14 Bảng 2. 2 Mô tả một số đặc tính của hai loại hệ thống OLTP và OLAP 17 Bảng 3. 1 Bảng Fact doanh số .................................................................................. 35 Bảng 3. 2 Bảng chiều thời gian ................................................................................ 36 Bảng 3. 3 Bảng chiều sản phẩm ............................................................................... 37 Bảng 3. 4 Bảng chiều khách hàng ............................................................................ 37 Bảng 3. 5 Bảng chiều cửa hàng ................................................................................ 38 Bảng 3. 6 Bảng chiều nhà cung cấp ......................................................................... 38 Bảng 3. 7 Ánh xạ dữ liệu nguồn vào bảng Fact doanh số ........................................ 40 Bảng 3. 8 Ánh xạ dữ liệu nguồn vào bảng DimProduct .......................................... 41 Bảng 3. 9 Ánh xạ dữ liệu nguồn vào bảng DimStore .............................................. 41 Bảng 3. 10 Ánh xạ dữ liệu nguồn vào bảng DimCustomer ..................................... 42 Bảng 3. 11 Ánh xạ dữ liệu nguồn vào bảng DimVendor ......................................... 42 Bảng 4. 1 So sánh kết quả sau khi triển khai hệ thống OLAP ................................. 68 xi DANH MỤC HÌNH ẢNH Hình 1. 1 Mô hình hệ hỗ trợ ra quyết định ..................................................................2 Hình 2. 1 Hệ thống Data Warehouse ..........................................................................6 Hình 2. 2 Kiến trúc Single DDS..................................................................................9 Hình 2. 3 Kiến trúc NDS + DDS ................................................................................9 Hình 2. 4 Kiến trúc ODS + DDS ..............................................................................10 Hình 2. 5 Lược đồ sao ...............................................................................................11 Hình 2. 6 Lược đồ bông tuyết ...................................................................................12 Hình 2. 7 Lược đồ chòm sao .....................................................................................12 Hình 2. 8 Thực thi ETL trên đĩa và trên bộ nhớ [7, p.174] .......................................15 Hình 2. 9 Kiến trúc tiến trình ETL và ELT [7, p.175] ..............................................16 Hình 2. 10 Kiến trúc MOLAP ...................................................................................18 Hình 2. 11 Kiến trúc ROLAP ....................................................................................19 Hình 2. 12 Kiến trúc HOLAP ...................................................................................20 Hình 2. 13 Minh họa thao tác Roll up .......................................................................21 Hình 2. 14 Minh họa thao tác Drill down .................................................................21 Hình 2. 15 Minh họa thao tác Slice ...........................................................................22 Hình 2. 16 Minh họa thao tác Dice ...........................................................................22 Hình 2. 17 Minh họa thao tác Pivot ..........................................................................23 Hình 3. 1 Mô hình kết nối POS với Server ...............................................................26 Hình 3. 2 Báo cáo số lượng sản phẩm bán trong năm 2018 .....................................28 Hình 3. 3 Báo cáo doanh số theo nhà cung cấp qua các năm ...................................29 Hình 3. 4 Báo cáo doanh số KHTT năm 2018 ..........................................................30 Hình 3. 5 Kiến trúc dòng dữ liệu của Data Warehouse ............................................30 Hình 3. 6 Lược đồ sao bảng Fact và các Dimension ................................................34 Hình 3. 7 Lược đồ hình sao chủ đề doanh số ............................................................39 Hình 3. 8 Kiến trúc tiến trình ETL ............................................................................42 Hình 3. 9 Data Flow quá trình trích xuất dữ liệu từ ODS .........................................44 xii Hình 3. 10 Control Flow tiến trình trích xuất dữ liệu từ ODS ................................. 44 Hình 3. 11 Minh họa bảng DataFlowDDS ............................................................... 46 Hình 3. 12 Data Flow của quá trình cập nhật dữ liệu DimStore .............................. 47 Hình 3. 13 Control Flow của tiến trình đưa dữ liệu vào DimStore .......................... 47 Hình 3. 14 Data Flow của quá trình cập nhật dữ liệu DimCustomer ....................... 48 Hình 3. 15 Control Flow của tiến trình đưa dữ liệu vào DimCustomer ................... 49 Hình 3. 16 Data Flow của quá trình cập nhật dữ liệu DimProduct .......................... 50 Hình 3. 17 Control Flow của tiến trình đưa dữ liệu vào DimProduct ...................... 50 Hình 3. 18 Data Flow của quá trình cập nhật dữ liệu DimVendor .......................... 51 Hình 3. 19 Control Flow của tiến trình đưa dữ liệu vào DimVendor ...................... 52 Hình 3. 20 Control Flow của tiến trình đưa dữ liệu vào FactSales .......................... 54 Hình 3. 21 Phân cấp chiều thời gian ........................................................................ 55 Hình 3. 22 Phân cấp chiều sản phẩm ....................................................................... 55 Hình 3. 23 Khối dữ liệu đa chiều đã được triển khai ............................................... 56 Hình 4. 1 Sơ đồ hệ thống Data Warehouse đã xây dựng ......................................... 57 Hình 4. 2 Báo cáo số lượng sản phẩm theo danh mục qua các năm ........................ 58 Hình 4. 3 Minh họa báo cáo chi tiết số lượng sản phẩm bán ra năm 2018 .............. 58 Hình 4. 4 Báo cáo số lượng sản phẩm bán ra theo khu vực năm 2018 .................... 59 Hình 4. 5 Minh họa báo cáo sản phẩm bán ra theo khu vực quận 1 năm 2018 ....... 60 Hình 4. 6 Dashboard thể hiện số lượng sản phẩm bán ra ......................................... 61 Hình 4. 7 Minh họa báo cáo top 10 nhà cung cấp có doanh số cao ......................... 62 Hình 4. 8 Biểu đồ báo cáo doanh số nhà cung cấp qua các năm ............................. 63 Hình 4. 9 Minh họa báo cáo doanh số KHTT năm 2017 và 2018 ........................... 64 Hình 4. 10 Biểu đồ doanh số KHTT theo khu vực năm 2018 ................................. 65 Hình 4. 11 Minh họa báo cáo số lượng sản phẩm bán ra ......................................... 66 Hình 4. 12 Minh họa lỗ hổng của hệ thống .............................................................. 67 1 CHƯƠNG 1: TỔNG QUAN 1.1. Giới thiệu Sau khi gia nhập Tổ chức Thương mại thế giới (WTO), Việt Nam trở thành một trong những thị trường bán lẻ hấp dẫn nhất thế giới. Nhận thấy tiềm năng này, một số doanh nghiệp bán lẻ lớn như: Lotte, Aeon, Emart, 7-Eleven, … ồ ạt đổ bộ vào thị trường Việt Nam để tham gia vào cuộc đua tranh giành thị phần với các doanh nghiệp trong nước. Các doanh nghiệp này đã và đang triển khai hàng ngàn cửa hàng trên khắp các tỉnh thành của cả nước. Trong môi trường cạnh tranh khốc liệt, việc tìm ra những hướng đi mới nhằm cải tiến và tăng trưởng lợi nhuận kinh doanh là ưu tiên hàng đầu của các chủ doanh nghiệp. Họ phải quản lý hệ thống các cửa hàng được phân bố khắp nơi, hàng ngày mỗi cửa hàng sẽ phát sinh lượng lớn các dữ liệu giao dịch bán lẻ gồm các thông tin cơ bản như: sản phẩm, cửa hàng, khách hàng, ngày, giờ, số lượng, giá bán, … Một doanh nghiệp sẽ chiếm ưu thế nếu biết quản lý và khai thác dữ liệu một cách hiệu quả, hiển nhiên người nắm giữ thông tin sẽ dẫn đầu thị trường, càng nắm giữ nhiều thông tin doanh nghiệp càng có nhiều khả năng thành công. Ví dụ điển hình là Amazon, công ty công nghệ đa quốc gia này đang rất thành công nhờ việc phân tích dữ liệu của người dùng. Amazon thu thập dữ liệu của người dùng khi họ sử dụng trang web như: những món hàng mà khách hàng đã mua, những món hàng mà khách hàng đã tìm kiếm, địa chỉ giao hàng của khách hàng, các đánh giá hoặc phản hồi, … Từ những dữ liệu này, Amazon sẽ phân tích và đoán chính xác sở thích, mức thu nhập dựa trên nơi khách hàng sinh sống, từ đó gợi ý những sản phẩm tương đồng với nhu cầu mà khách hàng đang tìm kiếm. Vì những lí do trên, hiện nay nhiều doanh nghiệp đang triển khai các giải pháp Business Intelligence sử dụng Data Warehouse để quản lý và khai thác dữ liệu. Data Warehouse là nơi tập trung toàn bộ dữ liệu của doanh nghiệp, dữ liệu được lưu trữ tách biệt nên khi tạo những báo cáo phức tạp sẽ không làm giảm hiệu suất của hệ thống nguồn. Với cấu trúc tổ chức dữ liệu đặc thù để truy vấn dữ liệu lớn và kỹ thuật Online Analytical Processing (OLAP) của Data Warehouse thì việc khai thác dữ liệu 2 trở nên đơn giản, nhanh chóng và hiệu quả. Các kỹ thuật OLAP cho phép tổng hợp, chi tiết hóa và xoay chiều giúp phân tích dữ liệu dưới nhiều góc độ khác nhau từ đó hỗ trợ tích cực cho nhà quản trị ra các quyết định chiến lược kinh doanh. Strategy Data Analysis OLAP Data Mining Data Warehouse E-T-L Data Sources Hình 1. 1 Mô hình hệ hỗ trợ ra quyết định 1.2. Mục tiêu của luận văn 1.2.1. Giới thiệu về Chuỗi cửa hàng Retailer Chuỗi cửa hàng Retailer có hơn 200 cửa hàng phân bố khắp địa bàn thành phố Hồ Chí Minh và đang tiếp tục mở rộng. Retailer cung cấp các mặt hàng chính bao gồm: rau củ quả, thực phẩm tươi sống và đông lạnh, hóa mỹ phẩm, hàng gia dụng, … Nhiệm vụ của Retailer là: bình ổn giá thị trường; cung cấp thực phẩm sạch, chất lượng đến người tiêu dùng; cung cấp hàng hóa đa dạng về sản phẩm và phong phú về chủng loại. Hiện tại do Chuỗi cửa hàng Retailer vẫn chưa được triển khai giải pháp BI nên các báo cáo hiện nay chủ yếu dựa vào truy vấn SQL trên các cơ sở dữ liệu OLTP và được hiển thị trên file excel khá đơn giản. Do dữ liệu quá lớn nên việc tạo các báo 3 cáo mất khá nhiều thời gian, khung nhìn của báo cáo chưa được linh động, chưa đáp ứng được nhu cầu của người quản trị doanh nghiệp. Từ những khó khăn này, các nhà quản trị nhận thấy cần thiết triển khai hệ thống Data Warehouse để lưu trữ và tổng hợp dữ liệu thành các thông tin có giá trị, hỗ trợ cho hoạt động của doanh nghiệp. 1.2.2. Mục tiêu nghiên cứu của luận văn − Xây dựng hệ thống Data Warehouse lưu trữ và phân tích dữ liệu của Chuỗi cửa hàng Retailer. − Rút ngắn thời gian thực thi truy vấn dữ liệu, tạo các báo cáo có khung nhìn linh động giúp nhà quản trị có cái nhìn đa góc độ về tình hình bán lẻ của Chuỗi cửa hàng. − Áp dụng thực nghiệm đề tài vào hoạt động bán lẻ của Chuỗi cửa hàng Retailer. 1.3. Phạm vi, đối tượng và nội dung nghiên cứu 1.3.1. Phạm vi Luận văn tập trung vào việc nghiên cứu và xây dựng hệ thống Data Warehouse có chủ đề doanh số thông qua các giai đoạn: − Khảo sát hiện trạng hệ thống, các vấn đề đang gặp phải và nhu cầu khai thác dữ liệu của Chuỗi cửa hàng Retailer. − Thiết kế và triển khai hệ thống Data Warehouse lưu trữ dữ liệu phát sinh hàng năm. − Sử dụng kỹ thuật OLAP trên khối dữ liệu đa chiều (OLAP Cube) để tạo các báo cáo và phân tích dữ liệu từ hệ thống Data Warehouse đã xây dựng. 1.3.2. Đối tượng Đối tượng nghiên cứu của luận văn: − Dữ liệu của Chuỗi cửa hàng Retailer. − Hệ thống Data Warehouse và kỹ thuật OLAP để lưu trữ và phân tích dữ liệu. − Các báo cáo được tạo ra bằng kỹ thuật OLAP. 4 − Mối quan hệ giữa việc phân tích báo cáo và ra quyết định chiến lược kinh doanh dựa trên các dữ liệu đã thu thập. − Các công cụ hỗ trợ cho việc xây dựng Data Warehouse của Microsoft. 1.3.3. Nội dung Nội dung nghiên cứu của luận văn: − Khảo sát hiện trạng hệ thống thông tin của Chuỗi cửa hàng, các vấn đề gặp phải và nhu cầu phân tích dữ liệu của các nhà quản trị. − Phân tích và thiết kế Data Warehouse căn cứ vào kết quả khảo sát. − Triển khai hệ thống Data Warehouse vào hoạt động của Chuỗi cửa hàng. − Đánh giá hiệu quả của hệ thống Data Warehouse sau khi ứng dụng vào hoạt động của Chuỗi cửa hàng. − Viết tài liệu về quá trình nghiên cứu, thực nghiệm và kết quả đạt được. 1.4. Ý nghĩa của luận văn − Tìm hiểu về hệ thống Data Warehouse để ứng dụng cho Chuỗi cửa hàng Retailer. − Xây dựng và triển khai hệ thống Data Warehouse để lưu trữ tập trung dữ liệu và phục vụ việc tạo báo cáo của Chuỗi. − Nghiên cứu và áp dụng kỹ thuật OLAP cho phân tích dữ liệu lớn. − Rút ngắn thời gian truy vấn dữ liệu, tạo ra các báo cáo có khung nhìn linh động hỗ trợ nhà quản trị xem xét hoạt động bán lẻ ở nhiều góc độ. 1.5. Bố cục luận văn Luận văn bao gồm 4 chương: Chương 1: Tổng quan Chương 2: Cơ sở lý thuyết Data Warehoue Chương 3: Khảo sát hiện trạng và thiết kế hệ thống Data Warehoue Chương 4: Ứng dụng OLAP và đánh giá hệ thống 5 Chương 1 đã giới thiệu tổng quan về những lợi ích mà hệ thống Data Warehouse đem đến cho doanh nghiệp bằng việc tổng hợp dữ liệu thành những thông tin hữu ích để hỗ trợ cho việc ra các quyết định phát triển kinh doanh. Chương này cũng đã giới thiệu tóm lược quy mô và những tồn tại mà Chuỗi cửa hàng Retailer đang gặp phải trong quá trình hoạt động, đặt ra các mục tiêu và hướng giải quyết cụ thể nhằm hạn chế những khó khăn của Chuỗi cửa hàng do chưa có hệ thống hỗ trợ cho việc phân tích dữ liệu. 6 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT DATA WAREHOUSE 2.1. Lý thuyết về Data Warehouse 2.1.1. Khái niệm Data Warehouse: là một hệ thống có nhiệm vụ truy xuất và tổng hợp dữ liệu định kỳ từ các hệ thống nguồn vào nơi lưu dữ liệu theo chiều hoặc theo dạng chuẩn hóa. Hệ thống này lưu dữ liệu lịch sử của nhiều năm và được truy vấn cho mục đích Business Intelligence (BI) hoặc các hoạt động phân tích khác. Hệ thống này thông thường sẽ cập nhật dữ liệu theo đợt chứ không cập nhật từng giao dịch như các hệ thống nguồn [7][9]. Hình 2. 1 Hệ thống Data Warehouse Trong hình 2.1: − Data Source (hệ thống nguồn): nơi phát sinh dữ liệu. − ETL: tiến trình trích xuất, biến đổi, nạp dữ liệu từ hệ thống nguồn vào Data Warehouse. − Data Warehouse: nơi lữu trữ toàn bộ dữ liệu được trích xuất từ các hệ thống nguồn, dữ liệu này được tổng hợp theo các chủ đề (Data Mart) về doanh số (Sales), tồn kho (Inventory), nguồn hàng (Purchasing). Mỗi chủ đề tạo thành một khối dữ liệu đa chiều để người dùng truy vấn và khai thác dữ liệu.