Tài liệu Xây dựng data warehouse và business intelligence cho ngành mỹ phẩm

ĈҤI HӐC QUӔC GIA TP. HCM 75ѬӠ1*ĈҤI HӐC BÁCH KHOA -------------------- LҤI QUANG TÙNG XÂY DӴNG DATA WAREHOUSE VÀ BUSINESS INTELLIGENCE CHO NGÀNH MӺ PHҬM Chuyên ngành: HӋ thӕng thông tin quҧn lý Mã sӕ: 8340405 LUҰ19Ă17+Ҥ&6Ƭ TP. HӖ CHÍ MINH, tháng 1 QăP 2022 &Ð1*75Î1+ĈѬӦC HOÀN THÀNH TҤI 75ѬӠ1*ĈҤI HӐC BÁCH KHOA ±Ĉ+4*-HCM Cán bӝ Kѭӟng dүn khoa hӑc: PGS.TS. NguyӉn Thanh Bình Cán bӝ chҩm nhұn xét 1: PGS.TS. NguyӉn TuҩQĈăQJ Cán bӝ chҩm nhұn xét 2: TS. Lê Hoành Sӱ LuұQYăQWKҥFVƭÿѭӧc bҧo vӋ tҥi Trѭӡng Ĉҥi hӑc Bách Khoa, ĈHQG Tp. HCM ngày 13 tháng 1 QăP2022 Thành phҫn Hӝi ÿӗng ÿinh giá luұn văn thҥc sƭ gӗm: 1. Chӫ tӏch: PGS.TS. Trҫn Minh Quang 2. 7KѭNê763KDQ7Uӑng Nhân 3. Phҧn biӋn 1: PGS.TS. NguyӉn TuҩQĈăQJ 4. Phҧn biӋn 2: TS. Lê Hoành Sӱ 5. Ӫy viên: TS. Trҫn Tuҩn Anh Xác nhұn cӫa Chӫ tӏch Hӝi ÿӗng ÿiQh giá LV và 7Uѭӣng Khoa quҧn lý chuyên ngành sau khi luұn văn ÿã ÿѭӧc sӱa chӳa (nӃu có). CHӪ TӎCH HӜ,ĈӖNG 75ѬӢ1*.+2$ .+2$+Ӑ&9¬.Ӻ7+8Ұ70È<7Ë1+ ĈҤI HӐC QUӔC GIA TP.HCM CӜNG HÒA XÃ HӜI CHӪ 1*+Ƭ$9,ӊT 75ѬӠ1*ĈҤI HӐC BÁCH KHOA NAM Ĉӝc lұp - Tӵ do - Hҥnh phúc NHIӊM VӨ LUҰ19Ă17+Ҥ&6Ƭ +ӑWrQKӑFYLrQ : /Ҥ,48$1*7Ô1* 1Jj\WKiQJQăPVLQK : 25/07/1991 MSHV : 1870308 1ѫLVLQK : BÀ RӎA-9lj1*7¬8 Chuyên ngành : HӋ thӕng thông tin quҧn lý Mã sӕ : 8340405 I. 7Ç1Ĉӄ TÀI: XÂY DӴNG DATA WAREHOUSE VÀ BUSINESS INTELLIGENCE CHO NGÀNH MӺ PHҬM II. NHIӊM VӨ VÀ NӜI DUNG: - Tìm hiӇu vӅ FѫVӣ lý thuyӃWÿӇ xây dӵng Data Warehouse và Business Intelligence. - Khҧo sát thӵc trҥng cѫVӣ hҥ tҫng CNTT và quy trình nghiӋp vө cӫa mӝt công ty bán mӻ phҭm tҥi TPHCM. - Xây dӵng Data Warehouse và Business Intelligence cho mӝt công ty bán mӻ phҭm tҥi TPHCM. III. NGÀY GIAO NHIӊM VӨ : 06/09/2021 IV. NGÀY HOÀN THÀNH NHIӊM VӨ: 12/12/2021 V. CÁN BӜ +ѬӞNG DҮN : PGS.TS NGUYӈN THANH BÌNH Tp. HCM, ngj\WKiQJQăP. CÁN BӜ +ѬӞNG DҮN CHӪ NHIӊM BӜ 0Ð1Ĉ¬27ҤO 75ѬӢNG KHOA.+2$+Ӑ&9¬.Ӻ7+8Ұ70È<7Ë1+ i LЈI CϪM ІN Quá trìQKWKӵFKLӋQOXұQYăQWKҥFVƭ OjJLDLÿRҥQTXDQWUӑQJQKҩWWURQJWKӡLJLDQKӑFWұS. /XұQYăQWKҥFVƭ OjWLӅQÿӅQKҵPWUDQJEӏFKRFK~QJHPQKӳQJNӻQăQJQJKLrQFӭXQKӳQJNLӃQ WKӭFTXêEiXVDXNKLWӕW QJKLӋS 7UѭӟFKӃWHP[LQFKkQWKjQKFҧPѫQ TXê7Kҫ\&{NKRD.KRDKӑFYj.ӻWKXұWPi\WtQK ÿm WұQWuQKFKӍGҥ\YjWUDQJEӏFKRHPQKӳQJNLӃQWKӭFFҫQWKLӃWWURQJVXӕWWKӡLJLDQQJӗLWUrQJKӃ JLҧQJÿѭӡQJ/jPQӅQWҧQJFKRHPFyWKӇKRjQWKjQKÿѭӧFEjLOXұQYăQQj\ (P[LQWUkQWUӑQJFҧPѫQWKҫ\1JX\ӉQ7KDQK%uQK ÿmWұQWuQKJL~SÿӥÿӏQKKѭӟQJFiFKWѭ GX\YjFiFKOjPYLӋFNKRDKӑFĈyOjQKӳQJJySêKӃWVӭFTXêEiXNK{QJFKӍWURQJTXiWUuQK WKӵFKLӋQOXұQYăQQj\PjFzQOjKjQKWUDQJWLӃSEѭӟFFKRHPWURQJTXiWUuQKKӑFWұSYjOұS QJKLӋS 9jFXӕLFQJ[LQJӱLOӡLFҧPѫQÿӃQJLDÿuQKEҥQEqWұSWKӇOӟS+ӋWKӕQJWK{QJ tin TXҧQ lýQKӳQJQJѭӡLOX{QVҹQVjQJVҿFKLDYjJL~SÿӥWURQJKӑFWұSYjFXӝFVӕQJ0RQJUҵQJFK~QJ WDVӁPmLPmLJҳQEyYӟLQKDX ;LQFK~FQKӳQJÿLӅXWӕWÿҽSQKҩWVӁOX{QÿӗQJhành cQJPӑLQJѭӡL ii TÓM TҲT LUҰ19Ă17+Ҥ&6Ƭ Vӟi nhu cҫu cҫn thiӃt trong vҩQÿӅ phân tích và thӕng kê cӫa công ty mӝt cách nhanh chóng YjFKtQK[iFQKѭQJGӳ liӋu thông tin lҥi rӡi rҥc và không nhҩWTXiQÿLӅXQj\ÿzLKӓi cҫn có mӝt hӋ thӕng ÿӇ tұp trung dӳ liӋu tӯ nhiӅu nguӗn khác nhau, nhҵm mөFÿtFKNKDLWKiF[ӱ lý WK{QJ WLQ ĈӅ tài này tác giҧ ÿӅ xuҩt viӋc xây dӵng hӋ thӕng data warehouse và business intelligence cho phân hӋ: bán hàng, kho và khiӃu nҥi khách hàng. ViӋc triӇn khai hӋ thӕng data ZDUHKRXVHYjEXVLQHVVLQWHOOLJHQFHFKtQKOjÿiSӭng nhu cҫu thӵc tiӉn cӫa phòng ban CNTT và F{QJW\ÿӇ tӕLѭXKyDTXiWUuQh phân tích và hӛ trӧ trong viӋFÿѭDUDQKӳng quyӃWÿӏnh nhanh chóng tӯ các phòng ban. ABSTRACT The need for quick and accurate analysis and statistics of the company, but the information data is fragmented and inconsistent, this requires a system to centralize the data from many different sources, for the purpose of information extraction and processing. In this topic, the author proposes building a data warehouse and business intelligence system for the modules: sales, inventory and customer complaints. The implementation of the data warehouse and business intelligence system is to meet the practical needs of the IT department and the company to optimize the analysis process and assist in making quick decisions from the departments. iii LӠI &$0Ĉ2$1&ӪA TÁC GIҦ LUҰ19Ă1 7{L[LQFDPÿRDQOXұQYăQWӕWQJKLӋSYӟLÿӅWjL³Xây dӵQJ'DWD:DUHKRXVHvà Business Intelligence cho ngành mӻpKҭP´OjFӫDTXiWUuQKKӑFWұSQJKLrQFӭXÿӝFOұSFӫDW{L&iFVӕ OLӋXYjNӃWTXҧQJKLrQFӭXKRjQWRjQWUXQJWKӵFNK{QJÿҥRQKiLKD\VDRFKpSWӯEҩWNǤPӝW F{QJWUuQKQJKLrQFӭXQjRNKiF7ҩWFҧWjLOLӋXWUtFKGүQÿӅXÿѭӧFJKLU}QJXӗQJӕF 7{L[LQKRjQWRjQFKӏXWUiFKQKLӋPWUѭӟFQKjWUѭӡQJQӃXSKiWKLӋQEҩWFӭVӵVDLSKҥPKD\ VDRFKpSWURQJÿӅWjLQj\ Tác giҧ luұQYăQ Lҥi Quang Tùng iv MӨC LӨC &+ѬѪ1**,ӞI THIӊU ....................................................................................................... 1 1.1. Giӟi thiӋXÿӅ tài ............................................................................................................. 1 1.2. Mөc tiêu và nӝi dung cӫDÿӅ tài ................................................................................... 1 1.3. Giӟi hҥQÿӅ tài ............................................................................................................... 2 1.4. Cҩu trúc báo cáo ........................................................................................................... 2 &+ѬѪ1*&Ѫ6Ӣ LÝ THUYӂT VÀ CÁC NGHIÊN CӬU LIÊN QUAN ...................... 4 2.1. &ѫVӣ lý thuyӃt Data Warehouse và Business Intelligence ....................................... 4 2.1.1 T̯m quan tr͕ng cͯa Data Warehouse ..................................................................... 4 2.1.2 Ĉ̿FWU˱QJFͯa Data Warehouse .............................................................................. 5 2.1.3 Ĉ̿c tính cͯa Data Warehouse ................................................................................. 5 2.1.4 Lͫi ích cͯa Data Warehouse ................................................................................... 6 2.1.5 6˯ÿ͛ và mô hình trong Data Warehouse ................................................................ 7 2.1.6 Ki͇n trúc Data Warehouse....................................................................................... 8 2.1.7 OLAP và OLTP ...................................................................................................... 11 2.1.8 Ti͇n Trình ETL ....................................................................................................... 14 2.1.9 Khái ni͏m và lͫi ích cͯa Business Intelligence ..................................................... 16 2.2. Các nghiên cӭu liên quan ........................................................................................... 18 &+ѬѪ1*ĈÈ1+*,È+,ӊN TRҤNG CÔNG TY CHO XÂY DӴNG Hӊ THӔNG .. 19 3.1 Các vҩQÿӅ gһp phҧi khi triӇn khai hӋ thӕng ........................................................... 19 3.2 HӋ thӕng phҫn mӅm và báo cáo cӫDF{QJW\ÿDQJVӱ dөng .................................... 19 3.3 Phҫn mӅm hӛ trӧ xây dӵng hӋ thӕng Data Warehouse và BI ................................ 20 3.4 Quy trình nghiӋp vө.................................................................................................... 21 3.3.1 Nghi͏p vͭ bán hàng ............................................................................................... 21 3.3.2 Nghi͏p vͭ kho ........................................................................................................ 23 3.3.3 Nghi͏p vͭ khi͇u n̩i khách hàng ............................................................................ 25 &+ѬѪ1*;Æ<'ӴNG DATA WAREHOUSE VÀ BUSINESS INTELLIGENCE CHO CÁC PHÂN Hӊ .............................................................................................................. 28 4.1. Yêu cҫu tӯ F{QJW\YjQJѭӡi dùng hӋ thӕng ............................................................. 28 4.2. Các phân hӋ ÿӇ xây dӵng hӋ thӕng ........................................................................... 28 4.3. 0{KuQK'DWD:DUHKRXVHÿӅ xuҩt............................................................................. 29 4.4. Xây dӵng các Data Mart ............................................................................................ 30 4.4.1 Thông tin chi ti͇t các table cho Data Mart ............................................................ 30 4.4.2 Mô hình bán hàng .................................................................................................. 34 4.4.3 Mô hình kho ........................................................................................................... 36 v 4.4.4 Mô hình khi͇u n̩i khách hàng ............................................................................... 37 4.5. ThiӃt kӃ DSA ............................................................................................................... 38 4.6. ThiӃt kӃ tiӃn trình ETL .............................................................................................. 39 4.7. ThiӃt kӃ Business Intelligence .................................................................................... 41 4.8. ĈiQKJLiKӋ thӕng ....................................................................................................... 44 4.8.1 Thu th̵p yêu c̯u tͳ QJ˱ͥi dùng h͏ th͙ng. ............................................................ 44 4.8.2 ĈiQKJLiWͳ các phòng ban .................................................................................... 48 CHѬѪ1*.ӂT LUҰN ....................................................................................................... 51 5.1 KӃt quҧ ÿҥWÿѭӧc......................................................................................................... 51 5.2 ѬXYjQKѭӧFÿLӇm cӫDSKѭѫQJSKiSÿѭӧFÿӅ xuҩt ................................................ 51 5.3 ĈyQJJySFӫa luұQYăQYӅ mһt khoa hӑc và ӭng dөng ............................................ 51 5.4 +ѭӟng mӣ rӝQJWѭѫQJODL .......................................................................................... 51 TÀI LIӊU THAM KHҦO ....................................................................................................... 53 vi DANH SÁCH BҦNG BIӆU Bҧng 4.1: Thông tin chi tiӃt cӫa bҧng danh mөc thӡi gian ........................................................ 30 Bҧng 4.2: Thông tin chi tiӃt cӫa bҧng danh mөc sҧn phҭm ....................................................... 30 Bҧng 4.3: Thông tin chi tiӃt cӫa bҧng danh mөc loҥi sҧn phҭm ................................................ 31 Bҧng 4.4: Thông tin chi tiӃt cӫa bҧng danh mөc kênh ............................................................... 31 Bҧng 4.5: Thông tin chi tiӃt cӫa bҧng danh mөc vùng............................................................... 31 Bҧng 4.6: Thông tin chi tiӃt cӫa bҧng danh mөc khách hàng .................................................... 32 Bҧng 4.7: Thông tin chi tiӃt cӫa bҧng danh mөc nhà máy ......................................................... 32 Bҧng 4.8: Thông tin chi tiӃt cӫa bҧng danh mөc loҥi khiӃu nҥi ................................................. 32 Bҧng 4.9: Thông tin chi tiӃt cӫa bҧng danh mөc tình trҥng kho ................................................ 32 Bҧng 4.10: Thông tin chi tiӃt cӫa bҧng danh mөc kho............................................................... 32 Bҧng 4.11: Thông tin chi tiӃt cӫa bҧng danh mөc nhân viên ..................................................... 33 Bҧng 4.12: Thông tin chi tiӃt cӫa bҧng sӵ kiӋn bán hàng .......................................................... 33 Bҧng 4.13: Thông tin chi tiӃt cӫa bҧng sӵ kiӋn kho ................................................................... 34 Bҧng 4.14: Thông tin chi tiӃt cӫa bҧng sӵ kiӋn khiӃu nҥi khách hàng ...................................... 34 vii DANH SÁCH HÌNH VӀ Hình 2.1: Minh hӑa vӅ Vѫÿӗ sao.................................................................................................. 7 Hình 2.2: Minh hӑa vӅ Vѫÿӗ bông tuyӃt ...................................................................................... 8 Hình 2.3: KiӃQWU~F'DWD:DUHKRXVHFѫEҧn ............................................................................... 8 Hình 2.4: KiӃn trúc Data Warehouse vӟi Staging Area ............................................................... 9 Hình 2.5: KiӃn trúc Data Warehouse vӟi Staging Area và Data Marts ..................................... 10 Hình 2.6: Ví dө vӅ mô hình OLTP ............................................................................................. 12 Hình 2.7: Ví dө vӅ mô hình OLAP ............................................................................................ 13 Hình 2.8: Minh hӑa tiӃn trình ETL ............................................................................................ 15 Hình 2.9: Minh hӑa vӅ mӝt hӋ thӕng Business Intelligence ...................................................... 17 Hình 3.1: Quy trình nghiӋp vө bán hàng .................................................................................... 22 Hình 3.2: Quy trình nghiӋp vө kho ............................................................................................ 24 Hình 3.3: Quy trình nghiӋp vө khiӃu nҥi khách hàng ................................................................ 26 +uQK0{KuQK':ÿӅ xuҩt .................................................................................................. 29 Hình 4.2: Tәng quan mô hình bán hàng cӫa Data Mart ............................................................. 35 Hình 4.3: Chi tiӃt mô hình bán hàng cӫa Data Mart .................................................................. 35 Hình 4.4: Tәng quan mô hình kho cӫa Data Mart ..................................................................... 36 Hình 4.5: Chi tiӃt mô hình kho cӫa Data Mart ........................................................................... 36 Hình 4.7: Tәng quan mô hình khiӃu nҥi khách hàng cӫa Data Mart ......................................... 37 Hình 4.6: Chi tiӃt mô hình khiӃu nҥi khách hàng cӫa Data Mart............................................... 37 Hình 4.8: Tәng quan tiӃn trình ETL ........................................................................................... 39 Hình 4.9: Chi tiӃt tiӃn trình ETL cӫa Table ............................................................................... 40 Hình 4.10: Chi tiӃt tiӃn trình ETL cӫa Table Dimension ........................................................... 41 Hình 4.11: Phân hӋ bán hàng trên Business Intelligence ........................................................... 42 Hình 4.12: Phân hӋ kho trên Business Intelligence.................................................................... 43 Hình 4.13: Phân hӋ khiӃu nҥi khách hàng trên Business Intelligence ....................................... 43 Hình 4.14: ThiӃt kӃ dashboard trên Power BI............................................................................ 44 Hình 4.15: PhiӃu yêu cҫu tӯ phòng bán hàng ............................................................................ 45 Hình 4.16: PhiӃu yêu cҫu tӯ phòng kho ..................................................................................... 46 Hình 4.17: PhiӃu yêu cҫu tӯ SKzQJFKăPVyFNKiFKKjQJ ......................................................... 47 Hình 4.18: PhiӃXÿiQKJLiWӯ các phòng ban.............................................................................. 50 viii DANH SÁCH TӮ VIӂT TҲT DW ± Data Warehouse BI ± Business Intelligence CSDL ± &ѫVӣ dӳ liӋu DM ± Data Mart ETL ± Extraction, Transformation, Loading DSA ± Data Staging Area SQL Server Integration Services ± SSIS SQL Server Data Tools ± SSDT SQL Server Analysis Services ± SSAS Microsoft Sql Server ± MSQ CNTT± Công nghӋ thông tin Process Data ± PD Multidimensional Expressions ± MDX Transaction Processing Line ± OLTP ix &+ѬѪ1* : GIӞI THIӊU 1.1. Giӟi thiӋu ÿӅ tài DW và BI ÿDQJOjOƭQKYӵFÿѭӧc các doanh nghiӋp quan tâm nghiên cӭXYjÿҫXWѭWURQJ nhiӅXQăPJҫQÿk\Ӭng dөng kho dӳ liӋXÿѭӧc thӵc hiӋn trong nhiӅXOƭQKYӵFNKiFQKDXQKѭ giáo dөc, y tӃWjLFKtQKQJkQKjQJNLQKGRDQK«9LӋc xây dӵng mӝt DW chuҭn, thӕng nhҩt tӯ dӳ liӋu cӫa nhiӅu hӋ thӕng khác nhau là viӋc cҫn thiӃWÿyQJYDLWUzTXDQWUӑng trong mӑi hoҥt ÿӝng nhҵm cҧi thiӋn các hoҥWÿӝng kinh doanh trong hiӋn tҥi hay hӛ trӧ các nhà quҧQOêÿѭDUD quyӃWÿӏQKWURQJWѭѫQJODLGӵa vào dӵ liӋXÿmÿѭӧc tәng hӧp mӝt cácKFKtQK[iFKѫQ Mӻ phҭm là thӏ WUѭӡng cҥnh tranh gay gҳt tҥi ViӋt Nam. Ngày nay, thӡi kǤ công nghiӋp 4.0, cùng vӟi sӵ phát triӇn nhanh chóng cӫa nӅn công nghiӋp hóa, hiӋQÿҥi hóa, thì nhu cҫu vӅ mӻ phҭm càng cao vӟLÿӫ loҥi hình thӭc khác nhau. Sӵ cҥnh tranh cӫa các doanh nghiӋp mӻ phҭm WURQJQѭӟc ngày càng trӣ nên gay gҳWKѫQÿӇ ÿiSӭng tӕWKѫQQKXFҫu cӫDNKiFKKjQJĈәi mӟi công nghӋ, áp dөng hӋ thӕng thông tin vào quҧn lý và xây dӵng DW và BI là mӝWKѭӟQJÿLÿ~QJ ÿҳn và rҩt cҫn thiӃt cӫa ngành mӻ phҭm hiӋQQD\ÿәi mӟi trӣ thành nhân tӕ ÿһc biӋWFyêQJKƭD quyӃWÿӏnh sӵ WăQJWUѭӣng và thành công mang tính chiӃQOѭӧFQkQJFDRQăQJOӵc cҥnh tranh. Mӝt sӕ doanh nghiӋSQyLFKXQJFNJQJQKѭGRDQKQJKLӋp vӅ mӻ phҭPQyLULrQJQJj\Qj\ÿDQJ gһp mӝt sӕ thách thӭc vӅ hӋ thӕng thông tin trong quҧQOêQKѭ - ĈӇ OjPÿѭӧc báo cáo thi user phҧi lҩy dӳ liӋu tӯ nhiӅu nguӗQNKiFQKDXVDXÿyPӟi xӱ lý và ra mӝt báo cáo hoàn chӍQKÿLӅu này rҩt mҩt thӡi gian và dӉ xҧy ra sai sót. - &iFWUѭӣng phòng NKyÿѭDUDTX\ӃWÿӏnh mӝt cách nhanh chóng vì dӳ liӋu cұp nhұp chұPQKkQYLrQErQGѭӟi xӱ lý dӳ liӋu lâu, cách thiӃt kӃ báo cáo rӕi rҳm. Vӟi nhӳng thách thӭc bên trên, tác giҧ [LQÿӅ xuҩt³XÂY D͸NG DATA WAREHOUSE VÀ BUSINESS INTELLIGENCE CHO NGÀNH M; PH̰M´ ÿӇ giҧi quyӃt nhӳQJYѭӟng mҳc cӫa công ty. 1.2. Mөc tiêu và nӝi dung cӫDÿӅ tài Mөc tiêu cӫa luұQYăQOjxây dӵng hӋ thӕQJ':FKRF{QJW\³71++7KѭѫQJPҥi Vұn tҧi Công nghӋ +RD3KѭӧQJĈӓ´. KӃt quҧ cӫa viӋc nghiên cӭu này là giúp công ty có thӇ gom tҩt cҧ các dӳ liӋu tӯ nhiӅu hӋ thӕng khác nhau cӫa công ty, các hӋ thӕQJÿmYjÿDQJtrong quá trình hoҥWÿӝng vào mӝt CSDL duy nhҩt. Chuҭn hóa dӳ liӋu tҥo thành các model phù hӧSÿӇ làm báo cáo, dashboard và phân tích. Mӛi model sӁ khác nhau tùy thuӝc vào tӯng phân hӋ cӫa công ty. Vӟi viӋc ӭng dөQJÿѭӧc DW vào công ty sӁ giúp cho công ty tӕLѭXÿѭӧc trong viӋc làm báo 1 FiRQKѭWLӃt kiӋm thӡi gian, dӳ liӋu rõ ràng« ngoài ra, các báo cáo sӁ ÿѭӧc lên hӋ thӕng BI sӁ tҥo ra nhӳng chart, biӇXÿӗ SKRQJSK~JL~SÿDGҥng trong quá trình phân tích, và hӋ thӕQJFNJQJ sӁ ÿѭӧc chҥy online trên website QrQFiFQKkQYLrQWUѭӣQJSKzQJJLiPÿӕc có thӇ dӉ dàng theo dõi sӕ liӋu cұp nhұp mӝWFiFKQKDQKFKyQJFKtQK[iFNK{QJQKѭWUѭӟFÿk\Pӛi lҫn cҫn sӕ liӋu thì nhân viên phҧi làm tay và gӱi file excel qua email. Ĉҧm báo tính an toàn, bҧo mұWÿӝ tin cұy cӫa dӳ liӋu và tránh nguy cѫ mҩt dӳ liӋu. ĈӇ xây dӵQJÿѭӧc mӝt DW và BI cӫa công ty cҫn thӵc hiӋQFiFEѭӟc sau: - Phân tích tình hình hoҥWÿӝng hiӋn tҥi cӫa công ty. Tìm hiӇu vҩQÿӅ, mô hình hoҥt ÿӝng và các hӋ thӕng phҫn mӅm hiӋn tҥi cӫa công ty ҧQKKѭӣQJQKѭ thӃ QjRÿӃn viӋc xây dӵng mӝt hӋ thӕng DW và BIĈӇ tӯ ÿyWKҩ\ÿѭӧc nhu cҫu cҩp thiӃt YjÿӅ xuҩt EDQOmQKÿҥo cho viӋc cҫn xây dӵng mӝt hӋ thӕng DW và BI phù hӧp. - Tìm hiӇu vӅ các mô hình DW và BI ÿmÿѭӧc triӇn khai trong các công trình nghiên cӭu liên quan, tӯ ÿy xiFÿӏQKSKѭѫQJSKiSphù hӧp ÿӇ giҧi quyӃt yêu cҫu cҧu công ty. - TiӃn hành thu thұp các yêu cҫu cҫn thiӃt cho viӋc xây dӵng DW và BI. ViӋc thu yêu cҫu cҫn nhiӅu thӡi gian, bên cҥQKÿyFyQKLӅu yӃu tӕ ҧQKKѭӣQJÿӃn quá trình xây dӵng hӋ thӕng FNJQg cҫQÿѭӧc xem xét và loҥi bӓ. Ngoài ra cҫn tìm hiӇu kӻ các quy trình nghiӋp vө, cách thӭFOѭXGӳ liӋu, và các phҫn mӅPPjF{QJW\ÿDQJVӱ dөng. - Tìm hiӇu các công cө phҫn mӅm cҫn thiӃt cho viӋc xây dӵng hӋ thӕng. Tӯ ÿyÿiQK JLiYj[iFÿӏnh phҫn mӅm nào phù hӧp nhҩt vӟi nhu cҫu cӫDF{QJW\QKѭJLiFҧÿӝ thông dөng cӫa phҫn mêm, danh tiӃQJ«ĈLӅu này cҫn sӵ phӕi hӧp cӫa nhiӅu phòng EDQQKѭWjLFKtQKNӃ toán, thҭPÿӏQK,7« - Và cuӕi cùng là triӇn khai xây dӵng hӋ thӕng ÿӇ giҧi quyӃt các vҩQÿӅ ÿmÿѭӧc nêu ra tӯ ÿҫXĈLӇm quan trӑng ӣ Eѭӟc này là thiӃt kӃ ÿѭӧc mӝt mô hình phù hӧp vӟi tӯng nhu cҫu cӫa các phòng ban. 1.3. Giӟi hҥQÿӅ tài Mһc dù viӋc xây dӵng DW và BI là sӵ cҫn thiӃt cӫa công ty cҫn rҩt nhiӅu nhân lӵc, tài chính và thӡi gian. Vì thӃ, tác giҧ sӁ tұp trung xây dӵng cho là ba phân hӋ: phân hӋ bán hàng, phân hӋ kho, và phân hӋ khiӃu nҥi khách hàng. 1.4. Cҩu trúc báo cáo ĈӇ ÿҥt mөc tiêu trên luұn YăQ ÿѭӧc cKLDWKjQKFKѭѫQJFyFҩXWU~FQKѭVDX 2 - &KѭѫQJ: Giӟi thiӋu. TURQJFKѭѫQJQj\OXұQYăQWUuQKEj\WtQKFҩp thiӃt cӫDÿӅ tài vӟi tình hình hiӋn tҥi cӫa công ty. - &KѭѫQJ&ѫVӣ lý thuyӃt và các nghiên cӭu liên quan. TURQJFKѭѫQJQj\ luұQYăQ WUuQKEj\FiFFѫVӣ lý thuyӃWÿѭӧc áp dөng trong luұQYăQYjWuPKLӇu các nghiên cӭu khoa hӑc OLrQTXDQÿӃQÿӅ tài luұQYăQ. - &KѭѫQJ&ѫVӣ hҥ tҫng và quy trình nghiӋp vө cӫa công ty7URQJFKѭѫQJQj\OXұn YăQVӁ trình bày FiFFѫVӣ hҥ tҫng hiӋn có cӫa công ty và nghiӋp vө cҫn thiӃt. - &KѭѫQJ: Xây dӵng Data Warehouse và Business Intelligence7URQJFKѭѫQJQj\ tác giҧ trình bày FiFÿLӇm chính trong viӋc áp dөng cho viӋc xây dӵng DW và BI cho công ty. ĈLӅu này bao gӗm các tiӃn trình chҥy hӋ thӕng, các model cho tӯng phân hӋ, thiӃt kӃ dashboard, report và cuӕi cùng sӁ OjÿiQKJLicӫa user. - &KѭѫQJ: KӃt luұn. Trong phҫn này, tác giҧ sӁ trình bày các kӃt quҧ ÿҥWÿѭӧc cӫa viӋc xây dӵng DW và BIFiFѭXYjQKѭӧFÿLӇm VDXNKLÿmӭng dөng hӋ thӕng. Bên cҥQKÿyFKѭѫQJ FNJQJWUuQKEj\FiFÿyQJ JySFӫa luұQYăQYӅ mһt ӭng dөng và Kѭӟng mӣ rӝQJWURQJWѭѫQJODL. 3 &+ѬѪ1* &Ѫ6Ӣ LÝ THUYӂT VÀ CÁC NGHIÊN CӬU LIÊN QUAN 2.1. &ѫVӣ lý thuyӃt Data Warehouse và Business Intelligence 2.1.1 T̯m quan tr͕ng cͯa Data Warehouse Báo cáo, phân tích và thӕng kê là mӝt phҫn không thӇ thiӃu cӫa bҩt kǤ công ty nào. Khi công ty sӱ dөng các hӋ thӕng khác nhau trong hoҥWÿӝQJQKѭKӋ thӕng ERP, hӋ thӕng nhân sӵ, hӋ thӕQJ&50«Eҩt kǤ hӋ thӕQJQjRFNJQJVӁ có phҫn chӭFQăQJEiRFiRWURQJÿy7X\vұy, có nhӳng khi cҫn sӵ SKkQWtFKFKX\rQVkXKѫQQrQWKѭӡng các công ty sӁ sӱ dөng mӝt công cө ULrQJÿӇ SKkQWtFKÿyOj([FHO0һc dù excel hӛ trӧ rҩt mҥQKWURQJSKkQWtFKQKѭQJQyFNJQJFy nhӳng hҥn chӃ nhҩWÿӏQKQKѭJLӟi hҥn sӕ Oѭӧng dòng cӝt, khó truy cұp mӑi lúc mӑLQѫLWӕFÿӝ xӱ lý không cao vӟi dӳ liӋu lӟQ«FKtQKÿLӅu này làm giӟi hҥn viӋc phân tích. Chính vì thӃ ÿӇ có thӇ có mӝt báo cáo nhanh, chính xác và thân thiӋn vӟLQJѭӡLGQJÿӗng thӡLEiRFiRÿyFyWKӇ chҥy khӕLOѭӧng data lӟn, và luôn coi lҥLÿѭӧc các dӳ liӋu quá khӭ, thì cҫn phҧi có mӝt hӋ thӕng dӳ liӋXÿiSӭQJÿѭӧFÿӝ әQÿӏQKOѭXWUӳ và bҧo mұt cӫa dӳ liӋu. Vì vұy, tác giҧ sӁ ÿӅ cұSÿӃn nhӳng tҫm quan trӑng cӫa hӋ thӕng DW và BI ÿӕi vӟi tә chӭc: Data Warehouse: - Các tә chӭc có mӝt khӕLOѭӧng dӳ liӋu lӟn thì DW sӁ giúp user dӉ dàng xӱ lý và truy cұp dӳ liӋu. - 7Uѭӟc khi vô DW thì các dӳ liӋu tӯ nhiӅu nguӗn, nhiӅu hӋ thӕng khác nhau sӁ vô chung mӝt nguӗn CSDL duy nhҩWÿLӅu này giúp cho dӳ liӋu trong DW là dӳ liӋXÿm ÿѭӧc chuҭn hóa, xӱ lý và làm sҥch hӛ trӧ cho user sӱ dөng dӳ liӋu. - User sӁ không cҫn phҧi sӱ dөQJFiFSKѭѫQJSKiSWKӫ công trong viӋFOѭXWUӳ, hӧp nhҩt, trích xuҩt dӳ liӋu cho phân tích báo cáo. - Giúp user khai thác dӳ liӋu tӕWKѫQYjSKkQWtFKWӕWKѫQ. - Vӟi mӝt dӳ liӋXÿmÿѭӧc thӕng nhҩt và làm sҥch thì viӋc phát triӇn mӝt hӋ thӕng mӟi vӟi dӳ liӋXFNJWUӣ nên dӉ GjQJKѫQtWWӕn thӡi gian nhân lӵFKѫQ. - Dӳ liӋXÿѭӧFOѭXWUӳ dҥng cҩu trúc sӁ giúp cho quá trình bàn giao hoһFKѭӟng dүn trӣ QrQÿѫQJLҧQKѫQ. - VӅ mһt phân tích yêu cҫu có dӳ liӋu lӏch sӱ thì DW có thӇ ÿiSӭQJÿѭӧc mӝt cách dӉ dàng. - DW hӛ trӧ cho viӋc tҥREiRFiRÿLӅu này giúp giҧi phóng tài nguyên cho các hӋ thӕng khác vì các hӋ thӕQJNKiFWKѭӡng phҧi có các phҫn báo cáo riêng. 4 - Cuӕi cùng vӟi DW sӁ hҥn chӃ ÿѭӧc rӫi ro mҩt dӳ liӋu và giúp dӉ dàng cho viӋc bҧo mұt. Business Intelligence: - Giúp tә chӭc có thӇ ÿѭDUDQKӳng quyӃWÿӏnh mang tính then chӕt vӟi sӵ ÿDGҥng cӫa hӋ thӕng dashboard, báo cáo. - Vӟi sӵ cҥnh tranh cӫa thӏ WUѭӡng thì viӋc có mӝt BI chuҭn sӁ giúp tә chӭc WăQJÿѭӧc lӧi thӃ cҥnh tranh so vӟLÿӕi thӫ vì dӳ liӋu có thӇ hiӋn ra nhiӅu khía cҥnh khác nhau QKѭNKiFKKjQJ[XKѭӟng thӏ WUѭӡQJ« - Giúp tә chӭFSKkQWtFKÿѭӧc nhӳng insight cӫa dӳ liӋuÿLӅu này có thӇ tiӃt kiӋPÿѭӧc chi phí, giҧm rӫLURYjWăQJdoanh thu. - %,FzQJL~SQKuQUDÿѭӧc nhӳQJQKѭӧFÿLӇPÿӇ cҧi thiӋn dӵa trên dӳ liӋXQKѭVҧn phҭPTX\WUuQKFRQQJѭӡL« 2.1.2 Ĉ̿FWU˱QJFͯa Data Warehouse &NJQJQKѭQKLӅu hӋ thӕQJNKiF':FNJQJFyQKӳQJÿһFWUѭQJFѫEҧn sau: - Tính tích hӧp (Integration): Dӳ liӋu cӫD':ÿѭӧc tұp hӧp tӯ nhiӅu nguӗn dӳ liӋu khác QKDXQKѭFiFKӋ thӕng hoҥWÿӝng, các file, các tài liӋXOLrQTXDQÿӃn hoҥWÿӝng cӫa tә chӭF« - +ѭӟng chӫ ÿӅ (Subject-Oriented): Dӳ liӋu cӫD':ÿѭӧFOѭXWUӳ WKHRKѭӟng chӫ ÿӅ, phân hӋ, nghiӋp vө mà tә chӭc quan tâm ví dө: thӵc thӇ OjQJj\NKiFKKjQJÿҥi lý và nghiӋp vөEiQKjQJNKR« - 7tFKONJ\WKHRWKӡi gian (Time-Variant): Dӳ liӋXOѭXWUӳ có tính chҩt lӏch sӵ, bao gӗm nhӳng dӳ liӋu cӫa quá khӭ, dӳ liӋXÿDQJSKiWVLQKӣ hiӋn tҥi và dӳ liӋu sӁ phát sinh trong WѭѫQJODLWKѭӡng dӳ liӋu sӁ bҳWÿҫXÿѭӧFOѭXWҥi thӡLÿLӇm tә chӭc bҳWÿҫu hoҥWÿӝng. - Bҩt biӃn (Non-Volatie): Dӳ liӋu trong DW là dӳ liӋu chӍ ÿѭӧFÿӑFNK{QJÿѭӧFWKD\ÿәi, KD\[yD':ÿѭӧc thiӃt kӃ cho mөFÿtFKNKDLWKiFYjSKkQWtFKFKӭ không phҧLQKѭFiF CSDL cho nhӳng hӋ thӕng hoҥWÿӝQJEuQKWKѭӡng khác. 2.1.3 Ĉ̿c tính cͯa Data Warehouse Trong quá trình hoҥWÿӝng cӫa tә chӭc dӳ liӋu sӁ càng ngày càng nhiӅXKѫQ7ә chӭc muӕn sӱ dөng nhӳng dӳ liӋXQj\ÿӇ hӛ trӧ cho hoҥWÿӝng cӫa tә chӭFQKѭNKDLSKi, dӵ ÿRiQSKkQWtFK« Quá trình tұp hӧp và thao tác trên nhӳng dӳ liӋXQj\FyFiFÿһc tính sau: 5 - Tính tích hӧp: là DW có khҧ QăQJWKXWKұp dӳ liӋu tӯ nhiӅu nguӗn khác nhau và xӱ lý chúng tҥo thành mӝt dӳ liӋu thӕng nhҩt. Mӝt DW là mӝt khung nhìn tәng thӇ thӕng nhҩt các khung nhìn khác nhau. Ví dө: WURQJÿӅ tài này phân hӋ bán hàng hoһc phân hӋ kho có thӇ sӱ dөng chung mӝt thông tin vӅ sҧn phҭPQKѭQJFiFYҩQÿӅ vӅ sӕ Oѭӧng cӫa sҧn phҭm thì cҫn góc nhìn khác nhau vӅ thông tin sҧn phҭm. Mӝt DW sӁ có góc nhìn toàn thӇ vӅ sҧn phҭP*yFQKuQÿyEDRJӗm các chiӅu dӳ liӋu khác nhau tӯ các hӋ thӕng khác nhau. - Tính lӏch sӱ: các dӳ liӋXWURQJ':ÿѭӧc tұp trung theo thӡi gian và thӇ hiӋn mӝt góc nhìn cӫa mӝt chӫ ÿӅ trong mӝWJLDLÿRҥn. - ChӍ ÿӑc: Dӳ liӋu trong DW chӍ ÿѭӧFSKpSÿӑc và truy cұSNK{QJÿѭӧc sӱa, xóa bӣLQJѭӡi sӱ dөng dӳ liӋXÿy - Không biӃQÿӝng: tính không biӃQÿӝng cӫa dӳ liӋXÿѭӧc hiӇXWKHRQJKƭD dӳ liӋXÿѭӧc OѭXWUӳ lâu dài trong DW. Mһc dù có thêm dӳ liӋu mӟLQKѭQJGӳ liӋXFNJWURQJ':FNJQJ sӁ không bӏ xóa, sӱDĈLӅu này cho phép dӳ liӋu thӇ hiӋQÿѭӧc thông tin theo thӡi gian và cung cҩSÿӫ sӕ liӋu cҫn cho viӋc hӛ trӧ hoҥWÿӝng cӫa tә chӭc. - Dӳ liӋu tәng hӧp: Dӳ liӋu chi tiӃt là thông tin mӭc thҩp nhҩWÿѭӧFOѭXWUӳ trong DW. 7Kѭӡng thӇ hiӋn vӅ mһt hoҥWÿӝng nghiӋp vө cӫa tә chӭc. Dӳ liӋu tәng hӧSÿѭӧc tích hӧp qua nhiӅXJLDLÿRҥn khác nhau. 2.1.4 Lͫi ích cͯa Data Warehouse - /ѭXWUӳ dӳ liӋu lӟn và tӕFÿӝ truy cұp nhanh: Dӳ liӋXÿѭӧc tәng hӧp tӯ các nguӗn NKiFQKDXGRÿyDW có thӇ OѭXtrӳ mӝt khӕLOѭӧng dӳ liӋu lӟn tӯ quá khӭ FKRÿӃn hiӋn tҥi. Và do thiӃt kӃ các DM nên user có thӇ truy vҩn dӳ liӋu mӝt cách nhanh chóng mà không cҫQGQJÿӃn mӝt câu truy vҩn dӳ liӋu phӭc tҥp. - 7ăQJFѭӡng tính bҧo mұt dӳ liӋu':FKRSKpSWăQJFѭӡng bҧo mұt bҵng cách cung cҩSFiFWtQKQăQJEҧo mұWQkQJFDRÿѭӧc tích hӧp trong cҩu hình cӫa nó - Dӳ liӋu әQÿӏnh: Khi dӳ liӋu nҵm trong DW, nó sӁ không bao giӡ WKD\ÿәi hoһc mҩt ÿL'RÿyXVHUNKLFRL dӳ liӋu vӅ quá khӭ vүn nҳPÿѭӧc trӑn vҽQÿѭӧc vҩQÿӅ dӵa vào dӳ liӋu tҥi thӡLÿLӇm ÿy - ThiӃt kӃ linh hoҥt: DW ÿѭӧc thiӃt kӃ linh hoҥt giúp dӉ dàng tích hӧp dӳ liӋu mӟi, ÿӗng thӡi giúp user dӉ dàng tӵ tҥo ra nhӳng dashboard, report cӫa riêng mình. - 7ăQJlӧi thӃ cҥnh tranh: vӟi viӋc hӛ trӧ ÿDFKLӅu góc nhìn tӯ hoҥWÿӝng kinh doanh tӯ nhiӅXKѭӟng khác nhau, tә chӭc sӁ có lӧi thӃ KѫQWURQJYLӋFÿѭDUDTX\ӃWÿӏnh vӟi nhӳQJÿӕi thӫ cҥnh tranh. 6 - Nâng cao hiӋu quҧ công viӋc: vӟi viӋc các dӳ liӋu có thӇ dӉ dàng xӱ lý, truy cұp thì user sӁ không mҩt thӡi gian làm các report mӝt cách thӫ F{QJÿLӅXQj\JL~SWăQJKLӋu quҧ giҧi quyӃt công viӋc cӫa user. - Cҧi thiӋQÿѭӧc hoҥWÿӝng kinh doanh: tә chӭc có thӇ dӵDYjR':ÿӇ [HP[pWÿiQK giá và khҳc phөc vҩQÿӅ gһp phҧi trong nӝi bӝ tә chӭc. 2.1.5 6˯ÿ͛ và mô hình trong Data Warehouse 7URQJVѫÿӗ cӫD':WKuFyKDLVѫÿӗ FKtQKWKѭӡng dùng là: 6WDU6FKHPDVѫÿӗ sao): OjVѫÿӗ ÿѭӧc thiӃt kӃ theo dҥQJKuQKQJ{LVDRÿӇ thӇ hiӋn vӅ mӕi quan hӋ giӳa các table vӟi nhau bao gӗm mӝt bҧng có thông tin chi tiӃWWKѭӡng thӇ hiӋn quá trình phát sinh tәng quan cӫa các phân hӋ QKѭJLDRGӏch bán hàng, sӕ Oѭӧng hàng nhұp xuҩW«YjFiFWDEOH[XQJ quanh thӇ hiӋn các thông tin cho bҧng chi tiӃt bên trên. Hình minh hӑDÿѭӧc biӇu diӉQQKѭKuQK Hình 2.1: Minh hӑa vӅ Vѫÿӗ sao Snowflake Schema Vѫÿӗ bông tuyӃt): vӅ FѫEҧQVѫÿӗ này khá giӕQJVѫÿӗ KuQKVDRQKѭQJ các table thӇ hiӋn mһt thông tin sӁ ÿѭӧc bә sung thêm bҵng mӝt table nӳa, table này sӁ liên kӃt trӵc tiӃSÿӃn table thӇ hiӋn thông tin chӭ không liên kӃt table chi tiӃt. Hình minh hӑDÿѭӧc biӇu diӉQQKѭKunh 2.2: 7 Hình 2.2: Minh hӑa vӅ Vѫÿӗ bông tuyӃt 2.1.6 Ki͇n trúc Data Warehouse Tùy thuӝc vào nhu cҫu cӫa tә chӭc vӅ FѫEҧn DW có 3 kiӃn trúc: KiӃQWU~F':FѫEҧn: Ĉk\OjNLӃQWU~FFѫEҧn nhҩt cӫa trong DW, lҩy DW làm trung tâm chính, tҩt cҧ các data tӯ source khác nhau sӁ ÿѭӧFÿҭy vô trӵc tiӃS':YjFiFEiRFiRSKkQWtFKFNJQJVӁ lҩy trӵc tiӃSOrQÿy0{KuQKQj\FyPӝWQKѭӧFÿLӇm là DW sӁ phҧLOjQѫL[ӱ lý cho nhiӅu thao tác khác nhau tӯ (7/FKRÿӃn phân WtFKEiRFiRÿLӅu này sӁ làm quá tҧi DW làm giҧm hiӋXQăQJ Hình 2.3: KiӃn trúc Data Warehouse FѫEҧn (https://docs.oracle.com/cd/E11882_01/server.112/e25554/concept.htm#DWHSG8071) 8 KiӃn trúc DW vӟi Staging Area: KiӃn trúc này khác kiӃQWU~FFѫEҧn ӣ chӛ OjEѭӟc thu thұp data khác nhau tӯ nguӗQWKD\Yuÿҭy vào DW sӁ ÿҭ\TXD6WDJLQJ$UHDÿLӅXQj\JL~SEѭӟc xӱ lý tӯ GDWDVRXUFHY{':QKѭQJFyQKѭӧFÿLӇm là ӣ JyFÿӝ khi user sӱ dөng data tӯ ':ÿӇ phân tích, làm báo cáo thì sӁ truy cұp trӵc tiӃp vô DW lúc này sӁ khiӃn cho qua trình lҩy data sӁ bӏ giҧm hiӋXQăQJ Hình 2.4: KiӃn trúc Data Warehouse vӟi Staging Area (https://docs.oracle.com/cd/E11882_01/server.112/e25554/concept.htm#DWHSG8073) KiӃn trúc DW vӟi Staging Area và Data Marts: ÿk\FyWKӇ nói là kiӃn trúc tӕLѭXQhҩt hiӋn giӡ trong viӋc thiӃt kӃ DW. TҥLÿk\GDWDWӯ các nguӗn sӁ ÿѭӧFÿҭ\YjRVWDJLQJDUHDWUѭӟc khi vô DW và user sӁ lҩy dӳ liӋu tӯ '0QѫLÿѭӧc thiӃt kӃ riêng cho tӯng phân hӋ NKiFQKDXÿk\Oj cách chia nhӓ tӯng phân viӋFÿӇ xӱ lý giúp tӕLѭXKyDKLӋu năQJ 9