Tài liệu Luận văn nghiên cứu giải pháp quản lý khách hàng hiệu quả dựa trên hướng tiếp cận khai phá dữ liệu

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ ĐÀO THỊ THU HIỀN NGHIÊN CỨU GIẢI PHÁP QUẢN LÝ KHÁCH HÀNG HIỆU QUẢ DỰA TRÊN HƢỚNG TIẾP CẬN KHAI PHÁ DỮ LIỆU LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ ĐÀO THỊ THU HIỀN NGHIÊN CỨU GIẢI PHÁP QUẢN LÝ KHÁCH HÀNG HIỆU QUẢ DỰA TRÊN HƢỚNG TIẾP CẬN KHAI PHÁ DỮ LIỆU Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS. NGUYỄN HÀ NAM HÀ NỘI – 2014 1 LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Nghiên cứu giải pháp quản lý khách hàng hiệu quả dựa trên hƣớng tiếp cận khai phá dữ liệu" là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả đƣợc trình bày trong luận văn là hoàn toàn trung thực. Tôi đã trích dẫn đầy đủ các tài liệu tham khảo, công trình nghiên cứu liên quan. Ngoại trừ các tài liệu tham khảo này, luận văn hoàn toàn là công việc của riêng tôi. Luận văn đƣợc hoàn thành trong thời gian tôi là học viên tại Khoa Công nghệ Thông tin, Trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội. Hà Nội, ngày 29 tháng 10 năm 2014 Học viên Đào Thị Thu Hiền 2 LỜI CẢM ƠN Lời đầu tiên, tôi xin gửi lời cảm ơn và lòng biết ơn sâu sắc nhất tới PGS.TS. Nguyễn Hà Nam đã tận tình hƣớng dẫn tôi trong suốt quá trình thực hiện luận văn tốt nghiệp. Tôi xin trân trọng cảm ơn các Thầy, Cô giáo đã tận tình chỉ dạy, cung cấp cho tôi những kiến thức quý báu và luôn nhiệt tình giúp đỡ, tạo điều kiện thuận lợi nhất trong suốt quá trình tôi học tập tại trƣờng Đại học Công nghệ. Tôi xin gửi lời cảm ơn tới các bạn trong lớp cao học K18 đã ủng hộ, khuyến khích tôi trong suốt quá trình học tập tại trƣờng. Cuối cùng, tôi muốn đƣợc gửi lời cảm ơn vô hạn tới gia đình, đồng nghiệp và bạn bè, những ngƣời thân yêu luôn bên cạnh và động viên tôi trong suốt quá trình thực hiện luận văn tốt nghiệp. Tôi xin chân thành cảm ơn! 3 MỤC LỤC LỜI CAM ĐOAN ............................................................................................................1 LỜI CẢM ƠN ..................................................................................................................2 MỤC LỤC ....................................................................................................................... 3 BẢNG CÁC TỪ VIẾT TẮT ........................................................................................... 5 DANH MỤC BẢNG BIỂU ............................................................................................. 6 DANH MỤC HÌNH VẼ ..................................................................................................7 MỞ ĐẦU ......................................................................................................................... 9 CHƢƠNG 1. GIỚI THIỆU ........................................................................................... 10 1.1. Nhu cầu xây dựng kho dữ liệu về khách hàng ...................................................10 1.1.1. Tại sao cần quan tâm đến khách hàng ......................................................... 10 1.1.2. Nhu cầu quan tâm đến khách hàng của các ngân hàng thƣơng mại ............11 1.2. Giới thiệu một số dịch vụ ngân hàng ..................................................................13 1.3. Những lợi ích mà dịch vụ ngân hàng mang lại ..................................................14 1.3.1. Đối với ngân hàng ....................................................................................... 14 1.3.2. Đối với khách hàng...................................................................................... 15 1.3.3. Đối với nhà cung cấp dịch vụ: .....................................................................15 1.4. Mục tiêu và cấu trúc của luận văn ......................................................................15 CHƢƠNG 2. KHO DỮ LIỆU VÀ KHAI PHÁ DỮ LIỆU TRÊN KHO ...................... 16 2.1. Tổng quan về BI .................................................................................................16 2.1.1. Giới thiệu chung .......................................................................................... 16 2.1.2. Giới thiệu kho dữ liệu ..................................................................................16 2.2. Tìm hiểu bộ công cụ BI của SQL Server ........................................................... 24 2.2.1. SQL Server Reporting Services ..................................................................25 2.2.2. SQL Server Analysis Services: ...................................................................26 CHƢƠNG 3. XÂY DỰNG HỆ THỐNG HỖ TRỢ KHÁCH HÀNG DỰA TRÊN KHO DỮ LIỆU GIAO DỊCH........................................................................................ 27 3.1. Giới thiệu dữ liệu ................................................................................................ 27 3.1.1. Cơ sở dữ liệu................................................................................................ 27 3.1.2. Lƣợc đồ kho dữ liệu .................................................................................... 30 3.2. Báo cáo thống kê ................................................................................................ 31 3.2.1. Thống kê việc sử dụng giao dịch:................................................................ 31 3.2.2. Thống kê lƣợng tiền thanh toán bán lẻ theo tỉnh và độ tuổi ........................ 33 4 3.2.3. 10 dịch vụ bán lẻ đƣợc thực hiện nhiều nhất tại Hồ Chí Minh và Hà Nội. .34 3.2.4. Tƣơng quan giữa các top 10 loại dịch vụ của Hồ Chí Minh và Hà Nội ......35 3.2.5. Tƣơng quan giữa lƣợng tiền thanh toán và số dƣ tài khoản ........................ 37 3.2.6. Mức điện thoại theo chức vụ và tình trạng hôn nhân ..................................38 3.2.7. Thống kê lƣợng giao dịch ATM tại các thời điểm trong ngày .................... 39 3.3. Dự báo, dự đoán .................................................................................................39 3.3.1. Sự phụ thuộc giữa các loại dịch vụ ............................................................. 39 3.3.2. Nhóm khách hàng nào có khả năng sử dụng dịch vụ thanh toán bán lẻ cao nhất: ....................................................................................................................... 47 3.3.3. Sự phụ thuộc giữa loại hình dịch vụ và tỉnh thành ......................................50 3.3.4. Dự đoán xu hƣớng sử dụng dịch vụ thanh toán cƣớc điện thoại .................54 KẾT LUẬN – HƢỚNG PHÁT TRIỂN ........................................................................57 TÀI LIỆU THAM KHẢO ............................................................................................. 58 5 BẢNG CÁC TỪ VIẾT TẮT Tên đầyđủ Viết tắt BI Business Intelligence CSDL Cơ sở dữ liệu KDL Kho dữ liệu KPDL Khai phá dữ liệu NHTM Ngân hàng thƣơng mại POS Point of Sale ATM Automatic teller machine SMS Short Message Service SQL Structured Query Language ETL Extract, Transform and Load 6 DANH MỤC BẢNG BIỂU Bảng 3.1. Mô tả bảng TaiKhoan ...................................................................................28 Bảng 3.2. Mô tả bảng ATM........................................................................................... 28 Bảng 3.3. Mô tả bảng Bill ............................................................................................. 29 Bảng 3.4. Mô tả bảng Retail .......................................................................................... 30 Bảng 3.5. Kết quả mô hình khi thay đổi tham số COMPLEXITY_PENALTY ...........40 Bảng 3.6. Chú thích của các nút tại nhánh sử dụng ATM = 1 ......................................41 Bảng 3.7. Bảng tỷ lệ dự đoán ba thuật toán dự báo tình hình sử dụng dịch vụ ............45 Bảng 3.8.Chú thích các nút của cây phân nhánh ........................................................... 49 7 DANH MỤC HÌNH VẼ Hình 2.1. Kiến trúc kho dữ liệu ..................................................................................... 17 Hình 2.2. Sơ đồ hình sao ............................................................................................... 19 Hình 2.3. Sơ đồ bông tuyết ............................................................................................ 19 Hình 2.4. Quá trình khám phá tri thức trong cơ sở dữ liệu ...........................................21 Hình 3.1. Cơ sở dữ liệu giao dịch khách hàng .............................................................. 27 Hình 3.2. Lƣợc đồ kho dữ liệu ...................................................................................... 30 Hình 3.3. Báo cáo tần suất sử dụng các loại giao dịch theo tỉnh thành ......................... 32 Hình 3.4. Thống kê lƣợng tiền thanh toán bán lẻ theo tỉnh và độ tuổi .......................... 33 Hình 3.5. 10 Dịch vụ bán lẻ đƣợc thanh toán nhiều nhất ở TP Hồ Chí Minh ...............34 Hình 3.6. 10 dịch vụ bản lẻ đƣợc thanh toán nhiều nhất Hồ Chí Minh ........................ 35 Hình 3.7. Tƣơng quan giữa 10 loại dịch vụ TT nhiều nhất của Hồ Chí Minh và Hà Nội .......................................................................................................................................36 Hình 3.8. Tƣơng quan giữa lƣợng tiền thanh toán và số dƣ tài khoản .......................... 37 Hình 3.9. Thống kê thanh toán cƣớc điện thoại năm 2013 ...........................................38 Hình 3.10. Thống kê thanh toán cƣớc điện thoại năm 2014 .........................................38 Hình 3.11.Số giao dịch ATM tại hai thành phố lớn theo thời gian ............................... 39 Hình 3.12. Mô hình khai phá dữ liệu sự phụ thuộc giữa các loại dịch vụ..................... 40 Hình 3.13. Cây phân nhánh dự đoán sử dụng dịch vụ thanh toán bán lẻ tháng 6 .........41 Hình 3.14. Chú thích của nút All ...................................................................................41 Hình 3.15. Chú thích của nút sử dụng ATM=1 ............................................................. 41 Hình 3.16. Mạng phụ thuộc thanh toán bán lẻ tháng 6 thuật toán cây quyết định ........42 Hình 3.17. Biểu đồ dự đoán bán lẻ tháng 6 khi sử dụng thuật toán cây quyết dịnh......42 Hình 3.18. Mạng phụ thuộc khi dùng thuật toán Navie Bayes .....................................43 Hình 3.19. Đặc điểm của các thuộc tính khi dùng thuật toán Naive Bayes ..................43 Hình 3.20. Bảng thuộc tính của mạng nơron.................................................................43 Hình 3.21. Biểu đồ dự báo thanh toán bán lẻ khi sử dụng 3 thuật toán ........................ 44 Hình 3.22. Ma trận phân lớp dự báo tình hình sử dụng dịch vụ bán lẻ ......................... 45 Hình 3.23. Mô hình dự báo thanh toán bán lẻ tháng 6 của từng khách hàng ................46 Hình 3.24. Mô hình dự báo thanh toán bán lẻ tháng 6 ..................................................46 8 Hình 3.25. Kết quả dự báo thanh toán bán lẻ của khách hàng ......................................47 Hình 3.26. Mô hình khai phá dữ liệu.............................................................................48 Hình 3.27. Mạng phụ thuộc thanh toán bán lẻ và các thuộc tính của khách hàng ........48 Hình 3.28. Cây phân nhánh dự đoán nhóm khách hàng sử dụng thanh toán bán lẻ .....49 Hình 3.29. Biểu đồ so sánh độ chính xác ......................................................................50 Hình 3.30. Mô hình khai phá dự đoán sự việc sử dụng giao dịch rút tiền .................... 50 Hình 3.31. Mô hình khai phá dự đoán việc sử dụng giao dịch thanh toán điện thoại ...51 Hình 3.32. Cây phân nhánh dự báo tình hình sử dụng giao dịch rút tiền ATM ............51 Hình 3.33. Cây phân nhánh dự báo tình hình sử dụng giao dịch thanh toán điện thoại51 Hình 3.34. Mạng phụ thuộc khi dùng thuật toán cây quyết định dự báo việc rút tiền ATM .............................................................................................................................. 52 Hình 3.35. Mạng phụ thuộc dự báo việc thanh toán điện thoại ....................................52 Hình 3.36. Biểu đồ dự báo việc sử dụng giao dịch thanh toán hóa đơn điện thoại .......53 Hình 3.37. Ma trận phân lớp dự đoán tình hình rút tiền tại ATM .................................53 Hình 3.38. Ma trận phân lớp của việc sử dụng dịch vụ thanh toán điện thoại ..............54 Hình 3.39. Mô hình khai phá dữ liệu dự báo xu hƣớng sử dụng thanh toán điện thoại 54 Hình 3.40. Dự đoán chiều hƣớng sử dụng dịch vụ thanh toán điện thoại ..................... 55 Hình 3.41. Biểu đồ lƣợng giao dịch thanh toán cƣớc điện thoại theo tháng .................56 9 MỞ ĐẦU Trong thời đại kinh tế thị trƣờng, các doanh nghiệp sản xuất kinh doanh ngày càng có nhiều đối thủ cạnh tranh, cạnh tranh về giá cả và chất lƣợng sản phẩm dịch vụ. Khi cuộc chiến về giá cả gần nhƣ bão hòa thì các đơn vị sản xuất kinh doanh hàng hóa dịch vụ bắt đầu quan tâm đến khách hàng nhiều hơn. Đã có rất nhiều doanh nghiệp tiến hành các cuộc khảo sát khách hàng với quy mô lớn nhằm tìm hiểu khách hàng mong muốn gì ở sản phẩm của mình. Các công ty về công nghệ cũng tung ra thị trƣờng nhiều hệ thống Quản lý khách hàng nhằm giúp các doanh nghiệp quản lý khách hàng của mình tốt hơn. Các phần mềm quản lý khách hàng đa số mới chỉ tập trung việc thu thập thông tin về khách hàng để quản lý dữ liệu tập trung. Việc sử dụng công nghệ BI bao gồm các kỹ thuật khai phá dữ liệu đƣợc áp dụng trong các lĩnh vực cuộc sống nhƣ y tế, giáo dục, bán lẻ, ngân hàng, viễn thông…đã mang lại thành công và lợi ích nhất định cho các đơn vị. Mục tiêu của luận văn là tìm hiểu và ứng dụng công nghệ Busines Intelligent trong phân tích và khai thác dữ liệu trong CSDL giao dịch của khách hàng nhằm tìm ra mối liên quan giữa khách hàng và các dịch vụ của ngân hàng. Luận văn gồm các chƣơng sau: Chƣơng 1. Giới thiệu: chƣơng này giới thiệu nhu cầu xây dựng kho dữ liệu của khách hàng, tại sao cần quan tâm đến khách hàng đồng thời giới thiệu một số loại dịch vụ, giao dịch của khách hàng ngân hàng. Chủ tài khoản và các giao dịch liên quan cũng là đối tƣợng tìm hiểu của luận văn. Chƣơng 2. Giới thiệu kho dữ liệu và khai phá dữ liệu: chƣơng này trình bày lý thuyết về kho dữ liệu, khai phá dữ liệu và giới thiệu bộ công cụ Business Intelligence (BI) của SQL Server. Chƣơng 3. Xây dựng hệ thống hỗ trợ khách hàng dựa trên kho dữ liệu giao dịch: Chƣơng này trình bày về xây dựng kho dữ liệu giao dịch của khách hàng. Dựa trên kho dữ liệu đã có sẽ tiến hành tạo báo cáo đa chiều trả lời các câu hỏi mang tính chất thống kê nhƣ: nhóm khách hàng nào thƣờng sử dụng các loại giao dịch này, giao dịch nào đƣợc sử dụng nhiều nhất, tỉnh thành nào sử dụng dịch vụ nhiều nhất, các loại giao dịch bán lẻ đƣợc thanh toán thƣờng xuyên nhất. Xây dựng mô hình khai phá, phân tích các kết quả thu đƣợc và đƣa ra một số gợi ý liên quan đến mong muốn tăng lƣợng khách hàng sử dụng dịch vụ của ngân hàng. 10 CHƢƠNG 1. GIỚI THIỆU 1.1. Nhu cầu xây dựng kho dữ liệu về khách hàng 1.1.1. Tại sao cần quan tâm đến khách hàng Vai trò của khách hàng trong hoạt động sản xuất kinh doanh của doanh nghiệp là không thể phủ nhận. Ở đây có thể dẫn chứng nhận định của nhà kinh tế nổi tiếng Erwin Frand “Không có khách hàng sẽ không có bất cứ công ty nào tồn tại” đã cho thấy vai trò của khách hàng trong mọi hoạt động kinh doanh. Lý do cần quan tâm đến khách hàng:  Khách hàng là yếu tố quan trọng quyết định sự sống còn và phát triển của doanh nghiệp.  Khách hàng ngày càng có nhiều sự lựa chọn cho sản phẩm dịch vụ.  Chất lƣợng sản phẩm dịch vụ ngày càng có ít sự khác biệt. Làm thế nào để giữ chân đƣợc khách hàng cũ lôi kéo đƣợc khách hàng mới luôn là vấn đề mà các doanh nghiệp quan tâm. Để làm đƣợc điều này trƣớc tiên cùng xem khách hàng mong muốn gì trƣớc khi mua sản phẩm hoặc sử dụng dịch vụ. Theo một bài báo tại Doanh nhân Hồ Chí Minh cuối tuần thì khách hàng thƣờng có những câu hỏi sau trƣớc khi quyết định mua sản phẩm hay sử dụng dịch vụ [6]:  Doanh nghiệp có thể làm đƣợc điều gì cho tôi: theo Robbie Bogue, Chủ tịch của Marketing Excellence, một công ty tƣ vấn tiếp của Los Angeles (Mỹ), nói: “Khách hàng thường không quan tâm đến những gì bạn biết hay bạn có thể làm cho đến khi họ biết được bạn có thể làm được điều gì cho họ”.  Tại sao sản phẩm/dịch vụ lại Quan trọng đối với tôi: khách hàng sẽ đi tìm những thứ mà họ muốn mua chứ không phải là những thứ mà doanh nghiệp muốn họ mua. Doanh nghiệp có thể “yêu” sản phẩm hay dịch vụ do mình tạo ra nhƣng sản phẩm hay dịch vụ đó chẳng đem đến cho khách hàng một giá trị hay lợi ích nào thì chắc chắn nó sẽ không đƣợc họ quan tâm. Hãy tìm hiểu khách hàng cần và mong muốn điều gì nhất và tạo ra một sản phẩm hay dịch vụ để đáp ứng nhu cầu, mong muốn đó.  Sản phẩm hay dịch vụ của doanh nghiệp có đem lại cho tôi Nhiều Hơn những gì tôi đang có hay không? Nói chung, khách hàng luôn muốn có nhiều hơn những gì mà họ đang có. Nếu một cửa hàng bánh pizza chào bán theo kiểu “mua hai cái trả tiền một cái“ thì ngay cả những ngƣời đang ăn kiêng cũng muốn mua. Không hẳn vì họ “tham lam“ mà đó là tâm lý chung của khách hàng: ai cũng muốn có nhiều hơn để dự phòng cho những lúc thiếu thốn. Khi có đƣợc nhiều thứ hơn, khách hàng 11     cũng có cảm giác rằng họ là ngƣời khôn ngoan chứ không phải là những kẻ “ngây thơ“. Sản phẩm hay dịch vụ của doanh nghiệp có Tốt Hơn những gì tôi đang có hay không? Xã hội ngày càng hiện đại, tinh vi hơn và con ngƣời ngày càng hiểu biết hơn thì vấn đề chất lƣợng cũng trở nên quan trọng hơn số lƣợng. Ngay cả những khách hàng muốn có đƣợc nhiều hơn cũng mong muốn nhận đƣợc điều tốt hơn khi quyết định mua một sản phẩm hay dịch vụ nào đó. Thành công mà các nhãn hiệu xe hơi nhƣ Lexus và Infiniti có đƣợc là nhờ biến việc lái xe (hay phải gặp trục trặc và mất thời gian, tiền bạc để bảo trì, sữa chữa) thành một thú vui. Dịch vụ của doanh nghiệp có nhanh hơn các dịch vụ mà tôi đang sử dụng hay không? Thời gian là tiền bạc. Chính vì vậy mà thƣ điện tử trở thành ứng dụng phát triển nhanh nhất trong thế giới Internet. Và nếu Fedex, một công ty chuyển phát nhanh hàng đầu của thế giới, không đƣa ra thị trƣờng dịch vụ “giao hàng vào cuối tuần“ để phục vụ những khách hàng phải làm việc vào cuối tuần thì công ty này đã mất một số khách hàng vào tay US Postal Service, một đối thủ cạnh tranh lớn của FedEx trên thị trƣờng Mỹ. Sản phẩm hay dịch vụ của doanh nghiệp có Rẻ Hơn những sản phẩm hay dịch vụ mà tôi đang sử dụng hay không? Chi phí là một trong những vấn đề đƣợc khách hàng quan tâm hàng đầu khi quyết định mua một sản phẩm hay dịch vụ. Trƣớc khi mua sỉ đƣợc xem là một việc làm “hạ cấp“, bình dân nhƣng nay ngƣời ta quan niệm rằng mua lẻ không phải là một việc làm khôn ngoan. Nếu khách hàng không bận tâm gì đến giá cả thì các công ty đã không sử dụng chiêu “sale off“ (bán hàng giảm giá) khá thƣờng xuyên trong các quảng cáo của họ. Việc sử dụng sản phẩm hay dịch vụ của doanh nghiệp có Giảm Bớt Rủi Ro so với việc sử dụng các sản phẩm hay dịch vụ khác hay không? Bạn có sẵn sàng đầu tƣ tất cả tiền bạc của mình vào một công ty hay dịch vụ tài chính mới thành lập, chƣa có một dấu ấn, thành tích đáng kể nào trong hoạt động, mặc dù công ty đó có những ý tƣởng đầu tƣ rất tuyệt vời hay không? Chắc chắn là không. Khách hàng cũng vậy, họ chỉ mua một sản phẩm mới hay sử dụng một dịch vụ mới khi họ cảm thấy an toàn. 1.1.2. Nhu cầu quan tâm đến khách hàng của các ngân hàng thƣơng mại Ngân hàng Thƣơng mại (NHTM) là một tổ chức kinh doanh tiền tệ và dịch vụ ngân hàng bằng cách huy động vốn tức là nhận tiền gửi và phát hành giấy tờ có giá, rồi sử dụng số vốn huy động đó vào nghiệp vụ cho vay, chiết khấu, làm dịch vụ thanh 12 toán và cung ứng dịch vụ ngân hàng cho tất cả các doanh nghiệp, các tổ chức kinh tế và cá nhân [3]. Ngân hàng Thƣơng mại (NHTM) đã hình thành tồn tại và phát triển hàng trăm năm gắn liền với sự phát triển của kinh tế hàng hoá. Sự phát triển hệ thống NHTM đã có tác động rất lớn đến quá trình phát triển của nền kinh tế hàng hoá, ngƣợc lại kinh tế hàng hoá phát triển mạnh mẽ đến giai đoạn cao nhất là nền kinh tế thị trƣờng thì NHTM cũng ngày càng đƣợc hoàn thiện và trở thành những định chế tài chính không thể thiếu đƣợc. Trong nền kinh tế cạnh tranh gay gắt nhƣ hiện nay các NHTM phải không ngừng hoàn thiện mình để cung cấp dịch vụ tốt nhất cho khách hàng. Bên cạnh loại hình kinh doanh truyền thống các ngân hàng đã và đang triển khai hệ thống ngân hàng hiện đại hay còn gọi là ngân hàng điện tử. Ngày nay, dịch vụ ngân hàng đang vƣơn tới từng ngƣời dân. Đó là dịch vụ ngân hàng tiêu dùng và bán lẻ. "Ngân hàng điện tử", với sự trợ giúp của công nghệ thông tin, cho phép tiến hành các giao dịch bán lẻ với tốc độc cao trong đó nổi bậc là dịch vụ Internet-banking, một thị trƣờng hàng tỷ dân đang mở ra trƣớc mắt họ. Các ngân hàng đua nhau tung ra thị trƣờng một loạt các sản phẩm cho dịch vụ Internet-banking làm cho dịch vụ Ngân hàng trở nên phong phú và phổ biến rộng rãi. Hơn nữa theo thống kê của Bộ thông tin và truyền thông [4] tính đến ngày 26/12/2013, tổng doanh thu viễn thông ƣớc đạt 9,9 tỷ USD. Tổng số thuê bao điện thoại đạt 105 triệu thuê bao, trong đó di động chiếm 93%; hơn 31 triệu ngƣời sử dụng Internet; tổng số thuê bao Internet băng rộng (xDSL) đạt hơn 5,17 triệu thuê bao; tổng băng thông kết nối Internet trong nƣớc đạt 613,8Gb/s và tổng băng thông kết nối Internet quốc tế đạt 549Gb/s; hơn 263.000 tên miền “.vn” đã đăng ký và Việt Nam tiếp tục giữ vị trí số 1 Đông Nam Á về số lƣợng sử dụng tên miền cấp cao mã quốc gia, đạt tốc độ tăng trƣởng bình quân 172% năm; tổng số tên miền tiếng Việt đã đăng ký đạt gần 950.000; tổng số địa chỉ IPv4 đã cấp đạt trên 15,5 triệu địa chỉ. Các thống kê của Bộ Thông tin và truyền thông cho ta thấy thị trƣờng thanh toán trực tuyến của ngân hàng rất tiềm năng và cần đƣợc quan tâm. Các loại giao dịch phổ biến của ngân hàng : Thanh toán cƣớc điện thoại qua ngân hàng: Đây là hình thức thanh toán cƣớc phí nhanh chóng, an toàn và tiết kiệm chi phí cho khách hàng. Thuê bao chỉ cần có Tài khoản Ngân hàng hoặc có thẻ Ngân hàng là có thể thanh toán cƣớc phí trả sau online trên toàn quốc. Thời gian xử lý thanh toán hoàn toàn theo phƣơng thức online nên rất nhanh và hiệu quả. Khách hàng có thể thực hiện qua các hình thức nhƣ Mobile Banking, Internet Banking, ATM, giao dịch tại quầy Ngân hàng hay ủy nhiệm thu định kỳ. Thanh toán hóa đơn hàng hóa dịch vụ bán lẻ: Đây là hình thức thanh toán hóa đơn dịch vụ thông qua hệ thống POS, ATM, qua hệ thống Internet Banking, SMS- 13 Banking. Số lƣợng chủ thẻ ngày càng lớn cùng với việc mở rộng mạng lƣới POS tại các đại lý và việc hỗ trợ thanh toán liên ngân hàng loại giao dịch này càng ngày càng gia tăng về số lƣợng giao dịch. 1.2. Giới thiệu một số dịch vụ ngân hàng - - - - - - - Dịch vụ SMS-banking: SMS-banking [3] là dịch vụ cho phép tra cứu thông tin tài khoản và đăng ký nhận những thông tin mới nhất từ ngân hàng qua tin nhắn điện thoại di động. Dịch vụ Call Center: Call Center là dịch vụ Ngân hàng qua điện thoại. Khách hàng gọi về một số điện thoại cố định của trung tâm dịch vụ để đƣợc cung cấp thông tin chung và thông tin cá nhân. Call Center có thể linh hoạt trả lời các thắc mắc của khách hàng, tuy nhiên phải có ngƣời trực 24/24 giờ. Dịch vụ Phone-banking: Dịch vụ Phone-banking sử dụng Call Center tự động, chỉ cần gọi từ điện thoại cố định hoặc di động vào tổng đài tự động của ngân hàng và thực hiện theo hƣớng dẫn sẽ đƣợc những thông tin về sản phẩm dịch vụ ngân hàng, thông tin tài khoản cá nhân. Dịch vụ Home-banking: Dịch vụ Home-banking [3] là dịch vụ cho phép khách hàng có thể ngồi tại nơi làm việc thực hiện hầu hết các giao dịch với ngân hàng nhƣ chuyển tiền, liệt kê giao dịch, tỷ giá, lãi suất, báo nợ, báo có…Với Homebanking, khách hàng giao dịch với ngân hàng qua mạng nội bộ (Intranet) do ngân hàng xây dựng riêng. Các giao dịch đƣợc tiến hành tại nhà thông qua hệ thống máy tính nối với hệ thống máy tính ngân hàng. Dịch vụ Internet-banking: Dịch vụ Internet-banking giúp khách hàng thực hiện các giao dịch với ngân hàng qua mạng Internet (mạng toàn cầu). Để tham gia, khách hàng truy cập vào website của ngân hàng và thực hiện giao dịch, truy cập thông tin cần thiết. Khách hàng cũng có thể truy cập vào các website khác để mua hàng và thực hiện thanh toán với ngân hàng. Kiosk Ngân hàng: Là sự phát triển của dịch vụ Ngân hàng hƣớng tới việc phục vụ khách hàng với chất lƣợng cao nhất và thuận tiện nhất. Trên đƣờng phố sẽ đặt các trạm làm việc với đƣờng kết nối Internet tốc độ cao. Khi khách hàng cần giao dịch hoặc yêu cầu dịch vụ, họ chỉ cần truy cập, cung cấp số chứng nhận cá nhân và mật khẩu để sử dụng dịch vụ của hệ thống ngân hàng phục vụ mình [3]. Dịch vụ thu hộ hóa đơn: Dịch vụ Thu hộ hóa đơn qua ngân hàng là kênh thanh toán chính xác, tiện lợi giúp nhà cung cấp thu phí sử dụng dịch vụ thông qua tài khoản của khách hàng tại ngân hàng. Khách hàng nợ hoá đơn chỉ cần có tài khoản ngân hàng là có thể chủ động thanh toán các khoản nợ cƣớc của mình. Với dịch vụ này, các hóa đơn định kỳ nhƣ điện thoại, Internet, điện, nƣớc, truyền hình cáp, thanh toán học phí,...,... có thể đƣợc thanh toán dễ dàng mà khách hàng không cần tới các điểm thu phí dịch vụ. Chỉ với một lần đăng ký, các hóa đơn hàng tháng đƣợc khách hàng ủy quyền giao cho ngân hàng sẽ đƣợc 14 thanh toán đầy đủ, đúng hẹn. Số tiền thanh toán đƣợc ngân hàng tự động trích nợ từ tài khoản của khách hàng. Hóa đơn tài chính sẽ đƣợc nhà cung cấp dịch vụ gửi về cho khách hàng qua đƣờng bƣu điện. Việc kết nối dịch vụ thu hộ hóa đơn qua ngân hàng, các nhà cung cấp dịch vụ sẽ có thêm một kênh thanh toán mới, giảm thiểu chi phí cho nhân viên thu cƣớc, các điểm thu cƣớc, phục vụ khách hàng ngày càng tốt hơn bằng việc đem lại cho họ nhiều tiện ích mới, đa dạng. Cùng với đó, phƣơng thức thanh toán không dùng tiền mặt sẽ giúp tránh đƣợc các rủi ro xảy ra với các khoản tiền công ty thu đƣợc từ khách hàng nhƣ: mất tiền, tiền giả… Dịch vụ thu hộ hóa đơn giúp khách hàng bỏ đƣợc nỗi lo khi bị cắt hoặc dừng sử dụng dịch vụ khi khách hàng không thanh toán đầy đủ đúng hạn vì không phải thu xếp thời gian đến các điểm thu phí hoặc đi công tác. 1.3. Những lợi ích mà dịch vụ ngân hàng mang lại 1.3.1. Đối với ngân hàng  Tiết kiệm chi phí, tăng doanh thu: Phí giao dịch Internet-banking đƣợc đánh giá là ở mức rất thấp so với giao dịch truyền thống, từ đó góp phần tăng doanh thu hoạt động cho ngân hàng. Theo thống kê của Ngân hàng Đông Á, chi phí cho giao dịch trên Internet chỉ bằng 1/12 giao dịch tại quầy, bằng 2/3 chi phí giao dịch qua ATM.  Mở rộng phạm vi hoạt động, tăng khả năng cạnh tranh Đa dạng hóa và nâng cao chất dịch vụ và hiệu quả hoạt động, qua đó nâng cao khả năng cạnh tranh của NHTM giúp NHTM thực hiện chiến lƣợc “toàn cầu hóa” mà không cần mở thêm chi nhánh ở trong nƣớc cũng nhƣ ở nƣớc ngoài. Qua các dịch vụ của ngân hàng có thể quảng bá, khuyếch trƣơng thƣơng hiệu của mình một cách sinh động, hiệu quả.  Nâng cao hiệu quả sử dụng vốn Xét về mặt kinh doanh của ngân hàng, dịch vụ sẽ giúp nâng cao hiệu quả sử dụng vốn. Thông qua các dịch vụ của ngân hàng điện tử, các lệnh về chi trả, nhờ thu của khách hàng đƣợc thực hiện nhanh chóng, tạo điều kiện cho vốn tiền tệ chu chuyển nhanh, thực hiện tốt quan hệ giao dịch, trao đổi tiền - hàng. Qua đó đẩy nhanh tốc độ lƣu thông hàng hoá, tiền tệ, nâng cao hiệu quả sử dụng vốn.  Tăng khả năng chăm sóc và thu hút khách hàng Chính sự tiện ích có đƣợc từ công nghệ ứng dụng, từ phần mềm, từ nhà cung cấp dịch vụ mạng, dịch vụ Internet đã thu hút và giữ khách hàng sử dụng, quan hệ giao dịch với ngân hàng, trở thành khách hàng truyền thống của ngân hàng. Khả năng phát 15 triển, cung ứng các tiện ích dịch vụ cho nhiều đối tƣợng khách hàng, nhiều lĩnh vực kinh doanh là rất cao. 1.3.2. Đối với khách hàng  Tiết kiệm chi phí, tiết kiệm thời gian. Việc đăng ký sử dụng các dịch vụ thanh toán hóa đơn giá trị gia tăng đặc biệt có ý nghĩa đối với các khách hàng có ít thời gian để đi đến văn phòng trực tiếp giao dịch với ngân hàng, các khách hàng nhỏ và vừa, khách hàng cá nhân có số lƣợng giao dịch với ngân hàng không nhiều, số tiền mỗi lần giao dịch không lớn. Đây là lợi ích mà các giao dịch kiểu ngân hàng truyền thống khó có thể đạt đƣợc với tốc độ nhanh, chính xác.  Thông tin liên lạc thuận tiện hơn, hiệu quả hơn Thanh toán hóa đơn dịch vụ qua các kênh thanh toán trực tuyến giúp cho khách hàng có thể liên lạc với ngân hàng một cách nhanh chóng, thuận tiện để thực hiện một số nghiệp vụ ngân hàng tại bất kỳ thời điểm nào và ở bất cứ nơi đâu có Internet. Dịch vụ thanh toán trực tuyến giúp khách hàng dễ dàng hơn trong vấn đề chuyển khoản và thanh toán qua mạng. Việc mua bán hàng hóa qua mạng đặc biệt là hàng hóa số hóa thì thanh toán trực tuyến rất tiện lợi cho cả ngƣời mua và ngƣời bán. 1.3.3. Đối với nhà cung cấp dịch vụ: Đối với nhà cung cấp dịch vụ khi sử dụng dịch vụ của ngân hàng sẽ tiết kiệm đƣợc chi phí mở cửa hàng, nhân lực vì không phải trực tiếp đến giao dịch với ngân hàng. Không phải đổi tiền, chuẩn bị tiền lẻ để trả lại khách hàng. 1.4. Mục tiêu và cấu trúc của luận văn Với mục tiêu Tìm hiểu và ứng dụng công nghệ Busines Intelligent trong phân tích và khai thác dữ liệu trong CSDL giao dịch của khách hàng nhằm tìm ra mối liên quan giữa khách hàng và các dịch vụ của ngân hàng vì thế trong khuôn khổ giới hạn của luận văn, tôi xin trình bày: - Tìm hiểu cơ sở lý thuyết về công nghệ BI, giới thiệu về kho dữ liệu, khai phá dữ liệu. Xây dựng cơ sở dữ liệu khách hàng. Thiết kế báo cáo động thống kê và trực quan. Sử dụng các kỹ thuật khai phá dữ liệu để phân tích dữ liệu. 16 CHƢƠNG 2. KHO DỮ LIỆU VÀ KHAI PHÁ DỮ LIỆU TRÊN KHO 2.1. Tổng quan về BI 2.1.1. Giới thiệu chung Business Intelligence (BI) là tập hợp các kỹ thuật và các công cụ giúp chuyển đổi dữ liệu thô thành các thông tin có ý nghĩa và hữu ích phục vụ cho các mục đích phân tích kinh doanh. Công nghệ BI có khả năng xử lý một lƣợng lớn dữ liệu phi cấu trúc để giúp xác định, tạo và phát triển các chiến lƣợc, cơ hội kinh doanh mới. Mục tiêu của BI là cho phép dễ dàng cho việc giải thích khối lƣợng lớn dữ liệu. Xác định các cơ hội mới và thực hiện một chiến lƣợc hiệu quả dựa trên những hiểu biết có thể cung cấp cho các doanh nghiệp với một lợi thế thị trƣờng và ổn định lâu dài cạnh tranh. Công nghệ BI cung cấp quan điểm lịch sử, hiện tại và dự báo hoạt động kinh doanh. Chức năng phổ biến của BI là báo cáo, xử lý phân tích trực tuyến, phân tích, khai thác dữ liệu, khai thác chế biến, xử lý sự kiện phức tạp, quản lý hoạt động kinh doanh, điểm chuẩn, khai thác văn bản, phân tích dự báo và phân tích quy tắc. BI có thể đƣợc sử dụng để hỗ trợ một loạt các quyết định kinh doanh khác nhau, từ hoạt động cho đến chiến lƣợc. Quyết định điều hành cơ bản bao gồm định vị sản phẩm hoặc giá cả. Quyết định kinh doanh chiến lƣợc bao gồm các ƣu tiên, mục tiêu và phƣơng hƣớng ở mức độ rộng. Trong mọi trƣờng hợp, BI là hiệu quả nhất khi nó kết hợp dữ liệu thu đƣợc từ thị trƣờng (dữ liệu bên ngoài) với các dữ liệu từ các nguồn nội bộ công ty nhƣ dữ liệu tài chính và các hoạt động (dữ liệu nội bộ). Khi kết hợp dữ liệu bên ngoài và nội bộ có thể cung cấp một bức tranh hoàn chỉnh mà thực tế tạo ra các quyết định kinh doanh "thông minh" . 2.1.2. Giới thiệu kho dữ liệu 2.1.2.1. Cơ sở lý thuyết a. Khái niệm về kho dữ liệu Theo William Inmon [1], kho dữ liệu là một tập hợp dữ liệu hƣớng chủ đề, tích hợp, có tính thời gian và không thay đổi để hỗ trợ quá trình tạo quyết định quản lý. Theo Jonh Ladley, công nghệ kho dữ liệu là tập các phƣơng pháp, kỹ thuật và các công cụ có thể kết hợp, hỗ trợ nhau để cung cấp thông tin cho ngƣời sử dụng trên cơ sở tích hợp từ nhiều nguồn dữ liệu, nhiều môi trƣờng khác nhau. KDL thƣờng rất lớn tới hàng trăm GB thậm chí hàng nghìn TB. 17 b. Kiến trúc kho dữ liệu Nhìn chung tất cả các hệ thống kho dữ liệu có các thành phần sau [14] Hình 2.1. Kiến trúc kho dữ liệu - - - - - - Data Source Layer: Cung cấp dữ liệu cho kho dữ liệu. Nguồn dữ liệu có nhiều dạng khác nhau: tệp văn bản, cơ sở dữ liệu quan hệ, các loại cơ sở dữ liệu khác, file excel,…Nhiều loại dữ liệu khác nhau có thể Data Extraction Layer: Dữ liệu đƣợc lấy từ nguồn dữ liệu vao kho dữ liệu, tại lớp này dữ liệu có thể làm sạch phần nào đó. Staging Area: Đây là vị trí tạm thời mà tại đó dữ liệu nguồn đƣợc sao chép. Stagin area là cần thiết vì lý do thời gian. Tóm lại, tất cả các dữ liệu cần thiết phải có sẵn trƣớc khi dữ liệu có thể đƣợc tích hợp vào kho dữ liệu. ETL Layer: Đây là nơi mà dữ liệu đƣợc chuyển đổi từ dữ liệu có tính giao dịch thành dữ liệu mang tính chất phân tích. Lớp này cũng là nơi làm sạch dữ liệu. Giai đoạn thiết kế ETL thƣờng là giai đoạn tốn nhiều thời gian nhất trong một dự án kho dữ liệu. Data Storage Layer: Đây là nơi dữ liệu đã chuyển đổi và làm sạch đƣợc lƣu trữ. Dựa trên phạm vi và chức năng, 3 loại thực thể có thể đƣợc tìm thấy ở đây là kho dữ liệu, data mart và các điều khiển kho dữ liệu (ODS). Trong bất kỳ hệ thống kho nào chỉ có thể có một trong ba, hai trong ba hoặc cả ba loại trên. Data Logic Layer: Đây là nơi các quy tắc nghiệp vụ đƣợc lƣu trữ. Quy tắc nghiệp vụ đƣợc lƣu trữ ở đây không ảnh hƣởng tới các quy tắc chuyển đổi dữ liệu cơ bản. . Data Presentation Layer: Lớp này nói đến những thông tin mà ngƣời sử dụng muốn đạt đƣợc. Điều này có thể là một hình thức của một bảng / báo cáo đồ họa trong trình duyệt, một báo cáo gửi qua email mà đƣợc tự động tạo ra và gửi hàng ngày, hoặc một cảnh báo để cảnh báo ngƣời sử dụng trƣờng hợp ngoại lệ, 18 - - trong số những ngƣời khác. Thông thƣờng một công cụ OLAP và / hoặc một công cụ báo cáo đƣợc sử dụng trong lớp này. Metadata Layer: Đây là nơi thông tin về các dữ liệu trong hệ thống kho dữ liệu đƣợc đặc tả. Một mô hình dữ liệu hợp lý sẽ là một ví dụ về một cái gì đó trong lớp siêu dữ liệu. System Operations Layer: Lớp này bao gồm thông tin về cách hệ thống kho dữ liệu hoạt động, chẳng hạn nhƣ tình trạng công việc ETL, hiệu năng hệ thống, và lịch sử truy cập của ngƣời dùng. c. Mục đích của kho dữ liệu Mục đích chính của kho dữ liệu là nhắm đáp ứng các tiêu chuẩn cơ bản sau: - - Phải có khả năng đáp ứng mọi yêu cầu về thông tin của ngƣời sử dụng. Hỗ trợ các nhân viên của tổ chức thực hiện tốt, hiệu quả công việc của mình, nhƣ có quyết định hợp lý, nhanh và bán đƣợc nhiều hàng hơn, năng suất cao hơn, thu đƣợc lợi nhuận cao hơn… Giúp cho tổ chức xác định quản lý và điều hành các dự án, nghiệp vụ một cách hiệu quả và chính xác. Tích hợp dữ liệu và các siêu dữ liệu từ nguồn khác nhau. d. Đặc tính của kho dữ liệu Những đặc điểm cơ bản của kho dữ liệu là một tập hợp dữ liệu có tính chất sau: - - - - Tính tích hợp: Kho dữ liệu thƣờng đƣợc xây dựng bằng cách tổng hợp dữ liệu từ nhiều nguồn khác nhau, ví dụ các cơ sở dữ liệu, những bản ghi giao tác trực tuy ến hoặc thậm chí là từ những file dữ liệu độc lập. Những dữ liệu này tiếp tục đƣợc làm sạch, chuẩn hóa để đảm bảo sự nhất quán, sau đó đƣa vào kho dữ liệu. Hƣớng chủ đề: Kho dữ liệu có thể chứa lƣợng dữ liệu lên tới hàng trăm Gigabyte, đƣợc tổ chức theo những chủ đề chính. Kho dữ liệu không chú trọng vào giao tác và việc xử lý giao tác. Thay vào đó, kho dữ liệu tập trung vào việc mô hình hóa, phân tích dữ liệu nhằm hỗ trợ cho nhà quản lý ra quyết định. Do đó, các kho dữ liệu thƣờng cung cấp một khung nhìn tƣơng đối đơn giản bằng cách loại bớt những dữ liệu không cần thiết trong quá trình ra quyết định. Dữ liệu gắn thời gian và có tính lịch sử: Do có tính ổn định, kho dữ liệu thƣờng lƣu trữ dữ liệu của hệ thống trong khoảng thời gian dài, cung cấp đủ số liệu cho các mô hình nghiệp vụ, dự báo, khảo sát những chỉ tiêu cần quan tâm. Dữ liệu có tính ổn định: Dữ liệu trong kho dữ liệu thƣờng đƣợc lƣu trữ lâu dài, ít bị sửa đổi, chủ yếu dùng cho việc truy xuất thông tin nên có độ ổn định cao. Hai thao tác chủ yếu tác động tới kho dữ liệu là: nhập dữ liệu vào và truy xuất.