Đăng ký Đăng nhập
Trang chủ áp dụng kỹ thuật khai phá dữ liệu dự báo thuê bao rời mạng trong mạng di động....

Tài liệu áp dụng kỹ thuật khai phá dữ liệu dự báo thuê bao rời mạng trong mạng di động.

.PDF
62
713
127

Mô tả:

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN NGỌC TUÂN ÁP DỤNG KỸ THUẬT KHAI PHÁ DỮ LIỆU DỰ BÁO THUÊ BAO RỜI MẠNG TRONG MẠNG DI ĐỘNG LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN NGỌC TUÂN ÁP DỤNG KỸ THUẬT KHAI PHÁ DỮ LIỆU DỰ BÁO THUÊ BAO RỜI MẠNG TRONG MẠNG DI ĐỘNG Ngành: Công nghệ Thông tin Chuyên ngành: Hệ thống Thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS. NGUYỄN HÀ NAM Hà Nội - 2016 LỜI CẢM ƠN Tôi xin gửi lời cảm ơn sâu sắc tới PGS.TS.Nguyễn Hà Nam, Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội, người thầy đã dành nhiều thời gian tận tình chỉ bảo, hướng dẫn, giúp đỡ tôi trong suốt quá trình tìm hiểu, nghiên cứu. Thầy là người định hướng và đưa ra nhiều góp ý quý báu trong quá trình tôi thực hiện luận văn. Tôi xin chân thành cảm ơn các thầy, cô ở khoa Công nghệ thông tin – Trường Đại học Công nghệ - ĐHQGHN đã cung cấp cho tôi những kiến thức và tạo cho tôi những điều kiện thuận lợi trong suốt quá trình tôi học tập tại trường. Tôi cũng bày tỏ lòng biết ơn về sự giúp đỡ của lãnh đạo cơ quan, đồng nghiệp đã cung cấp dữ liệu, tài liệu và cho tôi những lời khuyên quý báu. Tôi xin cảm ơn gia đình, người thân, bạn bè và các thành viên trong nhóm nghiên cứu luôn động viên và tạo mọi điều kiện tốt nhất cho tôi. Tôi xin chân thành cảm ơn! Hà Nội, tháng 5 năm 2016 Họ và tên Nguyễn Ngọc Tuân 1 LỜI CAM ĐOAN Tôi xin cam đoan đây là đề tài nghiên cứu của riêng tôi, thực hiện dưới sự hướng dẫn của PGS.TS. Nguyễn Hà Nam. Các kết quả nêu trong luận văn là trung thực và chưa được ai công bố trong bất cứ công trình nào khác. Hà Nội, tháng 5 năm 2016 Họ và tên Nguyễn Ngọc Tuân 2 MỤC LỤC LỜI CẢM ƠN .................................................................................................................. 1 LỜI CAM ĐOAN ............................................................................................................ 2 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT ..................................................... 5 DANH MỤC CÁC BẢNG .............................................................................................. 6 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ ......................................................................... 6 LỜI MỞ ĐẦU ................................................................................................................. 7 Chương 1 Giới thiệu tổng quan về mạng di động và các kiến thức cơ sở liên quan ... 9 1.1. Giới thiệu về mạng di động................................................................................ 9 1.2. Sơ lược tình hình nghiên cứu trên thế giới ........................................................ 9 1.3. Phát biểu bài toán ............................................................................................. 11 1.3.1. Chu trình của thuê bao di động ................................................................. 11 1.3.2. Phát biểu bài toán ...................................................................................... 13 1.4. Kết luận chương 1 ............................................................................................ 13 Chương 2 2.1. Khai phá dữ liệu và các kỹ thuật phân tích dự báo ................................... 14 Khai phá dữ liệu ............................................................................................... 14 2.1.1. Khái niệm KPDL ....................................................................................... 14 2.1.2. Những nhóm bài toán của KPDL .............................................................. 15 2.1.3. Các bước xây dựng một giải pháp về KPDL ............................................ 16 2.1.4. Ứng dụng KPDL trong viễn thông ............................................................ 17 2.2. Một số kỹ thuật KPDL trong phân lớp, dự báo ............................................... 18 2.2.1. Cây quyết định .......................................................................................... 18 2.2.2. Phân lớp Naïve Bayes ............................................................................... 22 2.2.3. Mạng nơ ron nhân tạo ............................................................................... 23 2.2.4. Luật kết hợp .............................................................................................. 24 2.2.5. Đánh giá độ chính xác thuật toán .............................................................. 27 2.3. Giới thiệu về công cụ weka.............................................................................. 28 2.4. Kết luận chương 2 ............................................................................................ 28 Chương 3 Giải pháp phát hiện thuê bao di động có khả năng rời mạng .................... 29 3.1. Giải pháp chung: .............................................................................................. 29 3.2. Giải pháp hiện tại của mạng MobiFone ........................................................... 29 3.3. Giải pháp đề xuất ............................................................................................. 30 3 3.3.1. Giải pháp đề xuất dùng kỹ thuật khai phá dữ liệu .................................... 30 3.3.2. Giải pháp đề xuất sau khi cải tiến ............................................................. 30 3.4. Mô hình đề xuất áp dụng thực tế ..................................................................... 31 Chương 4 Thực nghiệm và đánh giá kết quả ............................................................. 33 4.1. Chuẩn bị dữ liệu ............................................................................................... 33 4.2. Mô tả dữ liệu thực nghiệm ............................................................................... 34 4.3. Kết quả thực nghiệm theo phương pháp hiện tại ............................................. 35 4.4. Kết quả thực nghiệm dựa trên khai phá dữ liệu ............................................... 37 4.4.1. Kết quả thực nghiệm dựa trên giải pháp khai phá dữ liệu ........................ 37 4.4.2. Kết quả thực nghiệm dựa trên khai phá dữ liệu đã cải tiến ....................... 41 4.5. So sánh đánh giá kết quả .................................................................................. 47 4.6. Kết luận chương 4 ............................................................................................ 49 KẾT LUẬN ................................................................................................................... 50 Phụ lục 1 THÔNG TIN BỘ DỮ LIỆU .......................................................................... 52 PHỤ LỤC 2 PHÂN TÍCH ĐĂC TRƯNG BỘ DỮ LIỆU THỰC NGHIỆM ............... 55 1. Nhóm 1 ................................................................................................................. 55 2. Nhóm 2 ................................................................................................................. 55 3. Nhóm 3 ................................................................................................................. 56 4. Nhóm 4 ................................................................................................................. 57 5. Nhóm 5 ................................................................................................................. 58 Phụ lục 3 Đặc trưng phân lớp của giải pháp MobiFone đang áp dụng ......................... 59 1. Nhóm 1 ................................................................................................................. 59 2. Nhóm 2: ................................................................................................................ 59 3. Nhóm 3: ................................................................................................................ 59 4. Nhóm 4: ................................................................................................................ 59 5. Nhóm 5: ................................................................................................................ 60 4 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Chữ viết tắt Ý nghĩa KPDL Khai phá dữ liệu CSDL Cơ sở dữ liệu OLAP Online analytical processing MobiFone Tổng công ty Viễn thông MobiFone VLR Visitor Location Register. Tổng đài ghi nhận đăng nhập mạng của thuê bao di động 3K3D_VLR Chỉ tiêu xác định thuê bao 1 tháng có > 3 ngày nhập mạng VLR và phát sinh doanh thu >3000 GSM Global System for Mobile Communications Mạng thông tin di động CDR Call Data Record CLV Giá trị vòng đời khách hàng (custommer lifecycle value) 5 DANH MỤC CÁC BẢNG Bảng 2-1 Các độ đo chính xác ....................................................................................... 27 Bảng 4-1 Nhóm thuê bao theo đặc trưng....................................................................... 34 Bảng 4-2 Các nhóm dữ liệu mẫu ................................................................................... 35 Bảng 4-3 Tổng hợp kết quả của phương pháp hiện tại ................................................ 37 Bảng 4-4 Bảng tổng hợp kết quả theo giải pháp khai phá dữ liệu ................................ 41 Bảng 4-5 Tổng hợp độ chính xác của giải pháp đề xuất ............................................... 47 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Biểu đồ 4-1 So sánh độ đo Accuracy của ba giải pháp .................................................48 Biểu đồ 4-2 So sánh thời gian xây dựng mô hình của giải pháp đề xuất và đề xuất cải tiến .................................................................................................................................48 Biểu đồ 4-3 So sánh thời gian dự báo ...........................................................................49 Hình 1-1 Thị phần các thuê bao di động tính đến 2013 [2].............................................9 Hình 1-2 Vòng đời thuê bao .......................................................................................... 12 Hình 2-1 Các bước xây dựng một hệ thống KPDL [1] .................................................14 Hình 2-2 Biểu diễn cây quyết định cơ bản ....................................................................18 Hình 2-3 Cây quyết định cho việc chơi Tennis ............................................................. 19 Hình 2-4 Mô hình mạng nơron nhiều lớp ......................................................................23 Hình 2-5 Tiến trình học .................................................................................................24 Hình 3-1 Giải pháp chung cho bài toán dự báo thuê bao rời mạng ............................... 29 Hình 3-2 Giải pháp hiện tại MobiFone đang áp dụng ...................................................30 Hình 3-3 Giải pháp đề xuất dùng kỹ thuật khai phá dữ liệu .........................................30 Hình 3-4 Giải pháp đề xuất cải tiến ...............................................................................30 Hình 3-5 Mô hình đề xuất áp dụng thực tế ....................................................................31 Hình 4-1 Kết quả nhóm 1 của giải pháp đề xuất ........................................................... 38 Hình 4-2 Kết quả nhóm 2 của giải pháp đề xuất ........................................................... 39 Hình 4-3 Kết quả nhóm 3 của giải pháp đề xuất ........................................................... 39 Hình 4-4 Kết quả nhóm 4 của giải pháp đề xuất ........................................................... 40 Hình 4-5 Kết quả nhóm 5 của giải pháp đề xuất ........................................................... 40 Hình 4-6 Kết quả nhóm 1 của giải pháp đề xuất cải tiến thử nghiệm ........................... 42 Hình 4-7 Kết quả nhóm 1 của giải pháp đề xuất cải tiến sau tối ưu .............................. 43 Hình 4-8 Kết quả nhóm 2 của giải pháp đề xuất cải tiến ..............................................44 Hình 4-9 Kết quả nhóm 3 của giải pháp đề xuất cải tiến ..............................................45 Hình 4-10 Kết quả nhóm 4 của giải pháp đề xuất sau cải tiến ......................................46 Hình 4-11 Kết quả nhóm 5 của giải pháp đề xuất cải tiến ............................................47 6 LỜI MỞ ĐẦU Thuê bao rời mạng luôn là vấn đề “đau đầu” của các nhà mạng trong nước cũng như trên thế giới bởi lẽ khách hàng (thuê bao) chính là người mang lại doanh thu và duy trì hoạt động của các nhà mạng. Để duy trì và phát triển hoạt động kinh doanh của mình, các nhà mạng phải tìm mọi cách để phát triển thuê bao mới nhưng đồng thời cũng phải tìm cách để duy trì hoạt động của các thuê bao hiện hữu. Theo các nghiên cứu và thực tế triển khai của các nhà mạng cho thấy, tổng chi phí để phát triển một thuê bao mới cao hơn nhiều so với việc duy trì một thuê bao hiện hữu. Trong khi đó, doanh thu từ các thuê bao hiện hữu (đặc biệt là các thuê bao lâu năm) cao hơn nhiều so với doanh thu của các thuê bao mới (theo thống kê của MobiFone thuê bao lâu năm có doanh thu trung bình cao hơn 48% so thuê bao mới). Chính vì lý do trên, các nhà mạng trên thế giới không ngừng tìm kiếm các giải pháp và nghiên cứu phát triển các ứng dụng để xác định, dự đoán sớm thuê bao có khả năng rời mạng để có biện pháp kịp thời tác động nhằm duy trì thuê bao đó hoạt động. Xuất phát từ yêu cầu đặt ra đối với đơn vị mình, tôi đã thực hiện đề tài luận văn “ÁP DỤNG KỸ THUẬT KHAI PHÁ DỮ LIỆU DỰ BÁO THUÊ BAO RỜI MẠNG TRONG MẠNG DI ĐỘNG”. Luận văn đi sâu vào việc áp dụng các kỹ thuật khai phá dữ liệu từ hành vi sử dụng của các thuê bao di động từ đó dự báo thuê bao có khả năng rời mạng. Luận văn gồm có phần mở đầu, kết luận và 04 chương, cụ thể như sau: Chương 1: Giới thiệu tổng quan về mạng di động và các vấn đề liên quan Chương này trình bày về tổng quan mạng di động, thuê bao rời mạng. Phát biểu bài toán và các nghiên cứu liên quan. Chương 2: Khai phá dữ liệu và các kỹ thuật phân tích dự báo Nghiên cứu các cơ sở lý thuyết KPDL, các vấn đề liên quan đến KPDL trong bài toán dự báo thuê bao rời mạng. Tìm hiểu các kỹ thuật khai phá dữ liệu sử dụng trong bài toán phân lớp, dự báo (chuẩn bị dữ liệu, lựa chọn thuộc tính, phân tích đặc trưng, cây quyết định, …) và áp dụng kỹ thuật KPDL trên ứng dụng WEKA. Chương 3: Giải pháp phát hiện thuê bao di động có khả năng rời mạng Các phương pháp để phát hiện thuê bao di động có khả năng rời mạng bao gồm các kỹ thuật dựa vào đặc trưng thuê bao, phương pháp ứng dụng kỹ thuật khai phá dữ liệu. Chương 4: Thực nghiệm và đánh giá kết quả 7 Nội dung chủ yếu là áp dụng các mô hình đã tìm hiểu vào việc dự báo thuê bao rời mạng. Trước tiên áp dụng các kỹ thuật cơ bản trên toàn bộ dữ liệu đã được chuẩn bị với mô hình phân tích đặc trưng, cây quyết định và đánh giá. Tiếp theo sử dụng các kỹ thuật lựa chọn thuộc tính để cải tiến tốc độ xử lý và đánh giá độ chính xác của mô hình dự báo. Cuối cùng tiến hành đánh giá kết quả dự báo của từng mô hình và đưa ra mô hình dự báo khuyến nghị để áp dụng vào bài toán thực tế. 8 Chương 1 Giới thiệu tổng quan về mạng di động và các kiến thức cơ sở liên quan 1.1. Giới thiệu về mạng di động Hai mươi năm qua ghi nhận một thời gian dài phát triển sôi động, vượt bậc của ngành công nghiệp viễn thông nói chung và thông tin di động nói riêng. Được thành lập từ năm 1993, sau 22 năm phát triển, Tổng Công ty Viễn thông MobiFone (tiền thân là Công ty Thông tin di động), từ một doanh nghiệp cỡ vừa và nhỏ, đã phát triển trở thành một doanh nghiệp lớn, hàng đầu Việt Nam, có doanh thu lên tới hơn 40.000 tỷ, lợi nhuận hơn 6.000 tỷ VNĐ hàng năm và cung cấp dịch vụ viễn thông di động cho trên 20 triệu khách hàng sử dụng thường xuyên. Thương hiệu MobiFone cũng trở thành một trong những thương hiệu có uy tín hàng đầu. Bước sang những năm đầu của thập kỷ mới, cùng với sự bão hòa của số lượng thuê bao toàn thị trường, những thách thức đang dần trở nên thực tế hơn, đòi hỏi MobiFone phải có những sự theo dõi sát sao hơn với tình hình kinh doanh. Trong khi ở giai đoạn bùng nổ của thập niên đầu của thế kỷ 21, việc phát triển thuê bao là khá dễ dàng khi gần như cứ bổ sung thêm các trạm mới là có thể có thêm thuê bao, đến những năm đầu thập kỷ thứ hai, khi số lượng thuê bao trên toàn thị trường trở nên bão hòa, mạng lưới cũng đã phủ sóng gần như khắp quốc gia, mỗi khách hàng tiềm năng đều đã có 1 hay nhiều thuê bao, việc phát triển thuê bao mới trở nên khó khăn hơn bao giờ hết. Các nhà cung cấp dịch vụ viễn thông cũng cạnh tranh với nhau gay gắt, quyết liệt, giành giật nhau từng thuê bao, bao gồm cả các thuê bao đang sử dụng dịch vụ của mạng đối thủ. Chính vì vậy, không chỉ việc phát triển thuê bao mà ngay cả việc giữ thuê bao cũng trở nên cấp bách. Hình 1-1 Thị phần các thuê bao di động tính đến 2013 [2] 1.2. Sơ lược tình hình nghiên cứu trên thế giới Xu hướng khách hàng ngừng sử dụng sản phẩm/dịch vụ của công ty trong một khoảng thời gian nhất định được định nghĩa là khách hàng rời mạng Chandar, Laha, &Krishna [5]. 9 Các công ty thì luôn muốn có thêm càng nhiều khách hàng càng tốt. Mặc dù vậy, qua thời gian, tỷ lệ khách hàng mới / khách hàng rời mạng có xu hướng tiến tới bằng 1. Vì vậy, tác động của rời mạng ngày càng trở nên mạnh mẽ và cần được quan tâm hơn. Việc rời mạng thường gắn liền với vòng đời của ngành, khi ngành đang trong giai đoạn phát triển, việc bán hàng tăng trưởng bùng nổ, số khách hàng mới vượt xa số khách hàng rời mạng, nhưng khi ở giai đoạn bão hòa, các công ty sẽ tập trung vào việc giảm tỉ lệ rời mạng. Thời điểm khách hàng rời mạng sẽ cho biết khách hàng gắn bó với công ty trong bao lâu, giá trị vòng đời của khách hàng (CLV) đối với công ty. CLV được tính bằng tổng doanh thu mà Công ty thu được từ khách hàng trong suốt vòng đời của khách hàng trừ đi tổng chi phí thu hút khách hàng, bán hàng, dịch vụ khách hàng (quy ra tiền). Các nghiên cứu trước đây đã đưa ra khái niệm khách hàng rời mạng từ nhiều quan điểm khác nhau. Theo Olafsson, Li, và Wu[10], có 2 loại rời mạng khác nhau. Loại thứ nhất là rời mạng chủ động (nghĩa là khách hàng chủ động chọn dừng sử dụng dịch vụ). Loại thứ hai là rời mạng bị động (nghĩa là khi những khách hàng không còn là khách hàng tốt nữa và công ty lựa chọn dừng mối quan hệ này). Burez và Van den Poel [9] đã chia rời mạng chủ động thành 2 nhóm: Rời mạng do vấn đề thương mại và rời mạng do vấn đề tài chính. Rời mạng do vấn đề thương mại là trường hợp khách hàng không gia hạn hợp đồng có thời hạn cố định của họ khi hợp đồng hết hạn. Rời mạng do vấn đề tài chính là trường hợp khách hàng ngừng thanh toán trong quá trình thực hiện hợp đồng mà họ đang bị ràng buộc. Ngày nay, khách hàng rời mạng đã trở thành vấn đề quan tâm chính của các công ty trong tất cả các lĩnh vực và các công ty buộc phải hành động để xử lý vấn đề này. Xem xét tỷ lệ rời mạng của các ngành khác nhau, có thể nhận thấy ngành viễn thông là một trong những ngành có tỉ lệ rời mạng cao nhất với tỉ lệ rời mạng trung bình hàng năm từ 20% đến 40%. Khách hàng rời mạng trong lĩnh vực viễn thông được hiểu là khách hàng chuyển từ nhà cung cấp này sang nhà cung cấp khác. Có 2 cách tiếp cận cơ bản đối với việc quản lý rời mạng. Cách tiếp cận thứ nhất là tiếp cận không có mục tiêu dựa vào các sản phẩm nổi trội và truyền thông rộng rãi để tăng lòng trung thành và duy trì khách hàng. Cách tiếp cận thứ hai là tiếp cận có mục tiêu dựa vào việc xác định những khách hàng có khả năng rời mạng, sau đó cung cấp cho họ những giá trị khuyến khích trực tiếp (khuyến mại) hoặc tạo ra các gói dịch vụ phù hợp cho khách hàng để giữ họ ở lại. 10 Cách tiếp cận có mục tiêu gồm 2 loại: bị động và chủ động. Với cách tiếp cận bị động, công ty chờ cho đến khi khách hàng liên hệ với công ty để hủy dịch vụ, công ty sau đó mới đưa ra cho khách hàng những chính sách khuyến khích, ví dụ khuyến mại giảm giá, để giữ khách hàng ở lại. Với cách tiếp cận chủ động, công ty cố gắng xác định những khách hàng có khả năng rời mạng trong một thời gian ngắn tiếp theo. Sau đó, công ty sẽ thực hiện những chương trình hoặc chính sách đặc biệt để giữ cho khách hàng không rời mạng. Cách tiếp cận chủ động có những lợi ích là chi phí khuyến khích thấp (bởi vì phần khuyến khích đó không cần thiết phải cao như tại thời điểm khách hàng đã quyết định sẽ rời mạng rồi) và bởi vì khách hàng không được chuẩn bị sẵn để thương lượng có được mức khuyến khích tốt hơn với lý do rời mạng. Tuy nhiên, cách tiếp cận này sẽ gây lãng phí nếu việc dự đoán rời mạng là không chính xác, bởi vì sau đó công ty sẽ phải lãng phí một lượng lớn chi phí để khuyến khích những khách hàng thực tế vẫn ở lại với mạng mình. Để giải quyết vấn đề này, rất nhiều nỗ lực đã thực hiện để có được cái nhìn chính xác hơn về rời mạng. Nhìn chung, các nghiên cứu trong lĩnh vực này đều tập trung về một trong những mục đích chính sau: tìm ra các nhân tố ảnh hưởng đến khách hàng rời mạng, hoặc xây dựng mô hình cho việc dự đoán khách hàng rời mạng. 1.3. Phát biểu bài toán 1.3.1. Chu trình của thuê bao di động Rời mạng thường được phân thành 2 loại: rời mạng chủ động và rời mạng bị động. Rời mạng chủ động là trường hợp những khách hàng chọn để rời mạng, việc rời mạng là do lựa chọn của khách hàng. Ví dụ, khách hàng chuyển sang mạng đối thủ hoặc chuyển đổi sang hợp đồng thuê bao trả sau. Rời mạng bị động là trường hợp khách hàng bị nhà cung cấp ngừng cung cấp dịch vụ, thường là vì lý do gian lận hoặc nợ cước. Rời mạng vì lý do gian lận dường như rất hiếm xảy ra. Rời mạng do nợ cước thì chỉ xảy ra với thuê bao trả sau. Như đã đề cập ở trên, trong nghiên cứu này, chúng tôi chỉ tập trung vào vấn đề rời mạng của thuê bao trả trước. Vì vậy, rời mạng bị động xảy ra khi khách hàng không nạp lại tiền trong một khoảng thời gian đủ dài theo quy định. Một trong những vấn đề quan trọng nhất của thuê bao trả trước là thiếu một định nghĩa đủ rõ ràng. Khi xem xét rời mạng đối với thuê bao trả sau, ngày thuê bao bị khóa 2 chiều (ngày thuê bao ngừng kết nối với mạng) chính là ngày rời mạng, đây là ngày thuê bao thực sự ngừng sử dụng dịch vụ của nhà cung cấp. Tuy nhiên, trường hợp thuê bao trả trước, ngày khóa 2 chiều cũng không thực sự là ngày rời mạng. Điều này có 11 thể được nhìn một cách rõ ràng hơn thông qua các giai đoạn khác nhau của thuê bao trả trước. Thuê bao trả trước thông thường sẽ có 4 giai đoạn: - Giai đoạn 1: Kích hoạt, trở thành thuê bao mới - Giai đoạn 2: Hoạt động bình thường (thuê bao phát sinh các giao dịch và hoạt động bình thường trên mạng). - Giai đoạn 3: Khóa 1 chiều (thuê bao chỉ có thể nhận các giao dịch chiều đến, không thực hiện được các giao dịch chiều đi). Trường hợp này, thuê bao nạp tiền trở lại thì sẽ quay lại trạng thái hoạt động bình thường (giai đoạn 2). Trường hợp thuê bao không nạp lại tiền, sau một khoảng thời gian nhất định theo quy định, thuê bao sẽ bị chuyển sang giai đoạn 4 (khóa 2 chiều). - Giai đoạn 4: Khóa 2 chiều. P/s giao dịch Không p/s giao dịch TB mới TB TBhoạt hoạtđộng động TB TBkhóa khóa11chiều chiều P/sinh giao dịch Không p/s giao dịch P/sinh giao dịch TB TBkhóa khóa22chiều chiều Không p/s giao dịch Xóa khỏi HT Hình 1-2 Vòng đời thuê bao Tùy từng loại hình thuê bao mà khoảng thời gian chuyển từ giai đoạn này sang giai đoạn tiếp theo sẽ khác nhau. Ví dụ, đối với thuê bao MobiQ, thuê bao chỉ cần phát sinh một giao dịch thì sẽ luôn có 60 ngày sử dụng ở giai đoạn 2. Trong 60 ngày đó, nếu khách hàng không sử dụng dịch vụ gì, không nạp tiền thì thuê bao sẽ chuyển sang giai đoạn 3 (khóa 1 chiều). Thuê bao sẽ có khoảng 10 ngày ở giai đoạn 2 này, nếu không nạp lại tiền và sử dụng lại dịch vụ thì thuê bao sẽ chuyển sang giai đoạn 3 (khóa 2 chiều). Ở giai đoạn 3, thuê bao sẽ có 30 ngày giữ số trước khi bị xóa hoàn toàn khỏi hệ thống. Như vậy, từ giai đoạn 2 đến hết giai đoạn 4, thuê bao có tới 100 ngày. Thực tế, thuê bao đã có thể rời mạng tại bất cứ thời điểm nào trong 100 ngày này. 12 1.3.2. Phát biểu bài toán Vì lý do thời điểm tác động được đến thuê bao quan trọng nên việc xác định thời điểm nào được coi là rời mạng sẽ rất quan trọng trong việc dự đoán rời mạng và thực hiện các tác động để duy trì, ngăn chặn thuê bao rời mạng. Trong phạm vi đề tài này, khái niệm “rời mạng” được xác định là trường hợp khách hàng không phát sinh cước (không phát sinh bất cứ giao dịch nào hoặc không có biến động về tài khoản trong vòng một tháng). Tức là, thuê bao được xác định là rời mạng khi có thể thực tế vẫn đang ở giai đoạn 2. Lý do sử dụng khái niệm rời mạng này như sau: Theo kinh nghiệm thực tế, thuê bao trả trước chuyển sang giai đoạn 3 (khóa 1 chiều) thì hầu như rất khó liên lạc, thậm chí đã vứt bỏ sim-card ra khỏi điện thoại. Do vậy, việc tác động đến thuê bao ở giai đoạn này hầu như không có hiệu quả. Mốc “không phát sinh cước” cho phép dự đoán thuê bao rời mạng khi thuê bao vẫn còn đang ở giai đoạn 2, đảm bảo còn đủ thời gian để thực hiện tác động trước khi thuê bao chuyển sang giai đoạn 3. Mục đích của nghiên cứu: Phát hiện các thuê bao trả trước lâu năm có khả năng rời mạng để có thể tác động và duy trì thuê bao Mục tiêu của nghiên cứu: Dự báo các thuê bao trả trước lâu năm có khả năng rời mạng khi vẫn còn trong giai đoạn 2 của vòng đời thuê bao tức là không phát sinh cước trong khoảng thời gian 1 tháng. 1.4. Kết luận chương 1 Chương này giới thiệu về bài toán, những yêu cầu đặt ra cần giải quyết đối với bài toán đồng thời trình bày một số hướng nghiên cứu về thuê bao rời mạng trong mạng di động, hướng tiếp cận của luận văn. 13 Chương 2 Khai phá dữ liệu và các kỹ thuật phân tích dự báo 2.1. Khai phá dữ liệu 2.1.1. Khái niệm KPDL KPDL là quá trình khảo sát và phân tích một khối lượng lớn các dữ liệu được lưu trữ trong các cơ sở dữ liệu, kho dữ liệu…để từ đó trích xuất ra các thông tin quan trọng, có giá trị tiềm ẩn bên trong. Do nhu cầu nghiệp vụ cần có cách nhìn thông tin trên quy mô toàn đơn vị. Các dữ liệu này được thu từ nhiều nguồn, đa số là từ các phần mềm nghiệp vụ như: phần mềm tài chính, kế toán, các hệ thống quản lý tài nguyên doanh nghiệp, các hệ thống quản lý khách hàng hay từ tác công cụ lưu trữ thông tin trên web… Đây là những khối dữ liệu khổng lồ nhưng những thông tin mà nó thể hiện ra thì lộn xộn và “nghèo” đối với người dùng. Kích thước của khối dữ liệu khổng lồ đó cũng tăng với tốc độ rất nhanh chiếm nhiều dung lượng lưu trữ. KPDL sẽ giúp trích xuất ra các mẫu điển hình có giá trị và biến chúng thành những tri thức hữu ích. Quá trình này gồm một số bước được thể hiện trong hình sau. Hình 2-1 Các bước xây dựng một hệ thống KPDL [1] Ý nghĩa cụ thể của các bước như sau: - Lựa chọn dữ liệu liên quan đến bài toán quan tâm. 14 - Tiền xử lý dữ liệu, làm sạch dữ liệu - Chuyển đổi dữ liệu về dạng phù hợp thuận lợi cho việc khai phá. - KPDL, trích xuất ra các mẫu dữ liệu (mô hình). - Đánh giá mẫu. - Sử dụng tri thức khai phá được. 2.1.2. Những nhóm bài toán của KPDL KPDL có thể được dùng để giải quyết hàng trăm bài toán với những mục đích và nhiệm vụ khác nhau. Dựa trên bản chất tự nhiên của các bài toán đó, người ta có thể nhóm các bài toán đó thành những nhóm sau: Bài toán phân loại Bài toán phân loại là một trong những bài toán phổ biến nhất của KPDL, ví dụ như: phân tích xem loại khách hàng nào có khả năng cao nhất sẽ chuyển sang dùng sản phẩm dịch vụ của đối thủ cạnh tranh của công ty (churn analysis), quản lý rủi ro hay lựa chọn ảnh quảng cáo nào sẽ xuất hiện đối với mỗi loại khách hàng… Phân loại là tổ chức dữ liệu trong các lớp cho trước, còn được gọi là học có quan sát. Phân loại sử dụng các nhãn lớp cho trước để sắp xếp các đối tượng. Trong đó, có một tập huấn luyện gồm các đối tượng đã được kết hợp với các nhãn đã biết. Những thuật toán học có quan sát sẽ được áp dụng cho tập các đối tượng cần phân loại để từ đó mô hình phân loại chúng. Một số thuật toán dùng trong bài toán phân loại như: cây quyết định, mạng nơ ron, mạng Naïve Bayes. Bài toán hân cụm Bài toán phân cụm hay còn gọi là phân đoạn. Điểm khác với bài toán phân loại là ở đây các nhãn lớp chưa biết và không có huấn luyện. Các đối tượng được phân loại dựa trên các thuộc tính tương đồng giữa chúng. Bài toán phân lớp hay còn gọi là học không có giám sát. Bài toán phân tích luật kết hợp Bài toán này đôi khi còn gọi là bài toán phân tích giỏ hàng bởi vì nó được sử dụng rộng rãi trong phân tích các giao dịch dữ liệu, các bài toán lựa chọn hàng hóa đi kèm… Phân tích luật kết hợp khám phá ra các luật kết hợp thể hiện mối liên hệ giữa các thuộc tính dữ liệu thường xuất hiện cùng nhau trong các tập dữ liệu. 15 Bài toán hồi quy Bài toán hồi quy cũng tương tự như bài toán phân loại. Điểm khác biệt là hồi quy dự đoán cho các dữ liệu liên tục. Bài toán dự đoán Dự đoán là một mảng quan trọng của KPDL. Dự đoán có hai loại chính: một loại là dự đoán về một số giá trị dữ liệu chưa biết hay có xu hướng sắp xảy ra, còn loại kia là dự đoán để phân lớp dựa trên một tập huấn luyện và giá trị thuộc tính của đối tượng. Trong phạm vi luận văn, tác giả sẽ sử dụng loại dự đoán thứ hai. Bài toán phân tích chuỗi Phân tích chuỗi được sử dụng để tìm ra các mẫu trong một loạt các giá trị hay trạng thái rời rạc. Ví dụ như việc chọn mua hàng của khách hàng có thể mô hình là một chuỗi dữ liệu. Hành động chọn mặt hàng A, sau đó chọn mặt hàng B, C… là một chuỗi các trạng thái rời rạc. Trong khi đó thời gian lại là chuỗi số liên tục. Phân tích chuỗi và phân tích luật kết hợp giống nhau ở chỗ đều phân tích tập hợp các đối tượng hay trạng thái. Điểm khác nhau là mô hình chuỗi phân tích sự chuyển của các trạng thái, trong khi mô hình luật kết hợp thì coi mỗi một mặt hàng trong giỏ hàng là như nhau và độc lập. Với mô hình chuỗi, việc chọn mặt hàng A trước mặt hàng B hay chọn mặt hàng B trước A sau là khác nhau. Còn ở mô hình kết hợp thì cả hai trường hợp là như nhau. Bài toán phân tích độ lệch Bài toán này còn được gọi là phát hiện điểm biên. Điểm biên là những đối tượng dữ liệu mà không tuân theo các đặc tính, hành vi chung. Bài toán phát hiện điểm biên ứng dụng rất nhiều trong các ứng dụng. Ứng dụng quan trọng nhất của bài toán phát hiện điểm biên là bài toán kiểm tra xác nhận thẻ tín dụng… 2.1.3. Các bước xây dựng một giải pháp về KPDL Có rất nhiều tác giả đưa ra các bước của một hệ thống KPDL, mọi sự phân chia chỉ mang tính chất tương đối và tư tưởng chủ đạo của nó là như sau: - Bước 1: Xác định mục tiêu bài toán. - Bước 2: Thu thập dữ liệu. - Bước 3: Làm sạch dữ liệu và chuyển đổi dữ liệu. - Bước 4: Xây dựng mô hình. - Bước 5: Đánh giá mô hình hay đánh giá mẫu. 16 - Bước 6: Báo cáo. - Bước 7: Dự đoán. - Bước 8: Tích hợp vào ứng dụng - Bước 9: Quản lý mô hình 2.1.4. Ứng dụng KPDL trong viễn thông Là một ngành công nghiệp với khối lượng dữ liệu cần xử lý rất lớn, ngành công nghiệp viễn thông đã nhanh chóng phát triển từ cung cấp dịch vụ điện thoại cố định để cung cấp nhiều dịch vụ thông tin liên lạc toàn diện khác. Chúng bao gồm di động, điện thoại thông minh, truy cập Internet, email, tin nhắn văn bản, hình ảnh, máy tính và truyền dữ liệu web và các dữ liệu giao thông. Sự hội nhập của viễn thông, mạng máy tính, Internet và nhiều phương tiện truyền thông khác đã được tiến hành, thay đổi bộ mặt của viễn thông và điện toán. Điều này đã tạo ra một nhu cầu lớn về khai thác dữ liệu để giúp hiểu số liệu kinh doanh, xác định mô hình viễn thông, xác định các hoạt động gian lận, sử dụng tốt hơn các nguồn lực và cải thiện chất lượng dịch vụ. Bài toán khai thác dữ liệu trong viễn thông có điểm tương đồng với những người trong ngành công nghiệp bán lẻ. Bài toán thường gặp bao gồm xây dựng kho dữ liệu quy mô lớn, thực hiện biểu diễn đa chiều trực quan, OLAP và phân tích chuyên sâu về các xu hướng, mẫu của khách hàng và các mẫu tuần tự. Các bài toán này góp phần cải thiện kinh doanh, giảm chi phí, duy trì khách hàng, phân tích gian lận và tìm hiểu về đối thủ cạnh tranh. Có rất nhiều bài toán khai thác dữ liệu cùng với các công cụ khai thác dữ liệu cho viễn thông đã được biết đến và sẽ đóng vai trò ngày càng quan trọng trong kinh doanh ngày nay [6]. Một số bài toán cụ thể như sau : 2.1.4.1 Phân tích đa chiều số liệu bán hàng, khách hàng, sản phẩm, theo thời gian, khu vực Ngành viễn thông nói riêng và dịch vụ bán lẻ nói chung cần nhìn cái nhìn đa chiều về doanh thu bán hàng, lợi nhuận, sản phẩm ... nên việc phân tích dữ liệu đa chiều rất cần thiết giúp cho những người quản lý nắm bắt được tình hình kinh doanh và thị trường cùng các thông tin hữu ích khác. 2.1.4.2 Phân tích hiệu quả của các chương trình khuyến mại: Hiện các chương trình khuyến mại và sản phẩm của ngành viễn thông liên tục được thay đổi, để đánh giá hiệu quả các chương trình khuyến mại là bài toán rất quan trọng của các mạng viễn thông. 2.1.4.3 Duy trì khách hàng - Phân tích về lòng trung thành của khách hàng 17 Chúng ta có thể sử dụng thông tin khách hàng trung thành để đăng ký trình tự mua hàng của khách hàng cụ thể. lòng trung thành của khách hàng và xu hướng mua hàng có thể được phân tích một cách hệ thống. Hàng hóa mua tại giai đoạn khác nhau của cùng một khách hàng có thể được nhóm lại thành chuỗi. Tuần tự khai thác mô hình sau đó có thể được sử dụng để điều tra những thay đổi trong tiêu dùng của khách hàng hoặc lòng trung thành và đề nghị điều chỉnh về giá cả và sự đa dạng của hàng hóa để giúp giữ chân khách hàng và thu hút những người mới. Ngoài ra KPDL còn giúp phân tích dự báo khách hàng rời mạng từ đó đề nghị điều chỉnh về giá cả và sự đa dạng của hàng hóa để giúp giữ chân khách hàng 2.1.4.4 Xây dựng hệ thống gợi ý Ở ngành viễn thông và bán lẻ nói chung thì việc tư vấn cho khách hàng rất quan trọng nhằm tăng doanh thu. Vấn đề ở đây là phát hiện nhu cầu của khách hàng để có thể tư vấn và gợi ý cho khách hàng đúng nhu cầu, thời gian và địa điểm. Các ứng dụng của việc KPDL ở đây bao gồm việc phân tích hành vi khách hàng, phân lớp, … 2.1.4.5 Phòng chống gian lận và xác định hành vi sử dụng bất thường Trong ngành viễn thông thì việc rất quan trọng là phát hiện gian lận và hành vi sử dụng bất thường nhằm giảm thiểu thất thoát doanh thu. Bài toán phát hiện dấu hiệu bất thường và phòng chống gian lận để phát hiện các hành vi gian lận của khách hàng và các bất thường của hành vi sử dụng. Ứng dụng KPDL là sử dụng các công cụ phân lớp, phân tích hành vi. 2.2. Một số kỹ thuật KPDL trong phân lớp, dự báo 2.2.1. Cây quyết định Cây quyết định là một cấu trúc biểu diễn dưới dạng cây. Trong đó, mỗi nút trong biểu diễn một thuộc tính, mỗi nhánh biểu diễn giá trị có thể có của thuộc tính, mỗi lá biểu diễn các lớp quyết định và đỉnh trên cùng của cây gọi là gốc. Hình 2-2 Biểu diễn cây quyết định cơ bản 18
- Xem thêm -

Tài liệu liên quan