Tài liệu Luận văn cntt nghiên cứu và xây dựng ứng dụng phân tích dữ liệu kinh doanh thiết bị điện tử

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NINH HOÀI ANH NGHIÊN CỨU VÀ XÂY DỰNG ỨNG DỤNG PHÂN TÍCH DỮ LIỆU KINH DOANH THIẾT BỊ ĐIỆN TỬ Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. TS. Nguyễn Hải Châu Hà Nội - 2017 2 MỤC LỤC Lời cam đoan ............................................................................................ 3 Danh mục các ký hiệu và chữ viết tắt ....................................................... 4 Danh mục các hình vẽ và đồ thị ............................................................... 5 Danh mục các bảng .................................................................................. 6 MỞ ĐẦU .................................................................................................. 7 CHƯƠNG 1. ĐẶT VẤN ĐỀ ................................................................... 10 1.1. Bài toán phân tích dữ liệu .............................................................. 10 1.2. Lựa chọn miền ứng dụng .............................................................. 11 1.3. Phương pháp và công cụ ............................................................... 11 1.3.1. Lựa chọn phương pháp .......................................................... 11 1.3.2. Lựa chọn công cụ ................................................................... 12 CHƯƠNG 2. MÔ HÌNH HỒI QUY TUYẾN TÍNH VÀ CÔNG CỤ HỖ TRỢ WEKA ....................................................................................................... 13 2.1. Mô hình hồi quy tuyến tính ........................................................... 13 2.1.1. Lý thuyết về mô hình hồi quy ................................................ 13 2.1.2. Mô hình hồi quy tuyến tính .................................................... 14 2.1.3. Phương pháp bình phương tối thiểu để ước lượng các tham số của mô hình hồi quy tuyến tính .......................................................................... 16 2.1.4. Ứng dụng mô hình hồi quy tuyến tính vào phân tích dữ liệu 19 2.2. Công cụ hỗ trợ xây dựng mô hình hồi quy tuyến tính WEKA ..... 23 2.2.1. Giới thiệu về WEKA ............................................................. 23 2.2.2. Các chức năng chính của WEKA .......................................... 24 2.2.3. Xây dựng mô hình hồi quy tuyến tính với WEKA ................ 25 CHƯƠNG 3. THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ ................. 30 3.1. Phát biểu bài toán thực tế ............................................................... 30 3.2. Tiến hành xây dựng mô hình ........................................................ 31 3.2.1. Thu thập dữ liệu ..................................................................... 31 3.2.2. Tiền xử lý dữ liệu ................................................................... 33 3.2.3. Lựa chọn thuộc tính ............................................................... 36 3.2.4. Xây dựng và đánh giá mô hình .............................................. 37 3.3. Tính toán thử nghiệm độ chính xác dự báo .................................. 40 CHƯƠNG 4. KẾT LUẬN ........................................................................ 42 TÀI LIỆU THAM KHẢO......................................................................... 43 3 LỜI CAM ĐOAN Tôi xin cam đoan luận văn này là do tôi thực hiện, được hoàn thành trên cơ sở tìm kiếm, thu thập, nghiên cứu, tổng hợp phần lý thuyết và các phương pháp kĩ thuật được trình bày trong các tài liệu được công bố trong nước và trên thế giới. Các tài liệu tham khảo đều được nêu ở phần cuối của luận văn. Luận văn này không sao chép nguyên bản từ bất kì một nguồn tài liệu nào khác. Nếu có gì sai sót, tôi xin chịu mọi trách nhiệm. Học viên Ninh Hoài Anh 4 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT TT Ký hiệu Tiếng Anh Giải thích theo tiếng Việt 01 ARFF Attribute - relation file format 02 CDA Confirmatory data analysis Phân tích dữ liệu khẳng định 03 CPU Central Processing Unit Bộ vi xử lý trung tâm 04 DOM Document Object Model Mô hình đối tượng tài liệu 05 EDA Exploratory data analysis Phân tích dữ liệu thăm dò 06 ESS Explained sum of squares Tổng bình phương hồi quy 07 HTML Hypertext markup language Ngôn ngữ đánh dấu siêu văn bản 08 OLS Ordinarry least square Phương pháp bình phương tối thiểu 09 PRF Popolartion regression function Hàm hồi quy tổng thể 10 RSS Residual sum of squares Tổng bình phương sai số 11 SRF Sample regression function Hàm hồi quy mẫu 12 TSS Total sum of squares Định dạng tập tin thuộc tính quan hệ Tổng bình phương toàn phần 5 DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ Hình 1.1. Các bước của quá trình phân tích dữ liệu Hình 2.1. Sai số ei giữa Yi và 𝑌̂ 𝑖 Hình 2.2. Mối quan hệ giữa TSS, ESS và RSS Hình 2.3. Một số hình ảnh về giao diện đồ họa người sử dụng của WEKA Hình 2.4. Các bước xây dựng một mô hình hồi quy tuyến tính với WEKA Hình 2.5. Lựa chọn thuộc tính được dự đoán Hình 3.1. Các thực nghiệm xây dựng mô hình hồi quy tuyến tính để dự báo Hình 3.2. Mô hình DOM của tập tin HTML đơn giản Hình 3.3. Quá trình khai thác thông tin từng sản phẩm Hình 3.4. Quá trình tiền xử lý dữ liệu giai đoạn 1 Hình 3.5. Loại bỏ các bản ghi giống nhau của tập tin dữ liệu Hình 3.6. Xử lý giá trị thiếu trong tập dữ liệu Hình 3.7. Thiết lập bổ sung thông tin dữ liệu đầu ra Hình 3.8. Mô hình hóa sai số của mô hình Hình 3.9. Tập tin dữ liệu kết quả 6 DANH MỤC CÁC BẢNG Bảng 2.1. Số liệu theo dõi dữ liệu bán hàng Bảng 3.1. Danh sách thuộc tính của tập dữ liệu thu thập Bảng 3.2. Danh sách các thuộc tính đã tiền xử lý Bảng 3.3. Kết quả kiểm thử mô hình Bảng 3.4. Kết quả thêm biến độc lập vào mô hình 7 MỞ ĐẦU Ngày nay, gắn liền với sự phát triển của Internet, mạng xã hội và các thiết bị di động là sự gia tăng dữ liệu không ngừng trên toàn cầu. Dữ liệu được sinh ra từng phút, từng giây, có ở khắp mọi nơi và chúng có thể chỉ cho ta thấy nhiều điều. Tuy nhiên, làm thế nào để dữ liệu trở nên có ý nghĩa lại trở thành một vấn đề không nhỏ đối với những cá nhân, tổ chức sở hữu những khối dữ liệu này. Trên thực tế, nhiều doanh nghiệp chưa được trang bị, ứng dụng hệ thống công nghệ thông tin cần thiết giúp khai thác dữ liệu hiệu quả, từ đó đưa ra những quyết định sáng suốt dựa trên những phân tích có chất lượng thay vì dựa trên trực giác hay kinh nghiệm trong quá khứ. Với quy mô dữ liệu đa dạng, phong phú, dữ liệu có thể phản ánh thông tin từ nhiều khía cạnh của đời sống xã hội hiện đại. Ví dụ, các vị trí địa lý đều được dữ liệu hóa, đầu tiên là bằng kinh độ, vĩ độ và gần đây là thông qua các hệ thống định vị toàn cầu GPS (Global positioning system). Những cuốn sách, tài liệu giấy đã được số hóa thành ebook, các file tài liệu số với nhiều định dạnh như pdf, txt, rtf. Kể cả những mối quan hệ bạn bè, sự ưa thích “like” cũng được dữ liệu hóa qua các mạng xã hội như Facebook, Zalo,… Những loại dữ liệu này được sử dụng để phân tích nhờ vào sự giúp đỡ của những bộ máy tính với chi phí thấp, những phép toán thông minh, dựa trên những kiến thức toán học được vay mượn từ kiến thức thống kê. Thay vì dạy cho máy tính có thể lái xe hoặc phiên dịch một ngôn ngữ, chúng ta có thể cung cấp đủ dữ liệu để máy tính có thể tính toán ra xác suất của tất cả mọi thứ mà chúng ta muốn tính toán. Phân tích dữ liệu (Data analysis) là khoa học khám phá dữ liệu thô nhằm rút ra kết luận từ những dữ liệu ấy. Phân tích dữ liệu được sử dụng trong nhiều ngành công nghiệp để hỗ trợ các công ty, tổ chức để đưa ra quyết định kinh doanh tốt hơn hoặc trong các ngành khoa học để xác nhận hay bác bỏ các mô hình, lý thuyết hiện có. Quá trình phân tích dữ liệu bao gồm các bước kiểm định, làm sạch, chuyển đổi, mô hình hóa và phân tích dữ liệu với mục đích tìm thông tin hữu ích, cho thấy kết luận hoặc hỗ trợ ra quyết định dựa trên bộ dữ liệu hiện có. Vấn đề nghiên cứu và ứng dụng phân tích dữ liệu vào các lĩnh vực rất phổ biến và phát triển trên thế giới. Tuy nhiên, tại Việt Nam, vấn đề này còn chưa được ứng dụng rộng rãi, nhất là trong lĩnh vực kinh doanh thương mại. Trên cơ 8 sở các nghiên cứu đã có, luận văn tập trung vào các mục tiêu và các vấn đề cần giải quyết sau: Mục tiêu và phạm vi nghiên cứu: Luận văn tập trung nghiên cứu về mô hình hồi quy tuyến tính, phương pháp sử dụng mô hình hồi quy tuyến tính trong phân tích dữ liệu, tìm hiểu công cụ hỗ trợ phân tích dữ liệu Weka. Mục tiêu chính của luận văn là dựa trên công cụ WEKA xây dựng được mô hình hồi quy tuyến tính dự đoán giá của mặt hàng máy tính xách tay trên thị trường Việt Nam thông qua việc phân tích dữ liệu bán hàng của Công ty cổ phần thương mại Nguyễn Kim. Từ đó, hỗ trợ các doanh nghiệp, nhà phân phối máy tính xách tay đưa giá bán cạnh tranh nhất trên thị trường. Bên cạnh đó, cũng giúp người tiêu dùng ước lượng chi phí để mua một chiếc máy tính xách tay phù hợp với nhu cầu của bản thân. Phương pháp nghiên cứu: Trong phạm vi luận văn này, tôi đã sử dụng 03 phương pháp nghiên cứu khoa học để tiếp cận và làm rõ những vấn đề của đề tài mà mình đã lựa chọn. Đó là các phương pháp nghiên cứu sau: - Phương pháp phân tích và tổng hợp lý thuyết: Nghiên cứu các tài liệu khác nhau về mô hình hồi quy tuyến tính, phân tích dữ liệu và công cụ WEKA; phân tích để tìm hiểu sâu sắc đối với mỗi vấn đề và tổng hợp để có cái nhìn tổng quan, đầy đủ về các vấn đề cần tìm hiểu. - Phương pháp thực nghiệm khoa học: Chủ động tiến hành thu thập, xử lý dữ liệu bán máy tính xách tay; sử dụng công cụ WEKA xây dựng mô hình hồi quy tuyến tính để dự báo giá. - Phương pháp phân tích, tổng kết kinh nghiệm: Nghiên cứu, phân tích và đánh giá các mô hình đã xây dựng để từng bước xây dựng mô hình phù hợp nhất với độ tin cậy, chính xác cao hơn. Bố cục của luận văn: Luận văn được trình bày với bố cục gồm 04 chương với những nội dung chính như sau: 9 Chương 1 - Đặt vấn đề: Phát biểu bài toán, lựa chọn miền ứng dụng và giới thiệu các phương pháp và công cụ để giải quyết bài toán Chương 2 - Mô hình hồi quy tuyến tính và công cụ hỗ trợ WEKA: Trình bày cơ sở lý thuyết của mô hình hồi quy, đi vào cụ thể với mô hình hồi quy tuyến tính. Đồng thời, giới thiệu về công cụ WEKA, xây dựng mô hình hồi quy tuyến tính với sự hỗ trợ của WEKA. Chương 3 - Thực nghiệm và đánh giá kết quả: Sử dụng công cụ WEKA để xây dựng mô hình hồi quy tuyến tính dự báo giá bán máy tính xách tay của Công ty cổ phần thương mại Nguyễn Kim. Tiến hành phân tích, xây dựng mô hình và đánh giá kết quả thu được. Chương 4 - Kết luận: Trình bày kết quả đạt được của luận văn và định hướng phát triển trong tương lai. 10 Chương 1 ĐẶT VẤN ĐỀ 1.1. Bài toán phân tích dữ liệu Dữ liệu được tạo ra từng giây, từng phút trong đời sống xã hội hiện đại. Chúng có thể là dữ liệu web, dữ liệu từ các cảm biến, các tệp lưu nhật ký, dữ liệu cá nhân, dữ liệu từ các thiết bị thông minh,… Từ khối dữ liệu này mà chúng ta có thể tìm kiếm, khai thác và trích xuất ra những thông tin hữu ích. Làm thế nào để có được những thông tin ấy là vấn đề được đặt ra. Phân tích dữ liệu là một trong những chìa khóa giúp chúng ta giải quyết vấn đề nêu trên. Vậy phân tích dữ liệu là gì? Phân tích dữ liệu là một trong những ứng dụng thực tiễn của kỹ thuật khai phá dữ liệu (Data mining). Phân tích dữ liệu là một quá trình trích xuất thông tin hữu ích từ tập dữ liệu được cung cấp. Các bước cơ bản của quá trình phân tích dữ liệu bao gồm: Kiểm định (Inspecting), làm sạch (Cleaning), chuyển đổi (Transforming), mô hình hóa (Modeling) và phân tích (Analysing) dữ liệu nhằm mục đích tìm kiếm thông tin, cho thấy kết luận, hỗ trợ đưa ra quyết định. Kiểm định Làm sạch Chuyển đổi Mô hình hóa Phân tích Hình 1.1. Các bước của quá trình phân tích dữ liệu Trước khi có máy tính, nhiều phương pháp phân tích cho tập dữ liệu nhỏ đã phát triển và tập trung phân tích từng biến riêng lẻ. Ngày nay, khi khả năng tính toán của máy tính đã phát triển vượt bậc, phân tích dữ liệu đã phân tích đồng thời quan hệ của nhiều biến. Phân tích dữ liệu được chia thành phân tích dữ liệu thăm dò EDA và phân tích dữ liệu khẳng định CDA. Phân tích dữ liệu thăm dò dùng dữ liệu để xác định mối quan hệ giữa các biến độc lập với biến phụ thuộc hay xác định các biến được đưa vào mô hình. Phân tích dữ liệu khẳng định sử dụng dữ liệu để khẳng định giả thiết là đúng hoặc sai. Hai phương pháp này không tách rời nhau mà luôn đi cùng nhau để tìm ra những thông tin hữu ích từ tập dữ liệu đã có. Trước hết, chúng ta sử dụng phương pháp EDA để xây dựng mô hình phù hợp từ tập 11 dữ liệu đã có. Sau đó, sử dụng phương pháp CDA để khẳng định những thông tin chúng ta nhận định là đúng hoặc sai. 1.2. Lựa chọn miền ứng dụng Hiện nay, xung quanh chúng ta là một biển dữ liệu khổng lồ và không ngừng mở rộng. Khối dữ liệu này liên quan đến tất cả các khía cạnh của đời sống xã hội. Đáp ứng nhu cầu hiểu biết vô tận của con người, giới học thuật đã nghiên cứu về phân tích dữ liệu nhằm chắt lọc những thông tin cần thiết, bổ ích đối với mỗi cá nhân, mỗi tập thể, mỗi lĩnh vực, mỗi quốc gia,… Giới kinh doanh cũng không thể bỏ qua công cụ hữu ích này để tăng cường lợi nhuận của doanh nghiệp từng ngày, thậm trí từng giờ. Từ đó, nhiều giải pháp công nghệ đã được nghiên cứu với mục đích hỗ trợ các công ty, doanh nghiệp đưa ra các quyết định kinh doanh hợp lý, sáng suốt. Thực tế, các công ty, tập đoàn lớn đã chuyển dần từ chế tạo sản phẩm sang cung cấp dịch vụ phân tích kinh doanh. Trước đây, tập đoàn IBM chế tạo, sản xuất các sản phẩm công nghệ như máy chủ, máy tính xách tay, máy tính để bản, thiết bị cho hạ tầng công nghệ thông tin. Nhưng, ngày nay, tập đoàn IBM đang quan tâm nhiều hơn và cung cấp thêm dịch vụ phân tích kinh doanh. Trong khuôn khổ luận văn này, tác giả tập trung nghiên cứu, ứng dụng phân tích dữ liệu vào lĩnh vực kinh doanh. Dữ liệu bán hàng của các công ty điện máy là khối dữ liệu đồ sộ với đa dạng các loại mặt hàng của nhiều nhà cung cấp được bày bán với mức giá có thể thay đổi theo thời gian và từng chương trình khuyến mãi khác nhau. Khối dữ liệu này được thể hiện đầy đủ và đáng tin cậy trên website của các công ty điện máy và có thể được thu thập một cách chính xác thông qua các công cụ sẵn có. Tác giả lấy dữ liệu bán hàng của Công ty Cổ phần thương mại Nguyễn Kim là điển hình. Phân tích dữ liệu bán hàng của Công ty cổ phần thương mại Nguyễn Kim để hỗ trợ các công ty điện máy dự đoán và đưa ra giá bán cạnh tranh nhất cho mặt hàng máy tính xách tay trên thị trường Việt Nam. 1.3. Phương pháp và công cụ 1.3.1. Lựa chọn phương pháp Phân tích dữ liệu khẳng định là lựa chọn không thể bỏ qua để hỗ trợ đưa ra quyết định kinh doanh sáng suốt. Một mô hình dữ liệu được xây dựng dựa trên tập dữ liệu lịch sử. Những thuật toán học máy được sử dụng để xây dựng 12 mô hình dữ liệu ẩn giấu trong tập dữ liệu này. Sau khi mô hình dữ liệu được xác nhận, nó được coi là tổng quát hóa kiến thức và có thể dự đoán tương lai. Bằng cách này, các doanh nghiệp có thể dự đoán các nguy cơ tiềm ẩn trong tương lai để hoạch định chiến lược kinh doanh phù hợp. Thống kê cung cấp các phương pháp, kỹ thuật xây dựng mô hình toán học để phân tích dữ liệu. Hai phương pháp thống kê chính được sử dụng trong phân tích dữ liệu là: Thống kê mô tả (Descriptive statistics) và thống kê suy diễn (Inferential statistics). Dữ liệu thống kê thường được thu thập để trả lời các câu hỏi được định trước. Thống kê mô tả tóm tắt dữ liệu từ một mẫu thí nghiệm còn thống kê suy diễn rút ra kết luận từ dữ liệu. Ngày nay, với sự phát triển không ngừng về khả năng tính toán của máy tính, thống kê được sử dụng nhiều trong học máy (Machine learning) nhằm xây dựng các mô hình toán cho các thuật toán học máy. Thống kê suy diễn được sử dụng nhiều trong phân tích dữ liệu khẳng định. Trong khuôn khổ luận văn này, tác giả tập trung nghiên cứu mô hình hồi quy tuyến tính trong thống kê với mục đích xây dựng mô hình học máy cho bài toán phân tích dữ liệu để dự đoán tương lai. 1.3.2. Lựa chọn công cụ Hiện tại, các công cụ hỗ trợ phân tích dữ liệu đã xuất hiện nhiều như R, SPSS, WEKA,… Tuy nhiên, tác giả lựa chọn và nghiên cứu phần mềm WEKA. Đây là phần mềm được phát triển bằng Java nhằm phát triển các kỹ thuật học máy và áp dụng chúng vào các bài toán khai phá dữ liệu trong thực tế. 13 Chương 2 MÔ HÌNH HỒI QUY TUYẾN TÍNH VÀ CÔNG CỤ HỖ TRỢ WEKA 2.1. Mô hình hồi quy tuyến tính 2.1.1. Lý thuyết về mô hình hồi quy Phân tích hồi quy nghiên cứu sự phụ thuộc của biến phụ thuộc vào một hay nhiều biến độc lập để ước lượng hay dự đoán giá trị trung bình của biến phụ thuộc trên cơ sở các giá trị biết trước của biến độc lập. Phân tích hồi quy được mô hình hóa thông qua dưới dạng: Y = f(X) + ε (2.1) Trong đó: - X là biến độc lập - Y là biến phụ thuộc - ε là sai số ngẫu nhiên - f(X) = E(Y|X) là hàm hồi quy tổng thể PRF cho biết giá trị trung bình của biến Y sẽ thay đổi như thế nào khi biến X nhận các giá trị khác nhau Mô hình (2.1) được gọi là mô hình hồi quy. Để khảo sát mô hình hồi quy người ta tiến hành quan sát các bộ số (Xi, Yi). Ở lần quan sát thứ i, biến X nhận giá trị Xi, biến Y nhận giá trị Yi và sai số ngẫu nhiên là εi. Khi đó, mô hình (2.1) trở thành: Yi = f(Xi) + εi = E(Y|Xi) + εi (2.2) εi là độ chênh lệch giữa giá trị quan sát Yi của biến phụ thuộc Y với giá trị trung bình của Y khi biến độc lập X nhận giá trị Xi. ε tồn tại bởi nhiều yếu tố tác động. Một yếu tố quan trọng là do ngoài các biến độc lập X đã được đưa vào mô hình có thể còn có các biến khác chưa được xem xét tới cũng ảnh hưởng đến giá trị của biến phụ thuộc Y nên ε đại diện cho phần ảnh hưởng ấy. Từ (2.2) ta có: => εi = Yi - f(Xi) εi  0  Yi - f(Xi)  0 Nếu εi có giá trị càng nhỏ thì biến phụ thuộc Y càng quan hệ mật thiết hay càng phụ thuộc vào biến độc lập X. Vì vậy, ε đóng vai trò quan trọng trong việc 14 đánh giá chất lượng của mô hình hồi quy. Việc xây dựng mô hình hồi quy tốt thực chất là xác định hàm hồi quy tổng thể f(X) sao cho sai số ngẫu nhiên ε của mô hình nhận giá trị nhỏ nhất. Khi đó, ta có thể ước lượng hay dự đoán giá trị của biến phụ thuộc Y trên cơ sở các giá trị biết trước của biến độc lập X với một độ tin cậy nhất định. Trong nhiều trường hợp, ta không có điều kiện để xét toàn bộ tổng thể của một vấn đề. Khi đó, ta có thể ước lượng giá trị trung bình của biến phụ thuộc từ tập số liệu mẫu. Thống kê học cung cấp phương pháp điều tra chọn mẫu cho phép lấy tập số liệu tổng thể một số mẫu số liệu để nghiên cứu, phân tích và đưa ra kết quả cho tổng thể với độ tin cậy cho trước. Việc xây dựng hàm hồi quy tổng thể được thực hiện thông qua việc xác định hàm hồi quy mẫu SRF, dùng nó để ước lượng và kiểm định các giả thiết từ đó xây dựng hàm hồi quy tổng thể. Hàm hồi quy mẫu được xây dựng dựa trên tập số liệu mẫu. Mô hình hồi quy được chia làm 02 loại: - Mô hình hồi quy đơn với hàm hồi quy tổng thể chỉ có 1 biến độc lập - Mô hình hồi quy bội với hàm hồi quy tổng thể có từ 2 biến độc lập trở lên 2.1.2. Mô hình hồi quy tuyến tính Mô hình hồi quy tuyến tính là mô hình hồi quy mà trong đó hàm hồi quy tổng thể có dạng tuyến tính f(Xi) = E(Y|Xi) = β0 + β1X1i + β2X2i + … + βnXni (2.3) Trong đó: - Xi là giá trị của các biến độc lập X ở quan sát thứ i - E(Y|Xi) là giá trị trung bình của biến phụ thuộc Y khi biến độc lập X nhận các giá trị Xi ở quan sát thứ i - β0, β1, β2, …, βn là các tham số hồi quy. Tham số hồi quy β0 còn được gọi là hệ số tự do, nó cho biết giá trị trung bình của biến phụ thuộc Y là bao nhiêu khi biến độc lập X nhận giá trị “0”. Tham số hồi quy βj còn được gọi là các hệ số góc, nó cho biết giá trị trung bình của biến phụ thuộc Y sẽ thay đổi như thế nào khi giá trị của biến độc lập thứ j Xji tăng một đơn vị với điều kiện các biến độc lập khác không thay đổi giá trị. Thật vậy: Giả sử Xji1 = Xji + 1 15 => E(Y|Xi)1 = β0 + β1X1i + β2X2i + … + βjXji1 + … + βnXni = β0 + β1X1i + β2X2i + … + βj(Xji + 1) + … + βnXni = β0 + β1X1i + β2X2i + … + βjXji + … + βnXni + βj = E(Y|Xi) + βj => βj = E(Y|Xi)1 - E(Y|Xi) Nếu βj > 0 thì E(Y|Xi)1 > E(Y|Xi) tức là giá trị trung bình của Y tăng. Ngược lại, nếu βj < 0 thì E(Y|Xi)1 < E(Y|Xi) tức là giá trị trung bình của Y giảm. Thuật ngữ “tuyến tính” có thể được hiểu theo hai nghĩa: tuyến tính với tham số và tuyến tính đối với biến số. Tuy nhiên, hàm hồi quy tuyến tính luôn được hiểu là với tham số, nó có thể không tuyến tính với biến số. Như đã trình bày ở phần trước: - Nếu f(Xi) = E(Y|Xi) = β0 + β1Xi thì mô hình được gọi là mô hình hồi quy tuyến tính đơn. - Nếu f(Xi) = E(Y|Xi) = β0 + β1X1i + β2X2i + … + βnXni với n >= 2 thì mô hình được gọi là mô hình hồi quy tuyến tính bội. Đối với mô hình hồi quy tuyến tính, hàm hồi quy mẫu có dạng: 𝑌̂𝑖 = 𝛽̂0 + 𝛽̂1 X1i + 𝛽̂2 X2i + … + 𝛽̂𝑛 Xni Trong đó: - 𝛽̂𝑖 là ước lượng điểm của βi - 𝑌̂𝑖 là ước lượng điểm của Yi Khi đó, sai số ei = Yi - 𝑌̂𝑖. Minh họa bằng hình 2.1. Hình 2.1. Sai số ei giữa Yi và 𝑌̂𝑖 (2.3) 16 Như vậy, việc xây dựng mô hình hồi quy tuyến tính trở thành việc xác định các 𝛽̂𝑖 sao cho sai số ei nhỏ nhất tức là 𝑌̂𝑖 càng gần với giá trị Yi càng tốt. 2.1.3. Phương pháp bình phương tối thiểu để ước lượng các tham số của mô hình hồi quy tuyến tính Phương pháp bình phương tối thiểu OLS được đưa ra bởi nhà toán học Carl Friedrich Gauss là phương pháp được sử dụng phổ biến nhất trong thống kê để xác định các 𝛽̂𝑖 sao cho tổng bình phương các sai số ei giữa giá trị quan sát Yi với giá trị 𝑌̂𝑖 tính theo hàm hồi quy mẫu là nhỏ nhất. Nội dung phương pháp cụ thể như sau: Xét trường hợp, hàm hồi quy tổng thể có dạng: f(Xi) = E(Y|Xi) = β0 + β1Xi và có một mẫu gồm n cặp quan sát (Xi, Yi) với i = 1, 2, …, n. Ở lần quan sát thứ i, ta có: - Hàm hồi quy mẫu: 𝑌̂𝑖 = 𝛽̂0 + 𝛽̂1 Xi - Sai số: 𝑒𝑖 = Yi - 𝑌̂𝑖 = Yi - 𝛽̂0 - 𝛽̂1 Xi - Tổng bình phương các sai số ei: 2 ∑𝑛𝑖=1 𝑒𝑖2 = ∑𝑛𝑖=1(Yi − 𝛽̂0 − 𝛽̂1 Xi) Việc cần làm là xác định 𝛽̂0 và 𝛽̂1 sao cho tổng bình phương các ei là nhỏ nhất. Tức là: 2 f(𝛽̂0 , 𝛽̂1 ) = ∑𝑛𝑖=1(Yi − 𝛽̂0 − 𝛽̂1 Xi) => min Vì f(𝛽̂0 , 𝛽̂1 ) là đa thức bậc 2 của 2 biến 𝛽̂0 , 𝛽̂1 nên điều kiện để nó đạt cực tiểu là: { ̂0 ,𝛽 ̂1 ) 𝜕f(𝛽 ̂0 𝜕𝛽 ̂0 ,𝛽 ̂1 ) 𝜕f(𝛽 ̂1 𝜕𝛽 = 2 ∑𝑛𝑖=1(Yi − 𝛽̂0 − 𝛽̂1 Xi)(−1) = 0 = 2 ∑𝑛𝑖=1(Yi − 𝛽̂0 − 𝛽̂1 Xi)(−Xi) = 0 Giải hệ phương trình (2.4) ta được: - 𝛽̂0 = 𝑌̅ - 𝛽̂1 𝑋̅ 𝑛 𝑛 ∑ (Xi − 𝑋̅)(Yi − 𝑌̅) ∑ YiXi – n 𝑋̅ 𝑌̅ - 𝛽̂1 = 𝑖=1∑𝑛 (Xi ̅ )2 = ∑𝑖=1 𝑛 2 (𝑋̅)2 𝑖=1 −𝑋 𝑖=1 Xi –𝑛 (2.4) 17 Trong đó: - 𝑋̅ là giá trị trung bình của X, 𝑋̅ = ∑ Xi - 𝑌̅ là giá trị trung bình của Y, 𝑌̅ = ∑ Yi 𝑛 𝑛 Các giả thuyết cơ bản của phương pháp bình phương tối thiểu: - Giả thuyết 1: Quan hệ giữa X và Y là tuyến tính, các giá trị Xi cho trước và không ngẫu nhiên - Giả thuyết 2: Các sai số 𝑒𝑖 là đại lượng ngẫu nhiên có giá trị trung bình bằng 0 tức là E(𝒆𝒊 |Xi) = 0 - Giả thuyết 3: Các sai số 𝑒𝑖 là đại lượng ngẫu nhiên có phương sai không đổi tức là Var(𝒆𝒊 |Xi) = 𝜹𝟐 = const - Giả thuyết 4: Không có sự tương quan giữa các 𝑒𝑖 tức là Cov(𝒆𝒊 |𝒆𝒋 ) = 0 với 𝒊 ≠ 𝒋 - Giả thuyết 5: Không có sự tương quan giữa 𝑒𝑖 và Xi tức là Var(𝒆𝒊 |Xi) = 𝟎 Định lý Gauss – Markov: Khi các giải thuyết 1 đến 5 được đảm bảo thì các ước lượng của phương pháp OLS là các ước lượng tuyến tính, không chệch và có phương sai nhỏ nhất trong lớp các ước lượng tuyến tính không chệch. Đối với hàm hồi quy 2 biến thì 𝛽̂0 , 𝛽̂1 tương ứng là các ước lượng tuyến tính, không chệch và có phương sai nhỏ nhất của β0, β1 Hệ số xác định r2 (coefficient of determination) đo độ phù hợp của hàm hồi quy mẫu: - Tổng bình phương toàn phần TSS: là tổng bình phương của tất cả các sai lệch giữa giá trị quan sát Yi với giá trị trung bình của chúng TSS = ∑𝑛𝑖=1(𝑌𝑖 − 𝑌̅)2 = ∑𝑛𝑖=1 𝑌𝑖 2 − 𝑛(𝑌̅)2 (2.5) - Tổng bình phương hồi quy ESS: là tổng bình phương tất cả các sai lệch giữa giá trị của Y tính theo hàm hồi quy mẫu và giá trị trung bình 2 2 ESS = ∑𝑛𝑖=1(𝑌̂𝑖 − 𝑌̅) = (𝛽̂1 ) ∑𝑛𝑖=1 𝑋𝑖 2 − 𝑛(𝑋̅)2 (2.6) 18 - Tổng bình phương sai số RSS: là tổng bình phương tất cả các sai lệch giá trị quan sát Yi với giá trị của Y tính theo hàm hồi quy mẫu 2 RSS = ∑𝑛𝑖=1 𝑒 2 = ∑𝑛𝑖=1(𝑌𝑖 − 𝑌̂𝑖) (2.7) Và TSS = ESS + RSS, minh họa bằng hình 2.2. Hình 2.2. Mối quan hệ giữa TSS, ESS và RSS - Hệ số xác định r2 được xác định bởi công thức: 𝑟2 = 1 - 𝑅𝑆𝑆 𝑇𝑆𝑆 = 𝐸𝑆𝑆 𝑇𝑆𝑆 2 ̅ 2 2 ∑𝑛 𝑖=1 𝑋𝑖 − 𝑛(𝑋 ) 2 ̅ 2 ∑𝑛 𝑖=1 𝑌𝑖 − 𝑛(𝑌 ) = (𝛽̂1 ) (2.8) => 0 ≤ 𝑟 2 ≤ 1 - Nếu 𝑟 2 → 1 : Hàm hồi quy mẫu là phù hợp, tất cả các sai lệch của Yi so với giá trị trung bình 𝑌̅ đều được giải thích bằng mô hình hồi quy - Nếu 𝑟 2 → 0 : Hàm hồi quy mẫu là không phù hợp, biến phụ thuộc Y không phụ thuộc vào các biến độc lập X Hệ số tương quan r (coefficient of correlation) đo độ tương quan giữa biến phụ thuộc Y và biến độc lập X: được xác định bởi công thức: 𝑟= ̅ ̅ ∑𝑛 𝑖=1(𝑋𝑖− 𝑋)(𝑌𝑖− 𝑌 ) ̅ 2 𝑛 ̅ 2 √∑𝑛 𝑖=1(𝑋𝑖− 𝑋) ∑𝑖=1(𝑌𝑖− 𝑌 ) - Có thể chứng minh được: 𝑟 = ± √𝑟 2 => Dấu của r trùng với dấu của 𝛽̂1 - Các tính chất của r: + Giá trị của r nằm trong khoảng {-1;1} (2.9) 19 + Nếu r > 0: X và Y có mối tương quan thuận + Nếu r < 0: X và Y có mối tương quan nghịch + 𝛽̂1 = 0 thì r = 0 và ngược lại, có thể căn cứ vào dấu của 𝛽̂1 để xác định tính thuận nghịch của mối tương quan + |𝑟| → 1 thì mối tương quan giữa X và Y càng chặt chẽ, nếu |𝑟| = 1 thì X và Y có quan hệ hàm số + |𝑟| → 0 thì mối tương quan giữa X và Y càng lỏng lẻo, nếu |𝑟| = 0 thì X và Y độc lập với nhau 2.1.4. Ứng dụng mô hình hồi quy tuyến tính vào phân tích dữ liệu Trên thực tế, khi phân tích dữ liệu, chúng ta phải xác định mối quan hệ giữa một biến phụ thuộc vào nhiều biến độc. Ví dụ như, các yếu tố ảnh hưởng đến tốc độc của chiếc xe gắn máy đang chạy trên đường không chỉ phụ thuộc vào phân khối của động cơ mà còn phụ thuộc vào độ ma sát của mặt đường, sức cản của gió, trọng lượng hàng hóa trên xe,… Vì vậy, chúng ta cần xem xét các mô hình hồi quy tuyến tính nhiều hơn 1 biến độc lập. Khi đó, hàm hồi quy tổng thể với k biến độc lập có dạng: f(Xi) = E(Y|Xi) = β0 + β1X1i + β2X2i + … + βkXki Với n quan sát ta có: 𝑌1 = 𝛽0 + 𝛽1 𝑋11 + 𝛽2 𝑋21 + … + 𝛽𝑘 𝑋𝑘1 + 𝑒1 𝑌2 = 𝛽0 + 𝛽1 𝑋12 + 𝛽2 𝑋22 + … + 𝛽𝑘 𝑋𝑘2 + 𝑒2 …………… 𝑌𝑛 = 𝛽0 + 𝛽1 𝑋1𝑛 + 𝛽2 𝑋2𝑛 + … + 𝛽𝑘 𝑋𝑘𝑛 + 𝑒𝑛 Ký hiệu: 1 𝑋11 𝑋21 … 𝑋𝑘1 𝛽0 𝑌1 𝑒1 𝑒 𝑌 𝛽 1 𝑋12 𝑋22 … 𝑋𝑘2 𝑌 = [ 2 ]; 𝛽 = [ 1 ]; 𝑒 = [ 2 ] và 𝑋 = [ ] … … … ……………… 𝑒𝑛 𝑌𝑛 𝛽𝑘 1 𝑋1𝑛 𝑋2𝑛 … 𝑋𝑘𝑛 Ta có: 𝑌 = 𝑋𝛽 + 𝑒 Hàm hồi quy mẫu có dạng: 𝑌̂𝑖 = 𝛽̂0 + 𝛽̂1 𝑋1𝑖 + 𝛽̂2 𝑋2𝑖 + … + 𝛽̂𝑘 𝑋𝑘𝑖 20 𝑒1 Khi đó: 𝑒 = [𝑒…2 ] = 𝑌 − 𝑋𝛽̂ 𝑒𝑛 Các ước lượng OLS tìm được bằng cách tìm các 𝛽̂𝑖 sao cho: 𝑛 𝑛 ∑ 𝑒𝑖2 2 = ∑(𝑌𝑖 − 𝛽̂0 − 𝛽̂1 𝑋1𝑖 − 𝛽̂2 𝑋2𝑖 − … − 𝛽̂𝑘 𝑋𝑘𝑖 ) => 𝑀𝑖𝑛 𝑖=1 𝑖=1 Gọi XT, YT, 𝛽̂ 𝑇 , eT lần lượt là ma trận chuyển vị của X, Y, 𝛽̂ và e: 1 𝑋11 𝑇 𝑋 = 𝑋21 … [𝑋𝑘1 1 𝑋12 𝑋22 … 𝑋𝑘2 … … … … … 1 𝑋1𝑛 𝑋2𝑛 ; 𝑌 𝑇 = [𝑌1 … 𝑋𝑘𝑛 ] 𝛽̂ 𝑇 = [𝛽̂1 𝛽̂2 … 𝛽̂𝑛 ]; 𝑒 𝑇 = [𝑒1 … 𝑌2 𝑒2 … 𝑌𝑛 ] 𝑒𝑛 ] Khi đó: 𝑛 𝑇 ∑ 𝑒𝑖2 = 𝑒 𝑇 𝑒 = (𝑌 − 𝑋𝛽̂ ) (𝑌 − 𝑋𝛽̂ ) 𝑖=1 = (𝑌 𝑇 − 𝛽̂ 𝑇 𝑋 𝑇 )(𝑌 − 𝑋𝛽̂ ) = 𝑌 𝑇 𝑌 − 𝑌 𝑇 𝑋𝛽̂ − 𝛽̂ 𝑇 𝑋 𝑇 𝑌 + 𝛽̂ 𝑇 𝑋 𝑇 𝑋𝛽̂ = 𝑌 𝑇 𝑌 − 2𝛽̂ 𝑇 𝑋 𝑇 𝑌 + 𝛽̂ 𝑇 𝑋 𝑇 𝑋𝛽̂ Hệ phương trình có dạng: 𝜕 (𝑒 𝑇 𝑒) = 0 => −2𝑋 𝑇 𝑌 + 2𝑋 𝑇 𝑋𝛽̂ = 0 ̂ 𝜕𝛽 => 𝑋 𝑇 𝑌 = 𝑋 𝑇 𝑋𝛽̂ ̂ = (𝑿𝑻 𝑿)−𝟏 𝑿𝑻 𝒀 => 𝜷 Trong đó ma trận 𝑋 𝑇 𝑋 có dạng như sau: (2.10)