Tài liệu Xây dựng công cụ dự đoán chứng khoán ứng dụng datamining

1 LỜI MỞ ĐẦU LÝ DO CHỌN ĐỀ TÀI Xu thế hội nhập kinh tế quốc tế và khu vực với sự ra đời của tổ chức thƣơng mại thế giới (WTO), liên minh Châu Âu, các khối thị trƣờng chung; đòi hỏi các quốc gia phải thúc đẩy phát triển kinh tế với tốc độ và hiệu quả cao. Thực tế phát triển kinh tế ở các quốc gia trên thế giới đã khẳng định vai trò quan trọng của thị trƣờng chứng khoán (TTCK) phát triển kinh tế và Việt Nam một nƣớc đang trên đà nƣớc đang phát triển cũng và đang hoạt động thị trƣờng chứng với vai trò quan trọng trong việc phát triển kinh tế. Ở Việt Nam, kể từ khi hoạt động chính thức vào năm 28/7/2000, TTCK đã mang lại cơ hội cũng nhƣ rủi ro lớn cho nhà đầu tƣ. Trong những ngày đầu các nhà đầu tƣ hầu hết không hiểu cách thức chứng khoán hoạt động và hƣớng phát triển, hầu hết đều đầu tƣ theo tâm lí đám đông, hoặc bị ảnh hƣởng bởi những tin đồn, dẫn đến vô số trƣờng hợp đáng tiếc, nhiều cá nhân công ty lâm vào cảnh trắng tay vì thiếu kiến thức đầu tƣ. Những năm sau này chứng khoán phát triển,nhà đầu tƣ cũng am hiểu hơn và dần chuyên nghiệp hơn trong quá trình đầu tƣ, kéo theo đó sự phát triển của bộ môn dự đoán chứng khoán ra đời giúp cho nhà đầu tƣ có quyết định sáng suốt hơn trong đầu tƣ, tiêu biểu là ngành phân tích kĩ thuật là một nhánh trong bộ môn dự đoán chứng khoán. Trong xã hội thông tin nói chung và chứng khoán nói riêng ai nắm đƣợc nhiều thông tin đều có lợi, vì vậy ngoài những cách thức phân tích truyền thống nhƣ định giá công ty,... thì hình thức nữa là dựa vào dữ kiện lịch sử để dự đoán bƣớc giá tiếp theo của cổ phiếu[11], hình thức này tốn ít chi phí và nhanh chóng giúp nhà đầu tƣ có quyết định nhanh nhất. Điển hình là những phần mềm nhƣ Metastock, Amibroker, VietStock…, các phần mềm này phân tích dữ liệu bằng các thuật toán của bộ môn phân tích kĩ thuật và đƣợc thiết kế một cách chuyên nghiệp bởi các công ty lớn và có thu phí. Tuy nhiên, các phần mềm nhƣ MetaStock lại khó làm quen và sử dụng đòi hỏi kiến thức lớn về phân tích kĩ thuật, hơn nữa các chƣơng trình này đòi hỏi phí sử dụng rất cao. Vì vậy nhóm thực hiện nhận thấy việc thiết kế và xây dựng phần mềm với tiêu chí đơn giản dễ sử dụng những tính năng hiệu quả là cần thiết 2 MỤC TIÊU NGHIÊN CỨU Xây dựng công cụ hỗ trợ dự đoán và phân tích chứng khoán áp dụng cho TTCK tại Việt Nam. Đáp ứng các nhu cầu cho các nhà đầu tƣ những cơ sở phân tích dữ liệu chứng khoán: Dò tìm và khai phá các quy luật tiềm ẩn về sự biến động giá chứng khoán. Đƣa ra các biểu đồ dự báo giá cổ phiếu cho các nhà đầu tƣ nhà đầu tƣ. Tìm ra những tƣơng tác giữa các thành phần trong dữ liệu chứng khoán lịch sử để đƣa ra quyết định. PHƢƠNG PHÁP NGHIÊN CỨU Bƣớc 1: Khảo sát thực tế hiện trạng TTCK tại Việt Nam tìm ra các nhu cầu mà các nhà đầu tƣ chứng khoán cần. Bƣớc 2: Khảo sát, tìm hiểu và thu thập đầy đủ thông tin về các vấn đề cần giải quyết bao gồm các phƣơng pháp và các phần mềm liên quan. Bƣớc 3: Tận dụng các dữ liệu đã có sẵn từ nguồn cơ sở dữ liệu (CSDL) chứng khoán để xây dựng CSDL sử dụng cho chƣơng trình. Bƣớc 4: Lựa chọn và kế thừa các phƣơng pháp phù hợp với nội dung cần giải quyết. Bƣớc 5: Lập trình xử lý tạo ra ứng dụng. Công cụ sử dụng :  Ngôn ngữ lập trình: C#  Thiết kế, phát triển phần mềm: Ms Visual Studio 2005  Thiết kế CSDL, chạy thuật toán khai phá dữ liệu (KPDL): Ms SQL Server 2005 PHẠM VI NGHIÊN CỨU Nội dung nghiên cứu của đề tài tập trung giải quyết các vấn đề chính sau:  Tổng quan về các phƣơng pháp phân tích, dự báo chứng khoán hiện nay  Cơ sở lý thuyết tổng quan về KPDL – Data Mining.  Xây dựng phần mềm hỗ trợ phân tích, dự báo chứng khoán với ứng dụng KPDL, sử dụng ba phƣơng pháp chính:  Khai phá luật kết hợp (Association Rule Discovery) 3  Chuỗi thời gian (Time serial)  Cây quyết định (Decision Tree) Nhóm thực hiện đề tài giới hạn chƣơng trình gồm 2 phần:  Phần xử lý dữ liệu bằng thuật toán trên server  Lọc kết quả trên client cho ngƣời dùng. TÍNH MỚI CỦA ĐỀ TÀI Xây dựng một công cụ hỗ trợ dự đoán chứng khoán bằng cách áp dụng các phƣơng pháp KPDL (Data Mining) để tìm ra qui luật biến động giá, dự báo giá cổ phiếu tƣơng lai. KẾT CẤU CỦA ĐỀ TÀI Luận văn này đƣợc trình bày thành ba phần chính: phần mở đầu, phần nội dung và phần kết luận LỜI MỞ ĐẦU Giới thiệu sơ lƣợc về lý do chọn đề tài, lịch sử nghiên cứu, mục tiêu nghiên cứu, đối tƣợng và phạm vi nghiên cứu, phƣơng pháp nghiên cứu, những đóng góp và những vấn đề tồn tại của đề tài để từ đó đem lại cho mọi ngƣời một cái nhìn tổng quan nhất về đề tài. CHƢƠNG 1: THỰC TRẠNG Nêu những thực trạng các phần mềm hiện có trên thị trƣờng, ứng dụng vào các vấn đề còn tồn tại. từ đó đƣa ra các giải pháp cần thực hiện. CHƢƠNG 2: CƠ SỞ LÝ LUẬN Trình bày về các khái niệm chứng khoán, cách thức qui trình tham gia giao dịch chứng khoán, các phƣơng pháp phân tích TTCK đáp ứng nhu cầu cho nhà đầu tƣ đánh giá và quyết định tham gia giao dịch. Trình bày các khái niệm KPDL, các ứng dụng, qui trình xử lý khai thác dữ liệu, các lợi thế và thách thức đối với KPDL. Từ các phƣơng pháp khai thác dữ liệu khác nhau và chọn các phƣơng pháp phù hợp với dự liệu chứng khoán mà chúng ta cần tìm ra qui luật gì. Từ đó phân tích bài toán chứng khoán dựa vào phƣơng pháp KPDL để xây dựng công cụ hỗ trợ dự đoán chứng khoán. CHƢƠNG 3: GIẢI PHÁP HOÀN THIỆN 4 Trình bày các cách thức thu thập dữ liệu chứng khoán, thành phần và ý nghĩa của dữ liệu, xử lý dữ liệu thu thập đƣợc và lƣu trữ CSDL. Trình bày thành phần dữ liệu, các sơ đồ chức năng chƣơng trình, các mô hình thành phần dữ liệu chính. Giới thiệu các chức năng của chƣơng trình và đánh giá nhận xét một vài thử nghiệm KẾT LUẬN Đƣa ra các nhận xét đánh giá, hƣớng phát triển và kết luận chung của đề tài. KẾT QUẢ ĐẠT ĐƢỢC Đã xây dựng đƣợc đƣợc một chƣơng trình ứng dụng KPDL hỗ trợ dự đoán chứng khoán đáp ứng một số yêu cầu: Giao diện đơn giản dễ sử dụng, ngƣời dùng có thể dễ dàng thấy đƣợc kết quả của chƣơng trình bằng vài thao tác đơn giản. Tạo ra các luật tƣơng tác giữa các cổ phiếu đƣa ra sự ảnh hƣởng biến động đối với các cổ phiếu cùng tham gia giao dịch , bằng biểu đồ dự đoán giá cổ phiếu ngƣời dùng có thể thấy đƣợc lịch sử cũng nhƣ dự đoán tƣơng lai bƣớc giá của các cổ phiếu. 5 CHƢƠNG 1 : THỰC TRẠNG 1.1 TÌNH HÌNH CHUNG Kể từ TTCK Việt Nam bắt đầu hoạt động và cho tới nay sự phát triển TTCK khá mạnh. Nhiều cá nhân tổ chức có xu hƣớng tham gia đầu tƣ chứng khoán. 1.2. THỰC TRẠNG PHẦN MỀM ĐÃ CÓ 1.2.1, Các phần mềm trong nƣớc VietstockTrader VietstockTrader là chƣơng trình do công ty cổ phần Tài Việt xây dựng và phát triển, chƣơng trình cung cấp cho ngƣời dùng nhiều tính năng nhƣ:  Trader : nó bao gồm các thông tin liên quan để hỗ trợ quá trình giao dịch  Fundamental: gồm các thông tin liên quan đến doanh nghiệp niêm yết và thị trƣờng  News: gồm tin tức TTCK trong và ngoài nƣớc.  Research: các bài báo cáo phân tích, nhận định thị trƣờng của Vietstock Hình 1.1: Giao diện phần mềm VietstockTrader 6 1.2.2, Các phần mềm nƣớc ngoài 1.2.2.1, Amibroker Là một chƣơng trình dự đoán phân tích chứng khoán tích hợp các tính năng trên một giao diện duy nhất nên sử dụng tiện lợi và nhanh chóng, hỗ trợ giao diện tab nên có thể thực hiện nhiều kiểu phân tích cho nhiều cổ phiếu một cách dễ dàng Hình 1.2: Giao diện phần mềm AmiBroker 1.2.2.2, Metastock Metastock là phần mềm hiện đang rất phổ biến cho các nhà đầu tƣ, chƣơng trình có nhiều tính năng khá phong phú, nguồn dữ liệu đƣợc cập nhật online dễ dàng từ các website. Một số chức năng của Metastock:  Vẽ biểu đồ và các chỉ số  Chức năng Explorer: tìm những cổ phiếu có tín hiệu mua hay bán  Chức năng Test System: kiểm tra tính hợp lí của hệ thống, công thức, tín hiệu mua và bán của cổ phiếu  Chức năng Inditor: tạo công thức phân tích của mỗi ngƣời  Chức năng Expert: đƣa ra lời khuyên mua hay bán cổ phiếu.... 7 Hình 1.3: Giao diện phần mềm MetaStock 1.2.3, Ƣu, nhƣợc điểm các chƣơng trình trên Các phần trên đa số đều có rất nhiều tính năng đa dạng về hỗ trợ dự báo chứng khoán, dữ liệu chứng khoán hằng ngày đƣợc cập nhật tự động và đã đƣợc xử lý để sử dụng. Do có nhiều tính năng phức tạp nên ngƣời dùng phải bỏ một khoảng thời gian để tìm hiểu sử dụng, ngoài ra các phần mềm này để đƣợc sử dụng hết các tính năng nhà đầu tƣ phải trả chi phí khá cao. 1.3 KẾT LUẬN CHƢƠNG 1 Từ thực trạng trên cho thấy những phần mềm hiện nay có nhiều tính năng rất tốt trong việc dự đoán phân tích chứng khoán, tuy nhiên việc sử dụng những phần mềm này đối với những nhà đầu tƣ mới gặp nhiều khó khăn. Việc nghiên cứu đề tài này nhằm xây dựng một công cụ hỗ trợ dự báo chứng khoán đơn giản thân thiện phía ngƣời dùng. 8 CHƢƠNG 2: CƠ SỞ LÝ LUẬN 2.1. TỔNG QUAN THỊ TRƢỜNG CHỨNG KHOÁN VÀ CÁC PHƢƠNG PHÁP PHÂN TÍCH 2.1.1, Khái niệm chứng khoán[1] Là thuật ngữ về chứng chỉ hoặc bút toán ghi sổ, xác nhận quyền lợi ích hợp pháp của ngƣời sở hữu chứng khoán đối với vốn hoặc tài sản của tổ chức phát hành. Các loại chứng khoán:  Cổ phiếu: Là một loại chứng khoán đƣợc phát hành dƣới dạng chứng chỉ hoặc bút toán ghi sổ, xác nhận số vốn , quyền và lợi ích hợp pháp.  Đặc điểm: o Có mệnh giá o Không quy định lãi suất o Là chứng khoán vĩnh viễn o Cổ phiếu gồm : Cổ phiếu ƣu đãi và cổ phiếu thông thƣờng  Trái phiếu: Là một loại chứng khoán, đƣợc phát hành dƣới hình thức chứng chỉ hoặc bút toán ghi sổ, xác nhận nghĩa vụ hoàn trả nợ đúng hạn cả vốn và lãi của chủ thể phát hành đối với ngƣời sở hữu chứng khoán.  Đặc điểm : o Có ấn định mệnh giá o Có thời hạn o Có quy định lãi suất và thời hạn trả lãi So sánh cổ phiếu, trái phiếu: So sánh Cổ phiếu Trái phiếu Tính chất Chứng khoán vốn vĩnh Chứng khoán nợ có thời Thời hạn viễn hạn hoàn vốn Quyền lợi Không hoàn vốn Ấn định lãi suất chỉ là Chủ thể phát hành Không ấn định lãi chủ nợ nhà nƣớc, doanh Quyền làm chủ nghiệp Huy động vốn tạm thời Bảng 2.1: So sánh cổ phiếu, trái phiếu 9 2.1.2, Tham gia thị trƣờng chứng khoán Hình 2.1: Các bước tham gia giao dịch TTCK  Bản cáo bạch : Khi phát hành chứng khoán ra công chúng, công ty phát hành phải công bố cho ngƣời mua chứng khoán những thông tin về bản thân công ty, nêu rõ những cam kết của công ty và những quyền lợi cơ bản của ngƣời mua chứng khoán... để trên cơ sở đó ngƣời đầu tƣ có thể ra quyết định đầu tƣ hay không. Tài liệu phục vụ cho mục đích đó gọi là bản cáo bạch hay bản công bố thông tin.  Chỉ số chứng khoán : Gồm có 2 chỉ số chính  Chỉ số Nasdaq 100: Nasdaq 100 (AMEX: QQQ)  Chỉ số trung bình DOW JONES (DJIA)  Giao dịch chứng khoán  Mua trực tiếp tại tổ chức phát hành (công ty): nhà đầu tƣ phải đăng ký mua và nộp tiền trực tiếp tại tổ chức phát hành chứng khoán. Hình thức này rất bất cập, nhất là về mặt địa lý  Mua thông qua trung gian: tức là mua thông qua các nhà đại lý hoặc bảo lãnh phát hành, thông thƣờng là các công ty chứng khoán 10 và các ngân hàng thƣơng mại. Nếu bạn mua chứng khoán của tổ chức phát hành chƣa niêm yết trên trung tâm giao dịch chứng khoán thì việc chuyển nhƣợng hoặc bán lại chứng khoán đó cho ngƣời khác hiện nay gặp nhiều khó khăn vì không dễ tìm đƣợc ngƣời mua và bạn cũng phải trực tiếp đến tổ chức phát hành (hoặc uỷ quyền) để thực hiện chuyển nhƣợng cho ngƣời mua. Hình 2.2: Quy trình giao dịch chứng khoán niêm yết tại trung tâm giao dịch  Thuật ngữ HOSE , HNX , VN Index , HASTC Index  HOSE (Ho Chi Minh Stock Exchange): là một đơn vị trực thuộc ủy ban chứng khoán nhà nƣớc và quản lý hệ thống giao dịch chứng khoán niêm yết của Việt Nam.  Vn-index là chỉ số giá cổ phiếu trong một thời gian nhất định (phiên giao dịch, ngày giao dịch) của các công ty niêm yết tại trung tâm này.  HNX (Hanoi Stock Exchange): đƣợc tổ chức nhằm mục đích đấu giá cổ phần cho các doanh nghiệp, đấu thầu trái phiếu chính phủ, tổ chức giao dịch chứng khoán theo cơ chế đăng ký giao dịch.  HASTC Index là chỉ số giá cổ phiếu trong một thời gian nhất định (phiên giao dịch, ngày giao dịch) của các công ty niêm yết tại trung tâm này. 11 2.1.3, Các phƣơng pháp phân tích chứng khoán 2.1.3.1, Phƣơng pháp phân tích cơ bản [10] Là phƣơng pháp phân tích cổ phiếu dựa vào các nhân tố mang tính chất nền tảng có tác động hoặc dẫn tới sự thay đổi giá cả của cổ phiếu nhằm chỉ ra giá trị nội tại (Intrinsic value) của cổ phiếu trên thị trƣờng. Các nhân tố cơ bản cần nghiên cứu bao gồm: phân tích thông tin cơ bản về công ty, phân tích báo cáo tài chính của công ty; phân tích hoạt động kinh doanh của công ty, phân tích ngành mà công ty đang hoạt động, và phân tích các điều kiện kinh tế vĩ mô ảnh hƣởng chung đến giá cả cổ phiếu. Sau khi nghiên cứu, nhà phân tích có nhiệm vụ phải chỉ ra đƣợc những dự đoán cho những chỉ tiêu quan trọng nhƣ thu nhập kỳ vọng, giá trị sổ sách trên mỗi cổ phiếu, giá trị hợp lý của cổ phiếu, các đánh giá quan trọng cũng nhƣ khuyến nghị mua hay bán cổ phiếu trên thị trƣờng. Cụ thể, các nhân tố cần chú trọng trong phân tích cơ bản về cổ phiếu là:  Hoạt động kinh doanh của công ty  Mục tiêu và nhiệm vụ của công ty  Khả năng lợi nhuận (hiện tại và ƣớc đoán)  Nhu cầu đối với sản phẩm và dịch vụ của công ty  Sức ép cạnh tranh và chính sách giá cả  Kết quả sản xuất kinh doanh theo thời gian  Kết quả sản xuất kinh doanh so sánh với công ty tƣơng tự và với thị trƣờng  Vị thế trong ngành  Chất lƣợng quản lý Ở góc độ tổng quát, phân tích cơ bản có thể đƣợc sử dụng theo phƣơng pháp phân tích từ nhân tố vĩ mô đến nhân tố vi mô có ảnh hƣởng đến cổ phiếu (thƣờng gọi là phƣơng pháp top-down) gồm 5 cấp độ nhƣ sau: 12  Phân tích các điều kiện kinh tế vĩ mô  Phân tích thị trƣờng tài chính - chứng khoán  Phân tích ngành mà công ty đang hoạt động  Phân tích công ty  Phân tích cổ phiếu Trong thực tế, tùy vào mục tiêu và khả năng phân tích mà nhà phân tích có thể sử dụng một trong năm mức độ phân tích nêu trên. Ví dụ, trong phân tích về công ty, ta có thể sử dụng phƣơng pháp phân tích phi tài chính, đó là đánh giá về bộ máy quản lý doanh nghiệp, về nguồn nhân lực, khả năng phát triển sản phẩm mới, thị trƣờng và thị phần, khả năng cạnh tranh... Cũng trong phân tích công ty, nhà phân tích có thể sử dụng cách tiếp cận thƣờng đƣợc gọi là phƣơng pháp SWOT, với việc xác định và đánh giá tập trung vào 4 khía cạnh sau của công ty:  Điểm mạnh (Strengths)  Điểm yếu (Weaknesses)  Cơ hội (Opportunities)  Thách thức (Threats) Một cách phân tích nhanh về cổ phiếu, nhà đầu tƣ có thể phân loại cổ phiếu thành 6 loại cơ bản dựa trên tính chất thu nhập mà nó mang lại là: cổ phiếu hàng đầu (blue-chips), cổ phiếu tăng trƣởng (ổn định và bùng nổ), cổ phiếu phòng vệ, cổ phiếu chu kỳ, cổ phiếu thời vụ. Riêng trong mức độ cốt lõi nhất và cũng khó khăn nhất là phân tích cổ phiếu, bản chất của phƣơng pháp phân tích cơ bản ở đây là việc định giá cổ phiếu nhằm dự đoán giá trị nội tại của cổ phiếu đó. Với mục tiêu này, thông thƣờng có 5 phƣơng pháp định giá cổ phiếu là:  Phƣơng pháp định giá dựa trên luồng cổ tức  Phƣơng pháp định giá dựa trên luồng tiền  Phƣơng pháp định giá dựa trên hệ số P/E  Phƣơng pháp dựa trên các hệ số tài chính  Phƣơng pháp định giá dựa trên tài sản ròng. 13 2.1.3.2, Phƣơng pháp phân tích kĩ thuật  Những khái niệm ban đầu về phân tích kĩ thuật Phân tích kỹ thuật là sự nghiên cứu biến động của thị trƣờng, chủ yếu thông qua việc sử dụng các đồ thị nhằm mục đích dự đoán các xu thế biến động của giá trong tƣơng lai.  Bốn điểm cơ bản về phân tích kỹ thuật:  Giá trị thị trƣờng của một chứng khoán đƣợc xác định duy nhất thông qua tác động qua lại giữa cung và cầu.  Cung và cầu chịu ảnh hƣởng, ở bất kì thời điểm nào, bởi hàng trăm những yếu tố, một số là ảnh hƣởng hợp lý, một số hầu nhƣ phi lý. Thông tin, ý kiến, tâm lý, dự đoán,…(có thể đúng, có thể sai,…) về tƣơng lai kết hợp và trộn lẫn với nhau và với những yếu tố cần thiết khác để tạo thành sự cân bằng chung của toàn thị trƣờng. Không một cá nhân nào có thể nắm lấy và định lƣợng những điều này mà thị trƣờng sẽ tự thực hiện.  Bỏ qua những dao động nhỏ thì giá nhìn chung sẽ vận động theo những xu thế giá chung của thị trƣờng, những xu thế này là ổn định trong một khoảng thời gian tƣơng đối dài.  Những thay đổi trong xu thế thị trƣờng thể hiện qua sự dịch chuyển của điểm cân bằng cung cầu dù là vì bất kì nguyên nhân nào đều có thể xác định sớm hơn hoặc muộn hơn thời điểm thị trƣờng biến động. Có 3 giả định làm cơ sở cho việc tiếp cận phân tích kỹ thuật:  Biến động thị trƣờng phản ánh tất cả  Giá dịch chuyển theo xu thế chung  Lịch sử sẽ tự lặp lại Biến động thị trƣờng phản ánh tất cả. Đây có thể coi là nền tảng của Phân tích kỹ thuật. Mọi lý thuyết, phân tích khác muốn đƣợc chấp nhận thì trƣớc tiên phải hiểu và chấp nhận giả định này. Các nhà Phân tích kỹ thuật cho rằng bất cứ yếu tố nào có khả năng ảnh hƣởng đến giá nhƣ tâm lý, chính trị hay các yếu tố tài 14 chính của doanh nghiệp, tổ chức. . . đều đƣợc phản ánh rõ trong giá thị trƣờng. Do đó có ngƣời cho rằng việc nghiên cứu biến động của giá là tất cả những gì ta cần và thực sự không thể phản đối lại ý kiến này. Trên cơ sở nhận thức chung về việc giá phản ánh những biến động trong cung, cầu. Các nhà Phân tích kỹ thuật chỉ ra rằng khi giá tăng dù vì bất kì lý do gì thì cầu phải vƣợt cung và thị trƣờng tăng giá. Chúng ta cũng đều biết và đồng ý rằng động lực chính của cung và cầu là những yếu tố kinh tế căn bản, còn đồ thị thì không tự nó làm cho thị trƣờng dịch chuyển lên hay xuống. Đồ thị chỉ có thể phản ánh tình hình thị trƣờng mà thôi. Giá vận động theo xu thế Khái niệm về xu thế là khái niệm vô cùng quan trọng trong phân tích kỹ thuật do đó cần hiểu kĩ về giả định này trƣớc khi muốn tìm hiểu sâu thêm về nó. Mục đích của việc xác lập đồ thị mô tả những biến động giá trên thị trƣờng là nhằm xác định đƣợc sớm những xu thế giá, từ đó sẽ tham gia giao dịch trên cơ sở những xu thế này. Trên thực tế những kĩ thuật ở đây đều mang tính lặp lại những xu thế giá có từ trƣớc tức là mục đích của phân tích kỹ thuật là nhằm xác định sự lặplại của những dạng biến động của giá đã xuất hiện trong quá khứ để có thể tận dụng kinh nghiệm và đƣa ra những quyết định phù hợp. Từ giả định này chúng ta còn có một hệ quả là “một xu thế giá đang vận động sẽ tiếp tục theo xu thế của nó và ít khi có đảo chiều”. Hệ quả này rút ra từ định luật 1 về sự vận động của Newton, do đó nó cách phát biểu khác nhƣ sau: "một xu thế đang vận động sẽ tiếp tục theo xu thế của nó cho đến khi nó đảo chiều”. Nhìn chung tất cả những nghiên cứu nhằm tiếp cận theo các xu thế đều nhằm để đi theo những xu thế giá hiện tại cho đến khi có dấu hiệu đảo chiều. Lịch sử sẽ tự lặp lại Phần lớn nội dung của phân tích kỹ thuật và việc nghiên cứu biến động thị trƣờng đều phải nhằm vào nghiên cứu tâm lý con ngƣời. Chẳng hạn nhƣ những mô hình giá, những mô hình này đã đƣợc xác định và chứng minh từ hơn 100 năm nay, chúng giống nhƣ những bức 15 tranh về đồ thị biến động giá. Những bức tranh này chỉ ra tâm lý của thị trƣờng đang là lên giá hay xuống giá. Việc áp dụng những mô hình này đã phát huy hiệu quả trong quá khứ và đƣợc giả định rằng sẽ vẫn tiếp tục có hiệu quả trong tƣơng lai bởi chúng dựa trên phân tích nghiên cứu tâm lý con ngƣời mà tâm lý con ngƣời thì thƣờng không thay đổi. Nhƣ thế giả định này có thể đƣợc phát biểu là : “Chìa khóa để nắm bắt tƣơng lai nằm trong việc nghiên cứu quá khứ” hay “tƣơng lai chỉ là sự lặp lại của quá khứ”  Các khái niệm và công cụ cơ bản sử dụng trong quá trình phân tích kỹ thuật Biểu đồ là công cụ đƣợc các nhà đầu tƣ chứng khoán lựa chọn để phân tích kỹ thuật. Có 3 loại biểu đồ đƣợc dùng phổ biến nhất là:  Biểu đồ dạng đƣờng (Line chart).  Biểu đồ dạng then chắn (Bar chart).  Biểu đồ dạng ống (Candlestick chart).  Biểu đồ dạng đƣờng (Line chart). Dạng biểu đồ này từ trƣớc tới nay thƣờng đƣợc sử dụng trên TTCK, và cũng là loại biểu đồ đƣợc dùng một cách phổ biến nhất trong các ngành khoa học khác dùng để mô phỏng các hiện tƣợng kinh tế và xã hội…và nó cũng là loại biểu đồ đƣợc con ngƣời dùng trong thời gian lâu dài nhất. Nhƣng hiện nay trên thị trƣờng chứng khoán do khoa học kỹ thuật phát triển, diễn biến của thị trƣờng chứng khoán ngày càng phức tạp cho nên loại biểu đồ này ngày càng ít đƣợc sử dụng nhất là trên các TTCK hiện đại. Hiện nay nó chủ yếu đƣợc sử dụng trên các thị trƣờng chứng khoán mới đi vào hoạt động trong thời gian ngắn, khớp lệnh theo phƣơng pháp khớp lệnh định kỳ theo từng phiên hoặc nhiều lần trong một phiên nhƣng mức độ giao dịch chƣa thể đạt đƣợc nhƣ TTCK dùng phƣơng pháp khớp lệnh liên tục.Ƣu điểm của loại biểu đồ này là dễ sử dụng, lý do chính là vì nó đƣợc sử dụng trên tất cả các thị trƣờng chứng khoán trên khắp thế giới từ trƣớc tới nay. Hiện nay loại biểu đồ này ít đƣợc sử dụng để phân tích 16 trên các TTCK hiện đại vì các TTCK hiện đại ngày nay thƣờng diễn biến khá phức tạp, mức độ dao động trong thời gian ngắn với độ lệch khá cao, nếu dùng loại biểu đồ này để phân tích thì thƣờng mang lại hiệu quả thấp trong phân tích.  Biểu đồ dạng then chắn (Bar chart) Trên các TTCK hiện đại trên thế giới hiện nay các chuyên viên phân tích thƣờng dùng loại biểu đồ này trong phân tích là chủ yếu lý do chính vì tính ƣu việt của nó đó là sự phản ánh rõ nét sự biến động của giá chứng khoán. Hai kí tự mà dạng biểu đồ này sử dụng đó là: Hình 2.3: Biến động giá chứng khoán kiểu biểu đồ then chắn Loại biểu đồ này thƣờng đƣợc áp dụng để phân tích trên các thị trƣờng chứng khoán hiện đại khớp lệnh theo hình thức khớp lệnh liên tục, độ dao động của giá chứng khoán trong một phiên giao dịch là tƣơng đối lớn.  Biểu đồ dạng ống (Candlestick chart) Đây là dạng biểu đồ cải tiến của biểu đồ dạng then chắn (Bar chart), nó đƣợc ngƣời Nhật Bản khám phá và áp dụng trên TTCK của họ đầu tiên. Giờ đây nó đang dần đƣợc phổ biến hầu hết trên các TTCK hiện đại trên toàn thế giới. Dạng biểu đồ này phản ánh rõ nét nhất về sự biến động của giá chứng khoán trên thị trƣờng chứng khoán khớp lệnh theo hình thức khớp lệnh định kỳ. Hai kí tự mà loại biểu đồ này sử dụng là: 17 Hình 2.4: Giá khớp lệnh biến động cùa biểu đồ ống Một trong những hiệu quả cơ bản của dạng biểu đồ này khiến cho ngƣời sử dụng ƣa thích là khả năng biểu đạt nhiều thông số bằng chính hình vẽ. Chẳng hạn, thông qua màu ta có thể biết tình hình chung thị trƣờng, thông qua độ dài thân, độ dài các bấc, ta có thể biết tình hình giá giao dịch. Ngoài ra dạng biểu đồ này cũng có thể áp dụng cho mọi loại biểu đồ: liên tục và định kỳ, theo phút, hàng ngày hoặc hàng tháng. Những biến dạng khác nhau của mỗi cây nến phản ánh những đặc trƣng khác nhau của tình hình thị trƣờng. Chẳng hạn biểu đồ dạng Doji (phiên âm từ do-gee) có dạng nhƣ ô tròn mình khoanh thêm.Với dạng biểu đồ này, giá đóng cửa trùng với giá mở cửa, do đó mà ta sẽ hầu nhƣ không thấy thân nến mà chỉ thấy bấc nến. ở đây cũng sẽ có trƣờng hợp giá mở cửa bằng giá đóng cửa và bằng giá thấp nhất hoặc cao nhất trong ngày. 2.2. TỒNG QUAN VỀ KHAI PHÁ DỮ LIỆU 2.2.1, Khái niệm về khai phá dữ liệu Khai phá dữ liệu là một khái niệm ra đời vào những năm cuối của thập kỷ 80 [7]. Nó bao hàm một loạt các kỹ thuật nhằm phát hiện ra các thông tin có giá trị tiềm ẩn trong các tập dữ liệu lớn (các kho dữ liệu). Về bản chất, KPDL liên quan đến việc phân tích các dữ liệu và sử dụng các kỹ thuật để tìm ra các mẫu hình có tính chính quy (regularities) trong tập dữ liệu. Năm 1989, Fayyad, Piatestsky-Shapiro và Smyth đã dùng khái niệm Phát hiện tri thức trong CSDL (Knowledge Discovery and Data Mining-KDD) để chỉ toàn bộ quá trình phát hiện các tri thức có ích từ các tập dữ liệu lớn. 18 Trong đó, KPDL là một bƣớc đặc biệt trong toàn bộ quá trình, sử dụng các giải thuật đặc biệt để chiết xuất ra các mẫu (pattern) (hay các mô hình) từ dữ liệu. 2.2.2, Các ứng dụng của khai phá dữ liệu Khai phá dữ liệu đƣợc ứng dụng rất thành công trong “CSDL thị trƣờng” (database marketing), đây là một phƣơng pháp phân tích CSDL khách hàng, tìm kiếm các mẫu trong số các khách hàng và sử dụng các mẫu này để lựa chọn các khách hàng trong tƣơng lai. Tạp chí Business Week của Mỹ đã đánh giá hơn 50% các nhà bán lẻ đang và có ý định sử dụng “CSDL thị trƣờng” cho hoạt động kinh doanh của họ (Berry 1994). Kết quả ứng dụng cho thấy số lƣợng thẻ tín dụng American Express bán ra đã tăng 15% - 20% (Berry 1994). Các ứng dụng khác của KPDL trong kinh doanh nhƣ phân tích chứng khoán và các văn kiện tài chính; phân tích và báo cáo những thay đổi trong dữ liệu, bao gồm Coverstory của IRI (Schmitz, Armstrong, & Little 1990), Spotlight của A.C Nielsen (nand & Kahn 1992) đối với các dữ liệu bán hàng trong siêu thị, KEFIR của GTE cho CSDL y tế (Matheus, Piatetsky-Shapiro, & McNeil); phát hiện và phòng chống gian lận cũng thƣờng là bài toán của KPDL và phát hiện tri thức. Ví dụ nhƣ hệ thống phát hiện gian lận trong dịch vụ y tế đã đƣợc Major và Riedinger phát triển tại Travelers insurance năm 1992. Internal Revenue Service đã phát triển một hệ thống chọn thuế thu để kiểm toán. Nestor FDS (Blanchard 1994) đƣợc phát triển dựa trên mạng neuron để phát hiện ra gian lận trong thẻ tín dụng.  Thiên văn học: Hệ thống SKICAT do JPL/Caltech phát triển đƣợc sử dụng cho các nhà thiên văn để tự động xác định các vì sao và các dải thiên hà trong một bản khảo sát lớn để có thể phân tích và phân loại (Fayyad, Djorgovski, & Weir).  Phân tử sinh học: Hệ thống tìm kiếm các mẫu trong cấu trúc phân tử (Conklin, Fortier, và Glasgow 1993) và trong các dữ liệu gen (Holder, Cook, và Djoko 1994).  Mô hình hóa những thay đổi thời tiết: các mẫu không thời gian nhƣ lốc, gió xoáy đƣợc tự động tìm thấy trong các tập lớn dữ liệu mô phỏng và quan sát đƣợc (Stolorz et al. 1994). Các ứng dụng của khai phá dữ liệu trong khoa học cũng đƣợc phát triển: 19  Phân tích dữ liệu và hỗ trợ ra quyết định (data analysis & decision support)  Điều trị y học (medical treatment)  Text mining & Web mining  Tài chính và TTCK (finance & stock market)  Bảo hiểm (insurance)  Nhận dạng (pattern recognition)  Vv… 2.2.3, Tiến trình thực hiện của khai phá dữ liệu Hình 2.5: Quá trình xử lý khai phá dữ liệu Quá trình xử lý KPDL bắt đầu bằng cách xác định chính xác vấn đề cần giải quyết. Sau đó sẽ xác định các dữ liệu liên quan dùng để xây dựng giải pháp. Bƣớc tiếp theo là thu thập các dữ liệu có liên quan và xử lý chúng thành dạng sao cho giải thuật KPDL có thể hiểu đƣợc. Về lý thuyết thì có vẻ rất đơn giản nhƣng khi thực hiện thì đây thực sự là một quá trình rất khó khăn, gặp phải rất nhiều vƣớng mắc nhƣ: các dữ liệu phải đƣợc sao ra nhiều bản (nếu đƣợc chiết xuất vào các tệp), quản lý tập các tệp dữ liệu, phải lặp đi lặp lại nhiều lần toàn bộ quá trình (nếu mô hình dữ liệu thay đổi), v.v… Có thể tóm tắt các bƣơc thực hiện nhƣ sau:  Làm sạch dữ liệu (Data Cleaning): Loại bỏ dữ liệu nhiễu và dữ liệu không nhất quán.  Tích hợp dữ liệu (Data Intergation): Dữ liệu của nhiều nguồn có thể đƣợc tổ hợp lại. 20  Lựa chọn dữ liệu (Data Selection): Lựa chọn những dữ liệu phù hợp với nhiệm vụ phân tích trích rút từ CSDL.  Chuyển đổi dữ liệu (Data Transformation): Dữ liệu đƣợc chuyển đổi hay đƣợc hợp nhất về dạng thích hợp cho việc khai phá.  Khai phá dữ liệu (Data Mining): Đây là một tiến trình cốt yếu trong đó các phƣơng pháp thông minh đƣợc áp dụng nhằm trích rút ra mẫu dữ liệu.  Đánh giá mẫu (Pattern Evaluation): Dựa trên một độ đo nào đó xác định lợi ích thực sự, độ quan trọng của các mẫu biểu diễn tri thức.  Biểu diễn tri thức (Knowledge Presentation): Ở giai đoạn này các kỹ thuật biểu diễn và hiển thị đƣợc sử dụng để đƣa tri thức lấy ra cho ngƣời dùng. Hình 2.6: Quá trình phát hiện tri thức 2.2.4, Các phƣơng pháp khai phá dữ liệu 2.2.4.1, Một số phƣơng pháp khai thác dữ liệu phổ biến  Phƣơng pháp quy nạp (Induction)