Tài liệu ứng dụng mạng bayes xây dựng hệ thống đánh giá mức độ kiến thức năng lực người học

iii MỤC LỤC DANH SÁCH CÁC CHỮ VIẾT TẮT ....................................................................vi DANH SÁCH CÁC BẢNG BIỂU ........................................................................ vii DANH SÁCH CÁC HÌNH ................................................................................... viii MỞ ĐẦU .................................................................................................................. 1 1. Lý do chọn đề tài .............................................................................................. 1 2. Mục đích và ý nghĩa đề tài ................................................................................ 2 2.1. Mục đích .................................................................................................... 2 2.2. Ý nghĩa khoa học và thực tiễn của đề tài ................................................... 2 3. Mục tiêu và nhiệm vụ ....................................................................................... 2 3.1. Mục tiêu ..................................................................................................... 2 3.2. Nhiệm vụ .................................................................................................... 2 4. Đối tượng và phạm vi nghiên cứu .................................................................... 2 5. Phương pháp nghiên cứu .................................................................................. 3 5.1. Phương pháp lý thuyết ............................................................................... 3 5.2. Phương pháp thực nghiệm ......................................................................... 3 6. Cấu trúc luận văn .............................................................................................. 3 CHƯƠNG I: CƠ SỞ LÝ LUẬN VÀ THỰC TIỄN ................................................. 4 1.1. Tổng quan về trắc nghiệm thích nghi ............................................................ 4 1.2. Mô hình tổng quan TNTN ............................................................................. 5 1.3. Kết chương ................................................................................................... 10 CHƯƠNG II: XÂY DỰNG MÔ HÌNH TNTN TRÊN CƠ SỞ MẠNG BAYES .. 11 2.1. Mạng Bayes ................................................................................................. 11 2.1.1. Giới thiệu .............................................................................................. 11 2.1.2. Công thức Bayes ................................................................................... 11 2.1.3. Cấu trúc mạng Bayes ............................................................................ 12 2.1.4. Bảng xác suất có điều kiện (CPT) ........................................................ 13 2.2. Thuật toán TNTN tổng quát......................................................................... 14 2.3. Xây dựng đồ thị kiến thức ........................................................................... 15 2.3.1. Đỉnh chứng cứ....................................................................................... 15 2.3.2. Đỉnh kiến thức ....................................................................................... 15 2.4. Mô hình TNTN theo kiến thức trên cơ sở mạng Bayes và IRT .................. 16 2.5. Thuật toán TNTN trên cơ sở Lý thuyết đáp ứng câu hỏi............................. 18 2.6. Đánh giá tập hợp tham số câu hỏi trắc nghiệm............................................ 23 2.7. Kết luận ........................................................................................................ 26 CHƯƠNG III: XÂY DỰNG HỆ THỐNG TRẮC NGHIỆM THÍCH NGHI ........ 27 3.1. Phân tích và thiết kế hệ thống ...................................................................... 27 iv 3.2. Triển khai hệ thống và đánh giá kết quả ...................................................... 39 3.2.1. Thiết kế dữ liệu hệ thống....................................................................... 39 3.2.2. Đánh giá kết quả thực nghiệm .............................................................. 39 3.3. Kết luận ........................................................................................................ 41 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .............................................................. 42 TÀI LIỆU THAM KHẢO ...................................................................................... 43 v ỨNG DỤNG MẠNG BAYES XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ MỨC ĐỘ KIẾN THỨC NĂNG LỰC NGƯỜI HỌC Học viên: Trần Thị Tuyết Mai Mã số: 8480101. Khóa: K35.KMT.QB. Chuyên ngành: Khoa học máy tính Trường Đại học Bách khoa - ĐHĐN Tóm tắt : Kiểm tra đánh giá là một khâu quan trọng trong quá trình dạy học, giúp giáo viên điều chỉnh việc dạy và học sinh kịp thời điều chỉnh việc học của mình. Hiện nay có nhiều hình thức kiểm tra đánh giá học sinh trong đó mô hình trắc nghiệm thích nghi được đánh giá là tối ưu nhất. Trắc nghiệm thích nghi là phương pháp đánh giá trình độ người học bằng hình thức kiểm tra trắc nghiệm khách quan theo hướng tiếp cận năng lực của người học. Luận văn này nghiên cứu về trắc nghiệm thích nghi, lý thuyết đáp ứng câu hỏi, mạng Bayes và trình bày mô hình trắc nghiệm thích nghi dựa trên lý thuyết đáp ứng câu hỏi sử dụng mạng Bayes. Luận văn cũng giới thiệu các phân tích thiết kế hệ thống mô hình ứng dụng thích nghi cho 1 bộ môn cụ thể ở bậc phổ thông cùng kết quả và hướng phát triển tiếp theo. Từ khóa: Trắc nghiệm thích nghi, trắc nghiệm khách quan, lý thuyết trắc nghiệm cổ điển, lý thuyết đáp ứng câu hỏi, mạng Bayes. BAYESIAN NETWORK APPLICATION TO BUILD A SYSTEM OF EVALUATING LEARNER'S KNOWLEDGE AND CAPABILITY Student: Tran Thi Tuyet Mai Major: Computer Science Code: 8480101 Course: K35.KMT.QB. Polytechnic University - Da Nang University Abstract: Assessment is an important step in the teaching process, helping teachers adjust their teaching and students to adjust their learning promptly. Currently, there are many forms of student assessment and the adaptive testing model is considered to be the most optimal. Adaptive testing is a method of assessing learner's qualifications by examining objective tests according to learner's ability approach. This thesis studies adaptive testing, the item response theory, Bayesian networks and presents adaptive testing model based on the theory of responding to questions using Bayesian networks. The thesis also introduces the analysis of adaptive model system design for one universal subject with the results and the next development direction. Keywords: Adaptive Test, Objective Test, Classical Test Theory, Item Response Theory, Bayes Network. vi DANH SÁCH CÁC CHỮ VIẾT TẮT BN CAT CPT CTT IRT HS NHCH THPT TNTN TS Bayes Network Computer Adaptive Testing Conditional Probability Table Classical Test Theory Item Response Theory Học sinh Ngân hàng câu hỏi Trung học phổ thông Trắc nghiệm thích nghi Thí sinh vii DANH SÁCH CÁC BẢNG BIỂU Bảng 1: CPT của các biến “Road Conditions” của mạng Bayes theo hình 2.2 ......13 Bảng 2: CPT của các biến “Precipitation” trong mạng Bayes theo hình 2.2 .........13 Bảng 3: Cấu trúc các đỉnh kiến thức môn tin học lớp 11 .......................................39 Bảng 4: Kết quả đánh giá mức độ kiến thức đối với môn Tin học 11 ....................40 viii DANH SÁCH CÁC HÌNH Hình 1.1. Các thành phần cơ bản của mô hình TNTN. ................................................... 6 Hình 1.2. Mô tả hoạt động của TNTN............................................................................. 7 Hình 2.1. Mô hình minh họa cho mạng Bayes [9] ........................................................ 11 Hình 2.2. Cấu trúc đơn giản của mạng Bayes trong tự nhiên ....................................... 12 Hình 2.3. Cấu trúc mạng Bayes tổng quát ..................................................................... 13 Hình 2.4. Thuật toán tổng quát TNTN .......................................................................... 15 Hình 2.5. BN cho môn học S và các đỉnh thành phần kiến thức ................................... 17 Hình 3.1. Sơ đồ phân rã chức năng của hệ thống .......................................................... 28 Hình 3.2. Biểu đồ ca sử dụng của hệ thống ................................................................... 29 Hình 3.3. Biểu đồ lớp của hệ thống ............................................................................... 30 Hình 3.4. Biểu đồ hoạt động của Admin ....................................................................... 31 Hình 3.5. Biểu đồ hoạt động quản lý đồ thị kiến thức................................................... 32 Hình 3.6. Biểu đồ hoạt động của thí sinh ...................................................................... 33 Hình 3.7. Biểu đồ hoạt động lựa chọn câu hỏi phù hợp ................................................ 34 Hình 3.8. Biểu đồ tuần tự module lựa chọn câu hỏi theo mức độ năng lực trong hệ thống trắc nghiệm thích nghi.................................................................................. 35 Hình 3.9. Biểu đồ tuần tự module lựa chọn câu hỏi ngẫu nhiên trong hệ thống trắc nghiệm thích nghi ......................................................................................... 36 Hình 3.10. Biểu đồ trạng thái hoạt động thi của thí sinh ............................................... 36 Hình 3.11. Giao diện quản lý của Admin ...................................................................... 37 Hình 3.12. Giao diện quản lý ngân hàng câu hỏi .......................................................... 37 Hình 3.13. Giao diện quản lý thí sinh ............................................................................ 38 Hình 3.14. Giao diện làm trắc nghiệm của thí sinh ....................................................... 38 Hình 3.15. Kết quả trắc nghiệm 02 nhóm học sinh ....................................................... 40 1 MỞ ĐẦU 1. Lý do chọn đề tài Mục tiêu giáo dục của nước ta đã được đặt ra trong Nghị quyết 29 của Ban Chấp hành Trung ương Đảng. Nghị quyết khẳng định: “Phải chuyển đổi căn bản toàn bộ nền giáo dục từ chủ yếu nhằm trang bị kiến thức sang phát triển phẩm chất và năng lực người học, biết vận dụng tri thức vào giải quyết các vấn đề thực tiễn; Chuyển nền giáo dục nặng về chữ nghĩa, ứng thí sang một nền giáo dục thực học, thực nghiệp”, trong đó, đổi mới về phương thức kiểm tra đánh giá là một yêu cầu bức thiết trong giai đoạn hiện nay. Kiểm tra đánh giá kết quả học học tập của học sinh là một khâu có vai trò quan trọng trong quá trình dạy học. Nó đảm bảo mối liên hệ ngược trong quá trình dạy học bộ môn, giúp giáo viên điều chỉnh việc dạy và học sinh kịp thời điều chỉnh việc học của mình. Từ đó, góp phần củng cố, đào sâu, hệ thống hóa kiến thức của học sinh và có tác dụng giáo dục học sinh về tinh thần trách nhiệm, thói quen đào sâu suy nghĩ, ý thức vươn lên trong học tập, thái độ làm việc nghiêm túc, trung thực. Các phương pháp đánh giá truyền thống như: vấn đáp, tự luận,… thường cho kết quả có độ chính xác không cao, tốn thời gian, không khách quan và chỉ tập trung đánh giá được về mặt kiến thức, chưa chú ý đến đánh giá năng lực của người học. Một trong những hệ thống trắc nghiệm đang được sử dụng phổ biến là trắc nghiệm khách quan (Objective Test). Tuy nhiên mô hình trắc nghiệm này vẫn chưa thực sự đưa ra kết quả đúng đắn hoặc công bằng do một số nguyên nhân: bộ câu hỏi trong một bài kiểm tra được lựa chọn một cách ngẫu nhiên nên sẽ có bài kiểm tra quá khó hoặc quá dễ. Một mô hình trắc nghiệm đã và đang được nghiên cứu hiện nay là trắc nghiệm thích nghi (TNTN) trên máy tính (Computerized Adaptive Testing - CAT). Mô hình này cho phép lựa chọn câu hỏi tiếp theo phù hợp với mức kiến thức và năng lực hiện tại của thí sinh. Năng lực thí sinh được cập nhật thường xuyên trong quá trình đánh giá và quá trình đánh giá sẽ kết thúc khi đưa ra được chính xác mức kiến thức và năng lực thực sự của thí sinh. Ngày nay, với sự phát triển vượt bậc của khoa học máy tính nên vấn đề triển khai các hệ thống TNTN dựa trên cơ sở các mô hình toán học là hoàn toàn khả thi. Một số mô hình TNTN đã được nghiên cứu và hiện thực hóa như: mô hình TNTN trên cơ sở lý thuyết đáp ứng câu hỏi, mô hình TNTN trên cơ sở lôgic mờ, … Tuy nhiên các mô hình TNTN kể trên vẫn còn tồn tại một số nhược điểm: chỉ đánh giá mức độ năng lực của thí sinh theo chiều ngang kiến thức,…. Vì vậy tôi đề xuất đề tài “Ứng dụng mạng Bayes xây dựng hệ thống đánh giá mức độ kiến thức năng lực người học” để khắc phục các nhược điểm trên. 2 2. Mục đích và ý nghĩa đề tài 2.1. Mục đích Mục đích nghiên cứu của đề tài: - Xây dựng mô hình trắc nghiệm thích nghi trên cơ sở Mạng Bayes; - Xây dựng hệ thống TNTN trên cơ sở mô hình đề xuất và triển khai ứng dụng cho việc đánh giá kiến thức và kỹ năng môn Tin học lớp 11 của học sinh trường THPT Lê Quý Đôn - Quảng Bình. - Góp phần vào hướng nghiên cứu mô hình thích nghi, đặc biệt là TNTN nhằm ứng dụng cho thực tiễn giáo dục tại Việt Nam. 2.2. Ý nghĩa khoa học và thực tiễn của đề tài Mô hình TNTN đề xuất là sự kết hợp giữa hai lĩnh vực nghiên cứu là trắc nghiệm thích nghi và lý thuyết mạng Bayes. 3. Mục tiêu và nhiệm vụ 3.1. Mục tiêu Mục tiêu chính của đề tài là xây dựng mô hình trắc nghiệm đánh giá mức độ năng lực, kiến thức người học. Để thỏa mãn mục tiêu này thì cần đạt được những mục tiêu cụ thể sau: - Xây dựng mô hình TNTN trên cơ sở mạng Bayes & IRT; Hiện thực hóa hệ thống TNTN đánh giá mức độ năng lực người học dựa trên mô hình đề xuất. 3.2. Nhiệm vụ Để đạt được những mục tiêu trên thì nhiệm vụ đặt ra của đề tài là: - Nghiên cứu mô hình trắc nghiệm thích nghi đánh giá mức độ năng lực, kiến thức người học; - Phát biểu, phân tích và cài đặt giải thuật cho bài toán đặt ra (ứng dụng mạng Bayes); - Xây dựng mô hình và ứng dụng hệ thống; - Đánh giá kết quả theo yêu cầu của đề tài. 4. Đối tượng và phạm vi nghiên cứu Đối tượng nghiên cứu: Đề tài tìm hiểu về các phương pháp đánh giá kiến thức, nhận thức và kỹ năng; các mô hình và thuật toán trắc nghiệm thích nghi; lý thuyết mạng Bayes. Từ đó dựa trên cơ sở lý thuyết mạng Bayes và lý thuyết đáp ứng câu hỏi để xây dựng mô hình TNTN. 3 Phạm vi nghiên cứu: Đề tài sử dụng lý thuyết mạng Bayes và lý thuyết đáp ứng câu hỏi làm cơ sở để xây dựng mô hình TNTN cho môn học Tin học lớp 11 tại trường THPT Lê Quý Đôn – Quảng Bình. 5. Phương pháp nghiên cứu 5.1. Phương pháp lý thuyết Phân tích và đánh giá các mô hình, thuật toán và hệ thống TNTN hiện có và khả năng ứng dụng đối với thực tiễn của giáo dục Việt Nam. Từ đó, đưa ra kết luận và cơ sở cho việc lựa chọn lý thuyết mạng Bayes làm nền tảng để xây dựng mô hình TNTN. 5.2. Phương pháp thực nghiệm Để xây dựng được hệ thống TNTN dựa trên mô hình TNTN đề xuất cần thực hiện các vấn đề sau: - Xây dựng hệ thống TNTN trên cơ sở mô hình đề xuất. Xây dựng cơ sở dữ liệu ngân hàng câu hỏi môn Tin học lớp 11 Triển khai và đánh giá hệ thống TNTN đã đề xuất trong thực tế. 6. Cấu trúc luận văn Luận văn gồm 3 chương Chương 1: Cơ sở lý luận và thực tiễn Chương 2: Xây dựng mô hình TNTN trên cơ sở mạng Bayes Chương 3: Xây dựng hệ thống trắc nghiệm thích nghi Trong đó: Chương 1: Chương này tiến hành nghiên cứu khái niệm trắc nghiệm thích nghi, phân tích mô hình TNTN và hoạt động của mô hình trắc nghiệm thích nghi. Từ đó thấy được mô hình trắc nghiệm thích nghi là mô hình tối ưu nhất để đánh giá năng lực, kiến thức người học một cách nhanh chóng và chính xác. Chương 2: Trình bày nội trắc nghiệm thích nghi trên lý thuyết đáp ứng câu hỏi, lý thuyết mạng Bayes, áp dụng vào xây dựng đồ thị kiến thức đồng thời đề xuất mô hình TNTN theo kiến thức trên cơ sở tổng hợp mạng Bayes và IRT. Từ đó đưa ra đề xuất áp dụng lý thuyết trắc nghiệm cổ điển trong việc đánh giá tập tham số của ngân hàng câu hỏi trắc nghiệm. Chương 3: Trình bày quá quá trình triển khai xây dựng hệ thống trắc nghiệm thích nghi trên cơ sở mô hình đề xuất & các mô hình trắc nghiệm thích nghi đã tồn tại. Triển khai hệ thống trong thực tế và đánh giá kết quả đạt được. Từ kết quả cho thấy mô hình đề xuất cho phép đánh giá mức độ năng lực & kiến thức thí sinh chính xác và có hiệu quả hơn. 4 CHƯƠNG I: CƠ SỞ LÝ LUẬN VÀ THỰC TIỄN 1.1. Tổng quan về trắc nghiệm thích nghi Hiện nay, trắc nghiệm là một trong những phương pháp đánh giá kiến thức người học đang được sử dụng rộng rãi và mang lại hiệu quả tốt, đặc biệt là các hệ thống trắc nghiệm trên máy tính. Lý thuyết trắc nghiệm cổ điển là một trong những lý thuyết quan trọng liên quan đến khoa học đo lường đánh giá được xây dựng dựa trên khoa học xác suất và thống kê [1]. Lý thuyết này được ứng dụng trong việc phân tích câu hỏi trắc nghiệm nhằm làm tăng chất lượng của chúng, loại bỏ, sửa chữa và tuyển chọn câu hỏi theo yêu cầu. Tuy nhiên, việc ứng dụng lý thuyết trắc nghiệm cổ điển vào các hệ thống trắc nghiệm không đánh giá được mức độ năng lực thí sinh một cách chính xác. Tất cả các thí sinh đều phải trả lời một số lượng câu hỏi như nhau và các câu hỏi được lựa chọn ngẫu nhiên từ ngân hàng câu hỏi. Điều này sẽ khiến thí sinh sẽ không thể nhận được câu hỏi phù hợp với mức độ năng lực hiện tại của mình và dẫn đến việc đánh giá không chính xác. Nhằm khắc phục nhược điểm của Lý thuyết trắc nghiệm cổ điển thì Trắc nghiệm thích nghi được phát triển. Trắc nghiệm thích nghi (TNTN) là phương pháp đánh giá trình độ thí sinh (học sinh, sinh viên, ứng viên …) bằng hình thức kiểm tra trắc nghiệm khách quan (TNKQ) theo hướng tiếp cận năng lực của thí sinh. Phương pháp này sử dụng chuỗi câu hỏi tương ứng với mức năng lực của từng thí sinh cụ thể. Dựa trên những phản hồi của sinh viên, các chương trình máy tính điều chỉnh độ khó của câu hỏi trong suốt quá trình đánh giá. Ví dụ, một thí sinh trả lời một câu hỏi một cách chính xác sẽ nhận được một câu hỏi tiếp theo khó hơn, ngược lại hệ thống tạo ra một câu hỏi dễ hơn cho thí sinh. Bằng cách đó tạo ra sự thích ứng cho thí sinh, những đánh giá này giống như việc thiết kế một bộ câu hỏi riêng dành cho mỗi thí sinh từ đó có thể nhanh chóng xác định các kỹ năng thí sinh đã nắm vững. Cách tiếp cận này đại diện cho sự cải thiện đáng kể so với những đánh giá bằng phương pháp trắc nghiệm truyền thống được sử dụng trong nhiều trường học hiện nay, cung cấp điểm số chính xác hơn cho tất cả thí sinh trong phạm vi đầy đủ và liên tục. Hệ thống TNTN là một hệ thống phần mềm phục vụ công tác đánh giá trình độ thí sinh. Ngoài các đặc tính như các hệ thống thi trắc nghiệm khách quan bình thường, hệ thống TNTN được phát triển dựa trên cơ sở mô hình TNTN để đạt mục đích xây dựng chuỗi câu hỏi phù hợp với năng lực của từng thí sinh. Trắc nghiệm thích nghi [2] là quá trình trắc nghiệm mà trong đó tập hợp câu hỏi được đưa ra để đánh giá phụ thuộc vào khả năng của thí sinh. Với việc sử dụng trắc nghiệm thích nghi thì thứ tự, số lượng, nội dung và độ khó câu hỏi đưa ra cho mỗi thí sinh là khác nhau, cho phép thí sinh có thể nhận được câu hỏi phù hợp với mức độ năng lực hiện tại của mình nhất, giúp cho kết quả đánh giá mức độ năng lực thí sinh được chính xác và khách quan hơn. Hiện nay, các hệ thống trắc nghiệm thích nghi trên máy tính được xây dựng dựa trên các thuật toán 5 trắc nghiệm thích nghi khác nhau. Một trong những mô hình được sử dụng phổ biến nhất hiện nay là mô hình trắc nghiệm thích nghi trên cơ sở lý thuyết đáp ứng câu hỏi (Item Response Theory – IRT) [3]. Lý thuyết đáp ứng câu hỏi cho phép đánh giá mối tương quan giữa mức độ năng lực thí sinh với tập hợp tham số câu hỏi thông qua hàm thông tin câu hỏi. Do đó số lượng, thứ tự và mức độ câu hỏi đánh giá đối với mỗi thí sinh là khác nhau. Từ [1] và [3] có thể thấy rằng lý thuyết trắc nghiệm cổ điển tiếp cận việc đánh giá thí sinh ở cấp độ tập hợp các câu hỏi trong một đề thi trắc nghiệm, còn lý thuyết đáp ứng câu hỏi lại tiếp cận ở cấp độ từng câu hỏi được đưa ra. Ưu điểm của trắc nghiệm thích nghi so với lý thuyết trắc nghiệm cổ điển là mỗi thí sinh sẽ trả lời một bộ câu hỏi riêng biệt, khác nhau về nội dung, độ khó và số lượng câu hỏi; và mỗi thí sinh sẽ được đánh giá riêng biệt (dựa vào mức độ năng lực của thí sinh). 1.2. Mô hình tổng quan TNTN Về cơ bản TNTN cũng có các thành phần cơ bản như đối với hình thức trắc nghiệm khách quan: ngân hàng câu hỏi (Calibrated item bank), thuật toán lựa chọn câu hỏi (Item selection algorithm), thuật toán đánh giá (Scoring algorithm) và điều kiện dừng (Termination criterion). Tuy nhiên, các thành phần này có những điểm khác so với trắc nghiệm khách quan. Cụ thể như sau: - - Ngân hàng câu hỏi (NHCH): là tập hợp câu hỏi đã được ước lượng các tham số đặc trưng như độ khó, độ phân biệt và độ dự đoán. ngân hàng câu hỏi được sử dụng để làm cơ sở đánh giá năng lực thí sinh. Do đó, ngân hàng câu hỏi tốt đòi hỏi cần tương đối lớn và phong phú (nhiều câu hỏi có độ khó khác nhau và độ phân biệt khác nhau). Thuật toán lựa chọn câu hỏi: Việc đánh giá năng lực của thí sinh trong TNTN phụ thuộc rất lớn vào thuật toán lựa chọn câu hỏi. Vì nếu câu hỏi quá dễ so với năng lực của thí sinh thi thí sinh có thể dễ dàng trả lời và ngược lại, câu hỏi quá khó so với năng lực của thí sinh thì thí sinh rất khó để trả lời trong một thời gian có hạn hoặc là hoàn thành câu trả lời bằng cách đoán mò. Điều này dẫn tới tình trạng việc đánh giá năng lực thí sinh không chính xác. Vậy nên thuật toán này được sử dụng để lựa chọn câu hỏi tốt nhất từ ngân hàng câu hỏi để đưa vào bài kiểm tra. Câu hỏi được cho là tốt nhất là câu phù hợp nhất với năng lực (kiến thức) hiện tại của thí sinh. Hay nói cách khác, câu hỏi hỏi này có các tham số câu hỏi tương ứng với tham số năng lực (kiến thức) hiện tại của thí sinh. Thuật toán lựa chọn câu hỏi thông thường được thực hiện dựa trên lý thuyết đáp ứng câu hỏi bằng cách mô tả sự tương quan giữa đại lượng hàm thông tin câu hỏi trắc nghiệm và xác suất trả lời đúng câu hỏi trên mức độ năng lực, kiến thức hiện tại của thí sinh. 6 - - Thuật toán đánh giá mức độ kiến thức, năng lực thí sinh: Sau khi nhận kết quả lựa chọn câu hỏi đề nghị từ thí sinh (đúng/sai), TNTN sẽ tiến hành tính toán đánh giá lại mức độ kiến thức, năng lực của thí sinh. Việc tính toán này sẽ đưa tham số mức độ kiến thức, năng lực tiệm cận dần đến giá trị thực của thí sinh khi mức độ kiến thức, năng lực đánh giá lần sau không thay đổi nhiều so với lần đánh giá trước. Tuy nhiên, tại thời điểm bắt đầu giá trị mức độ kiến thức, năng lực ban đầu của thí sinh chưa được tính toán. Hệ thống sẽ khởi tạo giá trị cho mức độ kiến thức, năng lực thí sinh ở mức trung bình. Điều kiện dừng: cần phải có các điều kiện dừng và các phương án đánh giá để làm căn cứ kết thúc quá trình TNTN vì mô hình TNTN hoạt động theo một thuật toán lặp các thao tác lựa chọn câu hỏi, thí sinh thực thi, đánh giá năng lực và lựa chọn câu hỏi tiếp theo và để hoàn thành việc đánh giá năng lực của thí sinh dự thi. Điều kiện dừng có thể là một hoặc một số tiêu chí như: độ sai lệch năng lực thấp, thời gian làm bài vượt quá thời gian quy định, số lượng câu hỏi vượt quá mức quy định, … Hình 1.1. Các thành phần cơ bản của mô hình TNTN. Hoạt động của TNTN hay thuật toán TNTN là một thuật toán lặp (hình 1.2), trong đó có các thao tác cơ bản như: Khởi tạo năng lực khởi đầu của thí sinh; Lựa chọn câu hỏi để chọn ra câu hỏi phù hợp nhất từ ngân hàng câu hỏi để cho thí sinh thực hiện; Nhận kết quả phản hồi để ghi nhận kết quả trả lời từ thí sinh: Ước lượng năng lực mới dùng để thực hiện các tính toán để ước lượng lại năng lực mới của thí sinh; Điều kiện dừng là tập các điều kiện để xác định việc tiếp tục lựa chọn câu hỏi hoặc kết thúc quá trình đánh giá. 7 Hình 1.2. Mô tả hoạt động của TNTN Hiện nay, các hệ thống trắc nghiệm thích nghi trên máy tính được xây dựng trên nhiều mô hình trắc nghiệm thích nghi khác nhau sử dụng: Lý thuyết đáp ứng câu hỏi, Logic mờ, Lý thuyết otomat, Chuỗi Markov… Tuy nhiên một trong những mô hình được sử dụng phổ biến nhất hiện nay là mô hình trắc nghiệm thích nghi trên cơ sở lý thuyết đáp ứng câu hỏi (Item Response Theory – IRT) [3]. Lý thuyết đáp ứng câu hỏi cho phép đánh giá mối tương quan giữa mức độ năng lực thí sinh với tập hợp tham số câu hỏi thông qua hàm thông tin câu hỏi. Do đó số lượng, thứ tự và mức độ câu hỏi đánh giá đối với mỗi thí sinh là khác nhau. Từ [1] và [3] có thể thấy rằng lý thuyết trắc nghiệm cổ điển tiếp cận việc đánh giá thí sinh ở cấp độ tập hợp các câu hỏi trong một đề thi trắc nghiệm, còn lý thuyết đáp ứng câu hỏi lại tiếp cận ở cấp độ từng câu hỏi, từng phân vùng kiến thức được đưa ra. Ưu điểm của trắc nghiệm thích nghi so với lý thuyết trắc nghiệm cổ điển là mỗi thí sinh sẽ trả lời một bộ câu hỏi riêng biệt, khác nhau về nội dung, độ khó và số lượng câu hỏi; và mỗi thí sinh sẽ được đánh giá riêng biệt (dựa vào mức độ năng lực hoặc mức độ kiến thức của thí sinh). 8 1.2.1. Mô hình TNTN trên cơ sở lý thuyết đáp ứng câu hỏi Lý thuyết ứng đáp câu hỏi là một lý thuyết của khoa học về đo lường trong giáo dục, ra đời từ nửa sau của thế kỷ 20 và phát triển mạnh mẽ cho đến nay. Đây là lý thuyết trắc nghiệm được xây dựng dựa trên mô hình toán học, đòi hỏi nhiều tính toán, nhưng nhờ sự tiến bộ vượt bậc của công nghệ tính toán bằng máy tính điện tử vào cuối thế kỷ 20 – đầu thế kỷ 21 nên nó đã phát triển nhanh chóng và đạt được những thành tựu quan trọng [3]. Trắc nghiệm thích nghi dựa trên lý thuyết đáp ứng câu hỏi là phương pháp sử dụng lý thuyết đáp ứng câu hỏi để xây dựng hệ thống TNTN trong đó việc lựa chọn ra câu hỏi tiếp theo cho thí sinh (dựa trên các giá trị đặc trưng của câu hỏi) sao cho câu hỏi được lựa chọn phải phù hợp với năng lực của từng thí sinh tại mỗi thời điểm trả lời xong một câu hỏi. Giá trị năng lực thí sinh 𝜃 và các giá trị tham số đặc trưng (độ khó, độ phân biệt, độ đoán mò) cho các câu hỏi kết hợp với các công thức tính toán đã được chứng minh sẽ quyết định được câu hỏi tiếp theo được lựa chọn đưa ra đánh giá thí sinh. Phương pháp này đã phát huy được khả năng tiếp cận năng lực thí sinh, cho phép lựa chọn câu hỏi phù hợp với mức độ năng lực hiện tại của thí sinh. Tuy nhiên, việc lựa chọn câu hỏi tiếp theo là độc lập với câu hỏi đã trả lời, chưa có được mối liên kết giữa nội dung các câu hỏi được lựa chọn. Các câu hỏi lựa chọn có liên kết về mặt giá trị tham số đặc trưng nhưng lại rời rạc về mặt nội dung. Chưa tính được xác suất trả lời đúng sai của thí sinh đối với câu hỏi tiếp theo được lựa chọn. 1.2.2. Mô hình thích nghi trên cơ sở chuỗi Markov Mô hình trắc nghiệm thích nghi sử dụng lý thuyết đáp ứng câu hỏi không tính toán đến mối tương quan giữa các câu trả lời. Mặt khác sự tương quan giữa các câu trả lời của thí sinh có thể cung cấp thông tin của chính câu hỏi cho phép khảo sát sự ảnh hưởng giữa các câu hỏi với nhau và sự ảnh hưởng này sẽ được thể hiện trong các câu trả lời. Và mối tương quan này cho phép đánh giá một cách gián tiếp về chất lượng ngân hàng câu hỏi. Hiện nay một số tác giả đề xuất sử dụng chuỗi Markov để đánh giá mối tương quan giữa các câu trả lời trong mô hình TNTN. Nếu xem rằng mô hình chuỗi các câu trả lời là một chuỗi Markov đồng nhất. Theo luật số lớn trong định lý Poisson thì xác suất chuyển trạng thái không thay đổi với các giá trị xác suất khác nhau của mỗi bước chuyển trong điều kiện số lượng thử nghiệm là đủ lớn. Giả sử rằng sau 𝑥𝑡 = 𝑎 trạng thái, thí sinh trả lời đúng câu hỏi trắc nghiệm, và sau 𝑥𝑡 = 𝑏 trạng thái, thí sinh trả lời sai câu hỏi trắc nghiệm. Xác suất xuất hiện câu trả lời đúng hoặc sai là một đại lượng ngẫu nhiên rời rạc, sử dụng mô hình Markov đơn 9 giản thì quá trình chuyển từ trạng thái này sang trạng thái khác của câu trả lời thí sinh được xác định bởi ma trận xác suất chuyển trạng thái: pbb pij (t) = [p ab pba paa ] (1) Trong đó: - pij (t) = p(xt = j | xt−1 = i) là xác suất chuyển dịch có điều kiện nếu tại thời - điểm 𝑡, kết quả câu trả lời của thí sinh là 𝑗 với điều kiện tại thời điểm 𝑡 − 1 kết quả câu trả lời của thí sinh là 𝑖; 𝑥 (𝑡 ) và 𝑥 (𝑡 − 1) là câu trả lời của TS tại thời điểm 𝑡 và 𝑡 − 1; 𝑖, 𝑗 = {𝑎, 𝑏} – kết quả câu trả lời (đúng hoặc sai). Ngoài ma trận xác suất chuyển trạng thái, để sử dụng mô hình Markov cần thiết lập xác suất cho trạng thái đầu của thí sinh tại thời điểm bắt đầu trắc nghiệm: 𝑡 = 0, 𝑝(𝑥0 ). Để mô hình trắc nghiệm thích nghi có thể đánh giá chính xác hơn năng lực thí sinh, lý thuyết đáp ứng câu hỏi và mô hình Markov được sử dụng hỗn hợp. Khi sử dụng mô hình Markov, hàm thông tin của câu hỏi chưa được đưa ra để đánh giá thí sinh sẽ được tính toán lại, trong đó có tính toán đến kết quả của các câu trả lời trước đó. Với việc sử dụng mô hình Markov thì hàm thông tin tối đa đánh giá mức độ kiến thức hiện tại của thí sinh trong trắc nghiệm thích nghi cũng sẽ thay đổi. Nếu trong quá trình trắc nghiệm đánh giá thí sinh nhận được vector tập hợp các câu trả lời (𝑥0 , 𝑥1 , … , 𝑥𝑛 ) thì trong lý thuyết đáp ứng câu hỏi hàm tính khả năng tối đa được xem là xác suất không điều kiện. Điều này cho thấy mô hình trắc nghiệm thích nghi sử dụng chuỗi Markov để đánh giá năng lực người học sẽ chính xác hơn mô hình TNTN trên cơ sở lý thuyết đáp ứng câu hỏi. Mô hình trắc nghiệm thích nghi trên sử dụng mô hình xác suất dựa trên kết quả thống kê tập hợp tham số câu hỏi trong ngân hàng câu hỏi trắc nghiệm, do đó cho phép đánh giá mức độ năng lực thí sinh được khách quan và chính xác hơn. Tuy nhiên, mô hình TNTN trên cơ sở IRT và chuỗi Markov vẫn còn tồn tại hạn chế là chỉ cho phép đánh giá mức độ năng lực thí sinh theo chiều ngang kiến thức cần đánh giá (dựa vào tập ngân hàng câu hỏi trắc nghiệm). Do đó tôi đề xuất ứng dụng Bayes Network (BN) để xây dựng hệ thống trắc nghiệm thích nghi cho phép đánh giá được mức độ kiến thức của thí sinh với các thành phần kiến thức của nội dung cần đánh giá. 10 1.3. Kết chương Chương này tiến hành nghiên cứu khái niệm trắc nghiệm thích nghi, phân tích mô hình TNTN trên cơ sở IRT và chuỗi Markov đối với các hệ thống TNTN phổ biến hiện nay. Từ đó nêu lên hạn chế của các mô hình TNTN hiện tại là chỉ cho phép đánh giá mức độ năng lực thí sinh theo chiều ngang nội dung kiến thức và đề xuất áp dụng BN để xây dựng hệ thống TNTN cho phép đánh giá mức độ kiến thức của thí sinh theo chiều sâu của nội dung kiến thức cần đánh giá. 11 CHƯƠNG II: XÂY DỰNG MÔ HÌNH TNTN TRÊN CƠ SỞ MẠNG BAYES 2.1. Mạng Bayes 2.1.1. Giới thiệu Bayesian Belief Networks (BBNs) còn gọi là Bayesian Networks (BNs) hay Belief Networks (BNs) được phát triển đầu tiên vào cuối những năm 1970s ở Đại học Stanford [8]. BBNs là mô hình đồ thị (graphical model) thể hiện mối quan hệ nhân – quả (cause – effect) giữa các biến. BBNs chủ yếu dựa trên lý thuyết xác suất có điều kiện hay còn gọi là lý thuyết Bayes (Bayesian theory, hay Bayes’ theory). Mạng Bayes còn là một dạng của biểu đồ ảnh hưởng (influence diagram), kết hợp hài hòa giữa lý thuyết xác suất và lý thuyết đồ thị để giải quyết hai vấn đề quan trọng: tính không chắc chắn và tính phức tạp, được ứng dụng rộng rãi trong toán học và kỹ thuật [9]. Hình 2.1. Mô hình minh họa cho mạng Bayes [9] Cùng với các lý thuyết khác như lôgic mờ (Fuzzy Logic), mạng nơron nhân tạo (Artificial Neural Networks - ANNs), thuật toán gen (Genitic Algorithrs - GAs)…, BBNs là phương pháp chủ yếu dựa trên xác suất có điều kiện để dự báo (prediction) hoặc chuẩn đoán (diagnosis) một sự việc, một vấn đề đã, đang và sắp xảy ra. 2.1.2. Công thức Bayes BBNs dựa trên lý thuyết xác suất có điều kiện của Thomas Bayes, ông đã đưa ra qui luật cơ bản của xác suất, do đó gọi là công thức Bayes [10]. Công thức đơn giản nhất như sau: 𝑃(𝐴|𝐵) = 𝑃(𝐵|𝐴) 𝑃(𝐴) 𝑃(𝐵) (2) 12 Trong đó: - 𝐴 và 𝐵 là hai sự kiện có thể xảy ra và phụ thuộc với nhau. 𝑃(𝐴) là xác suất của sự kiện 𝐴; 𝑃(𝐵) là xác suất của sự kiện 𝐵; 𝑃(𝐵/𝐴) là xác suất có điều kiện của 𝐵 khi biết trước 𝐴 đã xảy ra; 𝑃(𝐴/𝐵) là xác suất có điều kiện của 𝐴 khi biết trước 𝐵 đã xảy ra. 2.1.3. Cấu trúc mạng Bayes Mạng Bayes là mô hình trực tiếp mà mỗi biến được đại diện bởi một nút (node), mối quan hệ nhân quả giữa hai biến đó được biểu thị bằng mũi tên được gọi “edge”. Mũi tên hướng từ nút nguyên nhân “parent node” đến nút kết quả “child node”. Nút kết quả phụ thuộc có điều kiện vào nút nguyên nhân. Mỗi nút (hay là biến) có một trạng thái (state) tùy thuộc đặc trưng của biến đó. Cụ thể, theo hình 2.2, nút “tuyết rơi” là nút nguyên nhân ảnh hưởng đến nút kết quả “tình trạng con đường” và chúng có những trạng thái tương ứng [11]. Hình 2.2. Cấu trúc đơn giản của mạng Bayes trong tự nhiên Hình 2.3 thể hiện cấu trúc của mạng BBNs tổng quát hơn, phức tạp hơn với nhiều nút (nodes) và nhiều cạnh liên kết (edges) [12]. 13 𝑋1 … 𝑋𝑁 . 𝑌1 … 𝑌2 𝑌𝑀 Hình 2.3. Cấu trúc mạng Bayes tổng quát 2.1.4. Bảng xác suất có điều kiện (CPT) Mỗi nút luôn được gắn với một bảng xác suất có điều kiện (Conditional Probability Table: CPT) dựa vào những thông tin ban đầu hay dữ liệu, kinh nghiệm trong quá khứ. Ví dụ, mạng Bayes trong hình 2.2, CPT của các biến như sau (Bảng 1): Bảng 1: CPT của các biến “Road Conditions” của mạng Bayes theo hình 2.2 Parent node Child node Precipitation Road Conditions Impassable Passable None 0.05 0.95 Light 0.10 0.90 Heavy 0.70 0.30 Theo bảng 1, ta thấy: “nếu tuyết rơi (Precipitation) ở trạng thái nhẹ (Light) thì khả năng (hay xác suất) để con đường (Road Conditions) có thể đi qua được (Passable) là 90%; và không thể đi qua được (Impassable) là 10%”. Trong mạng bayes, nút mà không có nguyên nhân (no parent) gây ra nó thì gọi là nút gốc (root node). CPT của nút này gọi là xác suất ban đầu (prior probability). Theo hình 2.2, CPT của nút Precipitation được mô tả trong bảng 2. Bảng 2: CPT của các biến “Precipitation” trong mạng Bayes theo hình 2.2 Precipitation None Light Heavy 0.800 0.150 0.005 14 Như vậy có thế nói mạng Bayes là một đồ thị có hướng phi chu trình mà trong đó: - Các nút biểu diễn các biến Các cung biểu diễn các quan hệ phụ thuộc thống kê giữa các biến và phân phối xác suất địa phương cho mỗi giá trị nếu cho trước giá trị của các cha của nó. Nếu có một cạnh từ nút A tới nút B, thì biến B phụ thuộc trực tiếp vào biến A, và A được gọi là cha của B. Nếu với mỗi biến 𝑋𝑖,𝑗 ∈ {1, . . , 𝑁} tập hợp các biến cha được ký hiệu bởi parents(𝑋𝑖 ), thì phân phối có điều kiện phụ thuộc của các biến là tích của các phân phối địa phương. 𝑃𝑟(𝑋1 , … , 𝑋𝑛 ) = ∏𝑛𝑖=1 𝑃 𝑟(𝑋𝑖 │𝑃𝑟𝑎𝑟𝑒𝑛𝑡𝑠(𝑋𝑖 )) (3) Nếu 𝑋𝑖 không có cha, ta nói rằng phân phối xác suất địa phương của nó là không có điều kiện, nếu không, nó là có điều kiện. Nếu biến được biểu diễn bởi một nút được quan sát, thì ta nói rằng nút đó là một nút hiển nhiên (evidence node). Trong luận văn, tôi sử dụng mạng Bayes nhân quả để xây dựng mô hình miền kiến thức. Mạng Bayes nhân quả là một mạng Bayes mà trong đó các cạnh có hướng của đồ thị được hiểu là các quan hệ nhân quả trong một miền xác định có thực nào đó. 2.2. Thuật toán TNTN tổng quát Các mô hình thuật toán TNTN thường được xây dựng theo mô hình tổng thể gồm các bước như sau (Hình 2.4): - - Bước 1: Xác định các câu hỏi còn lại trong ngân hàng câu hỏi trắc nghiệm chưa đưa ra đánh giá thí sinh. Trong tập câu hỏi đó cần lựa chọn ra câu hỏi tốt nhất phù hợp với mức độ hiện tại (năng lực, kiến thức) của thí sinh nhất. Bước 2: Đề xuất câu hỏi cho thí sinh trả lời và thu nhận kết quả trả lời. Bước 3: Dựa vào kết quả câu trả lời của thí sinh, tính toán lại mức độ kiến thức, năng lực của thí sinh. Bước 4: Lặp lại các bước 1 đến 3 cho đến khi xác định được mức độ năng lực, kiến thức của thí sinh theo các điều kiện dừng.