Tài liệu Xây dựng hệ thống đánh giá và phân loại bài thi anh ngữ kỹ năng đọc dựa trên phương pháp nhúng từ và mạng lưới thần kinh nhân tạo

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA --------------------------------------- ĐỖ THIẾC NHA XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ VÀ PHÂN LOẠI BÀI THI ANH NGỮ KỸ NĂNG ĐỌC DỰA TRÊN PHƯƠNG PHÁP NHÚNG TỪ VÀ MẠNG LƯỚI THẦN KINH NHÂN TẠO NG NH: H TH NG TH NG TIN QU N L M NG NH: 8340405 LUẬN VĂN THẠC SĨ Ý Ả 
 Ô Ố Ệ À À Ã TP. HỒ CHÍ MINH, tháng 01 năm 2021 Cán b h ng d n khoa h c : PGS. TS Đặng Trần Khánh PGS. TS Nguyễn Thanh Bình Cán b ch m nh n xét 1 : PGS. TS Nguyễn Tuấn Đăng Cán b ch m nh n xét 2 : PGS. TS Vũ Thanh Nguyên Lu n v n th c s đ c b o v t i Tr ng Đ i h c Bách Khoa, ĐHQG Tp. HCM ngày 21 tháng 01 n m 2021. Thành ph n H i đ ng đánh giá lu n v n th c s g m: 1. CH T CH : PGS.TS. Trần Minh Quang. 2. TH KÝ : TS. Lê Hồng Trang. 3. PH N BI N 1 : PGS. TS. Nguyễn Tuấn Đăng. 4. PH N BI N 2 : PGS. TS. Vũ Thanh Nguyên. 5. Y VIÊN : TS. Phan Trọng Nhân. Xác nh n c a Ch t ch H i đ ng đánh giá LV và Tr ả NG KHOA KH & KT MÁY TÍNH 
 ở ư ồ ọ ĩ Ạ 
 TR ế ạ ạ Ở Ư ữ ă ờ ư 
 ậ ử ạ ợ ồ ệ ư ọ ộ ả G Ợ ă Ồ Ọ ợ ị Ư ă ư ồ ủ ậ ậ ậ ẫ ĩ Ộ Ạ ộ Ệ Ệ ạ ủ ớ ấ ấ ầ Ị ư Ị ă ậ Ờ ộ ộ ộ Ủ Ư Ả Ả Ư Ủ CH T CH H I Đ N ậ ng Khoa qu n lý chuyên c s a ch a (n u có). ngành sau khi lu n v n đã đ Ủ CÔNG TRÌNH Đ C HOÀN THÀNH T I TR NG Đ I H C BÁCH KHOA - ĐHQG - HCM TR C NG HÒA XÃ H I CH NGH A VI T NAM NG Đ I H C BÁCH KHOA Độc l p - T do - H nh phúc _____________________________ _______________________ NHI M V LU N V N TH C S H tên h c viên: ĐỖ THIẾC NHA................. MSHV: 1870305 ………….… Ngày, tháng, n m sinh: 20/02/1983…………. N i sinh: Tp. Hồ Chí Minh … Ngành: Hệ thống thông tin quản lý………...... Mã s : 8340405……………. I. TÊN Đ TÀI: XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ VÀ PHÂN LOẠI BÀI THI ANH NGỮ KỸ NĂNG ĐỌC DỰA TRÊN PHƯƠNG PHÁP NHÚNG TỪ VÀ MẠNG LƯỚI THẦN KINH NHÂN TẠO II. NHI M V VÀ N I DUNG: - Tìm hiểu phương pháp biểu diễn văn bản thành véc-tơ số thực, phương pháp đánh giá mức độ tương đồng về mặt ngữ nghĩa, phương pháp phân loại sử dụng kỹ thuật học sâu. - Đ xu t m t cách ti p c n, ph ng h ng gi i quy t cho hệ thống đánh giá và xác định cấp độ của bài thi - Hiện thực công c đánh giá phân loại câu hỏi thi và đánh giá h th ng v i các d li u th c t i đ n v n i công tác. III. NGÀY GIAO NHI M V : 10/02/2020 IV. NGÀY HOÀN THÀNH NHI M V : 21/01/2021 V. CÁN B H NG D N: PGS. TS. Đ NG TR N KHÁNH PGS. TS. NGUYỄN THANH BÌNH Tp. HCM, ngày . . . . tháng …. n m 20…. CÁN B H NG D N CHỦ NHIỆM BỘ MÔN ĐÀO TẠO ữ Ệ ớ Ĩ ố ă ạ ệ Ầ Ủ ự Ộ ố Ặ ậ ế ơ ả Ụ Ộ ớ Ĩ ư Ệ Ạ ơ Ụ ư Ẫ Ệ ậ Ă Ộ Ẫ ơ ế ụ Ọ ị Ậ Ớ Ố Ư ă Ụ Ạ ơ Ớ Ư Ụ ộ ạ Ộ Ề Ọ ọ Ệ Ộ ự Ờ ấ Ệ Ạ Ư ọ ề TRƯỞNG KHOA ệ Đ I H C QU C GIA TP.HCM LỜI CẢM ƠN Tôi xin chân thành c m n khoa Khoa H c và K Thu t Máy Tính, tr ng đ i h c Bách Khoa Tp H Chí Minh, đ i h c Qu c gia Tp. H Chí Minh đã t o đi u ki n thu n l i cho tôi trong su t quá trình h c t p và th c hi n đ tài. Tôi xin chân thành c m n các th y cô trong khoa Khoa H c và K Thu t Máy Tính đã t n tình gi ng d y, trang b cho tôi nh ng ki n th c c n thi t trong su t nh ng n m h c qua. Tôi xin g i l i c m n chân thành nh t đ n th y PGS.TS. Đ ng Tr n Khánh, gi ng viên h ng d n tr c ti p đ tài. Th y là ng i đã theo t ng b c đi c a tôi, giúp đ , đ nh h ng đi cho tôi, s a ch a nh ng sai sót c ng nh góp ý đ tôi th c hi n đ c đ tài này. Tôi cũng xin chân thành gửi lời cám ơn chân thành đến PGS.TS Nguyễn Thanh Bình, thầy là người đã chỉ dạy cho tôi trong nhiều môn học, trao cho tôi nhiều giá trị về kiến thức quý báu trong học tập một cách đầy cảm hứng. Tôi c ng xin c m n t i gia đình, b n bè đã sát cánh bên c nh tôi, giúp đ đ tôi có đi u ki n t t nh t c v v t ch t và tinh th n trong quá trình th c hi n đ tài. M c dù đã có c g ng trong ph m vi và kh n ng cho phép, nh ng không th tránh kh i nh ng thi u sót, r t mong đ c s góp ý, ch b o thêm c a quý th y cô và các b n. ể ể ể ạ ậ ế ạ ủ ệ ọ ỡ ề ờ ĩ ự ủ ầ ư ệ ớ ầ ư ư ờ ứ ư ự ọ ừ ế ặ ũ ả ồ ạ ỉ ậ ữ ậ ạ ọ ờ ầ ư ỹ ữ ầ ă ố ự ả ị ữ ế ợ ọ ầ ọ ư ấ ấ ầ ố ử ạ ầ ạ ề ậ ạ ơ ạ ấ ế ề ả ơ ả ả ơ ọ ự ấ ồ ả ớ ế ả ơ ớ ề ẫ ă ư ắ ơ ợ ả ố ợ ạ ố ậ ư ả ớ ị ữ ậ ữ ệ ờ ư 
 ỡ ệ ử ỏ ố ề ệ ự ũ ệ ố ề ả ặ ầ ọ ề Cu i cùng xin chân thành c m n th y cô và các b n đã giành th i gian đ c tài li u này. Đây là lu n v n th c s c a h c viên cao h c Đỗ Thiếc Nha. Trong lu n v n này, tác giả đ xu t m t ph ng pháp và công c đ c g i là hệ thống đánh giá và phân loại bài thi Anh ngữ kỹ năng đọc dựa trên phương pháp nhúng từ và mạng thần kinh nhân tạo. Đ tài đ c th c hi n d a trên các tài li u và các công trình nghiên c u v ng d ng phương pháp nhúng từ, mạng thần kinh nhân tạo. M t hệ thống th c nghi m c ng đ c hi n th c trong môi tr ng ho t đ ng t i m t công ty giáo dục Tp. H Chí Minh, đ đánh giá nh ng đóng góp c ng nh h n ch c a đ xu t trong vi c h tr các giáo viên trong vi c đánh giá, phân loại bài thi Anh ngữ kỹ năng đọc. Một bài thi bao gồm nhiều câu hỏi thi, các câu hỏi thi thường được chia thành hai loại. Loại thứ nhất dùng để kiểm tra, đánh giá mức độ tiếp nhận, áp dụng kiến thức đã học. Loại thứ hai dùng để thử thách khả năng của học viên. Một bài thi tốt giúp đánh giá chính xác học viên và phản ánh mức độ tiến bộ của học viên. Ngân hàng câu hỏi thi được xây dựng từ các nguồn bên ngoài cũng như nội bộ tự biên soạn. Đánh giá cấp độ câu hỏi thi để xây dựng một đề thi Anh ngữ là một công việc phức tạp đòi hỏi nhiều công sức, chi phí và thời gian. Công việc này đang được thực hiện thủ công và chất lượng công việc phụ thuộc vào kỹ năng, trình độ,… của hội đồng giáo viên. Ph ng pháp lu n c a đ tài bao g m hai ph n. Ph n đ u t p trung vào vi c xác đ nh ph m vi, các ng c nh s d ng, các yêu c u đ t ra, các h n ch c a các công trình nghiên c u liên quan t đó đ xu t m t ph ng pháp ti p c n phù h p. Dựa trên cách tiếp cận này, ở phần hai, sẽ tập trung vào việc phân tích, thiết kế và xây dựng hệ thống đánh giá và phân loại bài thi Anh ngữ kỹ năng đọc dựa trên phương pháp nhúng từ và mạng thần kinh nhân tạo. Ph n k t lu n c a lu n v n đã nêu lên các u đi m c a ph ng pháp, c ng nh m t ề ở ộ ự ứ ư ệ ấ ợ ă ề ủ ũ ậ ế ủ ng lai. ậ ộ ế ạ ộ ế ậ ạ ơ ạ ầ ư 
 ư ộ ầ ặ ủ ơ ệ ạ ũ ư ơ ọ ầ c c i ti n trong t ể ư ầ ợ ộ ọ ư ờ ư ư ụ ấ ế ồ ề ệ ả ự ữ ụ ử ợ ọ ệ ừ ư ự ủ ề ả ă ầ ự ỹ ệ ủ ữ ơ ể ậ ể ư ợ ạ ư ợ ậ ủ ư ứ ă ộ ề ậ ũ ợ ế ậ ấ ạ ế ỗ ụ ồ ề ệ ơ ạ ư ầ ệ ị s h n ch và các đi m c n đ ố ứ TÓM TẮT LUẬN VĂN THẠC SĨ ABSTRACT This is the Master Thesis of Do Thiec Nha. In this thesis, I propose a method and tool called an English reading assessment and classification system based on word embedding method and neural network. It is based on currently available literature and new research on word embedding method application, artificial neural network. The study was conducted at an Education Company in Ho Chi Minh City with the prototype being evaluated by teachers in the Academic Department to assess accuracy. An exam consists of many exam questions, exam questions are usually divided into two categories. The first type is used to test and evaluate the degree of reception and application of learned knowledge. The second type is used to challenge students' abilities. A good test helps to accurately assess the student and reflect the student's progress. The exam question bank is compiled from external and self-compiled sources. Evaluating the level of exam questions to develop an English test is a complex task that requires a lot of effort, cost, and time. This job is being done manually and the quality of the work depends on the skills, qualifications, ... of the teacher council. The methodology consists of two parts. The first part focuses on defining a scope, use cases, requirements of organization operational environment and some relative researches to propose an appropriate approach. Based on this approach, in part two, will focus on the analysis, design and construction of a rating and classification system for English language tests based on word embedding method and neural network. The conclusion in the experimental result discusses several advantages of the 
 methodology and some drawbacks and future points for optimization. L I CAM ĐOAN Tôi xin cam đoan lu n v n th c s v i đ tài “Xây dựng hệ thống đánh giá và phân loại bài thi anh ngữ kỹ năng đọc dựa trên phương pháp nhúng từ và mạng lưới thần kinh nhân tạo” là k t qu c a quá trình h c t p, nghiên c u khoa h c, đ c l p và nghiêm túc. Các s li u trong lu n v n là trung th c, có ngu n g c rõ ràng, đ c trích d n và có tính k th a, phát tri n t các tài li u, sách báo, t p chí và các công trình nghiên c u đã đ c công b , có trích d n rõ ràng. Ngoài nh ng tài li u đ c li t kê, tôi xin cam đoan n i dung lu n v n không đ sao chép t b t c đ tài hay công trình nghiên c u c a ng c i khác. N u sai tôi xin ch u hoàn toàn trách nhi m. H c viên th c hi n Đỗ Thiếc Nha (1870305) ứ ợ ư ậ ẫ ộ ế ọ ă ợ ư ậ ờ ứ ư ộ ủ ố ứ ạ ồ ậ ọ ề ự ớ ĩ ệ ạ ă ệ ủ ẫ ă ả ă ừ ợ ệ ư ậ ể ề ế ậ ệ ứ ệ ố ấ ự ừ ừ ữ ệ ố ế ợ ồ ư ị Ờ ọ Tp. H Chí Minh, tháng 01, n m 2021. MỤC LỤC CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI ....................................................................................1 1. Lý do chọn đề tài ..............................................................................................................1 2. Mục tiêu nghiên cứu ........................................................................................................2 3. Ý nghĩa khoa học và thực tiễn ........................................................................................3 4. Gi i h n đ tài ..................................................................................................................3 5. C u trúc báo cáo ..............................................................................................................3 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT ......................................................................................5 1. Phương pháp đánh giá khả năng đọc của văn bản (Readability formula) ................5 2. Phương pháp biểu diễn văn bản thành véctơ số (Text vectorization) .........................8 3. Mô hình ngôn ngữ BERT (Bidirectional Encoder Representations from Transformers) ................................................................................................................18 4. Phương pháp phân loại văn bản (Text Classification) ...............................................22 5. Phương pháp tính mức độ tương đồng về mặt ngữ nghĩa (semantic similarity) .....25 CHƯƠNG 3: CÁC NGHIÊN CỨU LIÊN QUAN ĐỀ TÀI ...............................................29 1. Phân loại văn bản dựa trên trích xuất đặc trưng bằng Domain-Knowledge và Machine Learning .................................................................................................................................29 2. Phân loại văn bản dựa trên trích xuất đặc trưng bằng Prediction-based embedding và Machine Learning .................................................................................................................30 CHƯƠNG 4: ĐỀ XUẤT VÀ HIỆN THỰC NGUYÊN MẪU ............................................32 2.1. Đặc tả dữ liệu đầu vào ...................................................................................................32 2.2. Thành ph n h th ng ....................................................................................................33 2.3. Ch c n ng các thành ph n c a h th ng ....................................................................34 2.4. Phương pháp xây dựng mô hình ngôn ngữ cho bài toán phân loại câu hỏi thi Anh ngữ kỹ năng ....................................................................................................................35 2.5. Thi t k tr c quan – t ng tác .....................................................................................37 CHƯƠNG 5: THỰC NGHIỆM VÀ KẾT QUẢ .................................................................41 2.1. Mục tiêu ..........................................................................................................................41 2.2. Thu thập dữ liệu ............................................................................................................41 2.3. Thiết lập thí nghiệm ......................................................................................................42 2.4. Kết quả và thảo luận .....................................................................................................43 CHƯƠNG 6: KẾT LUẬN ...................................................................................................46 2.1. Đóng góp c a đ tài .......................................................................................................46 2.2. H n ch c a đ tài và c i ti n trong t ng lai .............................................................46 DANH MỤC TÀI LIỆU THAM KHẢO.............................................................................48 PHỤ LỤC ............................................................................................................................50 2.1. Các khai báo và hàm đ c s d ng trong đ tài ........................................................50 2.2. B ng câu h i kh o sát ....................................................................................................50 ề ơ ố ư ệ ụ ủ ử ế ầ ợ ơ ả ư ư ố ả ề ệ ề ủ ỏ ề ự ầ ủ ă ế ế ạ Ị ế ứ ớ ạ ấ ả LÝ L CH TRÍCH NGANG .................................................................................................51 DANH MỤC HÌNH Hình 1 - Ví dụ One-hot BoW c a m i t trong v n b n. (nguồn hoctructuyen123.net) ..................................................................................................9 Hình 2 - Cách tính véct TF-IDF Mô hình CBOW v i nhiều đ u vào (nguồn hoctructuyen123.net) ................................................................................................10 Hình 3 - Ví dụ về cửa sổ ngữ cảnh (Context Windows). (nguồn hoctructuyen123.net) ................................................................................................10 Hình 4 - Ví dụ về ma trận đồng xuất hiện (Co-occurrence Matrix). (nguồn hoctructuyen123.net) ................................................................................................11 Hình 5 - Mô hình CBOW v i m t đ u vào (nguồn hoctructuyen123.net) ...............13 Hình 6 - Mô hình CBOW v i nhiều đ u vào. (nguồn towardsdatascience.com) .....14 Hình 7 - Mô hình Skip-gram v i m t đ u vào (nguồn hoctructuyen123.net) ..........15 Hình 8 - Mô hình Distributed Memory version of Paragraph Véctơ (PV-DM) (nguồn https://www.arxiv-vanity.com/papers/1405.4053) .......................................16 Hình 9 - Mô hình Distributed Bag of Words version of Paragraph Véctơ (PVDBOW) (nguồn https://www.arxiv-vanity.com/papers/1405.4053) .........................17 Hình 10 - Mô tả bộ mã hóa (encoder) Transformer. (nguồn https://www.lyrn.ai/ 2018/11/07/explained-bert-state-of-the-art-language-model-for-nlp) ......................20 Hình 11 - Mô tả hoạt động của MLM (nguồn https://www.lyrn.ai/2018/11/07/ explained-bert-state-of-the-art-language-model-for-nlp) .........................................21 Hình 12 - Đào tạo hệ thống phân loại dựa trên học máy (Machine Learning) (nguồn monkeylearn.com) ....................................................................................................24 Hình 13 - Hoạt động dự đoán của hệ thống phân loại dựa trên học máy (nguồn monkeylearn.com) ....................................................................................................24 Hình 14 - Phân loại các phương pháp đo lường tương đồng về mặt ngữ nghĩa (trích ầ ả ớ ă ừ ầ ầ ỗ ầ ộ ộ ủ ớ ớ ớ ơ dẫn từ bài báo [10])...................................................................................................25 Hình 15 - Mô hình sự tương đồng giữa hai văn bản bằng giá trị cosine (nguồn https://github.com/sagarmk/Cosine-similarity-from-scratch-on-webpages) ............27 Hình 24 - Khung phân loại câu hỏi dựa trên domain-knowledge.............................30 Hình 16 - Các thành phần chính của hệ thống. .........................................................34 Hình 17 - Bốn cách thức đào tạo bổ sung trên mô hình ngôn ngữ đào tạo sẵn (nguồn https://www.analyticsvidhya.com/blog/2017/06/transfer-learning-the-art-of-finetuning-a-pre-trained-model) .....................................................................................36 Hình 18 - Các tác vụ chính được cung cấp cho giáo viên. .......................................38 Hình 19 - Giao diện đăng nhập của hệ thống ...........................................................38 Hình 20 - Giao diện nhập liệu của hệ thống .............................................................39 Hình 21 - Thông báo nhập thiếu dữ liệu của hệ thống .............................................39 Hình 22 - Thông báo dữ liệu có lỗi chính tả và hướng xử lý lỗi. .............................40 Hình 23 - Xuất kết quả và thu thập ý kiến của giáo viên..........................................40 Bảng câu hỏi thu thập phản hồi về tính hữu ích của hệ thống ..................................50 DANH M C T NG VI T T T Thuật ngữ Tên đầy đủ AI Artificial Intelligence ML Machine Learning DL Deep Learning BERT Bidirectional Encoder Representations from Transformers DistilBERT A smaller, lightweight version of BERT ANN Artificial Neuron Network WE Word Embedding TC Text Classification NLP Natural language processing BOW Bag of Words CBOW Continuous Bag of Words CNN Convolutional Neural Networks LSTM Long Short Term Memory Bi-LSTM Bidirectional Long Short Term Memory RT-LSTM Recursive Tree LSTM MSE Mean Square Error RMSE Root Mean Square Error SVM Support Vector Machine MLP Multilayer Perceptron LSA Latent Semantic Analysis Back Propagation Neural Network Ắ Ế Ữ Ừ Ụ BPNN Ghi chú Page 1 CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI 1. Lý do chọn đề tài Công việc của phòng ban học thuật tại một trung tâm giảng dạy Anh ngữ ở Việt Nam gồm ba công việc chính: 1. Chọn lựa, điều chỉnh giáo trình phù hợp môi trường Việt Nam và định hướng của tổ chức. 2. Tuyển dụng, đào tạo, quản lý giáo viên và tổ chức giảng dạy 3. Đánh giá kết quả học tập và định hướng lộ trình học tập Đánh giá kết quả học tập được thực hiện trong suốt quá trình giảng dạy thông qua các bài tập trên lớp, bài tập ở nhà và các bài kiểm tra kiểm tra định kỳ. Bên cạnh việc sử dụng các nguồn bên ngoài, các trung tâm Anh ngữ còn thực hiện biên soạn bài tập, câu hỏi thi, bài thi để phù hợp với đặc trưng và định hướng phát triển riêng của tổ chức. Một trung tâm Anh ngữ xác định thế mạnh là mảng học thuật (du học) sẽ ưu tiên phát triển giáo trình, bài tập, câu hỏi thi, bài thi chuyên về học thuật. Điều này diễn ra tương tự đối với một trung tâm Anh ngữ xác định thế mạnh là mảng giao tiếp. Một bài thi bao gồm nhiều câu hỏi thi, các câu hỏi thi thường được chia thành hai loại. Loại thứ nhất dùng để kiểm tra, đánh giá mức độ tiếp nhận, áp dụng kiến thức đã học. Loại thứ hai dùng để thử thách khả năng của học viên. Một bài thi tốt giúp đánh giá chính xác học viên và phản ánh mức độ tiến bộ của học viên. Ngân hàng câu hỏi thi được xây dựng từ các nguồn bên ngoài cũng như nội bộ tự biên soạn. Đánh giá cấp độ câu hỏi thi để xây dựng một đề thi Anh ngữ là một công việc phức tạp đòi hỏi nhiều công sức, chi phí và thời gian. Công việc này đang được thực hiện thủ công và chất lượng công việc phụ thuộc vào kỹ năng, trình độ,… của hội đồng giáo viên. Các bước thực hiện đánh giá và phân loại cấp độ câu hỏi thi gồm 1. Giáo viên thứ nhất và thứ hai thực hiện độc lập các bước: • Đánh giá mức độ dễ đọc của ngữ cảnh câu hỏi thi (đoạn văn) • Đánh giá từ vựng phù hợp cho cấp độ học viên. • Mức độ gây phân tâm giữa câu trả lời đúng và các câu trả lời sai (Ý nghĩa gần giống được đánh giá có mức độ phân tâm cao) Trang 2 • Đưa ra kết quả cấp độ phù hợp. 2. Giáo viên thứ ba kiểm tra và đối chiếu kết quả của giáo viên thứ nhất và thứ hai. Khi không đồng thuận kết quả, câu hỏi thi được chuyển 03 trợ giảng (tutor) ở 3 cấp độ thực hiện nhận xét cấp độ của bài thi 3. Giáo viên thứ ba tổng hợp thông tin và ra quyết định cuối cùng. Với mục tiêu giảm chi phí, thời gian và chất lượng công việc, đề tài luận văn này nghiên cứu, áp dụng phương pháp xử lý ngôn ngữ tự nhiên BERT và mạng nơ-ron nhân tạo, để xây dựng hệ thống đánh giá và xác định cấp độ của bài thi. Quy định phải có của một câu hỏi thi được lồng ghép trong hệ thống để đảm bảo tính tuân thủ. Hệ thống này giúp tăng tốc quá trình đánh giá, giảm bớt công việc cho hội đồng giáo viên. Dựa trên kết quả đánh giá của hệ thống, hội đồng giáo viên lựa chọn sử dụng, kiểm tra, điều chỉnh bài thi nếu có cho phù hợp với mục tiêu xây dựng đề thi ban đầu. 2. Mục tiêu nghiên cứu Đ tài s t p trung vào nghiên c u các ph ng pháp nhúng từ (word-embedding), phương pháp BERT, phương pháp phân loại văn bản (text-classification), phương pháp tính mức độ dễ đọc của văn bản và phương pháp tính mức độ tương đồng về mặt ngữ nghĩa. T đó, tác giả đ xu t m t cách ti p c n và ph ng h ng gi i quy t cho bài toán đánh giá và xác định cấp độ của bài thi. C th đ tài s nghiên c u vào ba v n đ sau: 1. Phương pháp nhúng từ (word-embedding) và các biến thể để biểu diễn từ ngữ, câu văn và đoạn văn thành véc-tơ số thực trong khi vẫn giữ phần lớn ngữ nghĩa. 2. Phương pháp đánh giá mức độ tương đồng về mặt ngữ nghĩa giữa hai đoạn văn bản (cụ thể là mức độ tương đồng ngữ nghĩa giữa ba câu trả lời sai với câu trả lời đúng) 3. Phương pháp phân loại sử dụng kỹ thuật học sâu. Các đ i t ng nghiên c u chính bao g m: 1. Dữ liệu đầu vào gồm 1664 câu hỏi thi đã được hội đồng giáo viên phân chia cấp độ trong giai đoạn xây dựng hệ thống. 2. Ki n th c chuyên môn c a ng i dùng, trong tr ng h p này là c a giáo viên và ả ớ ư ơ ư ủ ậ ợ ế ờ ư ơ ư ộ ề ấ ồ ấ ề ứ ờ ư ủ ứ ứ ừ ẽ ậ ợ ề ư ẽ ứ ể ố ế ế ề ụ hội đồng giáo viên trong việc đánh giá kết quả của hệ thống. Trang 3 3. Phương pháp nhúng từ (word-embedding) 3. Ý nghĩa khoa học và thực tiễn Về mặt nghiên cứu khoa học, đề tài này có ý nghĩa phát triển và thúc đẩy các nghiên cứu, ứng dụng các kỹ thuật xử lý ngôn ngữ tự nhiên trong việc cải thiện chất lượng đào tạo Anh ngữ. Bên c nh đó, đề tài c ng thúc đ y các nghiên c u k t h p gi a các l nh v c khác nhau nh xử lý ngôn ngữ tự nhiên, mạng nơ-ron và Anh ngữ học trong vi c gi i quy t các bài toán v chất lượng đào tạo, mà đó các h th ng t đ ng còn m t s h n ch nh t đ nh và phần lớn dựa vào hoạt động thủ công của con người. Về mặt thực tiễn, khi ứng dụng đề tài nghiên cứu này giúp tăng tốc quá trình đánh giá, giảm bớt công việc thủ công của con người và đưa ra đánh giá công bằng dựa trên các chỉ tiêu cụ thể. Đ i v i tác gi , đ tài này s giúp b n thân nghiên c u sâu h n v l nh v c xử lý ngôn ngữ tự nhiên, các công trình nghiên c u đã và đang đ xem xét các h n ch hi n có đ tìm ra cách ti p c n và h c phát tri n, c ng nh ng gi i quy t cho các bài toán đánh giá và xác định cấp độ của bài thi. 4. Gi i h n đ tài Do ngu n l c có h n, nên ph m vi nghiên c u c a đ tài tr c m t t p trung vào vi c đ xu t và hi n th c m t hệ thống đánh giá phân loại câu hỏi thi thực hiện tự động thao tác đánh giá phân loại thủ công của giáo viên bằng cách dựa trên việc điều chỉnh một mô hình ngôn ngữ đã được đào tạo sẵn, kết hợp đào tạo bổ sung trên t p d li u của Yola. 5. C u trúc báo cáo N i dung c a lu n v n th c s này đ • Ch c chia làm 5 ch ng: ng 1: Gi i thi u đ tài, trình bày v nhu c u, khó kh n và thách th c c a vi c đánh giá xác định cấp độ của câu hỏi thi Anh ngữ, m c đích và ý ngh a c a vi c nghiên c u, gi i h n đ tài và c u trúc bài báo cáo. • Ch ng 2: C s lý thuy t, trình bày t ng quan v phương pháp đo lường mức độ dễ đọc của văn bản (text readability formula), phương pháp biểu diễn văn bản thành véc-tơ số thực (text vectorization), mô hình ngôn ngữ BERT, phương pháp phân loại văn bản (text classification), và phương pháp tính mức độ tương đồng về mặt ngữ nghĩa (semantic similarity). • Chương 3: Trình bày các nghiên cứu liên quan • Ch ng 4: Đ xu t thi t k và hi n th c nguyên m u, trình bày đ c t d li u đ u ư ợ ố ủ ủ ầ ế ệ ĩ ự ũ ứ ệ ứ ữ ể ậ ĩ ế ả ề ắ ở ặ ả ơ ớ ư ợ ă ư ụ ớ ẩ ư ề ơ ứ ư ẫ ủ ậ ầ ề ũ ứ ế ứ ề ệ ề ổ ự ả ợ ấ ư ị ệ ế ạ ư ấ ể ạ ẽ ộ ĩ ế ế ề ế ạ ế ề ế ự ệ ạ ế ạ ố ă ế ạ ệ ớ ố ề ệ ệ ả ấ ậ ở ự ộ ả ạ ớ ứ ề ầ ệ ơ ự ề ủ ấ ĩ ệ ồ ạ ề ớ ữ ộ ơ ơ ơ ớ ư ư ư ữ ố ệ ấ ộ ệ ệ ự ậ vào, thành ph n h th ng, thi t k giao di n. Trang 4 • Ch ng 5: Thí nghi m và k t qu , trình bày v thu th p d li u, thi t l p th c nghi m, đánh giá k t qu . ng 6: K t lu n, trình bày k t qu các đóng góp c a đ tài, h n ch c a đ tài, ự ề ậ ủ ế ế ệ ạ ữ ề ậ ng lai. ủ ả ả 
 ế ế ơ ả ng phát tri n trong t ư ệ ế ậ ể ế ơ ệ ơ ư ư ớ ư h ề • Ch Trang 5 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 1. Phương pháp đánh giá khả năng đọc của văn bản (Readability formula) Người đọc (khán giả) luôn là tâm điểm chú ý của người viết tài liệu, văn bản (tác giả). Để có thành công trong công việc, các tác giả phải đảm bảo rằng văn bản do họ viết phải dễ hiểu, dễ đọc và hấp dẫn đối với đối tượng người đọc mục tiêu. George Klare (1963) định nghĩa tính dễ đọc (readability) là sự dễ hiểu hoặc dễ hiểu do phong cách viết [1]. Chúng ta có thể coi tính dễ đọc là thước đo khả năng tiếp cận của văn bản hoặc bố cục trang liên quan, cho biết văn bản sẽ tiếp cận với đối tượng người đọc nào hiệu quả. Trong bài báo “The Principles of Readability”, William H. Dubay (2004) [1] nhấn mạnh những phát hiện của các nghiên cứu về khả năng đọc viết cho thấy một số lượng lớn người sử dụng tài liệu kỹ thuật gặp khó khăn về khả năng đọc viết và phần lớn có mức đọc hiểu ở trình độ văn hóa thấp và trung bình. Điều này có nghĩa là các tài liệu kỹ thuật được viết cho đối tượng có trình độ hiểu biết trên mức thấp và trung bình sẽ không đạt được một lượng lớn người đọc. Tác giả có thể đánh giá tính dễ đọc của văn bản bằng cách áp dụng lý thuyết và công thức dễ đọc. Những công thức này cung cấp điểm số cho biết một người cần bao nhiêu năm học để có thể hiểu được một văn bản viết. Các công thức đo lường tính dễ đọc thực hiện đo lường các tính năng nhất định của văn bản dựa trên các phép tính toán học. Các thước đo đều dựa trên một số yếu tố ngữ nghĩa, chẳng hạn như số lượng từ trong một câu, cũng như số lượng chữ cái hoặc âm tiết trên mỗi từ, tức là độ khó của từ và một yếu tố cú pháp, tức là độ khó của câu. Bằng cách áp dụng các nguyên tắc khoa học và toán học, các công thức đo lường tính dễ đọc thể hiện một phân tích khách quan về khả năng đọc của một văn bản cụ thể. Các công thức và lý thuyết đo lường tính dễ đọc được bắt nguồn từ sách giáo khoa trung học ở Hoa Kỳ (U.S). Công thức đầu tiên xuất hiện vào năm 1923, khi hai giáo viên trung học quan tâm đến nội dung của sách giáo khoa khoa học vào thời điểm đó. Hai giáo viên này cảm thấy rằng việc sử dụng các từ vựng mang tính kỹ thuật cao trong sách giáo khoa khoa học có nghĩa là phần lớn thời gian trên lớp được dành cho việc giải thích ý nghĩa của từ vựng, còn lại rất ít thời gian dành cho giảng dạy khoa học. Trang 6 Nhận thấy được sự không phù hợp của những cuốn sách giáo khoa này đối với học viên, các giáo viên đã phát triển một hệ thống để đo độ khó của từ vựng sách giáo khoa. Điều này dẫn đến phát minh ra công thức đo lường khả năng đọc đầu tiên. Công thức dễ đọc Winnetka ra đời ngay sau đó vào năm 1928 [2]. Công thức này, được phát triển bởi các giáo viên trung học, để kiểm tra các đặc điểm cấu trúc của văn bản. Đây là công thức đo lường khả năng đọc đầu tiên, nhằm mục đích dự đoán độ khó đọc theo cấp lớp và tạo cơ sở cho tất cả các công thức đo lường tính dễ đọc hiện đại. Các công thức đo lường tính dễ đọc đã trở nên nổi bật từ những năm 1950 trở đi. Sự gia tăng sử dụng và phổ biến chúng vì các công thức đo lường tính dễ đọc được phát hành miễn phí và dễ sử dụng. Công thức Flesch Reading Ease được phát triển vào năm 1948 bởi Rudolf Flesch là một ví dụ về công thức được phát triển trong thời gian này vẫn được áp dụng rộng rãi cho đến ngày nay. Công thức dễ đọc Flesch Reading Ease Flesch Reading Ease bao gồm hai phần. Phần đầu tiên sử dụng hai biến (số lượng âm tiết và số lượng câu) trong mỗi bài viết mẫu 100 từ. Phần thứ hai dự đoán sự quan tâm của con người bằng cách đếm số từ và câu cá nhân trong văn bản. Văn bản có điểm càng cao thì để đọc hiểu tài liệu cần số năm học tương ứng và càng khó đọc. Đối với hầu hết các tệp tiêu chuẩn, điểm số trung bình là 70-80. Công thức Flesch Reading Ease là: RE = 206.835 - (1.015 x ASL) - (84.6 x ASW) Trong đó: • RE = Readability Ease (tính dễ đọc) • ASL = Average Sentence Length (i.e., the number of words divided by the number of sentences) = Độ dài câu trung bình (tức là số từ chia cho số câu). • ASW = Average number of syllables per word (i.e., the number of syllables divided by the number of words) = Số lượng âm tiết trung bình trên mỗi từ (tức là số lượng âm tiết chia cho số lượng từ) Điểm số của Flesch Reading Ease thể hiện mức độ dễ đọc theo bảng sau: Trang 7 Flesch Reading Ease Score Reading level 90-100 Very Easy 80-89 Easy 70-79 Fairly Easy 60-69 Standard 50-59 Fairly Difficult 30-49 Difficult 0-29 Very Confusing Bất chấp giá trị của công thức đo lường tính dễ đọc trong việc dự đoán độ khó của văn bản, các tác giả (người sử dụng) được lưu ý không nên sử dụng lý thuyết khả năng đọc một cách riêng lẻ khi đánh giá khả năng đọc của tài liệu. Dubay chỉ ra rằng hai yếu tố quan trọng nhất của giao tiếp là kỹ năng đọc của khán giả và tính dễ đọc của văn bản (2004). Các công thức đo lường tính dễ đọc đánh giá một cách khách quan các cấp độ đọc dựa trên độ dài trung bình của các câu và của từ. Tuy nhiên, các công thức về khả năng đọc có tính chất máy móc và không nên được áp dụng để đánh giá các khía cạnh của bài viết ngoài mục đích của chúng. Các công thức đo lường tính dễ đọc có công dụng trong việc giúp các tác giả đánh giá khả năng đọc của văn bản. Dubay cho rằng các biến được sử dụng trong các công thức đo lường tính dễ đọc, rất hữu ích trong việc tạo ra hình ảnh về cấu trúc khung của một văn bản (2004). Tuy nhiên, Dubay cũng lưu ý tác giả (người sử dụng) phải đảm bảo rằng các văn bản cũng được nghiên cứu về giọng điệu, nội dung, cách tổ chức, tính mạch lạc và thiết kế để hoàn thành phân tích đầy đủ về tính dễ đọc. Flesch Reading Ease được sử dụng tốt nhất trên văn bản học thuật và công thức này đã trở thành một công thức dễ đọc tiêu chuẩn được sử dụng bởi nhiều Cơ quan Chính phủ Hoa Kỳ, bao gồm cả Bộ Quốc phòng Hoa Kỳ nên đề tài sử dụng công thức này với yêu cầu chỉ số <= 70 (mức độ dễ đọc từ trung bình đến khó) như một tiêu chí đánh giá, phân loại cơ bản cho đoạn văn câu hỏi thi có phù hợp cho bài thi học thuật. Trang 8 2. Phương pháp biểu diễn văn bản thành véctơ số (Text vectorization) Trong lĩnh vực xử lý ngôn ngữ tự nhiên, chúng ta muốn tạo ra các chương trình máy tính hiểu, giao tiếp và nói chung là hoạt động với ngôn ngữ của con người. Nhưng có một thách thức phát sinh là con người giao tiếp bằng từ và câu; trong khi đó, máy tính chỉ hiểu các con số. Vì lý do này, chúng ta phải ánh xạ các từ, câu, đoạn văn thành véctơ số. Tác vụ này được gọi là véctơ hoá văn bản (Text vectorization). Một biểu diễn từ (Word representation) là một đối tượng toán học được liên kết với mỗi từ, thường là một véctơ, mà mỗi chiều đại diện cho một đặc điểm của từ (Turian và cộng sự, 2010) [3]. Mỗi tính năng đại diện cho một số thuộc tính của từ, mà đôi khi có thể được giải thích theo cú pháp hoặc ngữ nghĩa. Đây là m t tác vụ đóng vai trò quan tr ng đ i v i các thu t toán, mô hình máy h c trong vi c x lý đ u vào đ d ng v n b n, do h u h t các thu t toán, mô hình máy h c ch có th hi u c đ u vào d ng là s , t đó m i th c hi n các công vi c phân lo i, h i quy,… Có nhi u ph đ ng pháp Text vectorization (thường được gọi là Word embedding), c phân ch y u thành 2 lo i: • Frequency-based embedding (d a trên t n su t xu t hi n c a t ) • Prediction-based embedding (dựa trên mô hình dự đoán sử dụng mạng nơ-ron) Frequency-based embedding Ph ng pháp Frequency-based Embedding d a vào t n s xu t hi n c a các t đ t o ra các véct t , trong đó có 3 lo i ph bi n nh t: • Túi từ (Bag of Words - BoW) • Tần suất- tần suất đảo nghịch từ (Term frequency – inverse document frequency) (TF-IDF) • Ma trận đồng xuất hiện (Co-occurrence Matrix) Bag of Words (BoW) Trong ph ng pháp túi từ (Bag of Words - BoW), m i t ho c n-gram t (n-gram từ là tần suất xuất hiện của n kí tự hoặc từ liên tiếp nhau trong dữ liệu của bài viết về một chủ đề nào đó) s đ c mô t là m t véctơ có s chi u b ng đúng s t trong ể ể ử ừ ể ừ ộ ệ ồ ố ủ ừ ử c đánh d u là 0. ạ ệ ầ ọ ọ ằ ấ ừ ấ ệ ặ ề ủ ố ừ ệ ầ ố ỗ ợ ư ấ ấ ừ ẽ ệ ự ấ ế ạ ậ ủ ậ ự ổ ộ ầ ị ớ ạ ị ả ớ ế ự ớ ầ ạ ừ ữ ứ ố c đánh d u là 1. Nh ng v trí còn l i s đ ợ ố ư ơ ư ẽ ả ọ ấ ă ạ ừ ị ế ở ơ ơ ủ ạ ư ạ ơ ở ư ợ ầ ề ự ư ơ ừ ẽ ợ ợ ư ầ ư ư ộ ạ đó s đ ng ng v i v trí c a t đó trong BoW, ph n t trong véctơ ỉ b t v ng. T i v trí t Trang 9 Hình 1 - Ví dụ One-hot BoW c a m i t trong v n b n. (nguồn hoctructuyen123.net) Ph ng pháp BoW th ng đ c s d ng trong nh ng bài toán phân lo i v n b n. Trong đó, t n su t c a m i t / n-gram s đ v n b n phân lo i. Nh c đi m c a ph ngh a th c c a m i t và các t t Trong ph c coi là m t đ c tr ng đ u vào trong ng pháp này là ta không th xác đ nh đ c ng quan v i chúng. ng pháp BoW, t gi ng nhau s đ c đánh tr ng s nh nhau. Ph pháp này không xét đ n t n su t xu t hi n c a t hay ng c nh t . Đ c n hi u đ ng c ngh a c a m i t , ta c n xác đ nh t đó trong v n c nh h n là xét ngh a đ c l p t . Ph ng pháp BoW không bi u di n đ c ngh a c a t . TF-IDF Ph ng pháp TF-IDF là ph ng pháp th ng kê, nh m ph n ánh đ quan tr ng c a m i t ho c n-gram đ i v i v n b n trên toàn b tài li u đ u vào. TF-IDF th hi n tr ng s c a m i t theo ng c nh v n b n. TF-IDF s có giá tr t ng t l thu n v i s l n xu t hi n c a t trong v n b n và s v n b n có ch a t đó trên toàn b t p tài li u. Ph ừ ớ ớ ợ ợ ủ ệ ậ ả ư ơ ư ư ộ ậ ể ậ ă ể ọ ị ộ ơ ạ ệ ầ ầ ĩ ỷ ể ể ư ộ ư ă ạ ừ ố ị ừ ặ ả ầ ả ứ ọ ơ ộ ữ 
 ệ ừ ẽ ả ữ ả ằ ả ủ ộ ă ợ ă ừ ư ợ ĩ ă ớ ư ẽ ủ ố ẽ ố ơ ả ệ ừ ụ ư ợ ư ă ỗ ả ử ấ ừ ơ ả ủ ễ ư ố ủ ợ ả ă ừ ấ ị ă ư ừ ể ể ơ ừ ư ữ ỗ ớ ầ ờ ợ ư ư ầ ố ng pháp BoW. ừ ế ủ ừ ừ ủ ỗ ấ ạ ừ ỗ ệ ơ ủ ỗ ư ầ ơ ư ặ ủ ấ ự ủ ố ả ừ ệ ơ ơ ơ ơ ĩ ĩ ầ ư ư ư ư ỗ ă ọ ố ph ng pháp này giúp cho TF- IDF có tính phân lo i cao h n so v i