Tài liệu Phương pháp sinh dữ liệu kiểm thử tự động từ biểu đồ tuần tự uml, biểu đồ lớp và ràng buộc oc

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN HÒA PHƯƠNG PHÁP SINH DỮ LIỆU KIỂM THỬ TỰ ĐỘNG TỪ BIỂU ĐỒ TUẦN TỰ UML, BIỂU ĐỒ LỚP VÀ RÀNG BUỘC OCL LUẬN VĂN THẠC SĨ KỸ THUẬT PHẦN MỀM HÀ NỘI – 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN HÒA PHƯƠNG PHÁP SINH DỮ LIỆU KIỂM THỬ TỰ ĐỘNG TỪ BIỂU ĐỒ TUẦN TỰ UML, BIỂU ĐỒ LỚP VÀ RÀNG BUỘC OCL Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ KỸ THUẬT PHẦN MỀM CÁN BỘ HƯỚNG DẪN KHOA HỌC: PGS. TS. PHẠM NGỌC HÙNG HÀ NỘI – 2016 VIETNAM NATIONAL UNIVERSITY, HANOI UNIVERSITY OF ENGINEERING TECHNOLOGY NGUYEN VAN HOA A METHOD AND TOOL SUPPORTING FOR AUTOMATED TESTING FROM UML SEQUENCE DIAGRAMS, CLASS DIAGRAMS AND OCL CONSTRAINS THE MS. THESIS INFORMATION TECHNOLOGY Supervisor: Assoc. Prof., PHAM NGOC HUNG, PhD HÀ NỘI – 2016 i LỜI CẢM ƠN Đầu tiên, tôi xin gửi lời cảm ơn chân thành và sâu sắc tới thầy Phạm Ngọc Hùng – Người đã trực tiếp hướng dẫn nhiệt tình, giúp đỡ và động viên tôi rất nhiều, cho tôi có cơ hội được tiếp xúc với các tài liệu tham khảo quý giá, góp ý cho tôi những lời khuyên chân thành trong quá trình nghiên cứu để hoàn thành đề tài này. Tiếp theo tôi xin gửi lời cảm ơn đến các thầy cô giảng viên Trường Đại học Công Nghệ - Đại học Quốc Gia Hà Nội – những người đã tận tâm truyền đạt những kiến thức quý báu làm nền tảng cho tôi suốt 2 năm học. Cuối cùng, tôi xin gửi lời biết ơn sâu sắc tới gia đình vì đã luôn ở bên cạnh tôi, mang lại cho tôi nguồn động viên tinh thần to lớn và tạo mọi điều kiện thuận lợi cho tôi trong quá trình học tập và hoàn thành luận văn này. Với luận văn này tôi rất mong nhận được ý kiến đóng góp từ Thầy, Cô giáo và các bạn quan tâm để hoàn thiện và phát triển nhiều hơn về các phương pháp mới trong kiểm thử phần mềm. Xin trân trọng cảm ơn! Hà Nội, ngày 10 tháng 10 năm 2016 Học viên Nguyễn Văn Hòa ii TÓM TẮT Luận văn này trình bày một phương pháp nghiên cứu tự động hóa quá trình kiểm thử dự án phần mềm từ biểu đồ tuần tự UML 2.0. Hướng nghiên cứu dựa trên lý thuyết kiểm thử dựa trên mô hình. Mục tiêu đề ra là tự động hóa quá trình kiểm thử, nâng cao hiệu quả kiểm thử, tiết kiệm chi phí và thời gian phát triển dự án. Phương pháp được đề xuất với nội dung chính như sau. Đầu vào là biểu đồ tuần tự UML 2.0 lưu giữ dưới dạng tệp xmi. Chương trình kiểm thử biến đổi tệp xmi bằng cách bóc tách các thông điệp, toán tử và các ràng buộc được đưa vào trong thiết kế, từ đó vẽ đồ thị dòng điều khiển tương ứng. Từ đồ thị dòng điều khiển sử dụng thuật toán dò tìm, thuật toán sinh ca kiểm thử cho các toán tử song song có các điểm chia sẻ dữ liệu tìm ra các đường đi từ điểm bắt đầu cho tới điểm kết thúc gọi là các đường kiểm thử. Tập các đường kiểm thử được chia tương ứng thành 3 cấp độ kiểm thử khác nhau. Các ràng buộc trên mỗi đường đi được thu thập và giải lấy kết quả dựa trên công cụ SMT solver kết hợp phương pháp sinh ngẫu nhiên. Kết quả thu được sau khi giải hệ chính là đầu vào cho các ca kiểm thử tương ứng. Cuối cùng trích xuất ra tệp excel là các ca kiểm thử theo từng độ bao phủ dùng cho kiểm thử thiết kế. Để kiểm nghiệm mức độ khả thi của phương pháp, một công cụ hỗ trợ đã được cài đặt và thử nghiệm với một số ví dụ đơn giản nhằm minh chứng cho tính đúng đắn và hiệu quả của phương pháp trên. Kết quả thực nghiệm cho thấy hiệu quả của các ca kiểm thử cũng là khả quan để áp dụng cho các công ty phát triển phần mềm. Từ khóa: Kiểm thử dựa trên mô hình, kiểm thử tự động, biểu đồ tuần tự, đồ thị dòng điều khiển, kiểm thử luồng song song, kiểm thử có chia sẻ dữ liệu luồng song song. iii ABSTRACT The content of this thesis is research and propose a method to generate a set of test cases from the UML 2.0 Sequence diagrams. Based on model-based testing in order to automate the testing process, increase effectiveness, reduce cost and time of testing. The method follows the following steps. At first, in order to have the input model for testing, it analyzes and divides the input diagram into fragments. These fragments can be Sequential or nested based on their relationship. After that, it generates the corresponding control flow graph for the input Sequence diagram. The final control flow graph is analyzed to generate a set of testing paths. Symbolic Execution (SE) technique is used to create reStrictions associated with that set of testing paths. Finally, the method uses SMT solver to solve the set of reStrictions to find solution and then to generate a set of test cases. A tool is also implemented and tested with some simple examples in order to show the correctness and effectiveness of the method. The experimental results give us the potential application of the tool in automation testing in companies. Keywords: Model base testing, automated testing, Sequence diagram, control flow testing, Parallel threading testing, threading testing with data shared. iv LỜI CAM ĐOAN Tôi xin cam đoan rằng những nghiên cứu về sinh tự động bộ kiểm thử từ biểu đồ tuần tự được trình bày trong luận văn này dưới sự hướng dẫn của thầy Phạm Ngọc Hùng là của tôi. Những gì tôi viết ra không sao chép từ các tài liệu, không sử dụng các kết quả của người khác mà không trích dẫn cụ thể. Tôi xin cam đoan công cụ kiểm thử tự động tôi trình bày trong luận văn là do tôi tự phát triển, không sao chép mã nguồn của người khác. Nếu sai tôi hoàn toàn chịu trách nhiệm theo quy định của Trường Đại học Công Nghệ - Đại học Quốc Gia Hà Nội. Hà nội, ngày 10 tháng 10 năm 2016 Học viên: Nguyễn Văn Hòa v MỤC LỤC LỜI CẢM ƠN........................................................................................................................ i TÓM TẮT ............................................................................................................................ii ABSTRACT ........................................................................................................................iii LỜI CAM ĐOAN ................................................................................................................ iv MỤC LỤC ............................................................................................................................ v DANH SÁCH BẢNG BIỂU .............................................................................................. vii DANH SÁCH HÌNH VẼ...................................................................................................viii BẢNG THUẬT NGỮ VIẾT TẮT ....................................................................................... x Chương 1: GIỚI THIỆU....................................................................................................... 1 Chương 2: CÁC KHÁI NIỆM VÀ TỔNG QUAN KIỂM THỬ DỰA TRÊN MÔ HÌNH . 3 2.1 Tổng quan kiểm thử dựa trên mô hình ..................................................................... 3 2.1.1. Khái niệm kiểm thử dựa trên mô hình .................................................................. 3 2.1.2. Quy trình chung của kiểm thử dựa trên mô hình.................................................. 5 2.1.3. Phương pháp đặc tả mô hình bằng máy trạng thái UML ..................................... 6 2.1.4. Thuận lợi và khó khăn của kiểm thử tự động dựa trên mô hình .......................... 6 2.2 Biểu đồ tuần tự và các khối phân đoạn trong UML ................................................. 8 2.2.1. Biểu đồ tuần tự ..................................................................................................... 8 2.2.2. Các phân đoạn sử dụng trong biểu đồ tuần tự ...................................................... 8 2.3 Đồ thị dòng điều khiển ........................................................................................... 16 2.4 Các độ đo kiểm thử ................................................................................................. 17 Chương 3: PHƯƠNG PHÁP SINH ĐỒ THỊ DÒNG ĐIỀU KHIỂN TỪ BIỂU ĐỒ TUẦN TỰ....................................................................................................................................... 20 3.1 Điều kiện ràng buộc trong thiết kế ......................................................................... 20 3.2 Thuật toán biến đổi biểu đồ tuần tự sang đồ thị dòng điều khiển .......................... 24 3.2.1. Thuật toán sinh đồ thị dòng điều khiển .............................................................. 24 3.2.2. Đồ thị dòng điều khiển tương ứng với các phân đoạn ....................................... 29 vi 3.3 Kỹ thuật sinh kịch bản kiểm thử............................................................................. 36 3.3.1. Kịch bản kiểm thử cho các toán từ thông thường .............................................. 36 3.3.2. Kịch bản kiểm thử cho các phân đoạn song song (Par, Seq) ............................. 41 3.4 Xây dựng hệ ràng buộc ........................................................................................... 43 3.5 Giải hệ sử dụng SMT-Solver .................................................................................. 44 3.6 Các nghiên cứu liên quan ....................................................................................... 45 Chương 4: CÔNG CỤ VÀ THỰC NGHIỆM .................................................................... 47 4.1 Giới thiệu công cụ và môi trường thực nghiệm ..................................................... 47 4.2 Thực nghiệm ........................................................................................................... 49 4.3 Ý nghĩa thực nghiệm .............................................................................................. 56 Chương 5: KẾT LUẬN ................................................................................................ 58 TÀI LIỆU THAM KHẢO .................................................................................................. 60 vii DANH SÁCH BẢNG BIỂU ảng 2.1 Ca kiểm thử độ bao phủ yếu ............................................................................... 18 ảng 2.2 Ca kiểm thử độ bao phủ trung bình..................................................................... 18 ảng 2.3 Ca kiểm thử độ bao phủ mạnh ............................................................................ 19 ảng 3.1 Các khóa cơ bản và ý nghĩa trong tệp xmi .......................................................... 24 ảng 3.2 Dữ liệu thu thập tương ứng theo các nốt được nối với nhau .............................. 38 ảng 4.1 Môi trường thử nghiệm công cụ sinh ca kiểm thử từ thiết kế............................. 48 viii DANH SÁCH HÌNH VẼ Hình 2.1 Qui trình kiểm thử dựa trên mô hình. .................................................................... 5 Hình 2.2 Phân đoạn Alt. ....................................................................................................... 9 Hình 2.3 Phân đoạn Opt. ...................................................................................................... 9 Hình 2.4 Phân đoạn Loop vô hạn. ........................................................................................ 9 Hình 2.5 Phân đoạn Loop với cận trên bằng cận dưới bằng 10. ........................................ 10 Hình 2.6 Phân đoạn Loop với cận trên bằng 5, cận dưới bằng 10. .................................... 10 Hình 2.7 Phân đoạn Break. ................................................................................................. 11 Hình 2.8 Phân đoạn Par. ..................................................................................................... 12 Hình 2.9 Phân đoạn Seq. .................................................................................................... 12 Hình 2.10 Phân đoạn Strict. ................................................................................................ 13 Hình 2.11 Phân đoạn Ignore. .............................................................................................. 13 Hình 2.12 Phân đoạn Consider. .......................................................................................... 14 Hình 2.13 Phân đoạn Neg. .................................................................................................. 15 Hình 2.14 Phân đoạn Assert. .............................................................................................. 15 Hình 2.15 Phân đoạn Critical. ............................................................................................ 16 Hình 2.16 Đồ thị dòng điều khiển tương ứng của phân đoạn Par. ..................................... 18 Hình 3.1 Thiết kế tên thông điệp. ....................................................................................... 21 Hình 3.2 Thiết kế ràng buộc. .............................................................................................. 22 Hình 3.3 Khai báo biến trong ràng buộc tương ứng cho các lớp. ...................................... 23 Hình 3.4 Xóa triệt để các đối tượng không dùng nữa. ....................................................... 23 Hình 3.5 Đồ thị CFG tương ứng cho phân đoạn Alt. ......................................................... 31 Hình 3.6 Đồ thị CFG tương ứng cho phân đoạn Opt. ........................................................ 31 Hình 3.7 Đồ thị CFG tương ứng cho phân đoạn Loop. ...................................................... 32 Hình 3.8 Đồ thị CFG tương ứng cho phân đoạn Break. ..................................................... 32 Hình 3.9 Đồ thị CFG tương ứng cho phân đoạn Par. ......................................................... 32 Hình 3.10 Đồ thị CFG tương ứng cho phân đoạn Seq. ...................................................... 33 ix Hình 3.11 Đồ thị CFG tương ứng cho phân đoạn Ignore. .................................................. 33 Hình 3.12 Đồ thị CFG tương ứng cho phân đoạn Consider. .............................................. 34 Hình 3.13 Đồ thị CFG tương ứng cho phân đoạn Neg....................................................... 35 Hình 3.14 Đồ thị CFG tương ứng cho phân đoạn Assert. .................................................. 35 Hình 3.15 Đồ thị CFG tương ứng cho phân đoạn Strict..................................................... 36 Hình 3.16 Ví dụ cây đồ thị cần duyệt. ................................................................................ 37 Hình 3.17 Đồ thị dòng điều khiển. ..................................................................................... 38 Hình 3.18 Ví dụ về ràng buộc OCL được khai báo trong thiết kế. .................................... 44 Hình 3.19 Mô tả công cụ SMT Solver ............................................................................... 45 Hình 4.1 Cấu trúc công cụ thực nghiệm. ............................................................................ 47 Hình 4.2 Đầu vào công cụ của ví dụ 1. .............................................................................. 49 Hình 4.3 Đầu ra - đồ thị CFG của ví dụ 1. ......................................................................... 50 Hình 4.4 Đồ thị CFG và ca kiểm thử độ bao phủ yếu cho ví dụ 1. .................................... 51 Hình 4.5 Ca kiểm thử độ bao phủ yếu cho ví dụ 1. ............................................................ 51 Hình 4.6 Ca kiểm thử độ bao phủ trung bình cho ví dụ 1. ................................................. 51 Hình 4.7 Dữ liệu kiểm thử sau khi xuất ra tệp MS Excel .................................................. 52 Hình 4.8 Đầu vào của ví dụ 2. ............................................................................................ 53 Hình 4.9 Đầu ra đồ thị CFG cho ví dụ 2. ........................................................................... 54 Hình 4.10 Ca kiểm thử độ bao phủ yếu cho ví dụ 2. .......................................................... 54 Hình 4.11 Ca kiểm thử độ bao phủ trung bình cho ví dụ 2. ............................................... 55 Hình 4.12 Ca kiểm thử độ bao phủ mạnh cho ví dụ 2. ....................................................... 55 Hình 4.13 Đường đi tương ứng của một ca kiểm thử độ bao phủ mạnh của ví dụ 2. ........ 56 x BẢNG THUẬT NGỮ VIẾT TẮT STT Từ viết tắt Tên đầy đủ Ý nghĩa 1 BN Block Node Nốt đơn 2 CFG Control Flow Graph Đồ thị dòng điều khiển 3 DC Decision Node Nốt quyết định 4 FN 5 IDE 6 JN Fork Node Integrated Development Environment Join Node Nốt rẽ nhánh Môi trường phát triển tích hợp Nốt nối 7 MN Merge Node 8 OCL Object Constraint Language 9 SUT Software Under Testing 10 UML Unified Modeling Language Nốt sáp nhập Ngôn ngữ ràng buộc trên đối tượng Phần mềm đang được kiểm thử Ngôn ngữ mô hình hóa thống nhất 1 Chương 1: GIỚI THIỆU Công nghệ phần mềm đang ngày càng phát triển và chi phối cuộc sống của con người. Ngược lại, con người luôn không ngừng sáng tạo để tạo ra những công nghệ mới, phần mềm và dịch vụ mới. Trong quá trình phát triển đó, cần phải có một qui trình song song để phát hiện và kiểm soát những sai lầm mà con người có thể vô tình hoặc cố tình tạo ra, đó chính là kiểm thử. Theo ước tính, quá trình kiểm thử chiếm khoảng 50% thời gian và 40% - 60% tổng chi phí trong toàn bộ quá trình phát triển phần mềm [1]. Quá trình kiểm thử cũng quyết định sự thành công, mức độ đảm bảo của dự án phần mềm đặc biệt là trong các lĩnh vực đòi hỏi độ chính xác cao như hàng không, quân sự, khoa học, vũ trụ.. Vì vậy, để rút ngắn thời gian phát triển và nâng cao chất lượng dự án phần mềm, quá trình sinh ca kiểm thử tự động và nâng cao chất lượng ca kiểm thử trở nên thực sự cần thiết, nhất là đối với những phần mềm lớn và phức tạp. Kiểm thử tự động đang được xem là giải pháp chính nhằm giảm chi phí và thời gian mà vẫn đảm bảo chất lượng trong quá trình phát triển phần mềm. Để giải quyết vấn đề này, nhiều công trình nghiên cứu đã được đề xuất nhằm giải quyết, tối ưu và tự động hóa quá trình kiểm thử. Mỗi công trình nghiên cứu mang lại một kết quả khác nhau và áp dụng cho từng mục đích kiểm thử khác nhau. Một số nghiên cứu có thể kể đến như: phương pháp sinh ca kiểm thử tự động từ biểu đồ tuần tự trong UML bởi A.V.K. Shanthi và G. Mohan Kumar [6]. Sinh dữ liệu kiểm thử tự động từ biểu đồ tuần tự UML và ràng buộc OCL bởi Ashalatha Nayak và Debasis Samanta [4]. Sinh ca kiểm thử từ biểu đồ tuần tự và hệ thống chuyển đổi được gắn nhãn bởi Emanuela G. Cartaxo [9]. Sinh ca kiểm thử tự động từ biểu đồ tuần tự UML và ràng buộc OCL bởi Li Bao-Lin, Li Zhi-shu, Li Qing và Chen Yan Hong [10], v.v. Trong đó một số nghiên cứu mới chỉ dừng lại ở dạng đề xuất, nhiều nghiên cứu khác chưa giải quyết trọn vẹn bài toán kiểm thử trực tiếp từ biểu đồ tuần tự từ một phần mềm cụ thể. Mỗi phương pháp hướng tới một mục đích kiểm thử khác nhau. Để hiểu rõ hơn một vài nghiên cứu trên sẽ được trình bày chi tiết hơn ở chương ba của luận văn. Bài nghiên cứu này tôi sẽ trình bày một phương pháp khác sinh ca kiểm thử tự động và cải tiến một công đoạn sinh ca kiểm thử tự động để nâng cao chất lượng kiểm thử. Cũng như các phương pháp kiểm thử dựa trên mô hình khác, phương pháp này đòi hỏi phải có các mô hình toán học đặc tả chính xác hành vi của hệ thống và có sẵn trong thực tế. Các mô hình này thường được biểu diễn bằng các máy hữu hạn trạng thái đơn định. Tuy nhiên, xây dựng mô hình cho các phần mềm là một công việc khó khăn và tiềm ẩn nhiều lỗi đối với các công ty. Thay vào đó việc phân tích và thiết kế dựa trên các biểu đồ tuần tự UML là một công việc dễ dàng và trở nên phổ biến hơn. Do đó việc kiểm thử tính đúng đắn cho thiết kế dựa trên mô hình đang được nghiên cứu và áp dụng thực tế cho kiểm thử dự án phần mềm. Không những tự động hóa được qui trình kiểm thử mà thời 2 gian bắt đầu kiểm thử cũng được tiến hành sớm hơn giúp rút ngắn thời gian phát triển phần mềm. Giai đoạn kiểm thử thiết kế (kiểm thử dựa trên mô hình) chủ yếu tập trung vào các ca kiểm thử được sinh ra từ các đường kiểm thử dựa trên đồ thị hoạt động và sinh ra dữ liệu kiểm thử từ dữ liệu đầu vào là các bản thiết kế từ đặc tả chương trình. Với mục tiêu kiểm thử phần mềm dựa trên thiết kế của biểu đồ tuần tự, mục tiêu nâng cao chất lượng kiểm thử cũng như khả năng phát hiện lỗi của các kịch bản kiểm thử trong thiết kế và khi chương trình được thực thi. Nội dung bài nghiên cứu này được trình bày trong 4 chương và phần kết luận. Chương 1 giới thiệu đề tài, lý do chọn đề tài, trình bày tổng quan nội dung nghiên cứu và bố cục luận văn. Chương 2 trình bày các khái niệm cơ bản phục vụ cho đề tài bao gồm các vấn đề liên quan trong kiểm thử dựa trên mô hình, phương pháp đặc tả mô hình bằng máy trạng thái UML. Các khái niệm về biểu đồ tuần tự và các phân đoạn trong thiết kế. Cuối cùng là giới thiệu đồ thị dòng điều khiển và đề xuất ba độ đo kiểm thử áp dụng cho bài nghiên cứu. Chương 3 nghiên cứu đề xuất cách biến đổi từ biểu đồ tuần tự sang đồ thị dòng điều khiển và các thuật toán biến đổi. Phương pháp sinh ca kiểm thử sau khi hoàn thành độ thị dòng điều khiển trong đó chia ra 2 kịch bản kiểm thử. Một cho các phân đoạn thông thường (các phân đoạn không chứa luồng song song) và một kịch bản kiểm thử cho các phân đoạn chứa luồng song song (Par, Seq). Phần cuối chương 3 trình bày phương pháp sinh dữ liệu kiểm thử từ đồ thị dòng điều khiển, một số nghiên cứu liên quan để thấy được ưu nhược điểm của bài nghiên cứu so với các phương pháp khác. Chương 4 giới thiệu công cụ thực nghiệm, các ví dụ thể hiện tính đúng đắn và khả thi của phương pháp đề xuất. Kết quả thu được thực tế từ chương trình và rút ra ý nghĩa của phương pháp đề xuất. Cuối cùng là kết luận, định hướng mở rộng và tài liệu tham khảo. 3 Chương 2: CÁC KHÁI NIỆM VÀ TỔNG QUAN KIỂM THỬ DỰA TRÊN MÔ HÌNH 2.1 Tổng quan kiểm thử dựa trên mô hình Ngày nay, các công ty phần mềm lớn thường sử dụng ngôn ngữ UML (Unified Modeling Language) để phân tích, thiết kế phần mềm trước khi đi vào triển khai. Sản phẩm tạo ra là các mô hình thiết kế bởi UML. Trong UML có nhiều mô hình phục vụ cho thiết kế, việc lựa chọn những mô hình nào để thiết kế phụ vào mục đích sử dụng và định hướng phát triển phần mềm của công ty đó. Quá trình kiểm thử trong giai đoạn thiết kế này được gọi là kiểm thử dựa trên mô hình. Các mô hình thiết kế có thể là biểu đồ lớp, biểu đồ tuần tự, biểu đồ hoạt động, v.v. là đầu vào cho kiểm thử dựa trên mô hình, đầu ra là các ca kiểm thử để đánh giá, phát hiện lỗi. Mục đích của kiểm thử dựa trên mô hình là tìm ra được lỗi từ khâu thiết kế, không triển khai những thiết kế lỗi, hạn chế và rút ngắn được thời gian kiểm thử cũng như triển khai dự án sau này. Việc kiểm thử và phát hiện sớm các lỗi, các khiếm khuyết trong thiết kế làm giảm thiểu đến mức thấp nhất các lỗi phát sinh khi đưa vào ứng dụng thực tế, đồng thời làm giảm đáng kể thời gian cũng như chi phí phát triển, bảo trì. Do vậy, việc phát triển một phương pháp kiểm thử dựa trên mô hình mang lại hiệu quả cao là rất cần thiết. Trong chương này, tôi sẽ trình bày lý thuyết về phương pháp kiểm thử dựa trên mô hình và ứng dụng cho kiểm thử phần mềm. 2.1.1. Khái niệm kiểm thử dựa trên mô hình Kiểm thử dựa trên mô hình là một kỹ thuật kiểm thử hộp đen, dựa trên phương pháp ứng dụng các mô hình thiết kế vào kiểm thử phần mềm. Mô hình thiết kế là đại diện cho các hành vi mong muốn của một hệ thống cần kiểm thử, kiểm thử dựa trên mô hình đại diện cho một chiến lược thử nghiệm hay một môi trường kiểm thử. Một mô hình đặc tả hệ thống thường là một bản tóm tắt, trình bày một phần hành vi mong muốn của hệ thống. Chúng được biểu diễn bằng máy hữu hạn trạng thái, ôtômat, đặc tả đại số, biểu đồ trạng thái bằng UML, v.v. Các ca kiểm thử có thể được sinh ra từ mô hình theo nhiều cách khác nhau. Trường hợp kiểm thử dựa trên một mô hình gọi là kiểm thử chức năng có cùng mức độ trừu tượng như mô hình. Những trường hợp kiểm thử này được gọi là một bộ kiểm thử trừu tượng. Một bộ kiểm thử trừu tượng không thể khẳng định hoàn toàn được tính đúng đắn của hệ thống. Vì hệ thống trên thiết kế cũng có một mức sai trừu tượng. Một bộ kiểm thử thực thi cần phải được bắt nguồn từ một bộ thử nghiệm trừu tượng tương ứng. Các bộ kiểm thử thực thi có thể liên lạc trực tiếp với hệ thống kiểm thử. Điều này đạt được bằng cách ánh xạ các ca kiểm thử trừu tượng với các 4 các ca kiểm thử cụ thể phù hợp để thực thi. Trong một số môi trường kiểm thử dựa trên mô hình, mô hình có đủ thông tin để tạo ra dãy ca kiểm thử thực thi trực tiếp. Trong các trường hợp khác, các yếu tố trong bộ phần mềm kiểm thử cần phải được ánh xạ tới bộ kiểm thử cụ thể. Có bốn phương pháp tiếp cận với kiểm thử dựa trên mô hình như sau [7]:  Sinh ra dữ liệu đầu vào kiểm thử từ một mô hình chính: đầu vào cơ bản của kiểm thử dựa trên mô hình là các mô hình, từ đó tạo ra các ca kiểm thử bằng cách chọn lựa thông minh một tập hợp con của tập giá trị các trường hợp có khả năng để đưa ra dữ liệu đầu vào kiểm thử. Ví dụ mô hình cần kiểm thử có 3 tập đầu vào như sau, A : {red, green, yellow}, B : {1, 2, 3, 4} và C : {car, truck, bike}. Chúng ta có thể kết hợp và lựa chọn ra số ca kiểm thử tối thiểu thỏa mãn tất cả các đường kiểm thử có thể thực thi thay vì thực thi tất cả các ca kiểm thử. Theo đó số ca kiểm thử cho ví dụ này là 12 thay vì 3 x 4 x 3 = 36 ca kiểm thử.  Sinh ra các ca kiểm thử từ một mô hình môi trường: phương pháp này sử dụng một loại mô hình khác, mô hình này sẽ miêu tả môi trường mong muốn của SUT. Từ mô hình mô phỏng giả lập này đưa ra các tham số gọi tới SUT. Tuy nhiên, như cách tiếp cận sinh dữ liệu đầu vào kiểm thử từ một mô hình chính, trình tự được tạo ra không chỉ định rõ các đầu ra mong đợi của SUT, điều này là không thể dự đoán các giá trị đầu ra, bởi vì mô hình môi trường không mô hình hóa được toàn bộ hành vi của SUT. Vì vậy nó rất khó để xác định chính xác một kiểm thử là thành công hay thất bại.  Sinh ra các ca kiểm thử với các dự đoán từ một mô hình hành vi: đưa ra các ca kiểm thử có khả năng thực thi bao gồm các thông tin dự đoán các giá trị đầu ra mong muốn của SUT. Hoặc một vài khâu kiểm tra tự động các giá trị đầu ra thực tế để có thể nhìn thấy nếu chúng là đúng đắn. Điều này khó hơn việc sinh ra dữ liệu kiểm thử đầu vào hoặc kiểm thử dựa trên trình tự gọi tới SUT mà không kiểm tra tới kết quả đầu ra. Để đưa ra kiểm thử với các dự đoán thì người đưa ra các ca kiểm thử phải có đầy đủ thông tin về các hành vi mong đợi của SUT để có thể tiên đoán hoặc kiểm tra các dữ liệu đầu ra của SUT. Một cách khác, với định nghĩa kiểm thử dựa trên mô hình này, mô hình phải mô tả các hành vi mong đợi của SUT, cũng như mối quan hệ giữa chúng, đồng thời mô tả đầu vào và đầu ra cho từng hành vi. Thuận lợi của cách tiếp cận này là nó là phương pháp tiếp cận duy nhất giải quyết được vấn đề kiểm thử dựa trên mô hình bằng việc chọn lựa các giá trị đầu vào và việc đưa ra các trình tự của sự vận hành, việc đưa ra các ca kiểm thử có khả năng thực thi bao gồm thông tin quyết định sau mỗi ca kiểm thử. 5  Sinh ra các đoạn mã kiểm thử từ các kiểm thử trừu tượng: sinh ra các ca kiểm thử có thể thực thi bao gồm các thông tin tiên đoán dựa trên mô hình hành vi của SUT. Quá trình sinh ra các ca kiểm thử này bao gồm việc sinh ra dữ liệu kiểm thử và trình tự các phương thức gọi tới kiểm thử tuần tự, sinh ra các dự đoán để kiểm tra kết quả đầu ra của SUT. Đây là một phương pháp tiếp cận hoàn thiện và phức tạp nhất, mang lại hiệu quả tốt nhất. Nó có thể tự động hoàn thiện các tiến trình thiết kế, đưa ra một mô hình hoàn thiện, tái hiện đầy đủ các tuần tự kiểm thử và chuyển đổi thành các kịch bản kiểm thử có thể thực thi. Với cách nhìn của kiểm thử dựa trên mô hình, chúng ta định nghĩa kiểm thử dựa trên mô hình như việc tự động tạo ra các ca kiểm thử hộp đen đối với bản thiết kế. 2.1.2. Quy trình chung của kiểm thử dựa trên mô hình Mô hình UML được thiết kế từ các đặc tả yêu cầu của hệ thống. Mô hình có thể được biểu diễn bằng các loại mô hình và biểu đồ khác nhau. Việc xây dựng mô hình còn phải dựa trên các yếu tố dữ liệu đầu vào và đầu ra. Mô hình này được sử dụng để sinh đầu vào cho các ca kiểm thử. Tiếp đến, chúng ta sẽ sinh giá trị đầu ra mong muốn ứng với mỗi bộ đầu vào. Khi kết thúc bước này, chúng ta đã có các ca kiểm thử. Sau khi thực thi các ca kiểm thử tương ứng theo từng giai đoạn hoặc phương pháp tiếp cận, kết quả thu được sẽ được so sánh với kết quả mong đợi. Từ đó quyết định hành động tiếp theo như sửa đổi mô hình hoặc dừng kiểm thử, v.v. Các bản đặc tả yêu cầu Thiết kế Mô hình Phản hồi Phản hồi Tạo tự động Kiểm thử dự đoán Các chuỗi kiểm thử Kết luận: Pass / Fail Theo dõi Điều khiển Thực thi Phản hồi Hình 2.1 Qui trình kiểm thử dựa trên mô hình. 6 Hình 2.1 mô tả về quy trình chung của kiểm thử tự động dựa trên mô hình [8]. Kiểm thử tự động dựa trên mô hình gồm các giai đoạn sau:      Sinh mô hình dựa trên các yêu cầu và chức năng của hệ thống. Sinh các ca kiểm thử (bộ đầu vào và giá trị đầu ra mong đợi cho mỗi ca kiểm thử). Chạy các kịch bản kiểm thử để phát hiện các lỗi/khiếm khuyết của sản phẩm. So sánh kết quả đầu ra thực tế với kết quả đầu ra dự kiến. Quyết định hành động tiếp theo (sửa đổi mô hình, tạo thêm ca kiểm thử, dừng kiểm thử, đánh giá chất lượng của phần mềm) [1]. 2.1.3. Phương pháp đặc tả mô hình bằng máy trạng thái UML Các phương pháp đặc tả mô hình sử dụng các công cụ toán học thường khó và ít phổ biến vì thường được thực hiện bằng các chuyên gia về đặc tả hình thức [1]. Phù hợp hơn cho môi trường công nghiệp, đặc tả mô hình bằng máy trạng thái UML thường được dùng để đặc tả các hành vi động (chuyển trạng thái) của các lớp đối tượng, các ca sử dụng (use cases), các hệ thống con và thậm chí là toàn bộ hệ thống. Tuy nhiên, máy trạng thái UML thường được sử dụng cho các lớp đối tượng. Trong UML, một trạng thái ứng với một điều kiện quan trọng của một đối tượng. Trạng thái này được quyết định bởi các giá trị hiện thời của đối tượng, các mối quan hệ với các đối tượng khác và các hành động (phương thức) mà đối tượng này thực hiện. Một phép chuyển trạng thái là mối quan hệ giữa hai trạng thái. Một phép chuyển trạng thái trong UML bao gồm một sự kiện được kích hoạt, điều kiện và hành động tương ứng. Các sự kiện được kích hoạt của các phép chuyển trạng thái có thể là một trong các sự kiện sau:     Một lời gọi ứng với một phương thức. Một tín hiệu nhận được từ các trạng thái khác trong máy trạng thái. Một sự thay đổi giá trị của một thuộc tính nào đó của một đối tượng. Hết thời gian (timeout). 2.1.4. Thuận lợi và khó khăn của kiểm thử tự động dựa trên mô hình Kiểm thử tự động luôn mang lại những ưu điểm và hiệu quả vượt trội so với kiểm thử thủ công, góp phần hoàn thiện qui trình kiểm thử trong phát triển các dự án phần mềm. Sau đây là những ưu điểm và thuận lợi của kiểm thử tự động dựa trên mô hình:  Phát hiện lỗi sớm ngay từ khâu thiết kế: Lỗi phát hiện càng sớm, nhất là các lỗi trong thiết kế sẽ giúp hạn chế được hàng loạt các lỗi phát sinh sau này theo phản ứng dây chuyền, nếu không phát hiện được lỗi ở giai đoạn này đôi khi có thể dẫn tới việc phải xây dựng lại cả mô hình và làm lại từ khâu thiết kế. 7  Tiết kiệm thời gian và chi phí: Rút ngắn được thời gian sinh các ca kiểm thử và phân tích kết quả nhờ qui trình tự động. Việc phát hiện được lỗi sớm cũng giúp ích giảm thiểu thiệt hại và rủi ro cho hệ thống phần mềm, rút ngắn thời gian kiểm thử.  Nâng cao chất lượng kiểm thử: Có thể đánh giá được mức độ hiệu quả của kiểm thử thông qua các mức độ bao phủ của mô hình và các ca kiểm thử. Nếu mô hình của hệ thống được xây dựng tốt thì quá trình kiểm thử dựa trên mô hình sinh ra nhiều ca kiểm thử và phát hiện nhiều lỗi. Kiểm thử mô hình cũng cho phép giảm các lỗi chủ quan do người kiểm thử sinh ra trong quá trình kiểm thử sản phẩm.  Phát hiện các lỗi trong đặc tả, yêu cầu: Kiểm thử dựa trên mô hình đôi khi không chỉ phát hiện được các lỗi trong thiết kế mà còn phát hiện được các lỗi trong tài liệu đặc tả. Các đặc tả thiếu logic sẽ dẫn tới một thiết kế sai và không thể thực thi.  Khả năng tái sử dụng cao: Mỗi khi phần mềm được nâng cấp, chúng ta dễ dàng sinh thêm các ca kiểm thử và kiểm thử lại một cách nhanh chóng và hiệu quả.  Hiểu hơn về hệ thống: Kiểm thử dựa trên mô hình giúp người phát triển hiểu hơn về hệ thống cần kiểm thử thông qua việc xây dựng và phân tích mô hình hệ thống.  Việc sinh ca kiểm thử tự động dựa trên các thuật toán và phương pháp tiếp cận khoa học, có tính toán sẽ làm giảm số lượng các ca kiểm thử trùng nhau hoặc không hữu hiệu. Có rất nhiều ưu điểm và thuận lợi nhưng kiểm thử dựa trên mô hình không dễ được áp dụng trong thực tế vì một số khó khăn như sau:  Không thể đảm bảo tìm được tất cả các lỗi vì sự sai khác trong thiết kế và thực thi.  Khó xây dựng mô hình chính xác: Kiểm thử dựa trên mô hình cần có mô hình đặc tả chính xác hành vi của hệ thống. Trong thực tế, việc xây dựng mô hình là rất khó, tốn kém và tiềm ẩn nhiều lỗi.  Chỉ áp dụng kiểm thử chức năng: Các mô hình kiểm thử phải nhỏ so với kích thước của hệ thống, rằng chúng ta có thể kiểm thử nó mà không mất quá nhiều chi phí, nhưng chúng phải đủ chi tiết để mô tả thực tế và các đặc điểm cần.  Không thể bao phủ hết các giai đoạn kiểm thử: Ví dụ không kiểm thử được các tiến trình cài đặt.  Tạo giá trị đầu ra mong đợi cho các ca kiểm thử là một trong những vấn đề khó khăn nhất của kiểm thử dựa trên mô hình. Thông thường cần có chuyên gia hoặc chuyên viên riêng tính toán kết quả mong đợi.