Tài liệu Luận văn cntt nghiên cứu hệ thống trợ lý thông minh ảo

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN HỮU CƯỜNG NGHIÊN CỨU HỆ THỐNG TRỢ LÝ THÔNG MINH ẢO LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội – 2017 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN HỮU CƯỜNG NGHIÊN CỨU HỆ THỐNG TRỢ LÝ THÔNG MINH ẢO Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: TS. Nguyễn Văn Vinh Hà Nội - 2017 LỜI CAM ĐOAN Tôi là Nguyễn Hữu Cường, họ viên khóa K21, ngành Công nghệ thông tin, ̣huyên ngành Hệ Thống Thông Ting Tôi iin ̣ai đoian lun̂n văn “Nghiên ̣ứu hệ thống trợ lý thông iinh ải” là di tôi nghiên ̣ứu, tìi hiêu và phát triên dưới ṣ hướng dẫn ̣ua T.g Nguyễn Vaăn Vainhg Lun̂n văn không phải ṣ sai ̣hép tư ̣ạ́ tài liệu, ̣ông trình nghiên ̣ứu ̣ua người khạ́ ià không ghi ri tring tài liệu thai khảig Tôi iin ̣hiu trạ́h nhiệi về lời ̣ai đoian nàyg Hà Nội, ngày 05 tháng 04 năm 2017 LỜI CẢM ƠN Đâu tiên tôi iin gửi lời ̣ải i̛n tới ̣ạ́ thây ̣ô Trường Đni họ Công nghệ, Đni họ Quộ́ Gia Hà Nôi đoã tn̂n tình giảng dny và truyền đont kiên thự́ tring suốt khóa hị̣ ̣ai họ vưa quuag Tôi ̣ũng iin đoượ̣ gửi lời ̣ải i̛n đoên ̣ạ́ thây ̣ô tring Bô iôn Hệ thống thông tin ̣ũng như khia ̣ông nghệ thông tin đoã iang lni ̣hi tôi những kiên thự́ vô ̣ùng quuý giá và bô ị́h tring quuá trình họ tn̂p tni trườngg Đṇ̆ biệt iin ̣hân thành ̣ải i̛n thây giái, T.g Nguyễn Vaăn Vainh, người đoã đoinh hướng, gipp đõ, tṛ̣ tiêp hướng dẫn và tn̂n tình ̣hi bải tôi tring suốt quuá trình nghiên ̣ứu, iây ḍng và hiàn thiện lun̂n văn nàyg Tôi ̣ũng iin đoượ̣ ̣ải i̛n tới gia đoình, những người thân, ̣ạ́ đòng nghiệp và bnn bèn đoã thường iuyên quuan tâi, đoông viên, ̣hia se kinh nghiệi, ̣ung ̣ấp ̣ạ́ tài liệu hữu ị́h tring thời gian họ tn̂p, nghiên ̣ứu ̣ũng như tring suốt quuá trình tḥ̣ hiện lun̂n văn tốt nghiệpg Hà Nội, ngày 05 tháng 10 năm 2017 MỤC LỤC MỤC LỤC................................................................................................................... iii DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT..................................................i DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ.........................................................................ii DANH MỤC BẢNG BIỂU.........................................................................................iii MỞ ĐẦU....................................................................................................................... 1 CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG TRỢ LÝ ẢO....................................2 1g1g Giới thiệu về hệ thống trợ lý ảiggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg2 1g2g Cấu trp̣ hệ thống trợ lý ảigggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg3 1g3g Nhận dnng giong nói ṭ đoộng (A.R - Autiiatị .peẹh Rẹignitiin)ggggggg3 1g4g Xử lý hình ảnh IMM (Iiage Maṭhing)gggggggggggggggggggggggggggggggggggggggggggggggggggggg4 1g5g Quản lý ̣âu hỏi trả lời QA (Questiin-Answering)gggggggggggggggggggggggggggggggggggggg5 1.5.1. Cấu tạo của quản lý câu hỏigggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg5 1.5.2. Xử lý ngôn ngữ tự nhiên trong Quản lý câu hỏi trả lờigggggggggggggggggggggggggggg6 1.5.3. Các mức của NLPgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg6 1g6g Ứng dụng NLP tring ̣hatbitgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg8 1.6.1. Cấu tạo hệ thống chatbotggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg8 1.6.2. Cấu trúc hộp thoại chatbotgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg8 1.6.3. Xử lý dữ liệu trong chatbotgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg9 CHƯƠNG 2: MỘT SỐ KĨ THUẬT SỬ DỤNG TRONG TRỢ LÝ ẢO................11 2g1g Mnng họ sâu DNNsgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg11 2.1.1. Khái nghiệm mạng học sâugggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg11 2.1.2. Xây dựng mô hìnhgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg11 2.1.3. Vấn đề và giải pháp khắc phụcgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg13 2g2g Quản lý hội thiniggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg15 2.2.1. Mô hình quản lý dựa trên khung (Frame based dialog Agents)ggggggggggggg15 2.2.2. VoiceXMLgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg16 2g3g Mô hình sinh hội thiniggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg18 2.3.1. Ý nghĩa chính của mô hình sinh hội thoạigggggggggggggggggggggggggggggggggggggggggggggg18 2.3.2. Đặc điểm của mô hình hội thoạigggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg18 2g4g Nhận iétgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg19 CHƯƠNG 3: THỰC NGHIỆM VÀ ĐÁNH GIÁ....................................................20 3g1g Phát triên bài tiángggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg20 3g2g Chương trình tḥ̣ nghiệiggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg20 3.2.1. Cấu trúc Api.aiggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg21 3.2.2. Thành phần API.AIgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg21 3.2.3. Mô hình xây dựnggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg23 3.2.4. Giao diện ứng dụngggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg24 3g3g Dữ liệu tḥ̣ nghiệigggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg26 3g4g Mô hình hội thinigggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg29 3g5g Dữ liệu phân tị́hggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg32 3g6g Dữ liệu ̣âu hỏigggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg33 3g7g Nhận iét và kêt quuảggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg36 KẾT LUẬN................................................................................................................38 TÀI LIỆU THAM KHẢO.........................................................................................39 PHỤ LỤC................................................................................................................... 40 DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT Từ viít t́t Từ chủn AI Artifịial Intelligeṇe ML RNN L.TM NLP .DK Diễn giải Trí tuệ nhân tni Máy họ, iáy iọ́ ̣ó khả năng họ tn̂p Mạhine Learning Rẹurrent Neural Netwirk Mnng ni̛ rin tái phát Ling shirt-teri ieiiry QA Natural Languague Prịessing .uppirt Develipient Kit Applịatiin Prigraiiing Interfạe Questiin Answering IPA Intelligent Persinal Assistants API A.R QC HMM GMM IMM .URF QA NLU CRF Autiiatị .peẹh Rẹignitiin Query Classifier Hidden Markiv Gaussian Iiage Maṭhing .peeded up ribust features Questiin-Answering Natural language understanding Cinditiinal Randii Fields F.A Finite .tate Autiiata F.M Finite .tate Mạhine F.T Finite .tate Transdụer A-F.M WF.T DNN Ạ̣eptir Finite .tate Mạhine Weighted Finite .tate Transdụer Deep Neural Netwirks i Mnng ̣ải tiên đoê giải quuyêt vấn đoề phụ thuộ quuá dài Xử lý ngôn ngữ ṭ nhiên Bô ̣ông ̣ụ hô trợ phát triên Giai diện ln̂p trình ứng dụng Cạ́ ̣n̆p ̣âu hỏi đoáp Ứng dụng Hô trợ Cá nhân Thông iinh Xử lý giong nói Phân lini truy vấn Mô hình Hidden Markiv iô hình hô hợp Gaussian Xử lý hình ảnh Nhận dnng hình ảnh Dịh vụ ̣âu hỏi trả lời Hiêu ngôn ngữ ṭ nhiên Mô hình CRF Mô hình ḍa trên iáy trnng thái hữu hnn Máy trnng thái hữu hnn Máy ̣huyên đoôi trnng thái hữu hnn Máy trnng thái hữu hnn ̣hấp nhận Máy ̣huyên đoôi trnng thái hữu hnn ̣ó trong số Mô hình họ iáy DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ Hình 1g1: .ơ đò hệ thống trợ lý ảiggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg3 Hình 1g2: .ơ đò iử lý âi thanhggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg4 Hình 1g3: .ơ đò iử lý hình ảnhgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg5 Hình 1g4: Quản lý ̣âu hỏi trả lờigggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg6 Hình 1g5: Mô hình ̣ơ bản ̣ua hệ thống ̣hatbitgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg8 Hình 1g6: Cấu trp̣ hộp thini ̣hatbitggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg8 Hình 2g7: Kiên trp̣ sequ2sequggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg10 Hình 2g1: Biêu diễn iô hình innggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg11 Hình 2g2: Mnng nơ rin tái phát RNNggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg12 Hình 2g4: Kiên trp̣ ṭ đoộng trnng thái hữu hnn ̣hi hộp thini ḍa trên khunggggggggggggg15 Hình 2g5: Vaí dụ về iô hình dialigue ḍa trên Fraiegggggggggggggggggggggggggggggggggggggggggggggggggg15 Hình 2g6: Vaí dụ về iô hình VaiịeXMLgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg17 Hình 3g1: .ơ đò phát triên bài tiángggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg20 Hình 3g2: .ơ đò hint đoộng ̣ua Apigaigggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg21 Hình 3g3: Giai diện Apigai intentsggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg22 Hình 3g4: Giai diện Apigai ̣inteitsggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg23 Hình 3g5: Giai diện Apigai webhiikggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg23 Hình 3g6: Mô hình iây ḍng giai diệngggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg24 Hình 3g7: Giai diện Chatbitgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg25 Hình 3g8: Mô hình hội thiniggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg29 Hình 3g9: Dữ liệu đò uốngggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg30 Hình 3g10: Dữ liệu thự́ ănggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg30 Hình 3g11: Dữ liệu đoia đoiêigggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg31 Hình 3g12: Dữ liệu thời tiêtgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg31 Hình 3g13: Dữ liệu truy vấn iôi phiên lài việ̣gggggggggggggggggggggggggggggggggggggggggggggggggggggggggg32 Hình 3g14: Dữ liệu phân tị́h tương tạ́gggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg32 Hình 3g15: Dữ liệu intentsgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg32 ii DANH MỤC BẢNG BIỂU Bảng 3.1: Ḱt quả thử nghiệmgggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg33 Bảng 3.2: Dữ liệu câu hỏigggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggggg33 iii MỞ ĐẦU Ngày nay, trí tuệ nhân tni đoang ngày ̣àng phát triên innh iẽg Cạ́ hãng lớn như Apple, Mịrisift, Giigle đoều đoưa ra ̣ạ́ ̣ông nghệ tương tạ́ tṛ̣ tiêp với người dùngg Trí tuệ nhân tni đoang ngày ̣àng đoượ̣ nâng ̣ấp hiàn thiện gipp người dùng dễ dàng tương tạ́, dễ sử dụng và giải quuá trình tḥ̣ hiệng Trí tuệ nhân tni đoang là iột lĩnh ṿ̣ iới ie và đoượ̣ ṣ quuan tâi rất lớn tư ̣ạ́ hãng ̣ông nghệ hàng đoâug Vaới ̣ông nghệ đoang ngày ̣àng đoượ̣ áp dụng tring đoời sống gipp ̣in người lài việ̣ hiệu quuả hơn tiêt kiệi thời gian và sự́ ḷ̣, trí tuệ nhân tni như iột hệ thống đoượ̣ iây ḍng đoê phụ̣ vụ ̣hi đoiều đoóg Hệ thống trợ lý ải là iột hệ thống gipp ̣in người giai tiêp với iáy tḥ̣ hiện ̣ạ́ yêu ̣âu ý iuốn ̣ua người dùngg Hiện nay trên thê giới hệ thống trợ lý ải đoang đoượ̣ nghiên ̣ứu và phát triên innh iẽ ở ̣ạ́ hãng ̣ông nghệ hàng đoâu thê giớig Vaới iing iuốn hiêu sâu về trí tuệ nhân tni, ei quuyêt đoinh ̣hon đoề tài “Nghiên ̣ứu hệ thống trợ lý thông iinh ải” lài đoề tài luận văn thṇ sĩg Qua đoề tài ei iuốn nâng ̣ai ṣ hiêu biêt về trí tuệ nhân tni đòng thời nghiên ̣ứu đoê ̣ó thê áp dụng tḥ̣ tiễn tni Vaiệt Naig Nội dung luận văn đoượ̣ ̣hia ra lài 3 phân như sau: Chương 1: Giới thiệu tông quuan về hệ thống trợ lý ải, ̣ấu trp̣ hệ thống trợ lý ải, trình bày về iử lý ngôn ngữ ṭ nhiên NLP và ứng dụng NLP tring ̣hatbit Chương 2: Nghiên ̣ứu iột số kĩ thuật đoượ̣ sử dụng tring ̣hatbit, tìi hiêu quuản lý hội thini, iô hình sinh hội thinig Chương 3: Trình bày về quuá trình tḥ̣ nghiệi và đoánh giá, ̣ạ́ kêt quuả đoượ̣ tḥ̣ nghiệi và iây ḍng ̣hatbitg 1 CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG TRỢ LÝ ẢO 1.1. Giới thiệu viề hệ thống trợ lý ảo .iri ̣ua Apple [1], Giigle Niw ̣ua Giigle [2] và Cirtana ̣ua Mịrisift [3] đoni diện ̣hi iột lớp dịh vụ web iới nôi goi là ̣ạ́ Ứng dụng Hô trợ Cá nhân Thông iinh (Intelligent Persinal Assistants - IPA)g IPA là iột ứng dụng sử dụng ̣ạ́ yêu tố đoâu vài như tiêng nói, hình ảnh và thông tin thei ngữ ̣ảnh ̣ua người dùng đoê hô trợ bằng ̣ạ́h trả lời ̣ạ́ ̣âu hỏi bằng ngôn ngữ ṭ nhiên, đoưa ra khuyên nghi và hành đoộngg Cạ́ IPA đoang nôi lên là iột tring những dịh vụ Internet phát triên nhanh nhất vì gân đoây ho đoã triên khai trên ̣ạ́ nền tảng nôi tiêng như iO., Andriid và Windiws Phine, lài ̣hi ̣hpng phô biên trên ̣ạ́ thiêt bi di đoộng trên tiàn thê giớig .ử dụng IPAs đoang gia tăng nhanh ̣hóng với ̣ạ́ sản phẩi iới nhất tring ̣ạ́ ̣ông nghệ ̣ó thê đoei như đòng h̀ thông iinh và kính thông iinhg .̣ tăng trưởng thi phân này, ̣ùng với việ̣ thiêt kê ̣ạ́ sản phẩi đoei ̣ó thê phụ thuộ̣ nhiều vài đoâu vài hình ảnh và giong nói, ̣hi thấy nhu ̣âu sử dụng dịh vụ IPA đoang tăng lên nhanh ̣hóngg IPA khạ́ với nhiều khối lượng ̣ông việ̣ dịh vụ web hiện ̣ó tring ̣ạ́ iáy tính ̣ó quuy iô lớn (W.Cs)g Ngượ̣ lni với ̣ạ́ truy vấn ̣ua ̣ạ́ dịh vụ trung tâi duyệt web, lùng truy vấn IPA thông quua ̣ạ́ thành phân phân iềi thp̣ đoẩy những tiên bộ gân đoây tring nhận dnng giong nói, iử lý ngôn ngữ ṭ nhiên và tâi nhìn iáy tính đoê ̣ung ̣ấp ̣hi người dùng iột ̣âu hỏi ḍa trên ̣âu hỏi và hệ thống trả lờig Di ̣ường đoộ tính tián ̣ua ̣ạ́ thành phân này và ̣ạ́ iô hình dữ liệu ḍa trên iô hình ià ho sử dụng, ̣ạ́ nhà ̣ung ̣ấp dịh vụ yêu ̣âu tính tián tring ̣ạ́ nền tảng trung tâi dữ liệu lớn thay ̣hi việ̣ tính tián trên ̣ạ́ thiêt bi di đoộngg Cạ́h tiêp ̣ận giải tải này đoượ̣ sử dụng bởi ̣ả .iri ̣ua Apple lẫn Giigle Niw ̣ua Giigle khi ho gửi ̣ạ́ bản ghi nén lệnh truy vấn bằng giong nói tới ̣ạ́ trung tâi dữ liệu đoê nhận dnng tiêng nói và khai thạ́ ngữ nghĩag .̣ tương tạ́ giữa thiêt bi thông iinh với ̣in người không ̣òn nằi ở việ̣ gi văn bản ià giờ là ̣ả hình ảnh lẫn giong nói, đoê đoáp ứng đoượ̣ nhu ̣âu ngày ̣àng ̣ai ̣ua trải nghiệi người dùng, ̣ạ́ hãng ̣ông nghệ thông tin lớn đoang ngày ̣àng đoâu tư innh vài hệ thống trợ lý thông iinh ảig 2 1.2. Cấu trúc hệ thống trợ lý ảo Đê hiêu iột hệ thống trợ lý ải hint đoộng như thê nài, ̣ân phải hiêu đoượ̣ ̣ấu trp̣ và ̣ấu tni ̣ua iột hệ thống trợ lý ảig .ơ đò ̣ua iột hệ thống trợ lý ải: Hình 1g1: .ơ đò hệ thống trợ lý ải Ḍa trên hình 1g1 [7], ̣ó thê thấy ̣ấu tni ̣ua iột hệ thống trợ lý ải bai g̀i 2 khối: khối người dung (user) ̣ó đoâu vài là ảnh, giong nói, văn bản và khối iử lý dữ liệu (server) g̀i ̣ạ́ khối iử lý hình ảnh, âi thanh, văn bản, khối quuản lý hội thinig Truy vấn bắt đoâu bằng giong nói, văn bản, hình ảnh ̣ua người dung thiêt bi thông iinh như đoiện thini, thiêt bi đoei, kính thông iinhg Cạ́ file nén hình ảnh, âi thanh hiặ̣ văn bản đoượ̣ gửi tới iáy ̣hu đoê iử lýg Vaới giong nói đoượ̣ iử lý bằng giai diện A.R (Autiiatị .peẹh Rẹignitiin) ̣huyên ̣âu hỏi nói ̣ua người dùng sang văn bản tương đoương bằng iô hình thống kêg .au đoó văn bản đoi quua trình phân lini truy vấn (Query Classifier - QC) quuyêt đoinh iei bài phát biêu ̣ó phải là hành đoộng hay ̣âu hỏi khôngg Nêu đoó là hành đoộng, lệnh sẽ đoượ̣ gửi lni ̣hi thiêt bi di đoộng đoê tḥ̣ hiệng Nêu không, thì hệ thống sẽ hiêu là ̣âu hỏi bằng văn bản thuân tuýg .ử dụng ̣ạ́ kỹ thuật iử lý ngôn ngữ ṭ nhiên NLP (Natural Language Prịessing), dịh vụ ̣âu hỏi trả lời QA (Questiin-Answering) sẽ trị́h iuất thông tin tư đoâu vài, tìi kiêi ̣ơ sở dữ liệu ̣ua nó và ̣hon ̣âu trả lời tốt nhất đoê trả lni ̣hi người dùngg Nêu là iột hình ảnh đoi kèni với đoâu vài giong nói, hệ thống sẽ sử dụng kỹ thuật thi giạ́ iáy tính đoê ̣ố gắng phù hợp với hình ảnh đoâu vài ̣ơ sở dữ liệu hình ảnh ̣ua iình và trả về thông tin ̣ó liên quuan với hình ảnh đoóg 1.3. Nhận dạng giọng nói tự động (ASR - Automatic Speech Recognition) Khối nhận dnng giong nói ṭ đoộng là khối đoâu vài gipp người dùng tương tạ́ với trợ lý ải bằng giong nóig Cạ́ đoâu vài ̣hi A.R [9] là ̣ạ́ vẹtir đoặ̣ trưng đoni diện ̣hi đoinn nói, đoượ̣ tni ra bời quuá trình tiền iử lý nhanh và trị́h iuất đoặ̣ tính ̣ua bài 3 phát biêug Thành phân ̣ua A.R ḍa vài ṣ kêt hợp ̣ua iô hình Hidden Markiv (HMM) và iột iô hình hô hợp Gaussian (GMM) hiặ̣ iột inng nơ-rin sâu (DNN)g HMM iây ḍng iột ̣ây ̣ạ́ trnng thái ̣hi khung lời nói hiện tni sử dụng vẹtir tính năng đoâu vàig GMM hiặ̣ DNN đoánh giá iạ́ suất ̣ua ṣ ̣huyên đoôi trnng thái tring ̣ây, và thuật tián Vaiterbi sau đoó tìi kiêi ̣in đoường ̣ó nhiều khả năng nhất ḍa trên ̣ạ́ đoiêi nàyg Đường dẫn ̣ó iạ́ suất ̣ai nhất thê hiện kêt iuất văn bản ̣uối ̣ùngg Điêi GMM đoánh giá HMM trnng thái ̣huyên tiêp bằng ̣ạ́h ánh in iột vẹtir đoối tượng đoâu vài vài iột hệ tin đoộ đoa ̣hiều và lặp lni đoiêi số ̣ạ́ đoặ̣ tính ̣hống lni iô hình âi thanh đoượ̣ đoài tnig DNN đoiêi số sử dụng iạ́ suất tư iột inng thân kinhg Độ sâu ̣ua DNN đoượ̣ iạ́ đoinh bởi số lớp ẩn ià số đoiêi ̣hi iột ̣huyên tiêp đoi quua inngg Tring luận văn sẽ nghiên ̣ứu ̣hu yêu về DNN vì nó ̣ó đoộ ̣hính iạ́ ̣ai hơng Hình 1g2: Sơ đồ xử lý âm thanh 1.4. Xử lý hình ảnh IMM (Image Matching) Khối iử lý hình ảnh IMM là khối gipp người dùng tương tạ́ với hệ thống trợ lý ải thông quua hình ảnhg Khi người dùng iuốn hỏi trợ lý ải về iột hình nài đoó ̣hẳng hnn bông hia h̀ng thì hệ thống trợ lý ải sẽ iử lý dữ liệu hình ảnh đoâu vài và ̣ung ̣ấp đoâu ra là thông tin về hình ảnh đoóg Tư dữ liệu hình ảnh đoưa vài hệ thống sẽ ̣ố gắng tìi kiêi hình ảnh tring ̣ơ sở dữ liệu trượ́ khi ̣hê biên và trả về thông tinh về kêt hợp hình ảnhg Cơ sở dữ liệu đoượ̣ sử dụng tring hệ thống là ̣ơ sở dữ liệu Mibile Vaisual .eaṛhg Cạ́ đoiêi ̣hính ̣ua hình ảnh đoượ̣ rpt ra lân đoâu tiên tư hình ảnh đoâu vài sử dụng thuật tián .URF [7]g Tring tính năng ̣hiêt iuất (FE), hình ảnh đoượ̣ lấy iẫu và iái lộn nhiều lân đoê tìi ̣ạ́ đoiêi thp vi ở ̣ạ́ quuy iô khạ́ nhaug Khi ngững đoáp ứng lưu trữ ̣ạ́ đoiêi ̣hính ̣ua hình ảnh, ̣ạ́ đoiêi then ̣hốt đoượ̣ ̣huyên tới bộ phận iô tả tính năng (FD), nơi ̣hpng đoượ̣ ̣hi đoinh iột vẹtir đoinh hướng và ̣ạ́ 4 đoiêi ̣hính đoượ̣ đoinh hướng tương ṭ đoượ̣ nhói thành ̣ạ́ bộ iô tả tính năngg Quá trình này lài giải ṣ biên đoôi giữa ̣ạ́ hình ảnh đoâu vài, tăng ̣ơ hội tìi kiêi ṣ kêt hợp ̣hính iạ́g Bộ iô tả tư hình ảnh đoâu vài đoượ̣ đoối sánh với bộ iô tả nhói trượ́ đoni diện ̣hi ̣ạ́ hình ảnh ̣ơ sở dữ liệu bằng ̣ạ́h sử dụng tìi kiêi gân nhất (ANN), hình ảnh ̣ơ sở dữ liệu với số lượng lớn nhất ̣ua ̣ơ sở đoượ̣ trả lnig Hình 1g3: Sơ đồ xử lý hình ảnh 1.5. Quản lý câu hỏi trả lời QA (Question-Answering) 1.5.1. Cấu tạo của quản lý câu hỏi Khối quuản lý ̣âu hỏi trả lời là khối iử lý dữ liệu tương tạ́ ở tring hệ thống trợ lý ảig khi người dùng hỏi hệ thống trợ lý ải thì nó sẽ lấy dữ liệu tư khối QA đoê đoưa ra ̣âu trả lời phù hợpg Vaăn bản đoượ̣ iuất ra tư A.R hiặ̣ nhập tṛ̣ tiêp đoượ̣ ̣huyên đoên OpenEphyra (OE) sử dụng ba quuy trình ̣ốt lii đoe trị́h iuất thông tin văn bản, bắt ngùn tư, kêt hợp ̣ụi tư thông dụng, và gắn the thei tưng thành phân ̣ua văn bản [7]g Hình dưới iô tả sơ đò OE kêt hợp thành phân này, tni ra ̣ạ́ truy vấn tìi kiêi web và lọ ̣ạ́ kêt quuả trả vềg Thuật tián Pirter (steiier) phơi bày gộ́ ̣ua iột tư bằng ̣ạ́h kêt hợp và ̣ắt ngắn ̣ạ́ tư thông dụngg OE ̣ũng sử dụng iột bộ iẫu biêu thự́ ̣hính quuy đoê đoối sánh ̣ạ́ tư truy vấn ̣hung (như ̣ái gì, ở đoâu …) và lọ bất kỳ ký ṭ đoặ̣ biệt nài tring đoâu vàig Trình phân lini ngẫu nhiên (CRF) lấy iột ̣âu, vi trí ̣ua iôi tư tring ̣âu và nhãn ̣ạ́ tư hiện tni và trượ́ đoó lài đoâu vài đoê đoưa ra ̣ạ́ ḍ đoián về phân nói ̣ua tưng tư ̣ua iột truy vấn đoâu vàig Môi truy vấn đoâu vài đoượ̣ phân tị́h ̣p pháp bằng ̣ạ́h sử dụng ̣ạ́ thành phân nói trên đoê tni truy vấn ̣hi ̣ông ̣ụ tìi kiêig Tiêp thei, ̣ạ́ bộ lọ sử dụng ̣ạ́ kỹ thuật tương ṭ đoượ̣ sử dụng đoê lấy thông tin tư ̣ạ́ tài liệu trả về; tài liệu với đoiêi tông thê ̣ai nhất sau khi tông hợp số đoiêi đoượ̣ trả về là ̣âu trả lời hay nhấtg 5 Hình 1g4: Quản lý câu hỏi trả lời 1.5.2. Xử lý ngôn ngữ tự nhiên trong Quản lý câu hỏi trả lời Thei Wikipedia, NLP (Natural Language Prịessing) là iột nhánh ̣ua trí tuệ nhân tni tập trung vài ̣ạ́ ứng dụng trên ngôn ngữ ̣ua ̣in ngườig Tring trí tuệ nhân tni thì iử lý ngôn ngữ ṭ nhiên là iột tring những phân khó nhất vì nó liên quuan đoên việ̣ phải hiêu ý nghĩa ngôn ngữ - ̣ông ̣ụ hiàn hải nhất ̣ua tư duy và giai tiêpg Thei ̣ạ́h hiêu thì ̣ó thê hiêu iử lý ngôn ngữ ṭ nhiên [6] là iột phni vi lý thuyêt ̣ạ́ kỹ thuật tính tián đoê phân tị́h và iô tả ̣ạ́ văn bản iảy ra ṭ nhiên ở iột hiặ̣ nhiều iự́ đoộ phân tị́h ngôn ngữ thei yêu ̣âu ̣ua ̣in người iing iuống Mụ̣ tiêu ̣ua NLP là nhằi thê hiện ý nghĩa tḥ̣ ṣ và ý đoinh ̣ua người dùng khi thai tạ́ dữ liệug Điên hình ứng dụng NLP: - Giải thị́h văn bản đoâu vài - Dịh văn bản sang iột ngôn ngữ khạ́ - Trả lời ̣ạ́ ̣âu hỏi về nội dung ̣ua iột văn bản - Thu thập ̣ạ́ suy luận tư văn bản 1.5.3. Các mức của NLP - Ngữ âi họ: iự́ này liên quuan tới việ̣ giải thị́h ̣ạ́ âi thanh nói tring và giữa ̣ạ́ tưg Có ba lini quuy tặ́ đoượ̣ sử udnjg tring phân tị́h âi vi họ: quuy tặ́ âi thanh tring tư, quuy tắt ngữ âi tring biên thê phát âi khi tư đoượ̣ nói với nhau, quuy tắt biên đoộng tring ngữ đoiệu ̣ua iột ̣âug Một hệ thống NLP hô trợ đoâu vài nói, sing âi là phân tị́h và iã hóa tính hiệu thành tín hiệu số hóa đoê giải thị́h ̣ạ́ quuy tặ́ khạ́ nhau hiặ̣ bằng việ̣ si sánh với iô hình ngôn ngữ ̣ụ thê đoượ̣ sử dụngg 6 - Hình thái họ: iự́ đoộ này liên quuan tới bản ̣hất ̣ấu thành ̣ua ̣ạ́ tư bai g̀i ̣ạ́ đoơn vi nhỏ nhất ̣ua ý nghĩag Vaí dụ tư preregistratiin ̣ó thê đoượ̣ phân tị́h thành trượ́ tiền tố, gộ́ “registra” và hậu tốg Vaì ý nghĩa ̣ua iôi hình thái vẫn giữ nguyên quua ̣ạ́ tư ngữ, ̣in người ̣ó thê phân ̣hia iột tư không ri thành ̣ạ́ hình thái ̣ấu thành đoê hiêu ý nghĩa ̣ua nóg Tương ṭ tring NLP ̣ó thê nhận ra ý nghĩa đoượ̣ truyền đont bởi iôi hình thái ̣ó thê đont đoượ̣ và đoni diện ̣hi ý nghĩag Vaí dụ thêi hậu tố vài iột đoộng tư ̣hi biêt hành đoộng ̣ua đoộng tư diễn ra tring quuá khứg - Tư ṿng họ: ̣in người hay hệ thống NLP diễn giải ý nghĩa ̣ua tưng tưg - Thuật ngữ: tập trung vài việ̣ phân tị́h ̣ạ́ tư tring iột ̣âu đoê khái phá ra ngữ pháp ̣ấu trp̣ ̣ua ̣âug Điều này đoòi hỏi ̣ả ngữ pháp và trình đoộ phân tị́h ̣p phápg Kêt quuả ̣ua việ̣ này là đoni diện ̣ua iột ̣âug Cạ́ iối quuan hệ phụ thuộ̣ ̣ấu trp̣ giữa ̣ạ́ tưg ̣ó nhiều ngữ pháp khạ́ nhau ̣ó thê đoượ̣ sử dụng và di đoó sẽ ảnh hưởng đoên ṣ ḷa ̣hon ̣ua iột trình phân tị́h ̣p phápg Vaí dụ ̣ó ̣âu “̣in ̣hó đouôi ̣in ièni” và “̣in ièni đouôi thei ̣in ̣hó” khạ́ nhau về về ý nghĩag - Ngữ nghĩa: iự́ đoộ ià hâu hêt ioi người nghĩ rằng ý nghĩa đoượ̣ iạ́ đoinh tuy nhiên ̣hpng ta ̣ó thê iei tring iạ́ đoinh ở trên ̣ua ̣ạ́ ̣ấp, đoó là tất ̣ả ̣ạ́ ̣ấp ̣ó ý nghĩa góp phân vàig Xử lý ngữ nghĩa iạ́ đoinh ý nghĩa ̣ua iột ̣âu bằng ̣ạ́h tập trung vài tương tạ́ giữa ̣ạ́ ý nghĩa ̣ấp tư tring ̣âug Mự́ đoộ này bai g̀i việ̣ đoinh hướng ngữ nghĩa ̣ua ̣ạ́ tư với nhiều giạ́ quuan, thei ̣ạ́h tương ṭ đoê ̣ạ́h phân đoinh ̣p pháp ̣ua ̣ạ́ tư ̣ó thê hint đoộng như nhiều phân ̣ảu bài phát biêu là hiàn thành ̣ạ́ ̣ấp ̣p phápg Vaí dụ tring ̣ạ́ nghĩa khạ́ “file” là iột danh tư ̣ó thê ̣ó nghĩa là iột thư iụ̣ hiặ̣ iột ̣ông ̣ụ đoê tnig - Đài luận: iặ̣ dù ̣p pháp và ngữ nghĩa lài việ̣ với ̣ạ́ đoơn vi ̣âu, iự́ đoộ diễn đont ̣ua NLP lài việ̣ với ̣ạ́ đoơn vi văn bản dài hơn iột ̣âug Nghĩa là nó không giải thị́h văn bản như ̣ạ́ ̣âu ghép nối, iôi ̣âu ̣ó thê đoượ̣ giải thị́h đoơn leg Thay vài đoó bài diễn thuyêt tập trung vài tính ̣hất ̣ua văn bản tập trung kêt nối giữa ̣ạ́ thành phân ̣âug - Tḥ̣ dụng: liên quuan đoên việ̣ sử dụng ̣ó iụ̣ đoị́h ngôn ngữ tring ̣ạ́ tình huống và sử dụng bối ̣ảnh trên ̣ạ́ nội dung ̣ua văn bản đoê hiêu iụ̣ đoị́h là đoê giải thị́h lài thê nài thêi ý nghĩa đoượ̣ đoọ vài văn bảng Điều này đoòi hỏi nhiều kiên thự́ bai g̀i ṣ hiêu về ý đoinh, kê hiṇh và những iụ̣ tiêug Hệ thống NLP hiện nay ̣ó khuynh hướng tḥ̣ hiện thành ̣ạ́ iô đoun đoê đont đoượ̣ iự́ đoộ yêu ̣âug Mự́ đoộ thấp thì sử dụng iô đoun thấp, iự́ đoộ ̣ai thì dùng nhiều iô đoun thấp kêt hợpg 7 1.6. Ứng dụng NLP trong chatbot 1.6.1. Cấu tạo hệ thống chatbot Hình 1g5: Mô hình ̣ơ bản ̣ua hệ thống ̣hatbit Chatbit ̣ó thê hiêu là ̣ạ́ hệ thống ̣ó thê tḥ̣ hiện ̣ạ́ ̣uộ̣ hội thini iở với iụ̣ đoị́h bắt ̣hượ́ tính năng đoài thini phi ̣ấu trp̣ hiặ̣ trò truyện ̣ua ̣in người với iáyg Hình 1g5 iô tả về ̣ấu trp̣ iô hình ̣ua iột ̣hatbit [9]g Tring iô hình ̣hatbit kiêu truy iuất thông tin (retrieval-based), thành phân ngôn ngữ ṭ nhiên NLU sử dụng rất nhiều kĩ thuật iử lý ngôn ngữ ṭ nhiên NLP đoê phân tị́h ̣âu hội thini, iạ́ đoinh ý đoinh ̣ua người dùng, trị́h iuất những thông tin ̣ua người dung ̣ung ̣ấpg .au đoó những thông tin này đoượ̣ ̣huyên tới ̣hi thành phân quuản lý hội thini (Dialigue ianager)g Thành phân quuản lý hội thini sẽ iử lý thông tin và ̣huyên tới ̣hi đoê sinh ra ̣âu hội thinig 1.6.2. Cấu trúc hộp thoại chatbot Hình 1g6: Cấu trp̣ hộp thini ̣hatbit 8 Giai diện ̣hatbit g̀i: - Nội dung dành ̣hi người dùng thai tạ́ nhập liệu: ghi âi giong nói, nhập văn bản, thêi file như hình ảnh, âi thanh, đoia ̣hig - Nơi hiên thi: giai diện tương tạ́ là nơi hiên thi nội dung người dùng nói và nơi Chatbit trả lờig 1.6.3. Xử lý dữ liệu trong chatbot 1.6.3.1. Tập văn bản (Corpus-based chatbots) Cirpus-based ̣hatbits [8] ḍa trên ̣ơ sở thay vì ḍa trên ̣ạ́ quuy tặ́ đoượ̣ iây ḍng bằng tay, ̣ạ́ ̣uộ̣ hội thini giữa ̣in người với ̣in người, hiặ̣ đoôi khi là phản ứng ̣ua ̣in người tư ̣uộ̣ trò ̣huyệng .erban et alg (2017) đoã tông hợp iột số tập văn ̣ó sẵn như vậy ̣hẳng hnn như ̣uộ̣ trò ̣huyện trên nền tảng trò truyện fạebiik, twitter hiặ̣ tring hội thini phii, ̣ó sẵn với số lượng lớn và đoã đoượ̣ ̣hi thấy giống với ̣uộ̣ trò ̣huyện ṭ nhiêng Câu trả lời ̣ua Chatbit thậi trí ̣ó thê đoượ̣ trị́h ra tư ̣ạ́ ̣âu tring tập tin ̣ua văn bản không phải tư hộp thinig Có 2 lini ̣hatbits ḍa trên tập lệnh: ̣ạ́ hệ thống ḍa trên việ̣ thu thập thông tin, và ̣ạ́ hệ thống ḍa trên việ̣ họ iáy ̣ó giái sát ḍa trên ṣ truyền tải trình ṭg Chatbits hâu hêt đoều ḍa trên ̣ơ sở ̣ó iu hướng lài iô hình rất ít ̣ua ngữ ̣ảnh đoối thinig Thay thê đoiều đoó ̣ó iu hướng tập trung vài việ̣ tni ra iột biên đoáp ứng duy nhất phù hợp với lời nói trượ́ ̣ua người sử dụng, vì lý di này ̣hpng thường đoượ̣ goi là phản ứng hệ thống thê hệ và ̣hi tập trung vài ̣ạ́ phản h̀i đoơn le tring khi bỏ quua ngữ ̣ảnh hiặ̣ iụ̣ tiêu đoài thinig 1.6.3.2. Thu thập thông tin (IR Chatbot - Information retrival chatbot) Nguyên tặ́ đoằng sau việ̣ thu thập thông tin ḍa trên ̣hatbit [8] là đoáp ứng ̣ạ́ yêu ̣âu ̣ua người sử dụng biên i bằng ̣ạ́h lặp lni iột số biên y phù hợp tư iột tập hợp ̣ua văn bản ṭ nhiêng .̣ khạ́ biệt giữa ̣ạ́ hệ thống như vậy nằi ở ̣ạ́h ho ̣hon tập văn bản và ̣ạ́h ho quuyêt đoinh iei những gì đoượ̣ ̣ii là ṣ biên đoôi thị́h hợp ̣ua ̣in người đoê sai ̣hépg .̣ ḷa ̣hon ̣hung ̣ua tập văn bản là thu thập ̣ạ́ ̣ơ sở dữ liệu về ̣ạ́ ̣uộ̣ đoối thini ̣ua ̣in ngườig Cạ́h tiêp ̣ận khạ́ là sử dụng tập tin tring hội thini phiig Khi Chatbit đoượ̣ đoưa vài tḥ̣ tê ̣ạ́ bượ́ ià ̣in người sử dụng đoê phản h̀i lni ̣hatbit ̣ó thê đoượ̣ sử dụng như dữ liệu ̣uộ̣ hội thini bô sung ̣hi việ̣ đoài tnig Vaới ̣âu ̣ua người dùng ̣ạ́ hệ thống ḍa trên IR ̣ó thê sử dụng bất kỳ truy iuất thuật tián đoê ḷa ̣hon iột phản ứng thị́h hợp tư hệ thốngg Tring iôi trường hợp, bất kỳ ̣hự́ năng tương ṭ ̣ó thê đoượ̣ sử dụng, tính tián phô biên nhất hiặ̣ quua ̣ạ́ tư hiặ̣ trên ̣ạ́ phân nhpngg 1.6.3.3. Trình tự liên tiếp trong chatbot (Sequence to sequence chatbots) Mô hình sequ2sequ bai g̀i hai inng RNN [10]: iột ̣hi bộ iã hiá, và iột ̣hi bộ giải iãg Bộ iã hiá nhận iột ̣huôi (̣âu) đoâu vài và iử lý iột phân tử (tư tring ̣âu) tni iôi bượ́g Mụ̣ tiêu ̣ua nó là ̣huyên đoôi iột ̣huôi ̣ạ́ phân tử vài iột 9 vẹtir đoặ̣ trưng ̣ó kị́h thượ́ ̣ố đoinh ià nó ̣hi iã hiá thông tin quuan trong tring ̣huôi và bỏ quua ̣ạ́ thông tin không ̣ân thiêtg Có thê hình dung lùng dữ liệu tring bộ giải iã hiá dọ thei trụ̣ thời gian, giống như dòng ̣hảy thông tin ̣ụ̣ bộ tư iột phân tử kêt thp̣ ̣ua ̣huôi sang ̣huôi khạ́g Môi trnng thái ẩn ảnh hưởng đoên trnng thái ẩn tiêp thei và trnng thái ẩn ̣uối ̣ùng đoượ̣ iei như tị́h luỹ tói tắt về ̣huôig Trnng thái này đoượ̣ goi là bối ̣ảnh hay vẹtir suy diễn, vì nó đoni diện ̣hi ý đoinh ̣ua ̣huôig Tư bối ̣ảnh đoó, ̣ạ́ bộ giải iãi tni ra iột ̣huôi, iột phân tử tni iột thời đoiêig Ở đoây, tni iôi bượ́ ̣ạ́ bộ giải iã bi ảnh hưởng bởi bối ̣ảnh và ̣ạ́ phân tử đoượ̣ sinh ra trượ́ đoóg Hình 2g7: Kiên trp̣ sequ2sequ Quá trình tìi hiêu về ̣ấu trp̣ ̣ua iột iô hình hệ thống trợ lý ải, ̣ó thê thấy đoê iây ḍng iột hệ thống trợ lý ải ̣ân rất nhiều ̣ạ́ iô đoun khạ́ nhau ghép lni, tư đoâu vài ̣ân iử lý dữ liệu, sau đoó truyền vài hệ thống iử lý dữ liệu và ̣uối ̣ùng là trả lni dữ liệu ̣hi người dùngg Hệ thống trợ lý ải thông iinh là nhờ khâu iử lý dữ liệu ̣̣̣ kỳ quuan trong và sẽ đoượ̣ tìi hiêu sâu hơn ở ̣hương tiêp theig 10 CHƯƠNG 2: MỘT SỐ KĨ THUẬT SỬ DỤNG TRONG TRỢ LÝ ẢO 2.1. Mạng học sâu DNNs 2.1.1. Khái nghiệm mạng học sâu Mnng họ sâu Deep Neural Netwirks (DNNs) [10] là iô hình họ iáy gipp nhận dnng giong nói và nhận diện đoối tượng thi giạ́ rất tốtg DNNs ̣ó thê tḥ̣ hiện tính tián sing sing tùy ý ̣hi iột số bượ́g Vaí dụ như khả năng sắp iêp N số N-bit ̣hi sử dụng 2 lớp ẩn ̣ua kị́h thượ́ bậ̣ haig Vaì vậy tring khi inng nơ rin liên quuan đoên ̣ạ́ iô hình thống kê thông thường, DNN ̣hi phép iột tính tián phự́ tnpg Cạ́ DNN ̣ó thê đoượ̣ đoài tni với ṣ đoẩy lùi ngượ̣ lni ṣ giái sát bất ̣ứ khi nài bộ tập huấn ̣ó dán nhãn đoây đou thông tin đoê iạ́ đoinh ̣ạ́ thông số ̣ua inngg Di đoó nêu t̀n tni iột thai số thiêt lập ̣ua iột DNN lớn sẽ đont kêt quuả tốtg Kiêi siát ngượ̣ trở lni đoượ̣ giái sát sẽ tìi ra ̣ạ́ thông số và giải quuyêt vấn đoềg Tuy nhiên DNN ̣hi ̣ó thê áp dụng ̣hi ̣ạ́ vấn đoề đoâu vài và iụ̣ tiêu ̣ó thê đoượ̣ iã hóa iột ̣ạ́h hợp lý với ̣ạ́ vẹtir ̣ó ̣hiều không ̣ố đoinhg Kiên trp̣ bộ nhớ ngắn hnn L.TM (Ling .hirt-Teri Meiiry) sẽ giải quuyêt trình ṭ ̣hung ̣hi ̣ạ́ vấn đoề trình ṭg L.TM đoê đoọ ̣huôi đoâu vài, iột tring những tiiestep tni iột thời gian, đoê ̣ó đoượ̣ iột ̣hiều lớn đoinh lượng lớn vẹtir đoni diện, sau đoó sử dụng iột L.TM đoê trị́h iuất ̣huôi đoâu ra tư vẹtir đoóg L.TM thứ hai là iột iô hình inng lưới thân kinh inng tái diễng Khả năng thành ̣ông ̣ua L.TM tìi hiêu về dữ liệu phụ thuộ̣ thời gian dài lài ̣hi nó iột ṣ ḷa ̣hon ṭ nhiên ̣hi ứng dụng này di thời gian trễ đoáng kê giữa đoâu vài và đoâu ra tương ứng ̣ua ̣hpngg Đã ̣ó iột số nô ḷ̣ giải quuyêt trình ṭ ̣hung đoê họ hỏi ̣huôi về vấn đoề với inng nơ ring Xei ví dụ: iô hình ̣hpng tôi đoọ iột đoâu vài “Xin ̣hài ABit” và đoâu ra là “Tôi Là ABit”g Cạ́ trnng thái ẩn là ̣ó thê iei là vẹtir ngững suy nghĩg Hình 2g8: Biêu diễn iô hình inng 2.1.2. Xây dựng mô hình 2.1.2.1. Mạng nơ ron tái phát RNN 11