Tài liệu điều khiển trượt dùng mạng nơron

Ñaïi Hoïc Quoác Gia Tp. Hoà Chí Minh TRÖÔØNG ÑAÏI HOÏC BAÙCH KHOA ------oOo------ NGUYEÃN TRUNG KIEÄT ÑIEÀU KHIEÅN TRÖÔÏT DUØNG MAÏNG NÔRON Chuyeân ngaønh : Maõ soá ngaønh : TÖÏ ÑOÄNG HOÙA 2.05.01 LUAÄN VAÊN THAÏC SÓ TP.HOÀ CHÍ MINH, THAÙNG 11 NAÊM 2007 COÂNG TRÌNH ÑÖÔÏC HOAØN THAØNH TAÏI TRÖÔØNG ÑAÏI HOÏC BAÙCH KHOA ÑAÏI HOÏC QUOÁC GIA TP. HOÀ CHÍ MINH Caùn boä höôùng daãn khoa hoïc : TS. Döông Hoaøi Nghóa Caùn boä chaám nhaän xeùt 1: PGS.TS. Nguyễn Thị Phương Hà Caùn boä chaám nhaän xeùt 2: TS. Trương Đình Châu Luaän vaên thaïc só ñöôïc baûo veä taïi HOÄI ÑOÀNG CHAÁM BAÛO VEÄ LUAÄN VAÊN THAÏC SÓ. Tröôøng Ñaïi Hoïc Baùch Khoa, ngaøy 18 thaùng 01 naêm 2008 TRÖÔØNG ÑAÏI HOÏC BAÙCH KHOA COÄNG HOØA XAÕ HOÄI CHUÛ NGHÓA VIEÄT NAM PHOØNG ÑAØO TAÏO SÑH ÑOÄC LAÄP - TÖÏ DO – HAÏNH PHUÙC -------------------------------------------------------------Tp. HCM, ngaøy 18 thaùng 01 naêm 2008 NHIEÄM VUÏ LUAÄN VAÊN THAÏC SÓ Hoï teân hoïc vieân : NGUYEÃN TRUNG KIEÄT Ngaøy, thaùng, naêm sinh : 08-04-1981 Chuyeân ngaønh :Töï Ñoäng Hoùa Giôùi tính : Nam Nôi sinh : Quaûng Ngaõi MSHV : 01505348 I.TEÂN ÑEÀ TAØI : ÑIEÀU KHIEÅN TRÖÔÏT DUØNG MAÏNG NÔRON II. NHIEÄM VUÏ VAØ NOÄI DUNG: - Giôùi thieäu toång quan. - Nghieân cöùu veà ñieàu khieån tröôït, maïng nôron . - Xaây döïng heä thoáng ñieàu khieån tröôït duøng maïng nôron . - ÖÙng duïng ñieàu khieån heä caùnh tay robot 2 baäc töï do. - Moâ phoûng keát quaû treân maùy tính duøng Simulink vaø Matlab 7.0. III. NGAØY GIAO NHIEÄM VUÏ : …………………… IV. NGAØY HOAØN THAØNH NHIEÄM VUÏ: …………………… V. HOÏ VAØ TEÂN CAÙN BOÄ HÖÔÙNG DAÃN : TS DƯƠNG HOÀI NGHĨA Noäi dung vaø ñeà cöông luaän vaên thaïc só ñaõ ñöôïc Hoäi Ñoàng Chuyeân Ngaønh thoâng qua. Ngaøy …… thaùng …… naêm 2008 CAÙN BOÄ HÖÔÙNG DAÃN TS DƯƠNG HOÀI NGHĨA BOÄ MOÂN QUAÛN LYÙ CHUYEÂN NGAØNH TS NGUYỄN ĐỨC THÀNH LÔØI CAÛM ÔN W X Toâi xin göûi lôøi caûm ôn chaân thaønh vaø saâu saéc ñeán TS. Döông Hoaøi Nghóa ñaõ taän tình höôùng daãn toâi nghieân cöùu, hoã trôï taøi lieäu vaø thaûo luaän, ñaùnh giaù trong suoát quaù trình thöïc hieän luaän vaên cao hoïc. Toâi cuõng xin caûm ôn taát caû caùc thaày coâ trong Boä moân Ñieàu Khieån Töï Ñoäng ñaõ giaûng daïy ôû chöông trình cao hoïc, giuùp toâi coù theâm nhieàu kieán thöùc môùi vaø höõu ích. Caûm ôn baïn beø lôùp cao hoïc khoùa 2005 ñaõ giuùp ñôõ toâi trong suoát quaù trình hoïc ôû cao hoïc vaø thôøi gian thöïc hieän luaän vaên. Xin caùm ôn taát caû ngöôøi thaân vaø gia ñình ñaõ giuùp ñôõ vaø hoã trôï toâi treân böôùc ñöôøng hoïc taäp vaø nghieân cöùu. Nguyeãn Trung Kieät MỤC LỤC Chöông 1: Giôùi thieäu toång quan...............................................................1 Chöông 2: Giôùi thieäu phöông phaùp ñieàu khieån tröôït................................3 2.1 . Ñieàu khieån baùm .................................................................3 2.2 . Ñieàu khieån oån ñònh hoùa .....................................................5 2.3 Hieän töôïng chattering .........................................................6 Chöông 3: Nhaän daïng heä thoáng duøng maïng nôron ..................................8 3.1. Giôùi thieäu maïng nôron nhaân taïo ........................................8 3.2. Moät soá maïng nôron nhaân taïo thoâng duïng ........................15 3.3. Nhaän daïng heä thoáng ñoäng duøng maïng nôron ...................28 Chöông 4: Moâ hình ñoái töôïng vaø keát quaû moâ phoûng .............................33 4.1. Giôùi thieäu moâ hình ñoái töôïng ñieàu khieån .........................33 4.2. Ñieàu khieån tröôït baùm muïc tieâu........................................33 4.2.1. Thieát keá boä ñieàu khieån tröôït ..................................33 4.2.2. Moâ phoûng...............................................................39 4.3. Nhaän daïng caùnh tay maùy 2 baäc töï do duøng maïng truyeàn thaúng ....................................................................56 4.4. Ñieàu khieån tröôït duøng maïng nôron..................................69 4.4.1. Thieát keá ................................................................69 4.4.2. Moâ phoûng...............................................................69 4.5. Nhaän xeùt, so saùnh, ñaùnh giaù keát quaû ...............................85 Keát luaän vaø kieán nghò ............................................................................85 Taøi lieäu tham khaûo .................................................................................86 Phuï luïc ...................................................................................................88 LUAÄN VAÊN THAÏC SÓ Khaùi nieäm ñaàu tieân veà phöông phaùp ñieàu khieån tröôït (SMC) ñöôïc Emelyanov neâu ra cho heä thoáng baäc hai vaøo nhöõng naêm cuoái thaäp nieân 1960. Keå töø ñoù, phöông phaùp naøy ñaõ nhaän ñöôïc khaù nhieàu söï quan taâm cuûa caùc nhaø nghieân cöùu bôûi tính beàn vöõng ñoái vôùi nhieãu vaø ñoái vôùi söï thay ñoåi cuûa caùc thoâng soá cuûa moâ hình. Hieän nay, ñieàu khieån tröôït ñöôïc aùp duïng trong raát nhieàu öùng duïng nhö ñieàu khieån vò trí, ñieàu khieån robot, ñieàu khieån quaù trình, ngaønh khoa hoïc vuõ truï, bieán ñoåi ñieän naêng,… Sôû dó ñieàu khieån tröôït ñöôïc öùng duïng phoå bieán nhö vaäy laø do noù hoaït ñoäng toát ñoái vôùi caùc heä thoáng phi tuyeán, coù khaû naêng ñieàu khieån heä MIMO vaø deã daøng thieát keá heä thoáng ñieàu khieån soá (rôøi raïc). Ñieàu khieån heä thoáng coù caáu truùc thay ñoåi (VSS), nhö heä thoáng caùnh tay robot baèng phöông phaùp tröôït ñöôïc phaùt trieån töø nhöng naêm 1970 khi ngöôøi ta coù theå taïo ra caùc boä ñieàu khieån coù taàn soá chuyeån maïch cao (tính chaát quan troïng cuûa ñieàu khieån tröôït). Moät trong nhöõng thí nghieäm ñaàu tieân ñieàu khieån robot baèng phöông phaùp tröôït laø cuûa Kaynak et al Trong thöïc teá, phöông phaùp ñieàu khieån tröôït truyeàn thoáng coù caùc khuyeát ñieåm. Ñaàu tieân laø hieän töôïng chattering, ñoù laø caùc dao ñoäng ôû taàn soá cao cuûa tín hieäu ñieàu khieån. Hieän töôïng naøy coù theå kích ñoäng caùc mode taàn soá cao khoâng ñöôïc moâ hình hoùa vaø gaây ra söï maát oån ñònh. Thöù hai laø ñieàu khieån tröôït coù theå caàn tín hieäu ñieàu khieån lôùn ñeå coù theå ñaùp öùng toát vôùi caùc söï thay ñoåi cuûa thoâng soá moâ hình. Thöù ba laø vieäc tính toaùn caùc giaù trò ñieàu khieån caàn phaûi bieát ñöôïc caùc thoâng soá chính xaùc cuûa moâ hình. Cuøng vôùi söï phaùt trieån cuûa khoa hoïc kó thuaät trong vaøi thaäp nieân gaàn ñaây, caùc maùy tính vôùi toác ñoä xöû lí cao ñaõ ñöôïc söû duïng trong caùc öùng duïng ñieàu khieån. Hieän taïi, ngöôøi ta coù theå ñieàu khieån caùc heä thoáng Trang 1 LUAÄN VAÊN THAÏC SÓ thöïc phöùc taïp döïa vaøo moâ hình toaùn cuûa chuùng baèng caùc thuaät toaùn ñieàu khieån phi tuyeán, thích nghi, beàn vöõng vaø caùc phöông phaùp ñieàu khieån thoâng minh nhö logic môø, maïng nôron… Đồng thời các phương pháp trên cũng cải thiện được các khuyết điểm của điều khiển trượt (giảm hiện tượng chattering, giảm tần số chuyển mạch của tín hiệu điều khiển,...) [8],[10],[13]. Nhö ñaõ noùi ôû treân, vieäc thieát keá heä thoáng ñieàu khieån tröôït ñoøi hoûi phaûi xaùc ñònh caùc moâ hình cuûa ñoái töôïng ñieàu khieån. Trong thöïc teá khoâng phaûi luùc naøo ngöôøi thieát keá cuõng coù ñöôïc moâ hình chính xaùc cuûa ñoái töôïng. Ñeå giaûi quyeát vaán ñeà naøy, taùc giaû ñeà nghò nhaän daïng moâ hình cuûa ñoái töôïng ñieàu khieån duøng maïng nôron truyeàn thaúng, giaûi thuaät lan truyeàn ngöôïc. So vôùi caùc phöông phaùp nhaän daïng phi tuyeán truyeàn thoáng, phöông phaùp naøy coù öu ñieåm laø nhaän daïng chính xaùc caáu truùc cuûa moâ hình. Treân cô sôû söû duïng moâ hình maïng nôron, taùc giaû seõ xaây döïng caùc luaät ñieàu khieån tröôït cho ñoái töôïng ñoäng phi tuyeán. Ñoái töôïng ñieàu khieån ñöôïc choïn laø heä thoáng caùnh tay maùy 2 baäc töï do bao goàm caùnh tay coù khoái löôïng m1 vaø m2 vaø mang 1 vaät naëng mt. Ñaây laø moät heä thoáng ñoäng, ña bieán. Muïc tieâu cuûa luaän vaên laø nghieân cöùu aùp duïng maïng nôron cho heä thoáng ñieàu khieån tröôït bao goàm: - Thieát keá heä thoáng ñieàu khieån tröôït cho ñoái töôïng laø caùnh tay maùy 2 baäc töï do. - Nhaän daïng moâ hình caùnh tay maùy 2 baäc duøng maïng nôron. - Thieát keá heä thoáng ñieàu khieån tröôït duøng maïng nôron cho ñoái töôïng. Moâ phoûng treân Matlab/Simulink so saùnh caùc heä thoáng ñieàu khieån ñaõ thieát keá trong nhöõng ñieàu kieän laøm vieäc khaùc nhau (taùc ñoäng cuûa nhieãu, thay ñoåi cuûa thoâng soá, …). Trang 2 LUAÄN VAÊN THAÏC SÓ 2.1 Ñiều khiển baùm muïc tieâu (tracking): U U r + Bộ đñiều khiển trượt e - u Ñoái töôïng ñieàu khieån y Hình 2.1 Heä thoáng ñieàu khieån tröôït Xeùt heä thoáng ñoäng phi tuyeán bieåu dieãn bôûi phöông trình vi phaân sau: ⎧ x ( n ) = f ( X ) + g ( X ).u ⎨ ⎩y = x (2.1) Trong ñoù: X = [x x ... x ( n−1) ]T laø vectô traïng thaùi, u laø tín hieäu ñieàu khieån, y laø tín hieäu ra, n laø baäc cuûa heä thoáng. Caùc haøm f = f ( X ) , g = g ( X ) laø caùc haøm phi tuyeán khoâng bieát tröôùc, nhöng bieát tröôùc caùc chaën treân vaø döôùi cuûa chuùng f min ≤ f ≤ f max , 0 < g min ≤ g ≤ g max Goïi r laø tín hieäu ñaët. Giaû thieát r coù ñaïo haøm theo t ñeán caáp n. Ñònh nghóa: ⎡ xd ⎤ ⎡ r ⎤ ⎢ x (1) ⎥ ⎢ r (1) ⎥ ⎥ Xd = ⎢ d ⎥ = ⎢ ⎢ ... ⎥ ⎢ ... ⎥ ⎢ ( n −1) ⎥ ⎢ ( n −1) ⎥ ⎣ xd ⎦ ⎣ r ⎦ Trang 3 (2.2) LUAÄN VAÊN THAÏC SÓ ⎡ x − xd ⎤ ⎡e ⎤ ⎢ x − x ⎥ ⎢ (1) ⎥ d ⎢ ⎥ = ⎢e ⎥ E = X − Xd = ⎢... ⎥ ⎢... ⎥ ⎢ ( n −1) ⎥ ⎢ ⎥ − xd( n−1) ⎥⎦ ⎢⎣e( n −1) ⎥⎦ ⎢⎣ x (2.3) Muïc tieâu ñieàu khieån laø xaùc ñònh luaät ñieàu khieån u sao cho E→0 khi t → ∞ . Ñònh nghóa haøm tröôït: (2.4) S = e( n −1) + an − 2 e( n − 2) + ... + a1e(1) + a0 e Caùc heä soá a0 , a1 ,..., an − 2 phaûi ñöôïc choïn sao cho phöông trình ñaëc tröng cuûa phöông trình vi phaân (2.4): (2.5) p n −1 + an − 2 p n − 2 + ... + a1 p + a0 = 0 coù taát caû caùc nghieäm vôùi phaàn thöïc aâm. Trong khoâng gian traïng thaùi n chieàu, phöông trình S = 0 xaùc ñònh moät maët cong ñöôïc goïi laø maët tröôït (sliding surface). Luaät ñieàu khieån u ñöôïc xaùc ñònh sao cho S → 0 trong khoaûng thôøi gian höõu haïn. Treân maët tröôït S = 0, vì taát caû caùc nghieäm cuûa (2.5) ñeàu coù phaàn thöïc aâm neân E→ 0 khi t → ∞ . Caùc quyõ ñaïo pha cuûa heä thoáng ñöôïc ñöa veà maët tröôït. Beân treân maët tröôït, quyõ ñaïo pha baùm theo ñieåm Xd moät caùch tieäm caän. Ñeå xaùc ñònh luaät ñieàu khieån, ñaïo haøm (2.4), ta coù: S = e( n ) + an −2 e( n −1) + ... + a1e(2) + a0 e(1) = ( x ( n ) − xd( n ) ) + an −2 ( x ( n −1) − xd( n −1) ) + ... + a1 ( x (2) − xd(2) ) + a 0 ( x − xd ) = f ( X ) + g ( X ).u − x (n) d + an − 2 ( x ( n −1) −x ( n −1) d ) + ... + a1 ( x (2) (2.6) − x ) + a 0 ( x − xd ) (2) d Söû duïng phöông phaùp Lyapunov, choïn moät haøm xaùc ñònh döông V coù daïng: V= 1 2 S 2 (2.7) Suy ra: V = SS Ñeå V xaùc ñònh aâm caàn choïn luaät ñieàu khieån u sao cho: Khi S > 0 thì S < 0 Trang 4 (2.8) LUAÄN VAÊN THAÏC SÓ Khi S < 0 thì S > 0 Khi S = 0 thì S = 0 Coù theå choïn: S = −k .sign( S ) (2.9) ⎧1, S > 0 ⎪ vôùi k > 0 vaø sign( S ) = ⎨0, S = 0 ⎪ −1, S < 0 ⎩ Thay (2.9) vaøo (2.6) ta ñöôïc luaät ñieàu khieån: u=− 1 ⎡ f ( X ) − xd( n ) + an − 2 ( x ( n −1) − xd( n −1) ) + ... + a1 ( x (2) − xd(2) ) + a 0 ( x − xd ) + k .sign( S ) ⎤⎦ (2.10) g( X ) ⎣ vôùi k laø haèng soá döông. Giaù trò cuûa k ñöôïc choïn sao cho trong tröôøng hôïp xaáu nhaát quan heä SS < 0 khi S ≠ 0 vaãn luoân thoûa maõn. Ñieàu naøy laøm S → 0 trong khoaûng thôøi gian höõu haïn. Luaät ñieàu khieån u (2.10) ñöa quyõ ñaïo pha cuûa heä thoáng veà maët tröôït vaø duy trì moät caùch beàn vöõng treân maët tröôït naøy. Reaching phase Sliding phase Hình 2.2: Hình chiếu của quĩ đạo pha 2.2 Ñieàu khieån oån ñònh hoùa (regulation): U U Trang 5 LUAÄN VAÊN THAÏC SÓ Xeùt heä thoáng: ⎧ x1 = x2 ⎨ ⎩ x2 = f ( x) + g ( x).u (2.11) Ñeå x→ 0 khi t → ∞, choïn maët tröôït : S = x2 − ϕ ( x1 ) (2.12) vôùi ϕ(x1) thoûa maõn caùc ñieàu kieän sau: x1 = ϕ ( x1 ) (2.13) coù nghieäm x1 → 0 khi t → ∞ vaø ϕ ( x1 ) x1 = 0 =0 (2.14) 1 Coù theå choïn ϕ ( x1 ) = − x1 , vôùi τ > 0 khi ñoù (2.13) trôû thaønh: τ x1 + 1 τ x1 = 0 (2.15) Phöông trình naøy coù nghieäm x1 = Ae − t τ → 0 khi t → ∞ . Ñieàu naøy thoûa ñieàu 1 A kieän ñaët ra, ñoàng thôøi x2 = − x1 = − e − t /τ → 0 khi t → ∞ . τ τ Maët tröôït S: S= 1 τ x1 + x2 (2.16) Ta coù: 1 1 S = x1 + x2 = x2 + f ( x) + g ( x).u (2.17) S = − k .sign( S ) (2.18) τ τ Ñeå: Ta choïn luaät ñieàu khieån sau: u= −1 ⎡ 1 ⎤ x2 + f ( x) + k .sign( S ) ⎥ ⎢ g ( X ) ⎣τ ⎦ 2.3. Hiện tượng chattering: Trang 6 (2.19) LUAÄN VAÊN THAÏC SÓ Ñieàu khieån tröôït lyù töôûng ñoøi hoûi luaät ñieàu khieån phaûi thay ñoåi töùc thôøi ngay taïi thôøi ñieåm quyõ ñaïo pha cuûa heä thoáng vöøa chaïm vaøo maët tröôït ñeå ñaûm baûo khi S = 0 thì S = 0 . Trong thöïc teá ñieàu naøy khoâng theå thöïc hieän ñöôïc do thôøi gian treã hay quaùn tính cuûa khaâu chaáp haønh. Keát quaû laø quyõ ñaïo pha tieáp tuïc vöôït qua khoûi maët tröôït sau khi chaïm vaøo noù vaø gaây neân hieän töôïng quyõ ñaïo pha dao ñoäng quanh maët tröôït (hieän töôïng chattering) nhö hình 2.3. Hình 2.3 Hieän töôïng chattering Hieän töôïng chattering laø khoâng mong muoán vì noù gaây ra sai soá ñieàu khieån, laøm phaùt noùng maïch ñieän töû, maøi moøn caùc boä phaän cô khí, kích ñoäng caùc mode taàn soá cao khoâng ñöôïc moâ hình hoùa laøm giaûm chaát löôïng ñieàu khieån hoaëc maát oån ñònh Ngöôøi ta luoân tìm nhieàu bieän phaùp khaùc nhau ñeå laøm giaûm thieåu hoaëc loaïi tröø hieän töôïng naøy. Moät soá caùch ñeå khaéc phuïc hieän töôïng chattering laø söû duïng haøm saturation, haøm sigmoid hoaëc haøm sat-PI thay theá cho haøm sign; duøng logic môø (fuzzy logic) ñeå giaûm hieän töôïng chattering. Trang 7 LUAÄN VAÊN THAÏC SÓ 3.1 Giôùi thieäu maïng nôron nhaân taïo 3.1.1. Maïng nôron nhaân taïo laø gì? Maïng nôron nhaân taïo laø maïng ñöôïc xaây döïng baèng caùch moâ phoûng caùch toå chöùc vaø phöông phaùp xöû lyù thoâng tin trong heä nôron con ngöôøi. Heä nôron con ngöôøi chöùa khoaûng töø 1011 ñeán 1014 nôron ñöôïc caáu truùc trong nhieàu lôùp, moãi nôron ñöôïc xem nhö moät ñôn vò xöû lyù. Lôùp vaøo cuûa heä ñöôïc keát noái vôùi caùc phaàn töû caûm bieán nhö tai, maét, muõi, mieäng, da,… vaø lôùp ra ñöôïc keát noái vôùi caùc phaàn töû cô nhö chaân vaø tay. Giöõa lôùp vaøo vaø lôùp ra laø caùc lôùp aån, tín hieäu nhaän ñöôïc töø lôùp vaøo gôûi ñeán caùc lôùp aån xöû lyù vaø ra quyeát ñònh ôû lôùp ra ñeå ñieàu khieån caùc phaàn töû cô. Caáu truùc cuûa moät nôron sinh hoïc ñöôïc moâ taû nhö hình 3.1. Synapses Dendrites Axon Nơron body Hình 3.1: Cấu tạo moät nôron Caáu truùc cuûa moät nôron sinh hoïc goàm coù caùc ngoõ vaøo dendrites, thaân nôron vaø ngoõ ra axon. Thaân nôron toång hôïp taát caû caùc thoâng tin töø caùc ngoõ vaøo dendrites, xöû lyù vaø ra quyeát ñònh ôû ngoõ ra axon. Synapse cho pheùp keát noái tín hieäu giöõa ngoõ ra cuûa nôron naøy vôùi ngoõ vaøo cuûa nôron khaùc. Tín hieäu truyeàn töø nôron naøy ñeán nôron khaùc laø tín hieäu ñieän aùp, ñieän aùp aâm öùng vôùi tín hieäu öùc cheá, ñieän aùp döông öùng vôùi tín hieäu kích ñoäng vaø ñieän aùp zero laø khoâng coù söï keát Trang 8 LUAÄN VAÊN THAÏC SÓ noái giöõa hai nôron. Löôïng tín hieäu qua synapse ñöôïc goïi laø cöôøng ñoä keát noái. Ñeå xaây döïng moâ hình nôron nhaân taïo gioáng nhö moâ hình nôron sinh hoïc, McCulloch vaø Pitts [1943] ñaõ ñeà xuaát moâ hình nôron nhaân taïo ñaàu tieân vôùi moät phaàn töû xöû lyù trong maïng nhö ñöôïc moâ taû ôû hình 3.2. x1 wi1 x2 yi θi wi2 wim Ñôn vò xöû lyù xm Hình 3.2: Moät phaàn töû xöû lyù Trong ñoù, xj laø ngoõ vaøo töø moâi tröôøng ngoaøi hay ngoõ ra cuûa ñôn vò xöû lyù khaùc vaø yi laø ngoõ ra cuûa ñôn vò i. Troïng soá wij bieåu dieãn cöôøng ñoä cuûa synapse, hay coøn ñöôïc goïi laø troïng soá keát noái ñôn vò j ñeán ñôn vò i. Troïng soá döông töông öùng vôùi synapse kích ñoäng, vaø troïng soá aâm töông öùng vôùi synapse öùc cheá. Neáu wij = 0 thì khoâng coù söï keát noái giöõa hai nôron. Ñôn vò xöû lyù tính toång troïng soá cuûa caùc ngoõ vaøo vaø taïo laïi tín hieäu ra yi = 1 hoaëc yi = 0 neáu giaù trò toång cuûa noù ôû treân hoaëc döôùi möùc ngöôõng θi . Treân cô sôû ñoù, moâ hình toaùn ñôn giaûn cho ñôn vò xöû lyù i ñöôïc ñeà nghò bôûi McCulloch vaø Pitts [1943] nhö sau: ⎛ m ⎞ yi = a ⎜ ∑ wij x j − θi ⎟ ⎝ j =1 ⎠ (3.1) trong ñoù, haøm taùc ñoäng a(f) laø moät haøm baäc thang ñôn vò : ⎧1 a( f ) = ⎨ ⎩0 if f ≥0 otherwise 3.1.2. Haøm toång hôïp vaø haøm taùc ñoäng: Trang 9 (3.2) LUAÄN VAÊN THAÏC SÓ Moâ hình toaùn ñôn giaûn cho moãi ñôn vò xöû lyù ñöôïc ñeà xuaát bôûi McCulloch vaø Pitts coù theå ñöôïc môû roäng vôùi moâ hình toång quaùt cuûa moät ñôn vò xöû lyù trong maïng. Keát hôïp vôùi ngoõ vaøo cuûa moãi ñôn vò xöû lyù laø moät haøm toång hôïp f phuïc vuï nhö toå hôïp thoâng tin, taùc ñoäng hoaëc töø nguoàn beân ngoaøi hay caùc ñôn vò khaùc gôûi ñeán ngoõ vaøo cuûa ñôn vò. Haøm toång hôïp naøy thöôøng laø moät haøm tuyeán tính vôùi caùc ngoõ vaøo xj cuûa ñôn vò coù daïng laø: m f i = neti = ∑ wij x j − θ i (3.3) j =1 trong ñoù, θi laø ngöôõng cuûa ñôn vò i. Moät soá haøm toång hôïp coù daïng phöùc taïp hôn nhö sau : + Haøm baäc hai: m f i = neti = ∑ wij xJ2 − θi (3.4) j =1 + Haøm daïng hình caàu: m f i = neti = ρ −2 ∑ ( wij x j − θi ) 2 (3.5) j =1 trong ñoù, ρ vaø wij laø baùn kính vaø taâm cuûa hình caàu. Keát hôïp vôùi ngoõ ra cuûa moãi ñôn vò xöû lyù laø haøm taùc ñoäng phuïc vuï nhö taïo laïi tín hieäu ra cho ñôn vò khi nhaän ñöôïc caùc tín hieäu vaøo töø caùc nguoàn. Haøm taùc ñoäng cuûa moãi ñôn vò coøn ñöôïc goïi laø haøm truyeàn. Moät soá haøm taùc ñoäng thoâng duïng ñöôïc lieät keâ nhö sau: + Haøm baäc thang ñôn vò: ⎧1 a( f ) = ⎨ ⎩0 if f ≥0 otherwise + Haøm ngöôõng: Trang 10 (3.6) LUAÄN VAÊN THAÏC SÓ ⎧1 a ( f ) = sgn( f ) = ⎨ ⎩−1 if f ≥0 otherwise (3.7) trong ñoù sgn( . ) laø haøm daáu. + Haøm Ramp: ⎧1 ⎪ a( f ) = ⎨ f ⎪ ⎩0 if if if f 〉0 0 ≤ f ≤1 (3.8) f 〈0 + Haøm sigmoid ñôn cöïc: a( f ) = 1 1 + e−λ f (3.9) + Haøm sigmoid: a( f ) = 1 −1 1 + e− λ f (3.10) trong ñoù, λ > 0 xaùc ñònh ñoä doác cuûa haøm lieân tuïc a(f) khi f gaàn baèng 0. + Haøm tangent hyperbolic: a( f ) = e f − e− f e f + e− f (3.11) 3.1.3 Moâ hình keát noái: Moâ hình keát noái cuûa caùc maïng nôron coøn goïi laø caáu truùc maïng. Coù hai moâ hình keát noái trong caùc maïng nôron ñoù laø moâ hình keát noái truyeàn thaúng vaø moâ hình keát noái lan truyeàn ngöôïc. Maïng coù moâ hình keát noái truyeàn thaúng ñöôïc goïi laø maïng truyeàn thaúng vaø maïng coù moâ hình keát noái lan truyeàn ngöôïc ñöôïc goïi laø maïng lan truyeàn ngöôïc hay coøn ñöôïc goïi laø maïng hoài quy. Maïng truyeàn thaúng moät lôùp coù caáu truùc vôùi moät lôùp vaøo vaø moät lôùp ra. Caùc ñôn vò ôû lôùp vaøo phuïc vuï nhö nôi chöùa caùc tín hieäu vaøo töø moâi tröôøng beân ngoaøi vaø töø ñaây truyeàn tín hieäu chuyeån tieáp ñeán caùc ñôn vò ôû lôùp ra. Caùc ñôn vò ôû lôùp ra ñöôïc xem nhö caùc ñôn vò xöû lyù, moãi ñôn vò toång hôïp taát caû caùc thoâng tin töø caùc Trang 11 LUAÄN VAÊN THAÏC SÓ ngoõ vaøo cuûa noù vaø taïo laïi tín hieäu ra cho ñôn vò. Caáu truùc maïng truyeàn thaúng moät lôùp ñöôïc moâ taû nhö hình 3.3. y1 x1 x2 y2 yn Xm wij Hình 3.3: Caáu truùc maïng truyeàn thaúng moät lôùp Maïng truyeàn thaúng nhieàu lôùp coù caáu truùc vôùi lôùp vaøo, nhieàu lôùp aån vaø lôùp ra. Lôùp vaøo phuïc vuï nhö nôi chöùa tín hieäu vaøo töø moâi tröôøng beân ngoaøi, caùc lôùp aån chöùa caùc ñôn vò aån phuïc vuï nhö caùc ñôn vò xöû lyù vaø lôùp ra chöùa caùc ñôn vò taïo tín hieäu ra cho maïng. Tín hieäu ñöôïc truyeàn töø lôùp vaøo chuyeån tieáp ñeán caùc lôùp aån vaø ñeán lôùp ra thoâng qua caùc boä lieân keát troïng soá. Caáu truùc maïng truyeàn thaúng nhieàu lôùp ñöôïc moâ taû nhö hình 3.4. y1 x1 x2 y2 yn Xm Hình 3.4: Caáu truùc maïng truyeàn thaúng nhieàu lôùp Trang 12 LUAÄN VAÊN THAÏC SÓ Maïng hoài quy coù moâ hình keát noái lan truyeàn ngöôïc, lôùp vaøo cuûa maïng phuïc vuï nhö nôi nhaän caùc tín hieäu vaøo vaø tín hieäu hoài tieáp, lôùp ra cuûa maïng phuïc vuï nhö nôi taïo caùc tín hieäu ra cho maïng vaø lôùp aån chöùa caùc ñôn vò aån phuïc vuï nhö caùc ñôn vò xöû lyù. Ngoõ ra cuûa caùc ñôn vò aån vaø ñôn vò ra coù theå ñöôïc lan truyeàn ngöôïc veà caùc ñôn vò ôû lôùp tröôùc hoaëc cuøng lôùp vaø moãi ñôn vò aån cuõng coù theå töï taïo ra moät voøng kheùp kín. Maïng hoài quy moät lôùp goàm coù lôùp vaøo vaø lôùp ra, lôùp vaøo nhaän tín hieäu vaøo töø moâi tröôøng beân ngoaøi vaø tín hieäu hoài tieáp töø caùc ngoõ ra tröôùc ñoù cuûa lôùp ra, lôùp ra taïo tín hieäu hoài tieáp cho lôùp vaøo vaø taïo tín hieäu ra cho maïng vôùi caáu truùc nhö hình 3.5. y1 x1 x2 y2 yn Xm wij Hình 3.5: Mạng hồi qui 1 lớp 3.1.4 Luaät hoïc: Moät yeáu toá quan troïng cuûa maïng nôron laø luaät hoïc. Coù hai loaïi hoïc trong caùc maïng nôron ñoù laø hoïc thoâng soá vaø hoïc caáu truùc. Hoïc thoâng soá laø loaïi hoïc quan taâm ñeán vieäc caäp nhaät caùc troïng soá keát noái trong maïng vaø hoïc caáu truùc laø loaïi hoïc taäp trung vaøo vieäc thay ñoåi trong caáu truùc maïng, bao goàm soá caùc ñôn vò xöû lyù vaø caùc loaïi keát noái. Hai loaïi hoïc naøy coù theå ñöôïc thöïc hieän ñoàng thôøi hoaëc Trang 13 LUAÄN VAÊN THAÏC SÓ taùch rôøi. Tuy nhieân , hoïc thoâng soá laø loaïi hoïc ñöôïc quan taâm nhaát vaø haàu heát caùc luaät hoïc thuoäc veà loaïi hoïc naøy. Giaû söû maïng coù n ñôn vò xöû lyù, moãi ñôn vò coù chính xaùc m troïng soá keát noái thích nghi. Nhö vaäy, ta coù ma traän W vôùi kích thöôùc n×m chöùa taát caû caùc phaàn töû thích nghi cuûa maïng. Quaù trình xöû lyù thoâng tin, ta muoán coù moät ma traän thích hôïp sao cho coù theå xaáp xæ ma traän W. Muoán vaäy, ta phaûi phaùt trieån luaät hoïc ñeå caäp nhaät caùc troïng soá keát noái cuûa maïng trong quaù trình hoïc. Luaät hoïc toång quaùt coù theå ñöôïc phaân ra laøm ba daïng ñoù laø hoïc giaùm saùt, hoïc cuûng coá vaø hoïc khoâng giaùm saùt. Trong daïng hoïc hoïc giaùm saùt, maïng ñöôïc cung caáp caëp vaøo ra mong muoán taïi moãi thôøi ñieåm hoïc ñeå baûo maïng chính xaùc tín hieäu ra cuûa noù laø gì. Hoïc cuûng coá cuõng laø daïng hoïc giaùm saùt, tuy nhieân, tín hieäu ra mong muoán cuûa maïng laø tín hieäu chæ trích döôùi daïng bit ñeå baûo ngoõ ra cuûa maïng ñuùng hoaëc sai. Trong daïng hoïc khoâng giaùm saùt, maïng ñöôïc cung caáp caùc maãu vaøo vaø khoâng ñöôïc cung caáp caùc maãu ngoõ ra mong muoán ñeå baûo ngoõ ra chính xaùc cuûa maïng laø gì, maïng seõ töï khaùm phaù vôùi caùc maãu vaøo mong muoán ñeå tìm cho noù ngoõ ra thích hôïp. Daïng hoïc toång quaùt cuûa luaät hoïc troïng soá cho moãi ñôn vò xöû lyù i trong maïng ñöôïc moâ taû ôû hình 3.2 laø söï gia taêng troïng soá cuûa veùc tô troïng soá wi(t) ñöôïc ñeà xuaát taïi moãi böôùc hoïc t ñoù laø: Δwi (t ) = η rx(t ) (3.12) trong ñoù, η laø moät soá döông ñöôïc goïi laø haèng soá hoïc, r laø tín hieäu hoïc vaø x(t) laø vectô ngoõ vaøo cuûa ñôn vò xöû lyù thöù i. Vì vaäy, taïi moãi böôùc hoïc (t + 1), vectô troïng soá coù theå ñöôïc caäp nhaät laø: wi (t + 1) = wi (t ) + Δwi (t ) (3.13) Neáu daïng hoïc laø giaùm saùt vôùi tín hieäu ra mong muoán di thì tín hieäu hoïc r laø tín hieäu sai leäch giöõa ngoõ ra mong muoán vaø ngoõ ra thöïc söï cuûa ñôn vò i. Neáu daïng hoïc laø cuûng coá vôùi tín hieäu chæ trích di thì tín hieäu hoïc r laø tín hieäu chæ trích. Neáu daïng hoïc laø khoâng giaùm saùt khoâng coù tín hieäu cuûa thaày giaùo thì tín hieäu hoïc r laø ngoõ ra thöïc söï cuûa ñôn vò i. Trang 14