Tài liệu Công nghệ xử lý và nhận dạng ảnh mặt người bằng mạng nơron nhân tạo mlp

Bé gi¸o dôc vµ ®µo t¹o Tr­êng ®¹i häc b¸ch khoa hµ néi ------------------------------------ luËn v¨n th¹c sÜ khoa häc c«ng nghÖ xö lÝ vµ nhËn d¹ng ¶nh mÆt ng­êi b»ng m¹ng n¬ron nh©n t¹o MLP ngµnh: kü thuËt ®iÖn tö m· sè: vò hång vinh Ng­êi h­íng dÉn khoa häc: GS.TS. NguyÔn Quèc Trung Hµ néi 2005 Lêi cam ®oan T«i xin cam ®oan néi dung cña luËn v¨n nµy lµ c«ng søc nghiªn cøu, kÕt qu¶ lµm viÖc cña c¸ nh©n t«i. NÕu ph¸t hiÖn bÊt cø sù sao chÐp, gian lËn, man tr¸ nµo t«i xin chÞu hoµn toµn tr¸ch nhiÖm. Hµ néi, th¸ng 11 n¨m 2005 Ng­êi viÕt luËn v¨n Vò Hång Vinh Lêi c¶m ¬n T«i xin ch©n thµnh göi lêi c¸m ¬n tíi toµn thÓ c¸c thÇy c« gi¸o vµ c¸c b¹n bÌ ®ång nghiÖp ®· tham gia ®ãng gãp ý kiÕn, chia sÎ kinh nghiÖm vµ ®éng viªn khuyÕn khÝch ®Ó luËn v¨n ®­îc hoµn thµnh ®óng tiÕn ®é, ®¹t chÊt l­îng tèt. §Æc biÖt, xin v« cïng c¶m ¬n sù h­íng dÉn vµ chØ b¶o tËn t×nh cña Phã gi¸o s­, TiÕn sü NguyÔn Quèc Trung tr­êng §¹i häc B¸ch khoa Hµ néi ®· thËt sù hç trî t«i rÊt nhiÒu trong qu¸ tr×nh nghiªn cøu. Mét lÇn n÷a cho phÐp t«i bµy tá lßng biÕt ¬n v« h¹n tíi sù gióp ®ì quÝ b¸u cña tÊt c¶ c¸c thÇy c« gi¸o, ®ång nghiÖp vµ b¹n bÌ ®· gióp t«i nghiªn cøu thµnh c«ng luËn v¨n nµy. -5- më ®Çu Mét c©u hái ®Æt ra t¹i sao khi ta nh×n thÊy ¶nh mét ®èi t­îng nµo ®ã ta l¹i ph©n biÖt ®­îc ®èi t­îng lµ ng­êi nµo ®ã hay vËt x¸c ®Þnh ? §ã chÝnh lµ v× bé n·o cña con ng­êi ®· ®­îc häc vµ ghi nhí nh÷ng h×nh ¶nh ®ã, v× vËy khi gÆp l¹i nh÷ng h×nh ¶nh nµy, bé n·o cã nh÷ng quyÕt ®Þnh nhËn d¹ng chÝnh x¸c. C¬ chÕ nhËn d¹ng ¶nh cña n·o ng­êi dùa trªn c¬ chÕ häc cña c¸c n¬ron thÇn kinh. HiÖn nay, c¸c nhµ khoa häc ®ang cè g¾ng thÓ hiÖn c¬ chÕ nhËn d¹ng ®ã qua kü thuËt tÝnh to¸n th«ng minh - ®ã lµ kü thuËt nhËn d¹ng ¶nh b»ng m¹ng n¬ron nh©n t¹o. M¹ng n¬ron nh©n t¹o cã nhiÖm vô xö lÝ th«ng sè cña ¶nh vµ ®­a ra kÕt qu¶ ph©n líp ¶nh ®èi t­îng thuéc líp nµo. øng dông m¹ng n¬ron nh©n t¹o hiÖn nay cã thÓ thÊy rÊt nhiÒu trong qu©n sù, d©n sù, y häc … nh­ nhËn d¹ng ¶nh v©n tay øng dông trong d©n sù vµ qu©n sù, nhËn d¹ng ch÷ viÕt trong c¸c hÖ thèng kiÓm tra sè s¶n phÈm, hÖ thèng tù ®éng ph©n lo¹i th­ tÝn, tù ®éng nhËn biÕt ®­êng ®i, nhËn d¹ng c¸c bé phËn c¬ thÓ con ng­êi øng dông trong gi¶i phÉu häc… NhËn d¹ng ®èi t­îng ¶nh lµ mét trong c¸c h­íng nghiªn cøu cÇn thiÕt trong bèi c¶nh nÒn kinh tÕ më cña n­íc ta hiÖn nay. Dùa trªn nh÷ng ®Þnh h­íng vµ c¸c vÊn ®Ò ®­îc GS. TS. NguyÔn Quèc Trung v¹ch ra, víi sù cè g¾ng b¶n th©n, t«i ®· hoµn thµnh ®­îc luËn v¨n víi ®Ò tµi: “ c«ng nghÖ xö lÝ vµ nhËn d¹ng ¶nh mÆt ng­êi b»ng m¹ng n¬ron nh©n t¹o MLP” . Môc ®Ých cña ®Ò tµi: Tr×nh bµy c¸c nghiªn cøu lý thuyÕt phôc vô cho chñ ®Ò “M¹ng n¬ron nh©n t¹o trong nhËn d¹ng ¶nh ”, ®ång thêi x©y dùng mét modul phÇn mÒm m¹ng -6- n¬ron thö nghiÖm ®Ó nhËn d¹ng ¶nh mÆt ng­êi víi môc ®Ých hiÓu s©u h¬n vÒ c¸ch thøc mµ mét m¹ng n¬ron tiÕn hµnh ph©n lo¹i ¶nh cña ®èi t­îng vµ n¾m b¾t ®­îc kiÕn thøc vÒ mét m«n khoa häc - nhËn d¹ng ®èi t­îng ¶nh. Néi dung nghiªn cøu: • VÒ lý thuyÕt: C¬ së lý thuyÕt vÒ m¹ng n¬ron, cÊu tróc m¹ng n¬ron, ph©n lo¹i m¹ng n¬ron, c¸c m¹ng n¬ron øng dông trong nhËn d¹ng ¶nh. §i s©u vµo cÊu tróc, thuËt to¸n, c¬ chÕ häc, thñ tôc häc cña m¹ng n¬ron nhiÒu líp Perceptron MLP häc theo gi¶i thuËt lan truyÒn ng­îc sai sè back-propagation lµm tiÒn ®Ò cho viÖc x©y dùng m¹ng n¬ron trong nhËn d¹ng ®èi t­îng ¶nh mÆt ng­êi. • øng dông: Ph©n tÝch, thiÕt kÕ x©y dùng modul phÇn mÒm thö nghiÖm nhËn d¹ng ®èi t­îng ¶nh mÆt ng­êi. KÕt qu¶: - §· n¾m b¾t ®­îc c¸c kiÕn thøc chñ yÕu vÒ m¹ng n¬ron vµ gi¶i thuËt häc cña m¹ng n¬ron nhiÒu líp MLP. - §· x©y dùng ®­îc modul phÇn mÒm m¹ng n¬ron thö nghiÖm nhËn d¹ng ¶nh mÆt ng­êi ®¹t ®­îc mét sè kÕt qu¶ kh¶ quan. Do thêi gian nghiªn cøu cßn h¹n chÕ nªn luËn v¨n kh«ng tr¸nh khái nh÷ng thiÕu sãt. T«i rÊt mong nhËn ®­îc nh÷ng lêi gãp ý vÒ nh÷ng thiÕu sãt cña luËn v¨n ®Ó bæ xung trong nh÷ng nghiªn cøu tiÕp theo. -7- ch­¬ng 1 Lý thuyÕt chung vÒ m¹ng n¬ron nh©n t¹o 1.1 Lý thuyÕt m¹ng n¬ron 1.1.1 Giíi thiÖu vÒ m¹ng n¬ron Chóng ta ai còng biÕt r»ng tri thøc cña loµi ng­êi cho ®Õn nay hÕt søc phong phó, s©u réng vµ ®a d¹ng. Nã bao gåm nh÷ng hiÓu biÕt cña chóng ta tõ thÕ giíi vi m« nh­ nguyªn tö, ®iÖn tö, h¹t nh©n, c¸c h¹t c¬ b¶n ... ®Õn nh÷ng hiÓu biÕt vÜ m« vÒ tr¸i ®Êt, vÒ hÖ mÆt trêi, hÖ thiªn hµ… ThÕ nh­ng cã mét ®iÒu mµ cã vÎ nh­ lµ mét nghÞch lý lµ chóng ta biÕt “rÊt Ýt” vÒ chÝnh bé n·o bé cña chóng ta. “M¹ng n¬ron nh©n t¹o” - thuËt ng÷ nãi ®Õn mét ngµnh kü thuËt míi mµ nã ®ßi hái kiÕn thøc tõ nhiÒu ngµnh khoa häc kh¸c nhau nh­ to¸n häc, vËt lý häc, hãa häc, sinh vËt häc t©m lý häc, thÇn kinh häc ... vµ tÊt c¶ chØ nh»m lµm sao t¹o ra nh÷ng chiÕc m¸y tÝnh ho¹t ®éng gièng nh­ “ bé n·o “ cña con ng­êi. 1.1.1.1 Tæ chøc vµ ho¹t ®éng cña bé n·o con ng­êi: a) Tæ chøc: Bé n·o cña con ng­êi ®­îc h×nh thµnh tõ sù liªn kÕt cña kho¶ng 1011 phÇn tö (tÕ bµo), trong ®ã cã kho¶ng 1010 phÇn tö lµ n¬ron, sè cßn l¹i kho¶ng 9*1010 phÇn tö lµ c¸c tÕ bµo thÇn kinh ®Öm vµ chóng cã nhiÖm vô phôc vô còng nh­ hç trî cho c¸c n¬ron. Th«ng th­êng mét bé n·o trung b×nh c©n nÆng kho¶ng 3 pound vµ cã thÓ tÝch lµ 90 inches3 . CÊu t¹o n·o bé ®­îc ph©n chia ra thµnh nhiÒu vïng kh¸c nhau. Mçi vïng cã thÓ kiÓm so¸t mét hay nhiÒu ho¹t ®éng cña con ng­êi. Bé n·o cã cÊu tróc nhiÒu líp, líp bªn ngoµi th­êng thÊy nh­ lµ c¸c nÕp nh¨n, lµ líp cã cÊu t¹o phøc t¹p nhÊt. §©y cã thÓ lµ n¬i kiÓm so¸t vµ ph¸t sinh c¸c hµnh ®éng phøc t¹p nh­ nghe, nh×n, t­ duy ... -8- b) Ho¹t ®éng: Cho ®Õn nay, chóng ta cã nh÷ng hiÓu biÕt c¨n b¶n vÒ ho¹t ®éng cÊp thÊp cña n·o. Cô thÓ: MÆc dï mçi n¬ron ( cã thÓ xem nh­ phÇn tö xö lÝ hay phÇn tö tÝnh ) cã tèc ®é rÊt chËm so víi tèc ®é c¸c cæng logic silicon trong c¸c vi chip -10-3 gi©y víi 10-10 gi©y, nh­ng do mçi n¬ron liªn kÕt víi kho¶ng 104 n¬ron kh¸c, cho nªn khi ho¹t ®éng th× bé n·o ho¹t ®éng mét c¸ch tæng lùc vµ ®¹t hiÖu qu¶ cao. Nãi mét c¸ch kh¸c lµ c¸c phÇn tö cña n·o ho¹t ®éng mét c¸ch song song vµ t­¬ng t¸c hÕt søc tinh vi phøc t¹p, hiÖu qu¶ ho¹t ®éng th­êng rÊt cao nhÊt lµ trong c¸c vÊn ®Ò phøc t¹p. Ho¹t ®éng cña c¶ hÖ thèng thÇn kinh bao gåm n·o bé vµ c¸c gi¸c quan nh­ sau: • Tr­íc hÕt con ng­êi bÞ kÝch thÝch bëi gi¸c quan tõ bªn ngoµi hoÆc trong c¬ thÓ. Sù kÝch thÝch ®ã ®­îc biÕn thµnh c¸c xung ®iÖn bëi chÝnh c¸c gi¸c quan tiÕp nhËn kÝch thÝch. Nh÷ng tÝn hiÖu nµy ®­îc chuyÓn vÒ trung ­¬ng thÇn kinh lµ n·o bé ®Ó xö lÝ. Nh÷ng mÖnh lÖnh cÇn thiÕt ®­îc ph¸t sinh vµ göi ®Õn nh÷ng bé phËn thi hµnh thÝch hîp nh­ c¸c c¬ tay, ch©n ... • Nh÷ng bé phËn thi hµnh biÕn nh÷ng xung ®iÖn thµnh d÷ liÖu xuÊt cña hÖ thèng. Tãm l¹i bé n·o cã cÊu t¹o rÊt phøc t¹p, tinh vi bëi ®­îc t¹o thµnh tõ m¹ng n¬ron cã hµng chôc tØ tÕ bµo víi møc ®é liªn kÕt gi÷a c¸c n¬ron lµ rÊt cao vµ ho¹t ®éng dùa trªn c¬ chÕ ho¹t ®éng song song cña c¸c n¬ron t¹o nªn nã. C¸c kÝch thÝch C¸c bé tiÕp nhËn M¹ng l­íi thÇn kinh C¸c bé t¸c ®éng C¸c ®¸p øng H×nh 1.1 BiÓu diÔn s¬ ®å khèi cña hÖ thèng thÇn kinh -9- 1.1.1.2 M« h×nh n¬ron sinh häc N¬ron lµ phÇn tö c¬ b¶n t¹o nªn bé n·o. CÊu t¹o vµ ho¹t ®éng cña nã nh­ sau a) CÊu t¹o: Mét n¬ron ®iÓn h×nh cã 3 phÇn chÝnh: - PhÇn thø nhÊt: Th©n phÇn tö hay soma (cell body or soma). Nh©n cña n¬ron ®­îc ®Æt ë ®©y. - PhÇn thø hai: C¸c dendrite. §©y chÝnh lµ c¸c m¹ng d¹ng c©y cña c¸c d©y thÇn kinh ®Ó nèi c¸c soma víi nhau. - PhÇn thø ba: axon. §©y lµ mét nèi kÕt, h×nh trô dµi vµ mang c¸c tÝn hiÖu tõ ®ã ra ngoµi. PhÇn cuèi cña axon ®­îc chia thµnh nhiÒu nh¸nh nhá. Mçi nh¸nh nhá (c¶ cña dendrite vµ axon) kÕt thóc trong mét c¬ quan nhá h×nh cñ hµnh ®­îc gäi lµ synapte mµ t¹i ®©y c¸c n¬ron ®­a c¸c tÝn hiÖu cña nã vµo c¸c n¬ron kh¸c. Nh÷ng ®iÓm tiÕp nhËn víi c¸c synapte trªn c¸c n¬ron kh¸c cã thÓ ë c¸c dendrite hay chÝnh soma. Synapse Nucleus Axon Dendrites H×nh 1.2: S¬ ®å n¬ron sinh häc. - 10 - b) Ho¹t ®éng: C¸c tÝn hiÖu ®­a ra bëi mét synapte vµ ®­îc nhËn bëi c¸c dendrite lµ c¸c kÝch thÝch ®iÖn tö. ViÖc truyÒn tÝn hiÖu nh­ trªn liªn quan ®Õn mét qu¸ tr×nh hãa häc phøc t¹p mµ trong ®ã c¸c chÊt truyÒn ®Æc tr­ng ®­îc gi¶i phãng tõ phÝa göi cña n¬i tiÕp nèi. §iÒu nµy lµm t¨ng hay gi¶m ®iÖn thÕ bªn trong th©n cña n¬ron nhËn. N¬ron nhËn tÝn hiÖu sÏ kÝch ho¹t (fire) nÕu ®iÖn thÕ v­ît khái mét ng­ìng nµo ®ã vµ mét xung (hoÆc ®iÖn thÕ ho¹t ®éng) víi ®é m¹nh (c­êng ®é) vµ thêi gian tån t¹i cè ®Þnh ®­îc göi ra ngoµi th«ng qua axon tíi phÇn nh¸nh cña nã råi tíi c¸c chç nèi synapte víi c¸c n¬ron kh¸c. Sau khi fering, n¬ron sÏ chê trong mét kho¶ng thêi gian ®­îc gäi lµ chu kú refractory, tr­íc khi nã cã thÓ fire l¹i. Synapses lµ excitatory nÕu chóng cho phÐp c¸c kÝch thÝch truyÒn qua g©y ra t×nh tr¹ng fire ®èi víi n¬ron nhËn. Ng­îc l¹i, chóng lµ inhibitory nÕu chóng cho phÐp c¸c kÝch thÝch truyÒn qua lµm ng¨n chë tr¹ng th¸i fire cña n¬ron nhËn. 1.1.1.3 M« h×nh n¬ron nh©n t¹o §Ó m« pháng c¸c tÕ bµo thÇn kinh vµ c¸c khíp nèi thÇn kinh cña bé n·o con ng­êi, trong m¹ng n¬ron nh©n t¹o còng cã c¸c thµnh phÇn cã vai trß t­¬ng tù lµ c¸c n¬ron nh©n t¹o cïng c¸c kÕt nèi synapse. Mét n¬ron nh©n t¹o lµ mét ®¬n vÞ tÝnh to¸n hay ®¬n vÞ xö lý th«ng tin c¬ së cho ho¹t ®éng cña mét m¹ng n¬ron. S¬ ®å cña h×nh 1.2 chØ ra m« h×nh cña mét n¬ron nh©n t¹o. ë ®©y, chóng ta x¸c ®Þnh ba thµnh phÇn c¬ b¶n cña mét m« h×nh n¬ron: Mét tËp hîp c¸c synapse hay c¸c kÕt nèi, mµ mçi mét trong chóng ®­îc ®Æc tr­ng bëi mét träng sè cña riªng nã. Tøc lµ mét tÝn hiÖu xj t¹i ®Çu vµo cña synapse j nèi víi n¬ron k sÏ ®­îc nh©n víi träng sè synapse wkj. - 11 - ë ®ã k lµ chØ sè cña n¬ron t¹i ®Çu ra cña synapse ®ang xÐt, cßn j chØ ®iÓm ®Çu vµo cña synapse. C¸c träng sè synapse cña mét n¬ron nh©n t¹o cã thÓ nhËn c¶ c¸c gi¸ trÞ ©m vµ c¸c gi¸ trÞ d­¬ng. Mét bé tæ hîp ®Ó tÝnh tæng c¸c tÝn hiÖu ®Çu vµo cña n¬ron, ®· ®­îc nh©n víi c¸c träng sè synapse t­¬ng øng; phÐp to¸n ®­îc m« t¶ ë ®©y t¹o nªn mét bé tæ hîp tuyÕn tÝnh. Mét hµm kÝch ho¹t (activation function) ®Ó giíi h¹n biªn ®é ®Çu ra cña n¬ron. Hµm kÝch ho¹t còng ®­îc xem xÐt nh­ lµ mét hµm nÐn; nã nÐn (giíi h¹n) ph¹m vi biªn ®é cho phÐp cña tÝn hiÖu ®Çu ra trong mét kho¶ng gi¸ trÞ h÷u h¹n. M« h×nh n¬ron trong h×nh 1.3 cßn bao gåm mét hÖ sè hiÖu chØnh t¸c ®éng tõ bªn ngoµi bk. HÖ sè hiÖu chØnh bk cã t¸c dông t¨ng lªn hoÆc gi¶m ®i ®Çu vµo thùc cña hµm kÝch ho¹t, tuú theo nã d­¬ng hay ©m. C¸c tÝn hiÖu ®Çu vµo x1 wk1 x2 wk1 . . . xm wk1 HÖ sè hiÖu chØnh bk Hµm kÝch ho¹t Σ vk ϕ(.) Bé tæ hîp tuyÕn tÝnh C¸c träng sè synpase H×nh 1.3 M« h×nh cña mét n¬ron nh©n t¹o §Çu ra yk - 12 - 1.1.1.4 M¹ng n¬ron nh©n t¹o C¸c m¹ng n¬ron nh©n t¹o (Artificial neural networks – ANN) còng cßn ®­îc gäi lµ c¸c hÖ thèng xö lÝ song song ph©n bè lµ c¸c hÖ thèng ®­îc t¹o ra dùa vµo nh÷ng nguyªn lý tæ chøc cña bé n·o con ng­êi. M¹ng n¬ron nh©n t¹o lµ sù liªn kÕt gi÷a c¸c n¬ron nh©n t¹o víi nhau. C¸c n¬ron th­êng ®­îc s¾p xÕp theo c¸c líp, bao gåm líp vµo (input layer), líp Èn (hidden layer) vµ líp ra (output layer), ®­îc thÓ hiÖn trong h×nh 1.4. Líp ra Líp vµo Líp Èn 1 Líp Èn 2 H×nh 1.4: Mét cÊu tróc m¹ng n¬ron nh©n t¹o Tuy m¹ng nh©n t¹o ch­a thÓ ®¹t ®­îc ®é phøc t¹p nh­ m¹ng sinh häc nh­ng cã ®iÓm chung gi÷a chóng lµ: + M¹ng ®­îc x©y dùng b»ng c¸c phÇn tö tÝnh to¸n ®¬n gi¶n (n¬ron) liªn kÕt l¹i víi nhau mét c¸ch phøc t¹p vµ ho¹t ®éng song song. + Chøc n¨ng cña m¹ng ®­îc x¸c ®Þnh qua cÊu tróc m¹ng, qu¸ tr×nh xö lÝ bªn trong cña c¸c phÇn tö vµ møc ®é liªn kÕt gi÷a c¸c phÇn tö. + Møc ®é liªn kÕt gi÷a c¸c phÇn tö ®­îc x¸c ®Þnh th«ng qua qu¸ tr×nh häc cña m¹ng (hay qu¸ tr×nh huÊn luyÖn m¹ng). - 13 - 1.1.2 C¸c m« h×nh to¸n häc vµ kiÕn tróc m¹ng n¬ron §Ó thùc hiÖn c¸c n¬ron nh©n t¹o, chóng ta cÇn m« t¶ chóng b»ng c«ng cô to¸n häc. C¨n cø vµo nh÷ng thµnh phÇn c¬ b¶n cña n¬ron nh©n t¹o ®· giíi thiÖu trong môc 1.1.1, ta cã thÓ ®­a ra mé h×nh to¸n häc cña n¬ron nh­ sau: a. M« h×nh to¸n häc: P1 P2 . . P3 N¬ron nh©n t¹o S WS,1 Σ n net f a WS,R b bias Hµm PSP Hµm ho¹t ho¸ PR H×nh 1.5 M« h×nh to¸n häc noron nh©n t¹o C¸c tÝn hiÖu vµo (cßn gäi lµ mÉu vµo) pi (i=1...R) ®­îc ®­a tíi R ®Çu vµo cña n¬ron S t¹o thµnh ma trËn tÝn hiÖu vµo P. Mçi ®Çu vµo cña n¬ron S sÏ cho mét träng sè ký hiÖu lµ wS,i (i=1...R) vµ c¸c träng sè nµy t¹o thµnh mét ma trËn träng sè ®Çu vµo W cña n¬ron. Møc ng­ìng θ cña n¬ron cã thÓ ®­îc biÓu diÔn trong m« h×nh to¸n häc b»ng hÖ sè bias (gäi lµ thÕ hiÖu dÞch). Ta cã b=-θ. Hµm PSP (Port SynapticPotential function) khi c¸c ®¹i l­îng lµ v« h­íng th­êng lµ mét hµm tæng Σ cña c¸c tÝn hiÖu vµo cã träng sè vµ hÖ sè bias ( khi ë d¹ng vect¬ th× lµ hµm radial). Nh­ vËy tÝn hiÖu ®Çu vµo net nnet sÏ ®­îc tÝnh theo c«ng thøc sau: nnet = wS,1p1 + wS,2p2 +... + wS,R pR + b (1.1) - 14 - ViÕt d­íi d¹ng ma trËn sÏ lµ: nnet = WP + b (1.2) Xem c¸c biÓu thøc trªn th× ta cã thÓ coi hÖ sè bias nh­ träng sè cña mét ®Çu vµo víi tÝn hiÖu b»ng 1. Cã mét sè lo¹i n¬ron cã thÓ bá qua hÖ sè bias nµy. Hµm ho¹t ho¸ (hay lµ hµm truyÒn ®¹t) ®­îc ký hiÖu lµ f sÏ biÕn ®æi tÝn hiÖu ®Çu vµo net thµnh tÝn hiÖu ®Çu ra n¬ron a. Ta cã biÓu thøc: a = f (nnet )= f( WP + b) (1.3) Th«ng th­êng th× hµm ®Çu ra sÏ ®­îc chän bëi ng­êi thiÕt kÕ tuú theo môc ®Ých cña m¹ng. C¸c träng sè vµ hÖ sè bias lµ c¸c th«ng sè ®iÒu chØnh ®­îc cña n¬ron. Chóng ®­îc ®iÒu chØnh bëi mét sã luËt häc (learning rule). Nh­ vËy quan hÖ gi÷a ®Çu ra vµ c¸c ®Çu vµo cña n¬ron sÏ tuú thuéc vµo viÖc n¬ron ®ã sÏ ®­îc dïng cho nh÷ng môc ®Ých cô thÓ nµo. b. Hµm ho¹t ho¸ Hµm ho¹t ho¸ (activation function) cã thÓ lµ mét hµm tuyÕn tÝnh hoÆc phi tuyÕn cña tÝn hiÖu vµo net- nnet , nã ®­îc chän ®Ó tho¶ m·n mét sè ®Æc ®iÓm kü thuËt cña bµi to¸n mµ m¹ng n¬ron cÇn gi¶i quyÕt. H×nh 1.2 cho thÊy mèi quan hÖ gi÷a tÝn hiÖu vµo p vµ tÝn hiÖu ra a cña n¬ron 1 ®Çu vµo, víi hµm ho¹t ho¸ vµ hµm Hardlimit. N¬ron 1 ®Çu vµo p w Σ a nnet a -b/w b (bias) +1 p a = hardlimit (wp + b) H×nh 1.6 N¬ron 1 ®Çu vµo vµo víi hµm ho¹t ho¸ lµ hµm Hardlimit. - 15 - B¶ng 1.1 Cã liÖt kª mét sè hµm ®­îc sö dông lµm hµm ho¹t ho¸. tªn hµm quan hÖ ®Çu ra / ®Çu vµo Hard-limit (Hardlimit) Hard-limit ®èi xøng (Symmetrical Hardlimit) §­ëng th¼ng (linear) Loga xÝchma (Log-Sigmoid) a=0 a=1 a =-1 a = +1 Tang Hyperbol xÝch ma (Hyperbol Tangent Sigmoid) C¹nh tranh (Competitive) ký hiÖu nnet < 0 nnet ≥ 0 nnet < 0 nnet ≥ 0 a = nnet a= a= a=0 a=1 1 1 + e −nnet -n n e net − e net -n n e net + e net n¬ron víi nnet lín nhÊt cßn l¹i C B¶ng 1.1: Mét sè d¹ng hµm ho¹t ho¸. 1.1.3 Ph©n lo¹i m¹ng n¬ron theo KiÕn tróc (network architecture) M¹ng n¬ron nh­ ®· giíi thiÖu ë môc trªn lµ sù liªn kÕt cña c¸c n¬ron nh©n t¹o. Sù s¾p xÕp bè trÝ c¸c n¬ron c¸ch thøc liªn hÖ gi÷a chóng t¹o nªn líp kiÕn tróc m¹ng n¬ron. Theo c¸ch s¾p xÕp cña n¬ron th× cã kiÕn tróc 1 líp (singlelayer) vµ kiÕn tróc ®a líp (multiple-layers), cßn theo c¸ch liªn hÖ gi÷a c¸c n¬ron th× ta cã kiÕn tróc m¹ng truyÒn th¼ng (feedforward) vµ kiÕn tróc m¹ng håi qui (recurrent). Ngoµi ra cßn mét lo¹i liªn kÕt theo sù ph©n bè c¸c n¬ron trong kh«ng gian hai chiÒu trong mét líp, gäi lµ liªn kÕt bªn (lateral connection). Víi - 16 - lo¹i liªn kÕt nµy, Kohonen ®· t¹o ra lo¹i m¹ng tù tæ chøc (self-organizing neural network). 1.1.3.1 KiÕn tróc m¹ng mét líp Mét m¹ng n¬ron dï ®­îc dïng vµo mét môc ®Ých nµo ®i n÷a còng lu«n cã c¸c n¬ron ®Çu vµo (líp vµo) vµ c¸c n¬ron ®Çu ra (líp ra). C¸c n¬ron ®Çu vµo sÏ nhËn c¸c th«ng tin cÇn quan t©m tõ m«i tr­êng bªn ngoµi, biÕn ®æi chóng thµnh tÝn hiÖu phï hîp víi viÖc xö lý cña c¸c n¬ron trong m¹ng. Cã thÓ so s¸nh n¬ron ®Çu vµo víi c¸c tÕ bµo thÇn kinh gi¸c quan sinh häc. C¸c n¬ron ®Çu ra cã thÓ so s¸nh víi c¸c tÕ bµo thÇn kinh vËn ®éng khi xÐt ®Õn vai trß cña chóng lµ t¹o ra c¸c th«ng tin ph¸n ®o¸n hoÆc ®iÒu khiÓn. Tuy nhiªn cßn cã c¸c n¬ron ®Æt gi÷a c¸c n¬ron ®Çu vµo vµ n¬ron ®Çu ra. Nh÷ng n¬ron nµy t¹o thµnh c¸c líp Èn, chóng ®¶m nhiÖm vai trß bªn trong m¹ng. M¹ng chØ cã líp vµo vµ líp ra th× gäi lµ m¹ng mét líp. Líp vµo Líp ra p1 x1 x2 §Çu vµo b1 p2 ... ... ... ... pS b2 a2 §Çu ra aS W xR a1 bS H×nh 1.7 KiÕn tróc m¹ng mét líp - 17 - C¸c th«ng tin tõ bªn ngoµi X=(x1,x2, ... .xR) ®­îc ®­a t­¬ng øng víi c¸c n¬ron cña líp vµo (Input layer). C¸c n¬ron nµy lµ lo¹i n¬ron mét ®Çu vµo. TËp hîp tÝn hiÖu ®Çu ra cña c¸c n¬ron nµy t¹o thµnh ma trËn P= {p1,p2,...., PR }. Ta còng cã thÓ coi ma trËn nµy lµ vect¬ tÝn hiÖu vµo cña m¹ng n¬ron khi kh«ng xÐt ®Õn vai trß chuyÓn ®æi th«ng tin cña c¸c líp n¬ron vµo. Trong luËn ¸n nµy coi P = {P1, P2, P } chÝnh lµ vÐct¬ tÝn hiÖu vµo. Kh¸i niÖm kiÕn tróc mét líp cã thÓ xuÊt ph¸t tõ .... , R c¸ch xem xÐt trªn, vµ líp “duy nhÊt” cña m¹ng ®¸ng quan t©m ë ®©y lµ líp ra (Output layer) cña m¹ng. VÐct¬ tÝn hiÖu vµo ®­îc biÓu diÔn d­íi d¹ng ma trËn nh­ sau: p1 p2 P= .. . pR Th­êng th× c¸c n¬ron líp vµo sÏ liªn kÕt kÕt víi tÊt c¶ c¸c n¬ron cña líp ra (fully connected). C¸c tÝn hiÖu Pi sÏ ®­îc ®­a ®Õn tõng n¬ron cña líp ra (cã S n¬ron). C¸c ma trËn sè (ma trËn hµng) cña tõng n¬ron líp ra sÏ hîp thµnh ma trËn träng sè W cã S hµng vµ R cét cña líp ra. Trong kiÕn tróc mét líp th× ma trËn nµy còng chÝnh lµ ma trËn träng sè cña m¹ng n¬ron. W= w1,1 w2,1 w1,2 w2,2 wS,1 wS,2 .. . .. . ... ... w1,R w2,R .. . wS,R Chó ý: C¸ch biÓu diÔn wi,j cho biÕt sè l­îng ®Çu vµo cña n¬ron i liªn kÕt víi n¬ron j . Mçi n¬ron líp ra cã hÖ thèng cã hÖ sè bias riªng bk vµ còng cã thÓ ®­îc - 18 - thiÕt kÕ víi c¸c hµm ho¹t ho¸ kh¸c nhau. KÕt qu¶ ®Çu ra cña m¹ng chÝnh lµ tæ hîp c¸c ®Çu ra cña S n¬ron líp ra, vµ nã ®­îc gäi lµ vect¬ ®Çu ra A = {a1,a2, ... , as}. ViÖc x¸c ®Þnh sè l­îng n¬ron líp vµo R vµ sè l­îng n¬ron líp ra S sÏ c¨n cø vµo d¹ng th«ng tin mµ m¹ng ®ã thu nhËn ®Ó xö lý vµ d¹ng th«ng tin ®­a ra kÕt qu¶. H¬n n÷a, ®Æc tÝnh cña th«ng tin kÕt qu¶ ®Çu ra cña m¹ng còng cho phÐp x¸c ®Þnh hµm ho¹t ho¸ cña c¸c n¬ron líp ra. Nh­ vËy m¹ng cã thÓ x¸c ®Þnh hoµn toµn tõ nh÷ng ®Æc ®iÓm kü thuËt cña bµi to¸n. 1.1.3.2 KiÕn tróc m¹ng ®a líp M¹ng n¬ron ®a líp lµ m¹ng n¬ron ®­îc bæ xung thªm c¸c líp Èn (hidden layer). C¸c n¬ron cña líp nµy chØ liªn kÕt víi c¸c n¬ron trong m¹ng mµ kh«ng liªn hÖ víi bªn ngoµi. H×nh 1.4 chÝnh lµ mét vÝ dô m¹ng ®a líp víi 2 líp Èn. Mçi líp trong m¹ng cã mét ma trËn träng sè riªng W1 víi l lµ chØ sè líp. C¸c n¬ron ë líp Èn th­êng cã hµm ho¹t ho¸ lµ phi tuyÕn. §iÒu nµy t¹o cho m¹ng ®a líp cã nhiÒu kh¶ n¨ng h¬n m¹ng mét líp. VÝ dô nh­ mét m¹ng ®a líp víi líp Èn lµ c¸c n¬ron cã hµm ho¹t ho¸ lµ hµm Loga xÝch ma (Sigmoid) cßn c¸c n¬ron ë líp ra cã hµm ho¹t ho¸ tuyÕn tÝnh th× m¹ng cã thÓ ®­îc huÊn luyÖn ®Ó thùc hiÖn xÊp xØ hÇu hÕt c¸c hµm bÊt kú, víi m¹ng mét líp th× kh«ng thÓ thùc hiÖn ®­îc. ViÖc x¸c ®Þnh sè l­îng n¬ron cña líp Èn vÉn lµ mét vÊn ®Ò ®ang ®­îc nhiÒu ng­êi nghiªn cøu. ChØ cã mét sè Ýt bµi to¸n lµ cã thÓ t×m ra sè l­îng n¬ron tèi ­u cho c¸c líp Èn. VÒ sè l­îng líp Èn th× c¸c m¹ng ®a líp hiÖn nay th­êng chØ cã 2 hoÆc 3 líp. - 19 - 1.1.3.3 KiÕn tróc m¹ng truyÒn th¼ng KiÕn tróc m¹ng truyÒn th¼ng (feedforward) lµ kiÕn tróc mµ liªn kÕt gi÷a c¸c n¬ron kh«ng t¹o thµnh chu tr×nh (directed acyclic graph). TÝn hiÖu ®i tõ c¸c n¬ron líp vµo lÇn l­ît qua c¸c líp Èn vµ cuèi cïng ®i ra ë n¬ron líp ra. KiÕn tróc nµy cã ®¸p øng nhanh vµ æn ®Þnh ®èi víi mét tÝn hiÖu ®­a vµo m¹ng. Liªn kÕt gi÷a c¸c líp cã thÓ lµ lo¹i liªn kÕt ®Çy ®ñ (fully connected) hoÆc liªn kÕt mét phÇn (partly connected). H×nh 1.8: KiÕn tróc m¹ng truyÒn th¼ng ®iÓn h×nh (feedforward network) Qua cÊu tróc trªn, ta cã thÓ hiÓu ho¹t ®éng m¹ng truyÒn th¼ng ®¬n thuÇn lµ viÖc s¾p ®Æt tÝn hiÖu ®Çu ra vµ tÝn hiÖu ®­îc ®­a vµo m¹ng. C¸c ma trËn träng sè W vµ c¸c hµm ho¹t ho¸ ®· ®­îc x¸c ®Þnh s½n. Thùc sù kh«ng cã mét c«ng thøc hiÖn h÷u nµo vµ m¹ng kh«ng l­u gi÷ tr¹ng th¸i bªn trong, nh­ng m¹ng l¹i chøa mét sè l­îng lín c¸c d÷ liÖu x¸c ®Þnh. ViÖc thiÕt kÕ m¹ng tryÒn th¼ng sÏ giíi h¹n trong khu«n khæ bµi to¸n x¸c ®Þnh c¸c ma trËn träng sè W ®Ó t¹o ra m¹ng tèi ­u vµ x¸c ®Þnh kÝch th­íc c¬ së d÷ liÖu mµ nã chøa. - 20 - 1.1.3.4 KiÕn tróc m¹ng håi qui Trong m¹ng håi qui (recurrent network) cã tån t¹i nh÷ng liªn kÕt tõ c¸c n¬ron líp sau quay trë l¹i c¸c n¬ron líp tr­íc. Nh÷ng liªn kÕt nh­ vËy cßn ®­îc gäi lµ liªn kÕt håi tiÕp (feedback connection), chóng sÏ t¹o thµnh chu tr×nh mµ trong chu tr×nh nµy c¸c tÝn hiÖu ra cña n¬ron l¹i ®­îc truyÒn ng­îc l¹i cho c¸c n¬ron ®· kÝch ho¹t chóng. ChÝnh v× ®iÒu nµy mµ m¹ng håi qui cã kh¶ n¨ng l­u gi÷ tr¹ng th¸i trong vµ ®iÒu nµy ®­îc thÓ hiÖn ë viÖc ma trËn träng sè vµ c¸c hÖ sè bias cña m¹ng cã thÓ hiÖu chØnh ®­îc. C¸c liªn kÕt håi tiÕp cña m¹ng håi qui ®­îc thùc hiÖn b»ng khèi trÔ thêi gian (time-delay block). u(t) D a(t) = u(t-1) a0 H×nh 1.9: Khèi trÔ (delay block) C¸c khèi trÔ sÏ lµm tÝn hiÖu ®Çu ra trÔ ®i 1 b­íc thêi gian víi viÖc gi¶ sö lµ m¹ng lµm viÖc trong miÒn thêi gian rêi r¹c. a(t) = u (t-1) T¹i thêi ®iÓm t=0 ®Çu ra sÏ ®­îc thiÕt lËp bëi ®iÒu kiÖn ®Çu a(0). Trong thùc tÕ, mét liªn kÕt håi qui cã thÓ ®­îc lµm trÔ nhiÒu h¬n mét b­íc thêi gian, khi ®ã m¹ng lo¹i nµy cã thÓ mang c¶ mét sè tÝnh n¨ng cña m¹ng trÔ thêi gian (Time delay n¬ron network). - 21 - Mét kiÕn tróc m¹ng håi qui kh¸ næi tiÕng ®ã lµ m¹ng Elman. Elman cã ®­a ra c¸c n¬ron ng÷ c¶nh (context n¬ron) cã vai trß nh­ mét ®¬n vÞ nhí ®Ó l­u gi÷ tÝn hiÖu ra cña c¸c n¬ron líp Èn dïng ®Ó håi tiÕp trë l¹i ®Çu vµo c¸c n¬ron líp Èn. Ngoµi ra «ng cßn cã mét sù c¶i biÕn n÷a lµ viÖc t¹o ra c¸c liªn kÕt tù håi qui ®­îc thùc hiÖn ngay t¹i chÝnh n¬ron líp Èn (self recurrent connection). M¹ng håi qui tuy cã cÊu tróc phøc t¹p, kh«ng cã tÝnh æn ®Þnh cao, tèc ®é tÝnh to¸n chËm, qu¸ trinh huÊn luyÖn phøc t¹p, nh­ng nã l¹i cã kh¶ n¨ng m« pháng c¸c hÖ thèng phøc t¹p trong thùc tÕ. H×nh 1.10: KiÕn tróc m¹ng håi qui Elman (recurrent network) 1.1.3.5 KiÕn tróc m¹ng tù tæ chøc: Lo¹i liªn kÕt bªn (lateral connection) thùc hiÖn trªn mét líp ®­îc gäi lµ líp c¹nh tranh (competitive layer). Líp c¹nh tranh th­êng ®­îc tæ chøc nh­ mét l­íi n¬ron 2 chiÒu, vµ mét tËp tÝn hiÖu vµo sÏ ®ång thêi ®­îc ®­a ®Õn tÊt c¶ c¸c