8.5. Dinamikus hálózatok kialakításának néhány további lehetősége

Az előzőekben bemutatott konkrét neuronháló architektúrákon túl számos további lehetőség áll rendelkezésünkre neuronháló alapú dinamikus rendszerek létrehozására. Ezek a lehetőségek azon a már említett megközelítésen alapulnak, hogy statikus nemlineáris és dinamikus lineáris rendszerek különböző struktúrájú összekapcsolásával különböző nemlineáris dinamikus modellek nyerhetők.

Láttuk, hogy a statikus tulajdonságú hálózatok dinamikussá tétele során a leggyakrabban használt lehetőség késleltető sorok (tapped delay line), illetve visszacsatolások alkalmazása. Természetesen az így keletkező struktúrák tanításához legtöbbször egy új tanító algoritmus megalkotása is szükséges. Erre az előzőekben több példát is láttunk. A módszereket alapvetően három csoportba sorolhatjuk:

  • dinamika beépítése a feldolgozó elemekbe (tulajdonképpen lokális visszacsatolás),

  • visszacsatolások kialakítása a hálózaton belül (globális vagy lokális visszacsatolás),

  • egybeépítés hálózaton kívüli dinamikával.

Valójában mindhárom fenti lehetőség statikus-nemlineáris és dinamikus-lineáris részek − különféle kombinációkban történő − összekapcsolását jelenti.

Az első lehetőséget sokan vizsgálták, elsősorban a hibavisszaterjesztéses algoritmussal tanított többrétegű perceptron hálózatból kiindulva (ld. pl. a FIR-MLP hálót). Ennek a módszernek a hátránya az, hogy a többrétegű háló önmagában is nagy számításigényű tanítása a dinamikus elemek beépítése miatt még nagyobb számítási kapacitást igényel, az így kapott háló tanítása meglehetősen lassú lesz.

A második lehetőségre jellegzetes példaként két rekurzív hálózat-architektúrát a megfelelő tanítási algoritmusokkal szintén bemutattunk.

A továbbiakban az utolsó lehetőséget vizsgáljuk, mivel az így felépíthető rendszerek igen bonyolultak is lehetnek, ugyanakkor strukturált felépítésük miatt viszonylag könnyebben értelmezhetők. Bár ezekre a lehetőségekre már utaltunk, a lineáris dinamikus és nemlineáris statikus rendszerek kombinációjaként származtatott elrendezések vizsgálata az eddigiektől kissé eltérő, általános megközelítés bevezetését teszi lehetővé: a tanítást, mint az általános érzékenységvizsgálat eredményét felhasználó eljárást értelmezi. Ezt a megközelítést Kumpati Narendera cikkeit [Nar90] és [Nar91] követve a 8.12 ábrán látható elrendezésekhez kapcsolódóan fogjuk bemutatni.

Az ábra négy elrendezést mutat, melyek mindegyike statikus nemlineáris leképezést megvalósító neuronháló(k)ból és lineáris dinamikus rendszerből áll. Az ábrán H(z) jelöli a lineáris dinamikus részrendszereket, N, N1,N2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOtamaaCaaaleqabaGaaGymaaaakiaacYcacaWGobWaaWbaaSqabeaacaaIYaaaaaaa@3A05@ pedig neurális hálózattal megvalósított nemlineáris statikus elemeket, ahol W jelöli a hálózat súlymátrixát. Ezeket az összetett struktúrákat általánosított neurális hálózatoknak (generalized neural network) nevezzük.

8.5.1. A parciális deriváltak számítása

A statikus MLP hálózatok tanítására alkalmazott hibavisszaterjesztéses algoritmus (5. fejezet) kiszámítja a hálózat négyzetes kimeneti hibájának a hálózat paraméterei (súlyai) szerinti parciális deriváltjait. Erre azért van szükség, mert az alkalmazott gradiens alapú algoritmus ez alapján számítja a súlymódosításokat. Az algoritmus a rétegeken keresztül visszafelé haladva a láncszabály alkalmazásával számítja ki az egyes deriváltakat, ami tulajdonképpen azt jelenti, hogy mindig kiszámolja az egyes rétegek kimeneteinek a réteg bemenetei szerinti deriváltjait is.

8.12. ábra - A Narendra által javasolt struktúrák
A Narendra által javasolt struktúrák

Amikor a statikus hálózatot egy összetett struktúra részeként akarjuk használni és az egész rendszert akarjuk tanítani, akkor – amint a következő részben majd látjuk – szükség lehet a neurális alaprész kimeneteinek a bemenetei szerinti parciális deriváltjaira is. Ezeket a deriváltakat a hibavisszaterjesztéses algoritmushoz nagyon hasonló módon, a hálózat rétegein visszafelé haladva tudjuk kiszámítani.

A módszert a hibavisszaterjesztéses algoritmusnál is használt, a 4.1. ábrán látható kétrétegű, két kimenettel és egy háromelemű rejtett réteggel rendelkező hálózaton demonstráljuk. Példaként a y1x2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaaMc8UaamyEamaaBaaaleaacaaIXaaabeaaaOqaaiabgkGi2kaayIW7caWG4bWaaSbaaSqaaiaaikdaaeqaaaaaaaa@3FA0@ parciális derivált számítását végezzük el:

y1x2=y1x2(1)=y1s1(2)s1(2)x2(1)=f(s1(2))i=13s1(2)yi(1)yi(1)x2(1)=f(s1(2))i=13w1i(2)yi(1)x2(1)=f(s1(2))i=13w1i(2)yi(1)x2(1)=f(s1(2))i=13w1i(2)yi(1)si(1)si(1)x2(1)=f(s1(2))i=13w1i(2)f(si(1))wi2(1)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGceaGabeaadaWcaaqaaiabgkGi2kaayIW7caWG5bWaaSbaaSqaaiaaigdaaeqaaaGcbaGaeyOaIyRaaGjcVlaadIhadaWgaaWcbaGaaGOmaaqabaaaaOGaeyypa0ZaaSaaaeaacqGHciITcaaMi8UaamyEamaaBaaaleaacaaIXaaabeaaaOqaaiabgkGi2kaayIW7caWG4bWaa0baaSqaamaaBaaameaacaaIYaaabeaaaSqaaiaabIcacaaIXaGaaeykaaaaaaGccqGH9aqpdaWcaaqaaiaayIW7caaMi8UaaGjcVlaayIW7cqGHciITcaaMi8UaamyEamaaBaaaleaacaaIXaaabeaaaOqaaiabgkGi2kaayIW7caWGZbWaa0baaSqaaiaaigdaaeaacaqGOaGaaGOmaiaabMcaaaaaaOWaaSaaaeaacqGHciITcaaMi8Uaam4CamaaDaaaleaacaaIXaaabaGaaeikaiaaikdacaqGPaaaaaGcbaGaeyOaIyRaaGjcVlaadIhadaqhaaWcbaWaaSbaaWqaaiaaikdaaeqaaaWcbaGaaeikaiaaigdacaqGPaaaaaaakiabg2da9iqadAgagaqbamaabmaabaGaam4CamaaDaaaleaacaaIXaaabaGaaeikaiaaikdacaqGPaaaaaGccaGLOaGaayzkaaGaaGjcVlaayIW7caaMi8+aaabCaeaadaWcaaqaaiabgkGi2kaayIW7caWGZbWaa0baaSqaaiaaigdaaeaacaqGOaGaaGOmaiaabMcaaaaakeaacqGHciITcaaMi8UaamyEamaaDaaaleaacaWGPbaabaGaaeikaiaaigdacaqGPaaaaaaakmaalaaabaGaeyOaIyRaaGjcVlaadMhadaqhaaWcbaGaamyAaaqaaiaabIcacaaIXaGaaeykaaaaaOqaaiabgkGi2kaayIW7caWG4bWaa0baaSqaamaaBaaameaacaaIYaaabeaaaSqaaiaabIcacaaIXaGaaeykaaaaaaaabaGaamyAaiabg2da9iaaigdaaeaacaaIZaaaniabggHiLdGccqGH9aqpceWGMbGbauaadaqadaqaaiaadohadaqhaaWcbaGaaGymaaqaaiaabIcacaaIYaGaaeykaaaaaOGaayjkaiaawMcaaiaayIW7caaMi8UaaGjcVpaaqahabaGaam4DamaaDaaaleaacaaIXaGaamyAaaqaamaabmaabaGaaGOmaaGaayjkaiaawMcaaaaakmaalaaabaGaeyOaIyRaamyEamaaDaaaleaacaWGPbaabaGaaeikaiaaigdacaqGPaaaaaGcbaGaeyOaIyRaamiEamaaDaaaleaadaWgaaadbaGaaGOmaaqabaaaleaacaqGOaGaaGymaiaabMcaaaaaaaqaaiaadMgacqGH9aqpcaaIXaaabaGaaG4maaqdcqGHris5aaGcbaGaeyypa0JabmOzayaafaWaaeWaaeaacaWGZbWaa0baaSqaaiaaigdaaeaacaqGOaGaaGOmaiaabMcaaaaakiaawIcacaGLPaaacaaMi8UaaGjcVlaayIW7daaeWbqaaiaadEhadaqhaaWcbaGaaGymaiaadMgaaeaadaqadaqaaiaaikdaaiaawIcacaGLPaaaaaGcdaWcaaqaaiabgkGi2kaadMhadaqhaaWcbaGaamyAaaqaaiaabIcacaaIXaGaaeykaaaaaOqaaiabgkGi2kaadIhadaqhaaWcbaWaaSbaaWqaaiaaikdaaeqaaaWcbaGaaeikaiaaigdacaqGPaaaaaaaaeaacaWGPbGaeyypa0JaaGymaaqaaiaaiodaa0GaeyyeIuoakiabg2da9iqadAgagaqbamaabmaabaGaam4CamaaDaaaleaacaaIXaaabaGaaeikaiaaikdacaqGPaaaaaGccaGLOaGaayzkaaGaaGjcVlaayIW7daaeWbqaaiaadEhadaqhaaWcbaGaaGymaiaadMgaaeaadaqadaqaaiaaikdaaiaawIcacaGLPaaaaaGcdaWcaaqaaiabgkGi2kaayIW7caWG5bWaa0baaSqaaiaadMgaaeaacaqGOaGaaGymaiaabMcaaaaakeaacqGHciITcaaMi8Uaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaaIXaaacaGLOaGaayzkaaaaaaaaaeaacaWGPbGaeyypa0JaaGymaaqaaiaaiodaa0GaeyyeIuoakmaalaaabaGaeyOaIyRaaGjcVlaadohadaqhaaWcbaGaamyAaaqaamaabmaabaGaaGymaaGaayjkaiaawMcaaaaaaOqaaiabgkGi2kaayIW7caWG4bWaa0baaSqaamaaBaaameaacaaIYaaabeaaaSqaaiaabIcacaaIXaGaaeykaaaaaaaakeaacqGH9aqpceWGMbGbauaadaqadaqaaiaadohadaqhaaWcbaGaaGymaaqaaiaabIcacaaIYaGaaeykaaaaaOGaayjkaiaawMcaaiaayIW7caaMi8UaaGjcVpaaqahabaGaam4DamaaDaaaleaacaaIXaGaamyAaaqaamaabmaabaGaaGOmaaGaayjkaiaawMcaaaaakiqadAgagaqbamaabmaabaGaam4CamaaDaaaleaacaWGPbaabaGaaeikaiaaigdacaqGPaaaaaGccaGLOaGaayzkaaGaaGjcVlaayIW7caaMi8oaleaacaWGPbGaeyypa0JaaGymaaqaaiaaiodaa0GaeyyeIuoakiaadEhadaqhaaWcbaGaamyAaiaaikdaaeaadaqadaqaaiaaigdaaiaawIcacaGLPaaaaaaaaaa@3B6D@ (8.58)

A 4.2. alfejezetben bemutatotthoz hasonló módon itt is bevezethetők az egyes rétegek neuronjainak lineáris kimeneteihez tartozó kimeneti deriváltak (a hálózat kimenetének a neuronok lineáris kimenetei szerinti deriváltjai). Ha a (4.4)-es képlettel definiált származtatott hibagradiens számításakor a kimeneti hiba ( ε1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqyTdu2aaSbaaSqaaiaaigdaaeqaaaaa@3862@ ) helyére egységet helyettesítünk, akkor a további visszaterjesztő lépések során a δi(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdq2aa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaaaaa@3B0E@ mennyiségek sorra a kimenet parciális deriváltjait fogják tartalmazni az adott neuron lineáris kimenete szerint. Ezért a közönséges statikus hibavisszaterjesztéses algoritmus felhasználható a kimenet parciális deriváltjainak számításánál (közvetlenül azonban csak egy kimenet esetén). A j-edik bemenethez tartozó parciális derivált az első réteg neuronjainak az adott bemenethez tartozó súlyai ( wij(1)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4DamaaDaaaleaacaWGPbGaamOAaaqaamaabmaabaGaaGymaaGaayjkaiaawMcaaaaaaaa@3B1E@ ) és a δi(1)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdq2aa0baaSqaaiaadMgaaeaadaqadaqaaiaaigdaaiaawIcacaGLPaaaaaaaaa@3AD8@ mennyiségek lineáris kombinációja lesz.

8.13. ábra - A kimenet bemenet szerinti gradiensének számítása egybemenetű - egykimenetű hálózatnál
A kimenet bemenet szerinti gradiensének számítása egybemenetű - egykimenetű hálózatnál

A 8.13 ábra a fenti módszerrel meghatározott parciális derivált számítását mutatja egybemenetű és egykimenetű hálózat esetén (ekkor persze a parciális derivált közönséges deriváltat jelent). Az ábrán a tanító jel és a hálózat válasza is látható 200 tanító ciklus után. (A konkrét példánál a 200 tanító ciklus még kevés). A sűrűn pontozott vastagabb vonal jelöli a megtanulandó függvényt, a szaggatott a hálózat válaszát. A folytonos vonal a fenti módon számított gradiens, míg a ritkán pontozott vékonyabb vonal a megtanulandó jel valódi deriváltja.

8.5.2. Neurális hálózatot tartalmazó összetett struktúrák tanítása

Elsőként a 8.12 ábrán felvetett legegyszerűbb, (a) modellt vizsgáljuk. Ez egy statikus neurális hálózatot és ennek kimenetére kapcsolt (ismert) lineáris dinamikus elemet (szűrőt) tartalmaz. Mivel már ebben az egyszerű modellben sem a neurális rész kimenetén keletkezik a hiba, a statikus hibavisszaterjesztés nem használható. (A kimeneten kapott hibát közvetlenül nem használhatjuk föl a hálózat tanítására. Gondoljunk csak a legegyszerűbb esetre, ha a kimeneti tag nem is dinamikus, hanem csak egy konstans szorzó. Ha a konstans értéke negatív és a kimeneti hibát használva statikus tanító algoritmussal próbáljuk tanítani a hálózatot, akkor az mindig pontosan a helyi gradienssel megegyező irányban, azaz az optimumtól távolodva fogja változtatni a hálózat súlyait.) Erre az esetre dolgozták ki az ún. dinamikus hibavisszaterjesztéses algoritmust.

A statikus esettől eltérően most mind a kimeneti kívánt értékek, mind a kimeneti hibavektor időfüggvények. Célunk most is a kimenti négyzetes hiba minimalizálása, és most is gradiens alapú módszert használunk.

Az 8.14 ábra több-bementű−többkimenetű hálózatra mutatja a gradiensszámítás elvét. Az ábra jelöléseivel az alábbi eredményre juthatunk:

ε(k)wij=y(k)wij=H(z)vwijMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWH1oWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaabaGaeyOaIyRaaGPaVlaadEhadaWgaaWcbaGaamyAaiaadQgaaeqaaaaakiabg2da9iabgkHiTmaalaaabaGaeyOaIyRaaCyEamaabmaabaGaam4AaaGaayjkaiaawMcaaaqaaiabgkGi2kaadEhadaWgaaWcbaGaamyAaiaadQgaaeqaaaaakiabg2da9iabgkHiTiaadIeadaqadaqaaiaadQhaaiaawIcacaGLPaaadaWcaaqaaiabgkGi2kaahAhaaeaacqGHciITcaWG3bWaaSbaaSqaaiaadMgacaWGQbaabeaaaaaaaa@5885@ (8.59)

A vwijMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWH2baabaGaeyOaIyRaam4DamaaBaaaleaacaWGPbGaamOAaaqabaaaaaaa@3CB4@ parciális deriváltak minden lépésben számíthatók a statikus hibavisszaterjesztéses módszerrel. A képletet értelmezve azt láthatjuk, hogy az egymás után, statikus visszaterjesztéssel kapott súlyváltoztatásokat át kell engedni (szűrni) a kimeneti lineáris dinamikán. Ezt mutatja az 8.14 ábrán az érzékenységi modellnek nevezett rész. Ha az előbbi egyszerű dinamikamentes példára vizsgáljuk az eredményt, láthatjuk, hogy a kimeneti elemen átszűrve a súlyváltoztatásokat, valóban jó eredményre jutunk.

A 8.12 (b) ábrán felvetett rendszer N1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOtamaaCaaaleqabaGaaGymaaaaaaa@378F@ jelű neurális hálózata a kimeneten helyezkedik el, így statikus algoritmussal tanítható. Az N2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOtamaaCaaaleqabaGaaGOmaaaaaaa@3790@ jelű hálózat gradiense az alábbi összefüggés szerint határozató meg:

ε(k)wij=y(k)wij=ly(k)vlvlwijMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWG1oWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaabaGaeyOaIyRaam4DamaaBaaaleaacaWGPbGaamOAaaqabaaaaOGaeyypa0ZaaSaaaeaacqGHciITcaWG5bWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaabaGaeyOaIyRaam4DamaaBaaaleaacaWGPbGaamOAaaqabaaaaOGaeyypa0ZaaabuaeaadaWcaaqaaiabgkGi2kaadMhadaqadaqaaiaadUgaaiaawIcacaGLPaaaaeaacqGHciITcaWG2bWaaSbaaSqaaiaadYgaaeqaaaaakmaalaaabaGaeyOaIyRaamODamaaBaaaleaacaWGSbaabeaaaOqaaiabgkGi2kaadEhadaWgaaWcbaGaamyAaiaadQgaaeqaaaaaaeaacaWGSbaabeqdcqGHris5aaaa@5E64@ (8.60)

A fenti kifejezésben a y(k)vlMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWG5bWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaabaGaeyOaIyRaamODamaaBaaaleaacaWGSbaabeaaaaaaaa@3E3F@ differenciálhányados az előző részben meghatározott módon (ld. (8.58) összefüggés), míg a vlwijMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWG2bWaaSbaaSqaaiaadYgaaeqaaaGcbaGaeyOaIyRaam4DamaaBaaaleaacaWGPbGaamOAaaqabaaaaaaa@3DD7@ derivált az (a) rendszernél bemutatott módon számítható.

8.14. ábra - A gradiens származtatása az 8.12 (a) ábrán látható modellben
A gradiens származtatása az 8.12 (a) ábrán látható modellben

A 8.12 (c) modell egy lineáris rendszerrel visszacsatolt neurális hálózatot tartalmaz. A modell kimenete ennek megfelelően:

y=N(x+H(z)y)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyEaiabg2da9iaad6eadaqadaqaaiaahIhacqGHRaWkcaWGibWaaeWaaeaacaWG6baacaGLOaGaayzkaaGaaCyEaaGaayjkaiaawMcaaaaa@4072@ (8.61)

Az eddigiekhez hasonlóan most is igaz, hogy:

ε(k)wij=y(k)wijMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWH1oWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaabaGaeyOaIyRaam4DamaaBaaaleaacaWGPbGaamOAaaqabaaaaOGaeyypa0JaeyOeI0YaaSaaaeaacqGHciITcaWH5bWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaabaGaeyOaIyRaam4DamaaBaaaleaacaWGPbGaamOAaaqabaaaaaaa@4AC8@ , (8.62)

A visszacsatolás miatt az itt adódó egyenlet egy differenciaegyenlet; a keresett deriváltak függnek saját korábbi értékeiktől is.

ε(k+1)wij=N(v)vH(z)y(k)wij+N(v)wijMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWH1oWaaeWaaeaacaWGRbGaey4kaSIaaGymaaGaayjkaiaawMcaaaqaaiabgkGi2kaadEhadaWgaaWcbaGaamyAaiaadQgaaeqaaaaakiabg2da9maalaaabaGaeyOaIyRaamOtamaabmaabaGaaCODaaGaayjkaiaawMcaaaqaaiabgkGi2kaahAhaaaGaamisamaabmaabaGaamOEaaGaayjkaiaawMcaamaalaaabaGaeyOaIyRaaCyEamaabmaabaGaam4AaaGaayjkaiaawMcaaaqaaiabgkGi2kaadEhadaWgaaWcbaGaamyAaiaadQgaaeqaaaaakiabgUcaRmaalaaabaGaeyOaIyRaamOtamaabmaabaGaaCODaaGaayjkaiaawMcaaaqaaiabgkGi2kaadEhadaWgaaWcbaGaamyAaiaadQgaaeqaaaaaaaa@602B@ , (8.63)

ahol a N(v)wijMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWGobWaaeWaaeaacaWH2baacaGLOaGaayzkaaaabaGaeyOaIyRaam4DamaaBaaaleaacaWGPbGaamOAaaqabaaaaaaa@3F10@ értékek statikus visszaterjesztéssel, a N(v)vMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWGobWaaeWaaeaacaWH2baacaGLOaGaayzkaaaabaGaeyOaIyRaaCODaaaaaaa@3D0A@ Jacobi mátrix (ennek elemei a kimenetek deriváltjai a bemenetek szerint) pedig az (a) modellnél bemutatott módon számíthatók ( N(v)wijMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWGobWaaeWaaeaacaWH2baacaGLOaGaayzkaaaabaGaeyOaIyRaam4DamaaBaaaleaacaWGPbGaamOAaaqabaaaaaaa@3F10@ a pillanatnyi deriváltat jelöli, míg a y(k)wijMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWH5bWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaabaGaeyOaIyRaam4DamaaBaaaleaacaWGPbGaamOAaaqabaaaaaaa@3F30@ az "időben" számítottat).

A (d) modell a legösszetettebb a négy közül. Az N1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOtamaaCaaaleqabaGaaGymaaaaaaa@378F@jelű hálózat a (c) modellnél bemutatott módon tanítható, míg az N2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOtamaaCaaaleqabaGaaGOmaaaaaaa@3790@ tanításához szükséges hibaderiváltakra a következő formula származtatható:

ε(k)wij=y(k)wij=N1(v)v(N2(x)wij+H(z)y(k)wij)  MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWG1oWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaabaGaeyOaIyRaam4DamaaBaaaleaacaWGPbGaamOAaaqabaaaaOGaeyypa0ZaaSaaaeaacqGHciITcaWG5bWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaabaGaeyOaIyRaam4DamaaBaaaleaacaWGPbGaamOAaaqabaaaaOGaeyypa0ZaaSaaaeaacqGHciITcaWGobWaaWbaaSqabeaacaaIXaaaaOWaaeWaaeaacaWG2baacaGLOaGaayzkaaaabaGaeyOaIyRaamODaaaadaqadaqaamaalaaabaGaeyOaIyRaamOtamaaCaaaleqabaGaaGOmaaaakmaabmaabaGaamiEaaGaayjkaiaawMcaaaqaaiabgkGi2kaadEhadaWgaaWcbaGaamyAaiaadQgaaeqaaaaakiabgUcaRiaadIeadaqadaqaaiaadQhaaiaawIcacaGLPaaadaWcaaqaaiabgkGi2kaadMhadaqadaqaaiaadUgaaiaawIcacaGLPaaaaeaacqGHciITcaWG3bWaaSbaaSqaaiaadMgacaWGQbaabeaaaaaakiaawIcacaGLPaaacaqGGaGaaeiiaaaa@6DA2@ , (8.64)

Mind a (c), mind a (d) modell tanítására kapott eredmények úgy is értékelhetők, hogy a statikus visszaterjesztéssel kapott deriváltakat át kell engedni egy, a beágyazó rendszer által meghatározott dinamikus rendszeren [Nar90].

A 8.15 ábra négy konkrét rendszert mutat, amelyek tanítása az előzőkben bemutatott elvek alkalmazásával elvégezhető.

8.15. ábra - Négy dinamikus struktúra.
Négy dinamikus struktúra.

Az egyes architektúráknál f(.) és g(.) statikus nemlineáris leképezéseket jelöl, melyeket valamilyen neuronhálóval valósíthatunk meg. A TDL blokkok késleltető láncot jelölnek a késleltető fokozatok közötti megcsapolásokkal, H(z) pedig egy lineáris dinamikus rendszert, amely lehet előrecsatolt (FIR) vagy visszacsatolt (IIR) típusú is. E struktúráknak az az érdekessége, hogy a nemlineáris leképezéseket statikus hálókkal megvalósító f(.) és g(.) blokkok bemenetén megcsapolt késleltető sorokat találunk, tehát ezek a hálórészek önmagukban is dinamikus nemlineáris rendszerek (pl. FIR-MLP-k). Ennek megfelelően az (a) architektúra egy NFIR típusú dinamikus neuronháló és egy lineáris szűrő sorbakapcsolásából áll. A (b) elrendezésben két NFIR típusú háló található; az egyik az előrecsatoló, a másik a visszacsatoló ágban. A (c) elrendezés hasonló a (b)-hez, azzal a különbséggel, hogy az előrecsatoló ágban lévő NFIR háló helyett egy lineáris szűrő szerepel, míg a (d) elrendezés a fejezet elején bemutatott NOE modell. Ezek az architektúrák is azt illusztrálják, hogy neuronháló alapú nemlineáris dinamikus rendszermodelleket nagyon sok változtaban tudunk konstruálni. Az itt bemutatott architektúrák tanítása a megfelelő dinamikus neuronhálók és az összetett struktúrák tanításánál bemutatott eljárások kombinálásával végezhető el.