8.3. Előrecsatolt időfüggő hálózatok

Az előrecsatolt időfüggő hálózatok jellemzője, hogy vagy a hálózat bemenetén vagy az egyes processzáló elemeket összekötő súlyok helyén súlyozott megcsapolásokkal rendelkező késleltető lánc szerepel. Ez valójában azt jelenti, hogy vagy a bemeneten vagy az egyes súlyok helyett FIR szűrőket építünk a hálózatba. Ebből adódik e hálózatok elnevezése is: FIR-MLP, FIR-CMAC, stb. A hálózatok nem tartalmaznak visszacsatolást, a konkrét elnevezések is utalnak arra, hogy ezen hálózatok az NFIR modell-osztályba tartoznak.

A következőkben előbb a hibavisszaterjesztéssel tanítható többrétegű perceptron kiterjesztésével kapott FIR-MLP hálót, majd a kiterjesztett bázisfüggvényes hálózatokat (FIR-RBF, FIR-CMAC) mutatjuk be.

8.3.1. A FIR-MLP háló

A FIR-MLP hálózat felépítését a 8.4 ábra mutatja. Látható, hogy ez a dinamikus struktúra egy olyan MLP hálózat, ahol minden súly helyett egy lineáris FIR szűrő szerepel. Ez alól csak az egyes neuronok eltolás (bias) bemenetei a kivételek, amelyeknél meghagyjuk a statikus kapcsolatot biztosító súlyértéket. Az ábrán azonban ezek az eltolás bemenetek a jobb áttekinthetőség érdekében nem szerepelnek. A struktúra előnye a bemeneti késleltető lánc alkalmazásával szemben, hogy miközben itt a bemenetek számát nem növeltük meg, és ezáltal várhatóan nincs szükség a rejtett neuronok számának megnövelésére sem, az előrecsatolt dinamikus működést biztosítjuk. A szabad paraméterek száma természetesen egy hasonló méretű (hasonló neuronszámú) statikus MLP-hez képest megsokszorozódik.

8.4. ábra - A FIR-MLP háló felépítése
A FIR-MLP háló felépítése

A FIR-MLP háló tanítása

A hálózat tanításához először a kimeneti hiba (8.10) szerinti összefüggését kell felírni. Az eredő hiba a háló összes kimenetén értelmezhető, adott időpillanathoz tartozó négyzetes hibakomponensek mind a kimenetek, mind a K időablak szerinti összege (NL a kimeneti réteg neuronjainak száma). Jelöljük ezt a hibát ε2-tel.

ε2=k=1Κi=1NLεi2(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyTdmaaCaaaleqabaGaaGOmaaaakiabg2da9maaqahabaGaaGjcVlaayIW7caaMi8UaaGjcVpaaqahabaGaamyTdmaaDaaaleaadaahaaadbeqaaiaadMgaaaaaleaacaaIYaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaleaacaWGPbGaeyypa0JaaGymaaqaaiaad6eadaWgaaadbaGaamitaaqabaaaniabggHiLdaaleaacaWGRbGaeyypa0JaaGymaaqaaGGaciab=P5albqdcqGHris5aaaa@524C@ , (8.11)

Egy adott súly módosításához ennek az eredő négyzetes hibának az adott súly szerinti deriváltját kell meghatározni. Célszerű azonban, ha közvetlenül egy összeköttetés-ágban szereplő FIR szűrő összes együtthatóját összefogó súlyvektor tanító összefüggését írjuk fel.

Vezessük be ehhez a következő jelölést. Legyen

wij(l)=[wij,0(l),wij,1(l),...,wij,Mij(l)(l)]TMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4DamaaDaaaleaacaWGPbGaamOAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakiabg2da9maadmaabaGaam4DamaaDaaaleaacaWGPbGaamOAaiaacYcacaaIWaaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOGaaiilaiaadEhadaqhaaWcbaGaamyAaiaadQgacaGGSaGaaGymaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakiaacYcacaGGUaGaaiOlaiaac6cacaGGSaGaam4DamaaDaaaleaacaWGPbGaamOAaiaacYcacaWGnbWaa0baaWqaaiaadMgacaWGQbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaaWcbaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaaGccaGLBbGaayzxaaWaaWbaaSqabeaacaaMc8UaamivaiaaykW7aaaaaa@6021@ (8.12)

az l-edik réteg i-edik és az előző réteg j-edik processzáló eleme közötti szűrő együtthatóinak vektora. A vektor felírásából látható, hogy a szűrőágban Mij(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamytamaaDaaaleaacaWGPbGaamOAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaaaaa@3B2A@ egységnyi késleltetés és Mij(l)+1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamytamaaDaaaleaacaWGPbGaamOAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakiabgUcaRiaaigdaaaa@3CD1@ szűrőegyüttható van. Bár elvileg nincs akadálya, hogy az egyes szűrők eltérő számú késleltetést tartalmazzanak, ennek gyakorlati haszna nincs, ezért most is feltételezzük, hogy egy adott réteg összes neuronjának minden bemeneti szűrője azonos számú késleltetéssel és ennek megfelelően azonos számú szűrő együtthatóval rendelkezik. Ezért Mij(l)=M(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamytamaaDaaaleaacaWGPbGaamOAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakiabg2da9iaad2eadaqhaaWcbaaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaaaa@3FB3@ minden i=1,2,…, Nl1MathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVCI8FfYJH8YrFfeuY=Hhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaad6eadaWgaaWcbaGaamiBaiabgkHiTiaaigdaaeqaaaaa@3982@ és minden j=1,2,…,Nl-re ( Nl1MathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVCI8FfYJH8YrFfeuY=Hhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaad6eadaWgaaWcbaGaamiBaiabgkHiTiaaigdaaeqaaaaa@3982@ és Nl az (l−1)-edik, illetve az l-edik réteg neurojainak a száma).

A fentiek figyelembevételével a súlymódosító összefüggéshez a ε2wij(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaaMi8UaaGjcVlabew7aLnaaCaaaleqabaGaaGOmaaaaaOqaaiabgkGi2kaayIW7caaMi8UaaC4DamaaDaaaleaacaWGPbGaamOAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaaaaaaaa@4712@ gradiens meghatározása szükséges. A háló tanítási összefüggéseinek meghatározása többféle megközelítésben lehetséges. Egy lehetőség, ha a ε2wij(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaaMi8UaaGjcVlabew7aLnaaCaaaleqabaGaaGOmaaaaaOqaaiabgkGi2kaayIW7caaMi8UaaC4DamaaDaaaleaacaWGPbGaamOAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaaaaaaaa@4712@ gradienst az egyes időpillanatokhoz tartozó ε2(k)wij(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcqaH1oqzdaahaaWcbeqaaiaaikdaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaeaacqGHciITcaaMi8UaaC4DamaaDaaaleaacaWGPbGaamOAaaqaaiaabIcacaWGSbGaaeykaaaaaaaaaa@44A6@ gradiensek segítségével írjuk fel:

ε2wij(l)=kε2(k)wij(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWG1oWaaWbaaSqabeaacaaIYaaaaaGcbaGaeyOaIyRaaC4DamaaDaaaleaacaWGPbGaamOAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaaaaGccqGH9aqpdaaeqbqaamaalaaabaGaeyOaIyRaamyTdmaaCaaaleqabaGaaGOmaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaqaaiabgkGi2kaayIW7caWH3bWaa0baaSqaaiaadMgacaWGQbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaaaaaeaacaWGRbaabeqdcqGHris5aaaa@5316@ . (8.13)

Itt tehát ε2=kε2(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqyTdu2aaWbaaSqabeaacaaIYaaaaOGaeyypa0ZaaabuaeaacqaH1oqzdaahaaWcbeqaaiaaikdaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaSqaaiaadUgaaeqaniabggHiLdaaaa@419A@ , vagyis az eredő négyzetes hiba az egyes időpillanatokbeli négyzetes hibaértékek megfelelő időablakra vett összegét jelenti. E megközelítés szerint végezve a vizsgálatot valójában időben kiterítjük a hálózatot és így egy nagyobb, de statikus hálót kapunk, ami már a hagyományos hibavisszaterjesztéses algoritmussal tanítható. A kiterítés következtében kapott virtuális háló azonban igen nagyméretű is lehet a FIR szűrőkben található késleltető láncok méretétől függően, továbbá a virtuális háló struktúrája el fog térni a szokásos többrétegű perceptron felépítésétől: az egyes rétegek processzáló elemei nincsenek a következő réteg összes processzáló elemével összekötve. További eltérés, hogy a virtuális háló az időbeli kiterítés következtében jóval több súlyt tartalmaz, mint a fizikailag létező valóságos; egy valóságos súlynak a virtuális hálóban több megfelelője van, melyek a háló működésének különböző időpillanataihoz tartoznak és a kiterített hálóban más-más rétegben szerepelnek. A hagyományos hibavisszaterjesztéses algoritmus alkalmazásánál az azonos fizikai súly különböző virtuális megfelelőihöz eltérő súlymódosító összefüggéseket kapunk, mivel a hibavisszaterjesztés útja a különböző virtuális megfelelőkig eltérő. Ennek ellenére csak egy fizikai súly létezik, tehát ezt különbözőképpen nem módosíthatjuk. A megoldás csak az lehet, hogy a különböző módon visszaterjesztett "hiba" figyelembevételével nyert súlymódosítások eredőjével kell módosítanunk a fizikai súly értékét, ami azt jelenti, hogy a megfelelő virtuális súlyok azonos mértékben és egyszerre módosulnak.

E nehézségek miatt, különösen nagyobb rendszereknél az időbeli kiterítés alapján történő FIR-MLP tanítás − bár elvileg lehetséges − nem célszerű. A következőkben egy más megközelítést mutatunk be.

Temporális hibavisszaterjesztéses eljárás

A temporális hibavisszaterjesztéses (temporal back-propagation) eljárás a FIR-MLP háló tanítására egy hatékonyabb lehetőség [Wan90]. A kimeneti eredő hiba gradiense ugyanis a (8.13)-tól eltérően másféle felbontásban is felírható (a temporális back-propagation eljárás származtatásánál a 8.4 ábra jelöléseit illetve az MLP tanításánál, a standard hibavisszaterjesztéses eljárásnál alkalmazott jelöléseket használjuk):

ε2wij(l)=kε2si(l)(k)si(l)(k)wij(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaaMi8UaeqyTdu2aaWbaaSqabeaacaaIYaaaaaGcbaGaeyOaIyRaaGjcVlaahEhadaqhaaWcbaGaamyAaiaadQgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaaaaOGaeyypa0ZaaabuaeaadaWcaaqaaiabgkGi2kaayIW7cqaH1oqzdaahaaWcbeqaaiaaikdaaaaakeaacqGHciITcaaMi8Uaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaaWcbaGaam4Aaaqab0GaeyyeIuoakmaalaaabaGaeyOaIyRaaGjcVlaadohadaqhaaWcbaGaamyAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaqaaiabgkGi2kaayIW7caWH3bWaa0baaSqaaiaadMgacaWGQbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaaaaaaa@6A57@ . (8.14)

Itt tehát nem a pillanatnyi négyzetes hiba adott súlyvektor szerinti gradiensét határozzuk meg először, amiből a megfelelő időablakra vonatkozó összegzéssel határozható meg az eredő gradiens, hanem az eredő hibának a megfelelő kimenet adott időpillanatbeli értéke szerinti parciális deriváltján keresztül kapjuk meg az eredő gradienst. Vegyük észre, hogy

ε2(k)wij(l)ε2si(l)(k)si(l)(k)wij(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaaMi8UaeqyTdu2aaWbaaSqabeaacaaIYaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaabaGaeyOaIyRaaGjcVlaayIW7caaMi8UaaC4DamaaDaaaleaacaWGPbGaamOAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaaaaGccqGHGjsUdaWcaaqaaiabgkGi2kaayIW7cqaH1oqzdaahaaWcbeqaaiaaikdaaaaakeaacqGHciITcaaMi8UaaGjcVlaayIW7caWGZbWaa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaaWaaSaaaeaacqGHciITcaaMi8UaaGjcVlaayIW7caWGZbWaa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaeaacqGHciITcaaMi8UaaC4DamaaDaaaleaacaWGPbGaamOAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaaaaaaaa@73DA@ , (8.15)

vagyis bár (8.13) és (8.14) egyenlők, adott k időindexhez tartozó komponenseikre az egyenlőség már nem áll fenn. Megmutatható, hogy ez utóbbi megközelítést választva a FIR-többrétegű perceptron tanítása a standard BP eljáráshoz hasonlóan történhet, vagyis a hibavisszaterjesztés itt is a jel előreterjesztését végző hálózathoz hasonló hálózaton, most tehát FIR szűrőkön keresztül történik.

A (8.14) szerinti felbontás alapján a következő súlymódosító összefüggést nyerjük:

wij(l)(k+1)=wij(l)(k)με2si(l)(k)si(l)(k)wij(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4DamaaDaaaleaacaWGPbGaamOAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaiabgUcaRiaaigdaaiaawIcacaGLPaaacqGH9aqpcaWH3bWaa0baaSqaaiaadMgacaWGQbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaeyOeI0IaeqiVd0MaaGjcVpaalaaabaGaeyOaIyRaeqyTdu2aaWbaaSqabeaacaaIYaaaaaGcbaGaeyOaIyRaaGjcVlaayIW7caWGZbWaa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaaGaaGjcVlaayIW7daWcaaqaaiabgkGi2kaayIW7caaMi8Uaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaabaGaeyOaIyRaaGjcVlaayIW7caWH3bWaa0baaSqaaiaadMgacaWGQbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaaaaaaa@7537@ . (8.16)

A (8.16)-nak megfelelő súlymódosítás természetesen nem pontosan az igazi gradiens szerint halad a megoldás térben, hiszen egy módosító lépésben az eredő teljes hiba gradiense helyett egy gradiens-komponenssel dolgozunk. Nem túl nagyra választva azonban μ értékét, a súlymódosítás közel a valódi gradiensnek megfelelően történik. Megjegyezzük azonban, hogy a gradiens-komponens nem csak egy időpillanatbeli hiba alapján számítódik, hiszen a súlymódosításhoz ε2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqyTdu2aaWbaaSqabeaacaaIYaaaaaaa@3864@ megfelelő deriváltját használjuk fel.

Mivel a standard hibavisszaterjesztéses algoritmushoz hasonlóan si(l)(k)wij(l)=xj(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaGjcVlaayIW7daWcaaqaaiabgkGi2kaayIW7caaMi8Uaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaabaGaeyOaIyRaaGjcVlaayIW7caWH3bWaa0baaSqaaiaadMgacaWGQbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaaaakiabg2da9iaahIhadaqhaaWcbaGaamOAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaaa@56D4@ , továbbá, ha most is használjuk a δi(l)(k)=12ε2si(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdq2aa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacqGH9aqpcqGHsisldaWcaaqaaiaaigdaaeaacaaIYaaaamaalaaabaGaeyOaIyRaeqyTdu2aaWbaaSqabeaacaaIYaaaaaGcbaGaeyOaIyRaaGjcVlaayIW7caWGZbWaa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaaGaaGjcVlaayIW7caaMi8UaaGjcVdaa@56F7@ jelölést, akkor egy adott súly helyén található szűrőegyütthatókból álló vektor módosítására az alábbi, a statikus MLP tanításával formailag azonos összefüggést kapjuk:

wij(l)(k+1)=wij(l)(k)+2μδi(l)(k)xj(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4DamaaDaaaleaacaWGPbGaamOAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaiabgUcaRiaaigdaaiaawIcacaGLPaaacqGH9aqpcaWH3bWaa0baaSqaaiaadMgacaWGQbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaey4kaSIaaGOmaiabeY7aTjaayIW7cqaH0oazdaqhaaWcbaGaamyAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiaayIW7caaMi8UaaGjcVlaahIhadaqhaaWcbaGaamOAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaaa@60F4@ . (8.17)

A visszaterjesztett, általánosított hiba (valójában a kimeneti négyzetes hibának egy adott neuron lineáris kimenete szerinti érzékenysége) meghatározása attól függ, hogy az adott neuron melyik rétegben található.

A kimeneti réteg esetén δi(l)(k)=δi(L)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdq2aa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacqGH9aqpcqaH0oazdaqhaaWcbaGaamyAaaqaamaabmaabaGaamitaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaaa@4634@ egyszerűen meghatározható, hiszen:

δi(L)(k)=12ε2si(L)(k)=12εi2si(L)(k)=εiεiyi(k)yi(k)si(L)(k)=εif'(si(L)(k))MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaqbaeqabqabaaaaaeaacqaH0oazdaqhaaWcbaGaamyAaaqaamaabmaabaGaamitaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaqaaiabg2da9iaayIW7caaMi8UaaGjcVlaayIW7cqGHsisldaWcaaqaaiaaigdaaeaacaaIYaaaaiaayIW7caaMi8+aaSaaaeaacqGHciITcqaH1oqzdaahaaWcbeqaaiaaikdaaaaakeaacqGHciITcaaMi8Uaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGmbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaiaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8oabaaabaaabaaabaGaeyypa0JaaGjcVlaayIW7cqGHsisldaWcaaqaaiaaigdaaeaacaaIYaaaaiaayIW7caaMi8UaaGjcVlaayIW7caaMi8+aaSaaaeaacqGHciITcqaH1oqzdaWgaaWcbaGaamyAaaqabaGcdaahaaWcbeqaaiaaikdaaaaakeaacqGHciITcaaMi8Uaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGmbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaiaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8oabaaabaaabaaabaGaeyypa0JaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaeyOeI0IaeqyTdu2aaSbaaSqaaiaadMgaaeqaaOWaaSaaaeaacqGHciITcqaH1oqzdaWgaaWcbaGaamyAaaqabaGcdaahaaWcbeqaaaaaaOqaaiabgkGi2kaadMhadaqhaaWcbaGaamyAaaqaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaaadaWcaaqaaiabgkGi2kaayIW7caWG5bWaa0baaSqaaiaadMgaaeaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaeaacqGHciITcaaMi8Uaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGmbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaaqaaaqaaaqaaaqaaiabg2da9iabew7aLnaaBaaaleaacaWGPbaabeaakiaadAgacaGGNaWaaeWaaeaacaWGZbWaa0baaSqaaiaadMgaaeaadaqadaqaaiaadYeaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaiaawIcacaGLPaaacaaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVdqaaaqaaaaaaaa@780D@ (8.18)

Így a kimeneti réteg neuronjainál a súlyok módosítására formálisan a standard back-propagation eljárás kimeneti rétegre vonatkozó összefüggését kapjuk:

wij(L)(k+1)=wij(L)(k)+2μεif'(si(L)(k))xj(L)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4DamaaDaaaleaacaWGPbGaamOAaaqaamaabmaabaGaamitaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaiabgUcaRiaaigdaaiaawIcacaGLPaaacqGH9aqpcaWH3bWaa0baaSqaaiaadMgacaWGQbaabaWaaeWaaeaacaWGmbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaey4kaSIaaGOmaiabeY7aTjaayIW7cqaH1oqzdaWgaaWcbaGaamyAaaqabaGccaWGMbGaai4jamaabmaabaGaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGmbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaacaGLOaGaayzkaaGaaGjcVlaayIW7caaMi8UaaCiEamaaDaaaleaacaWGQbaabaWaaeWaaeaacaWGmbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaa@65B1@ . (8.19)

Az egyetlen különbség, hogy itt wij(L)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4DamaaDaaaleaacaWGPbGaamOAaaqaamaabmaabaGaamitaaGaayjkaiaawMcaaaaaaaa@3B38@ nem a kimeneti réteg összes súlyából álló súlyvektor, hanem a megfelelő szűrőág együtthatóiból álló, (8.12) által definiált vektor. Ugyancsak xj(L)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiEamaaDaaaleaacaWGQbaabaWaaeWaaeaacaWGmbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaa@3CCE@ nem az L-edik réteg teljes bemeneti vektora, hanem minden kimeneti neuron j-edik szűrőágában a késleltetett bemenetekből képezett vektor:

xj(L)(k)=[xj(L)(k),xj(L)(k1),...,xj(L)(kM(L))]TMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiEamaaDaaaleaacaWGQbaabaWaaeWaaeaacaWGmbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaeyypa0ZaamWaaeaacaWG4bWaa0baaSqaaiaadQgaaeaadaqadaqaaiaadYeaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacaGGSaGaamiEamaaDaaaleaacaWGQbaabaWaaeWaaeaacaWGmbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbGaeyOeI0IaaGymaaGaayjkaiaawMcaaiaacYcacaGGUaGaaiOlaiaac6cacaGGSaGaamiEamaaDaaaleaacaWGQbaabaWaaeWaaeaacaWGmbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbGaeyOeI0IaamytamaaDaaaleaaaeaadaqadaqaaiaadYeaaiaawIcacaGLPaaaaaaakiaawIcacaGLPaaaaiaawUfacaGLDbaadaahaaWcbeqaaiaadsfaaaaaaa@5FCC@ (8.20)

Ez a vektor természetesen megegyezik az előző réteg j-edik neuronjának késleltetett kimeneteiből képezett vektorral.

Az adott szűrő tehát M(L)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamytamaaDaaaleaaaeaacaqGOaGaamitaiaabMcaaaaaaa@38FB@ késleltető tagot tartalmaz, és a szűrő kimenetét a

zij(L)(k)=wij(L)Txj(L)(k)=r=0M(L)wij,r(L)xj(L)(kr)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOEamaaDaaaleaacaWGPbGaamOAaaqaaiaabIcacaWGmbGaaeykaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiabg2da9iaahEhadaqhaaWcbaGaamyAaiaadQgaaeaacaqGOaGaamitaiaabMcaaaGcdaahaaWcbeqaaiaadsfaaaGccaWH4bWaa0baaSqaaiaadQgaaeaacaqGOaGaamitaiaabMcaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacqGH9aqpdaaeWbqaaiaadEhadaqhaaWcbaGaamyAaiaadQgacaGGSaGaamOCaaqaaiaabIcacaWGmbGaaeykaaaaaeaacaWGYbGaeyypa0JaaGimaaqaaiaad2eadaahaaadbeqaaiaabIcacaWGmbGaaeykaaaaa0GaeyyeIuoakiaadIhadaqhaaWcbaGaamOAaaqaaiaabIcacaWGmbGaaeykaaaakiaabIcacaWGRbGaeyOeI0IaamOCaiaabMcaaaa@6413@ , (8.21)

kapcsolat adja meg. A rejtett rétegeknél δi(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdq2aa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaaa@3D91@ meghatározásában a statikus hálónál származtatott hibavisszaterjesztéses algoritmushoz hasonlóan szerepet játszik az összes olyan neuron, mely összeköttetésben van az l-edik réteg i-edik neuronjának kimenetével, vagyis az (l+1)-edik réteg összes neuronja. A FIR szűrőben lévő késleltető lánc miatt azonban itt az időt is figyelembe kell venni. Ugyanis si(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaa@3CE4@ a következő rétegbeli neuronok kimeneteinek nemcsak a k-adik időpillanatbeli értékét, hanem több, a k-adikat követő időpillanatbeli értékét is befolyásolja.

Mivel δi(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdq2aa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaaa@3D91@ a teljes négyzetes hiba si(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaa@3CE4@ szerinti deriváltja, ezt az időfüggést nem hagyhatjuk figyelmen kívül. δi(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdq2aa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaaa@3D91@ meghatározása most is a láncszabály alkalmazásával lehetséges:

δi(l)(k)=12ε2si(l)(k)=12mtε2sm(l+1)(t)sm(l+1)(t)si(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdq2aa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacqGH9aqpcqGHsisldaWcaaqaaiaaigdaaeaacaaIYaaaamaalaaabaGaeyOaIyRaeqyTdu2aaWbaaSqabeaacaaIYaaaaaGcbaGaeyOaIyRaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaiabg2da9iabgkHiTmaalaaabaGaaGymaaqaaiaaikdaaaWaaabuaeaadaaeqbqaamaalaaabaGaeyOaIyRaeqyTdu2aaWbaaSqabeaacaaIYaaaaaGcbaGaeyOaIyRaam4CamaaDaaaleaacaWGTbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaamiDaaGaayjkaiaawMcaaaaaaSqaaiaadshaaeqaniabggHiLdaaleaacaWGTbaabeqdcqGHris5aOWaaSaaaeaacqGHciITcaWGZbWaa0baaSqaaiaad2gaaeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWG0baacaGLOaGaayzkaaaabaGaeyOaIyRaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaaaa@781C@ (8.22)

Itt t szintén diszkrét időindex, és azokat az időpillanatokat jelöli, amelyekben az (l+1)-edik réteg kimenetei függnek az l-edik réteg i-edik neuronjának lineáris kimenetétől, si(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaa@3CE4@ -tól. Mivel teljesen összekötött hálót tételezünk föl, egy adott réteg minden kimenete kapcsolódik a következő réteg összes neuronjához. Ebből adódóan m végigfut az 1, …, N(l+1) értékeken.

A (8.22) kifejezés első tényezőjét nézve azonnal látható, hogy ε2sm(l+1)(t)=2δm(l+1)(t)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcqaH1oqzdaahaaWcbeqaaiaaikdaaaaakeaacqGHciITcaWGZbWaa0baaSqaaiaad2gaaeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWG0baacaGLOaGaayzkaaaaaiabg2da9iabgkHiTiaaikdacqaH0oazdaqhaaWcbaGaamyBaaqaamaabmaabaGaamiBaiabgUcaRiaaigdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadshaaiaawIcacaGLPaaaaaa@501A@ . A második tényezőt tovább írva:

sm(l+1)(t)si(l)(k)=sm(l+1)(t)yi(l)(k)yi(l)(k)si(l)(k)=sm(l+1)(t)yi(l)(k)f'(si(l)(k))MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWGZbWaa0baaSqaaiaad2gaaeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWG0baacaGLOaGaayzkaaaabaGaeyOaIyRaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaiabg2da9maalaaabaGaeyOaIyRaam4CamaaDaaaleaacaWGTbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaamiDaaGaayjkaiaawMcaaaqaaiabgkGi2kaadMhadaqhaaWcbaGaamyAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaaadaWcaaqaaiabgkGi2kaadMhadaqhaaWcbaGaamyAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaqaaiabgkGi2kaadohadaqhaaWcbaGaamyAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaaacqGH9aqpcaaMi8UaaGjcVpaalaaabaGaeyOaIyRaam4CamaaDaaaleaacaWGTbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaamiDaaGaayjkaiaawMcaaaqaaiabgkGi2kaadMhadaqhaaWcbaGaamyAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaaacaWGMbGaai4jamaabmaabaGaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaacaGLOaGaayzkaaaaaa@8E31@ . (8.23)

Az egyenlet tovább alakításához figyelembe kell vennünk sm(l+1)(t)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4CamaaDaaaleaacaWGTbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaamiDaaGaayjkaiaawMcaaaaa@3E8E@ keletkezését. Ez az (l+1)-edik réteg m-edik neuronjának lineáris kimenete, amit nyilvánvalóan a neuron bemenetére csatlakozó szűrők kimeneteinek összegeként kapunk:

sm(l+1)(t)=j=1Nlzmj(l+1)(t)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4CamaaDaaaleaacaWGTbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaamiDaaGaayjkaiaawMcaaiabg2da9maaqahabaGaamOEamaaDaaaleaacaWGTbGaamOAaaqaamaabmaabaGaamiBaiabgUcaRiaaigdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadshaaiaawIcacaGLPaaaaSqaaiaadQgacqGH9aqpcaaIXaaabaGaamOtamaaBaaameaacaWGSbaabeaaa0GaeyyeIuoaaaa@5027@ (8.24)

ahol zmj(l+1)(t)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOEamaaDaaaleaacaWGTbGaamOAaaqaamaabmaabaGaamiBaiabgUcaRiaaigdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadshaaiaawIcacaGLPaaaaaa@3F84@ az (l+1)-edik réteg m-edik neuronja j-edik bemeneti szűrőágának kimenete:

zmj(l+1)(t)=wmj(l+1)Txj(l+1)(t) MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOEamaaDaaaleaacaWGTbGaamOAaaqaamaabmaabaGaamiBaiabgUcaRiaaigdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadshaaiaawIcacaGLPaaacqGH9aqpcaWH3bWaa0baaSqaaiaad2gacaWGQbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaaCaaaleqabaGaamivaaaakiaahIhadaqhaaWcbaGaamOAaaqaamaabmaabaGaamiBaiabgUcaRiaaigdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadshaaiaawIcacaGLPaaacaqGGaaaaa@522C@ . (8.25)

Itt xj(l+1)(t)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiEamaaDaaaleaacaWGQbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaamiDaaGaayjkaiaawMcaaaaa@3E94@ a j-edik szürőág bemenetére kerülő késleltetett értékekből álló vektor:

xj(l+1)(t)=[xj(l+1)(t),xj(l+1)(t1),...,xj(l+1)(tM(l+1))]TMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiEamaaDaaaleaacaWGQbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaamiDaaGaayjkaiaawMcaaiabg2da9maadmaabaGaamiEamaaDaaaleaacaWGQbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaamiDaaGaayjkaiaawMcaaiaacYcacaWG4bWaa0baaSqaaiaadQgaaeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWG0bGaeyOeI0IaaGymaaGaayjkaiaawMcaaiaacYcacaGGUaGaaiOlaiaac6cacaGGSaGaamiEamaaDaaaleaacaWGQbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaamiDaiabgkHiTiaad2eadaqhaaWcbaaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaaaOGaayjkaiaawMcaaaGaay5waiaaw2faamaaCaaaleqabaGaaGPaVlaadsfaaaGccaaMc8oaaa@6BC1@ . (8.26)

Egy neuron bemenetén annyi szűrőág van, ahány neuron van az előző rétegben. A (8.23) összefüggésben az i-edik szűrőág szerepel, ugyanis yi(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaaaa@3A67@ a PEm(l+1)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaeiuaiaabweadaqhaaWcbaGaamyBaaqaamaabmaabaGaamiBaiabgUcaRiaabgdaaiaawIcacaGLPaaaaaaaaa@3C9E@ neuron (az (l+1)-edik réteg m-edik neuronja) bemeneti szűrői közül csak az i-edikre jut. Ennek kimenete:

zmi(l+1)(t)=p=0M(l+1)wmi,p(l+1)yi(l)(tp)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOEamaaDaaaleaacaWGTbGaamyAaaqaamaabmaabaGaamiBaiabgUcaRiaaigdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadshaaiaawIcacaGLPaaacqGH9aqpdaaeWbqaaiaadEhadaqhaaWcbaGaamyBaiaadMgacaGGSaGaamiCaaqaamaabmaabaGaamiBaiabgUcaRiaaigdaaiaawIcacaGLPaaaaaGccaWG5bWaa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadshacqGHsislcaWGWbaacaGLOaGaayzkaaaaleaacaWGWbGaeyypa0JaaGimaaqaaiaad2eadaahaaadbeqaamaabmaabaGaamiBaiabgUcaRiaaigdaaiaawIcacaGLPaaaaaaaniabggHiLdaaaa@5C67@ , (8.27)

melynek felhasználásával:

sm(l+1)(t)yi(l)(k)=zmi(l+1)(t)yi(l)(k)=wmi,p(l+1)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWGZbWaa0baaSqaaiaad2gaaeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWG0baacaGLOaGaayzkaaaabaGaeyOaIyRaamyEamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaiabg2da9maalaaabaGaeyOaIyRaamOEamaaDaaaleaacaWGTbGaamyAaaqaamaabmaabaGaamiBaiabgUcaRiaaigdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadshaaiaawIcacaGLPaaaaeaacqGHciITcaWG5bWaa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaaGaeyypa0Jaam4DamaaDaaaleaacaWGTbGaamyAaiaacYcacaWGWbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaaaaa@66F2@ , (8.28)

ha k=t-p. Figyelembe véve, hogy az (l+1)-edik réteg minden neuronjának szűrőiben MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcaa@35D3@M(l+1)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamytamaaDaaaleaaaeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaaaa@3AEA@ egységnyi késleltetés van, vagyis a szűrőegyütthatók száma M(l+1)+1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamytamaaDaaaleaaaeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaOGaey4kaSIaaGymaaaa@3C91@ , (8.28)-ra a következőt kapjuk:

sm(l+1)(t)yi(l)(k)={wmi,tk(l+1)ha   0tkM(l+1)0                  egyébkéntMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWGZbWaa0baaSqaaiaad2gaaeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWG0baacaGLOaGaayzkaaaabaGaeyOaIyRaamyEamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaiabg2da9maaceaabaqbaeqabiqaaaqaaiaadEhadaqhaaWcbaGaamyBaiaadMgacaGGSaGaamiDaiabgkHiTiaadUgaaeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaOGaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaabIgacaqGHbGaaeiiaiaabccacaqGGaGaaGjcVlaayIW7caaIWaGaeyizImQaamiDaiabgkHiTiaadUgacqGHKjYOcaWGnbWaa0baaSqaaaqaamaabmaabaGaamiBaiabgUcaRiaaigdaaiaawIcacaGLPaaaaaaakeaacaaIWaGaaGjcVlaabccacaqGGaGaaeiiaiaabccacaqGGaGaaeiiaiaabccacaqGGaGaaeiiaiaabccacaqGGaGaaeiiaiaabccacaqGGaGaaeiiaiaabccacaqGGaGaaeiiaiaabwgacaqGNbGaaeyEaiaabMoacaqGIbGaae4AaiaabMoacaqGUbGaaeiDaiaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7aaaacaGL7baaaaa@D278@ . (8.29)

Ennek figyelembevételével a rejtett rétegre vonatkozó δi(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdq2aa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaaa@3D91@ -ra

δi(l)(k)=f'(si(l)(k))mt=kM(l+1)+kδm(l+1)(t)wmi,tk(l+1)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdq2aa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacqGH9aqpcaWGMbGaai4jamaabmaabaGaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaacaGLOaGaayzkaaGaaGjcVlaayIW7caaMi8+aaabuaeaadaaeWbqaaiabes7aKnaaDaaaleaacaWGTbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaamiDaaGaayjkaiaawMcaaaWcbaGaamiDaiabg2da9iaadUgaaeaacaWGnbWaaWbaaWqabeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaSGaey4kaSIaam4AaaqdcqGHris5aaWcbaGaamyBaaqab0GaeyyeIuoakiaadEhadaqhaaWcbaGaamyBaiaadMgacaGGSaGaamiDaiabgkHiTiaadUgaaeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaaaa@70CA@ (8.30)

adódik. Alkalmazva a p=tk jelölést

δi(l)(k)=f'(si(l)(k))mp=0M(l+1)+kwmi,n(l+1)δm(l+1)(k+p)=f'(si(l)(k))mwmi(l+1)Tδm(l+1)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGceaqabeaacqaH0oazdaqhaaWcbaGaamyAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiabg2da9iaadAgacaGGNaWaaeWaaeaacaWGZbWaa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaiaawIcacaGLPaaacaaMi8UaaGjcVlaayIW7daaeqbqaamaaqahabaGaam4DamaaDaaaleaacaWGTbGaamyAaiaacYcacaWGUbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakiaayIW7caaMi8UaeqiTdq2aa0baaSqaaiaad2gaaeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbGaey4kaSIaamiCaaGaayjkaiaawMcaaaWcbaGaamiCaiabg2da9iaaicdaaeaacaWGnbWaaWbaaWqabeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaSGaey4kaSIaam4AaaqdcqGHris5aaWcbaGaamyBaaqab0GaeyyeIuoaaOqaaiaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlabg2da9iaadAgacaGGNaWaaeWaaeaacaWGZbWaa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaiaawIcacaGLPaaacaaMi8UaaGjcVlaayIW7daaeqbqaaiaahEhadaqhaaWcbaGaamyBaiaadMgaaeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaOWaaWbaaSqabeaacaWGubaaaOGaaCiTdmaaDaaaleaacaWGTbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaWcbaGaamyBaaqab0GaeyyeIuoaaaaa@CB93@ (8.31)

ahol

δm(l+1)(k)=[δm(l+1)(k),δm(l+1)(k+1),...,δm(l+1)(k+M(l+1))]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiTdiaayIW7daqhaaWcbaGaamyBaaqaamaabmaabaGaamiBaiabgUcaRiaaigdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacqGH9aqpdaWadaqaaiabes7aKjaayIW7daqhaaWcbaGaamyBaaqaamaabmaabaGaamiBaiabgUcaRiaaigdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacaGGSaGaeqiTdqMaaGjcVpaaDaaaleaacaWGTbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaiabgUcaRiaaigdaaiaawIcacaGLPaaacaGGSaGaaGjcVlaayIW7caaMi8UaaiOlaiaayIW7caaMi8UaaGjcVlaac6cacaaMi8UaaGjcVlaayIW7caGGUaGaaGjcVlaayIW7caaMi8Uaaiilaiabes7aKjaayIW7daqhaaWcbaGaamyBaaqaamaabmaabaGaamiBaiabgUcaRiaaigdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgacqGHRaWkcaWGnbWaa0baaSqaaaqaamaabmaabaGaamiBaiabgUcaRiaaigdaaiaawIcacaGLPaaaaaaakiaawIcacaGLPaaaaiaawUfacaGLDbaaaaa@82B4@ . (8.32)

Összefoglalva:

δi(l)(k)={εi(l)(k)f(si(l)(k)),ha l=L,vagyis a kimeneti rétegnél f(si(l)(k))mwmi(l+1)Tδm(l+1)(k) a rejtett rétegeknél                 MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdq2aa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacqGH9aqpdaGabaqaauaabeqaceaaaqaabeqaaiaayIW7caaMi8UaaGjcVlabew7aLnaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGabmOzayaafaWaaeWaaeaacaWGZbWaa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaiaawIcacaGLPaaacaGGSaGaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caqGObGaaeyyaiaayIW7caaMi8UaaGjcVlaabccacaWGSbGaeyypa0JaamitaiaacYcacaaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaabAhacaqGHbGaae4zaiaabMhacaqGPbGaae4CaiaabccacaqGHbGaaeiiaiaabUgacaqGPbGaaeyBaiaabwgacaqGUbGaaeyzaiaabshacaqGPbGaaeiiaiaabkhacaqGPdGaaeiDaiaabwgacaqGNbGaaeOBaiaabMoacaqGSbGaaeiiaaqaaaaabaGabmOzayaafaWaaeWaaeaacaWGZbWaa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaiaawIcacaGLPaaadaaeqbqaaiaahEhadaqhaaWcbaGaamyBaiaadMgaaeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaOWaaWbaaSqabeaacaWGubaaaOGaaCiTdmaaDaaaleaacaWGTbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaeiiaiaabggacaqGGaGaaeOCaiaabwgacaqGQbGaaeiDaiaabwgacaqG0bGaaeiDaiaabccacaqGYbGaaey6aiaabshacaqGLbGaae4zaiaabwgacaqGRbGaaeOBaiaabMoacaqGSbGaaeiiaiaabccacaqGGaGaaeiiaiaabccacaqGGaGaaeiiaiaabccacaqGGaGaaeiiaiaabccacaqGGaGaaeiiaiaabccacaqGGaGaaeiiaiaabccaaSqaaiaad2gaaeqaniabggHiLdaaaaGccaGL7baaaaa@0659@ (8.33)

A (8.31) és a (8.32) összefüggésekből viszont látható, hogy δi(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdqMaaGjcVpaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaa@3F22@ meghatározásához a rejtett rétegnél olyan szűrő szükséges, amelynek együtthatói a megfelelő előrevezető ág szűrőegyütthatói, a szűrt értékek pedig jövőbeli δm(l+1)(k+n)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdqMaaGjcVpaaDaaaleaacaWGTbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaiabgUcaRiaad6gaaiaawIcacaGLPaaaaaa@4298@ értékek ( n=1,2,,M(l+1)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOBaiabg2da9iaaigdacaGGSaGaaGOmaiaacYcacqWIMaYscaGGSaGaamytamaaDaaaleaaaeaacaqGOaGaamiBaiabgUcaRiaaigdacaqGPaaaaaaa@415A@ ). A súlymódosítást meghatározó összefüggés tehát nem kauzális.

A számítás kauzálissá tehető, ha a hálózat megfelelő pontjain alkalmas késleltető fokozatokat iktatunk be. A késleltetések közbeiktatása azt eredményezi, hogy a súlyvektorok módosításához csak az aktuális és a korábbi hibák ismerete szükséges.

A kimeneti réteg súlyvektorainak módosítása a fenti összefüggések szerint történhet, hiszen ott eddig sem merült föl nem kauzális számítási igény. A rejtett rétegek számítása pedig az alábbiak szerint lehetséges: δi(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdqMaaGjcVpaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaaaa@3C9F@ (k) helyett a δi(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdqMaaGPaVpaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaaaa@3C99@ (k−M(l+1)) visszaterjesztett "hibát" határozzuk meg, tehát a k indexet (k−M(l+1))-re cseréljük és ezzel a visszaterjesztett hibával határozzuk meg a rejtett réteg súlyvektorainak módosítását. Azonban a (8.17) összefüggés szerinti súlymódosításhoz xj(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiEaiaayIW7daqhaaWcbaGaamOAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaaaaa@3BFC@ (k) helyett is xj(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiEaiaayIW7daqhaaWcbaGaamOAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaaaaa@3BFC@ (k−M(l+1)) szükséges, vagyis a megfelelő bemeneti vektorokat tárolni kell.

Összefoglalva: a kauzális számítás a következő összefüggések alapján végezhető:

– a kimeneti réteg i-edik neuronjához vezető súlyvektoroknál:

wij(L)(k+1)=wij(L)(k)+2μδi(L)(k)xj(L)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4DamaaDaaaleaacaWGPbGaamOAaaqaaiaabIcacaWGmbGaaeykaaaakmaabmaabaGaam4AaiabgUcaRiaaigdaaiaawIcacaGLPaaacqGH9aqpcaWH3bWaa0baaSqaaiaadMgacaWGQbaabaGaaeikaiaadYeacaqGPaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaey4kaSIaaGOmaiabeY7aTjaayIW7cqaH0oazdaqhaaWcbaWaaSbaaWqaaiaadMgaaeqaaaWcbaGaaeikaiaadYeacaqGPaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaaGjcVlaahIhadaqhaaWcbaGaamOAaaqaaiaabIcacaWGmbGaaeykaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaaa@5CC2@ , (8.34)

ahol

δi(L)(k)=εi(k)f(si(L)(k))MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdqMaaGjcVpaaDaaaleaacaWGPbaabaGaaeikaiaadYeacaqGPaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaeyypa0JaeqyTduMaaGjcVpaaDaaaleaacaWGPbaabaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGabmOzayaafaWaaeWaaeaacaWGZbWaa0baaSqaamaaBaaameaacaWGPbaabeaaaSqaaiaabIcacaWGmbGaaeykaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaGaayjkaiaawMcaaaaa@5022@ , (8.35)

– az l-edik (rejtett) réteg i-edik neuronjánál:

wij(l)(k+1)=wij(l)(k)+2μδi(l)(kM(l+1))xj(l)(kM(l+1))MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4DamaaDaaaleaacaWGPbGaamOAaaqaaiaabIcacaWGSbGaaeykaaaakmaabmaabaGaam4AaiabgUcaRiaaigdaaiaawIcacaGLPaaacqGH9aqpcaWH3bWaa0baaSqaaiaadMgacaWGQbaabaGaaeikaiaadYgacaqGPaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaey4kaSIaaGOmaiabeY7aTjabes7aKnaaDaaaleaacaWGPbaabaGaaeikaiaadYgacaqGPaaaaOWaaeWaaeaacaWGRbGaeyOeI0IaamytamaaCaaaleqabaGaaeikaiaadYgacqGHRaWkcaaIXaGaaeykaaaaaOGaayjkaiaawMcaaiaayIW7caaMi8UaaCiEamaaDaaaleaacaWGQbaabaGaaeikaiaadYgacaqGPaaaaOWaaeWaaeaacaWGRbGaeyOeI0IaamytamaaCaaaleqabaGaaeikaiaadYgacqGHRaWkcaaIXaGaaeykaaaaaOGaayjkaiaawMcaaaaa@68C0@ , (8.36)

ahol

δi(l)(kM(l+1))=f(si(kM(l+1)))mδmT(kM(l+1))wmi(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdq2aa0baaSqaaiaadMgaaeaacaqGOaGaamiBaiaabMcaaaGcdaqadaqaaiaadUgacqGHsislcaWGnbWaaWbaaSqabeaacaqGOaGaamiBaiabgUcaRiaaigdacaqGPaaaaaGccaGLOaGaayzkaaGaeyypa0JabmOzayaafaWaaeWaaeaacaWGZbWaaSbaaSqaaiaadMgaaeqaaOWaaeWaaeaacaWGRbGaeyOeI0IaamytamaaCaaaleqabaGaaeikaiaadYgacqGHRaWkcaaIXaGaaeykaaaaaOGaayjkaiaawMcaaaGaayjkaiaawMcaaiaayIW7caaMi8+aaabuaeaacaWH0oWaa0baaSqaaiaad2gaaeaacaWGubaaaOWaaeWaaeaacaWGRbGaeyOeI0IaamytamaaCaaaleqabaGaaeikaiaadYgacqGHRaWkcaaIXaGaaeykaaaaaOGaayjkaiaawMcaaiaaykW7aSqaaiaad2gaaeqaniabggHiLdGccaWH3bWaa0baaSqaaiaad2gacaWGPbaabaGaaeikaiaadYgacaqGPaaaaaaa@69E7@ , (8.37)

és

δmT(kM(l+1))=[δm(l+1)(kM(l+1)),δm(l+1)(kM(l+1)+1),...,δm(l+1)(k)]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiTdiaayIW7daqhaaWcbaGaamyBaaqaaiaadsfaaaGcdaqadaqaaiaadUgacqGHsislcaWGnbWaaWbaaSqabeaacaqGOaGaamiBaiabgUcaRiaaigdacaqGPaaaaaGccaGLOaGaayzkaaGaeyypa0ZaamWaaeaacqaH0oazcaaMi8+aa0baaSqaaiaad2gaaeaacaqGOaGaamiBaiabgUcaRiaaigdacaqGPaaaaOWaaeWaaeaacaWGRbGaeyOeI0IaamytamaaCaaaleqabaGaaeikaiaadYgacqGHRaWkcaaIXaGaaeykaaaaaOGaayjkaiaawMcaaiaacYcacqaH0oazcaaMi8+aa0baaSqaaiaad2gaaeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbGaeyOeI0IaamytamaaCaaaleqabaGaaeikaiaadYgacqGHRaWkcaaIXaGaaeykaaaakiabgUcaRiaaigdaaiaawIcacaGLPaaacaGGSaGaaGjcVlaayIW7caaMi8UaaiOlaiaayIW7caaMi8UaaGjcVlaac6cacaaMi8UaaGjcVlaayIW7caGGUaGaaGjcVlaayIW7caaMi8Uaaiilaiabes7aKjaayIW7daqhaaWcbaGaamyBaaqaamaabmaabaGaamiBaiabgUcaRiaaigdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaiaawUfacaGLDbaaaaa@8AD3@ , (8.38)

Ha a hálóban több rejtett réteg található, akkor a fenti összefüggések a kimenethez legközelebbi rejtett rétegre vonatkoznak, a kimenettől egyre távolabbi rejtett rétegeknél az indexeltolás egyre nagyobb mértékű, a FIR szűrő késleltető-láncok hosszának összege kell legyen.

A fenti összefüggések azt mutatják, hogy a FIR-MLP hálózat temporális hibavisszaterjesztő tanításánál a hibavisszaterjesztő hálózat felépítése az előreterjesztő hálózatstruktúrához hasonló: a visszaterjesztett általánosított hiba a megfelelő előreterjesztő ágakban lévő szűrőkön keresztül jut az egyre előbbi rétegekhez. A visszaterjesztő hálózatnál tehát itt is megtaláljuk a klasszikus statikus MLP hálózatnál származtatott BP eljárás reciprok voltát, a hálózat eredeti struktúrája is megmaradt szemben az időbeli kiterítés módszerének alkalmazásával.

A FIR-MLP háló képességei igen kedvezőnek bizonyultak idősor modellezési feladatoknál, továbbá nemlineáris dinamikus rendszerek modellezésénél, identifikációjánál [Wan94].

Megjegyezzük, hogy a FIR-MLP struktúrához némileg hasonló az ún. késleltetéses neuronháló (Time Delay Neural Network, TDNN), melyet elsődlegesen beszédjelek osztályozására dolgoztak ki [Lan88], [Wai89]. A TDNN nem szűrőket alkalmaz az MLP súlyai helyén, hanem az egyes neuronokat többszörözi meg úgy, hogy az egyes ismétlések eltérő időpillanatbeli értékekkel dolgoznak. A rétegek között nem teljes az összeköttetési rendszer. Egy későbbi (pl. rejtett) réteg adott időpillanathoz tartozó minden neuronja az előbbi (pl. bemeneti) réteg neuronjainak (a bemeneteknek) egy keskeny idősávhoz tartozó neuron-másolataival (értékeivel) van összeköttetésben mégpedig úgy, hogy az eltérő időpillanatokhoz eltérő idősávok tartoznak, miközben az eltérő időpillanatokhoz tartozó neuron-másolatok azonos súlyokkal rendelkeznek.

8.3.2. Egyéb NFIR hálóstruktúrák

A FIR-MLP háló alkalmazásánál nehézséget jelent, hogy e hálózatok tanítása az amúgy is lassan tanuló BP hálózatok tanításához képest is lassú. Ezért itt különös jelentősége van olyan hálók alkalmazásának, ahol a tanítható rétegek száma kicsi, lehetőleg egy. Ilyen lehetőséget jelentenek, ha a bázisfüggvényes hálókat, pl. az RBF-et vagy a CMAC-t terjesztjük ki. Így kaphatjuk a FIR-RBF, ill. a FIR-CMAC hálót [Dun93a], [Dun93b], melyek felépítése a ábrán látható. Mind az RBF, mind a CMAC hálózat fő jellemzője, hogy csak egy tanítható réteget tartalmaznak, és ez a tanítható réteg egyben a kimeneti réteg is. Ha tehát e réteg súlyait helyettesítjük FIR szűrőkkel, akkor ennek tanítása során egyrészt nem merülnek fel kauzalitási problémák, másrészt nincs szükség több rétegen keresztül hibavisszaterjesztésre, ami a tanítás gyorsaságát biztosítja. E hálók kimeneti rétegének FIR együtthatóit (súlyvektorait) egyébként a FIR-MLP háló kimeneti rétegének tanításával megegyező módon taníthatjuk ((8.19) összefüggés) azzal a megjegyzéssel, hogy mivel e hálók kimeneti rétege lineáris, még a szigmoid deriváltra sincs szükség. Tehát az (8.17) általános súlymódosító összefüggésben δi(k)=εi(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaGjcVlaayIW7cqaH0oazdaqhaaWcbaGaamyAaaqaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiabg2da9iabew7aLnaaDaaaleaacaWGPbaabaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaa@4484@ .

Dinamikus működésre képes kiterjesztést nemcsak a klasszikus neuronhálóknál alkalmazhatunk, hanem a kernel gépeknél is. Mind az SVM, mind az LS-SVM és a ridge regresszió is felhasználhatók dinamikus feladatok megoldására. A kiterjesztés természetes módja, ha a 8.5 ábrának megfelelő architektúrában a statikus háló egy megfelelő kernel gép [Muk97], [Mül97], [Ral04]. Ebben az esetben a dinamikus célra történő alkalmazás annyit jelent, hogy az aktuálisan használt regresszornak megfelelően kell a kernel gép bemeneti vektorait előállítani. Megjegyezzük, hogy míg egy klasszikus hálónál (MLP, CMAC, stb.) a bemeneti dimenzió késleltetések miatti növelése jelentősen nehezítheti a dinamikus háló konstrukcióját, addig a kernel gépeknél a kernel trükknek köszönhetően ez a hátrányos hatás nem jelentkezik, hiszen a kernel mátrix méretét nem a bemenetek dimenziója, hanem a mintapontok száma határozza meg.

8.5. ábra - A FIR-CMAC háló
A FIR-CMAC háló