4.2. Az MLP tanítása, a hibavisszaterjesztéses algoritmus

A hibavisszaterjesztéses algoritmust a 4.1 ábrán látható MLP architektúra segítségével fogjuk származtatni. Az algoritmus egy pillanatnyi gradiensen alapuló iteratív tanuló eljárás, melynek származtatásánál az elemi neuron tanításánál alkalmazott utat fogjuk követni. Minthogy iteratív eljárásról van szó, az egyes súlyok, illetve súlyvektorok lépésenkénti módosító összefüggéseit írjuk fel. A már bevezetett jelöléseken túl k szolgál a diszkrét lépésindex jelölésére. Így wi(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4DamaaDaaaleaacaWGPbaabaGaaiikaiaadYgacaGGPaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaa@3CBC@ az l-edik réteg, i-edik processzáló elemének a k-adik időpillanatban érvényes súlyvektorát, wij(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4DamaaDaaaleaacaWGPbGaamOAaaqaaiaacIcacaWGSbGaaiykaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaaa@3DA7@ pedig értelemszerűen ugyanezen súlyvektornak a j-edik komponensét jelöli.

A hálózat tanítását két (aktív) rétegű hálózaton mutatjuk be, de az eredmények természetes módon kiterjeszthetők tetszőleges rétegszámra is.

Először írjuk fel a háló kimeneti négyzetes hibáját a k-adik lépésben.

ε2(k)=ε12(k)+ε22(k)=(y1(k)d1(k))2+(y2(k)d2(k))2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqyTdu2aaWbaaSqabeaacaaIYaaaaOGaaeikaiaadUgacaqGPaGaeyypa0JaeqyTdu2aa0baaSqaaiaaigdaaeaacaaIYaaaaOGaaeikaiaadUgacaqGPaGaey4kaSIaeqyTdu2aa0baaSqaaiaaikdaaeaacaaIYaaaaOGaaeikaiaadUgacaqGPaGaeyypa0ZaaeWaaeaacaWG5bWaaSbaaSqaaiaaigdaaeqaaOGaaeikaiaadUgacaqGPaGaeyOeI0IaamizamaaBaaaleaacaaIXaaabeaakiaabIcacaWGRbGaaeykaaGaayjkaiaawMcaamaaCaaaleqabaGaaGOmaaaakiabgUcaRmaabmaabaGaamyEamaaBaaaleaacaaIYaaabeaakiaabIcacaWGRbGaaeykaiabgkHiTiaadsgadaWgaaWcbaGaaGOmaaqabaGccaqGOaGaam4AaiaabMcaaiaawIcacaGLPaaadaahaaWcbeqaaiaaikdaaaaaaa@6136@ . (4.2)

A súlymódosításhoz a megfelelő súlyok szerinti pillanatnyi deriváltakat

ij(l)(k)=ε2(k)wij(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaey4bIe9aa0baaSqaaiaadMgacaWGQbaabaGaaeikaiaadYgacaqGPaaaaOGaaeikaiaadUgacaqGPaGaeyypa0ZaaSaaaeaacqGHciITcqaH1oqzdaahaaWcbeqaaiaayIW7caaIYaaaaOGaaeikaiaadUgacaqGPaaabaGaeyOaIyRaam4DamaaDaaaleaacaWGPbGaamOAaaqaaiaayIW7caqGOaGaamiBaiaabMcaaaGccaqGOaGaam4AaiaabMcaaaaaaa@5181@ (4.3)

illetve a súlyvektorok szerinti pillanatnyi gradienseket

i(l)(k)=ε2(k)wi(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaacceGae83bIe9aa0baaSqaaiaadMgaaeaacaqGOaGaamiBaiaabMcaaaGccaqGOaGaam4AaiaabMcacqGH9aqpdaWcaaqaaiabgkGi2kabew7aLnaaCaaaleqabaGaaGjcVlaaikdaaaGccaqGOaGaam4AaiaabMcaaeaacqGHciITcaWH3bWaa0baaSqaaiaadMgaaeaacaaMi8UaaeikaiaadYgacaqGPaaaaOGaaeikaiaadUgacaqGPaaaaaaa@4FAB@ (4.4)

kell kiszámítani. A továbbiakban a (k) lépésindexet csak ott fogjuk jelölni, ahol ez az érthetőség miatt szükséges.

A kimeneti rétegnél (l=L=2) a pillanatnyi derivált (gradiens) megegyezik a szigmoid nemlinearitással rendelkező elemi neuronnál meghatározott deriválttal (gradienssel), hiszen a kimeneti réteg processzáló elemeinek működése semmiben sem tér el az egyetlen, szigmoid kimeneti nemlinearitással rendelkező PE működésétől.

ε2wij(2)=2εisgm´(si(2))xj(2)=2δi(2)xj(2)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcqaH1oqzdaahaaWcbeqaaiaaikdaaaaakeaacqGHciITcaaMc8Uaam4DamaaDaaaleaacaaMi8UaamyAaiaadQgaaeaacaaMi8UaaeikaiaaikdacaqGPaaaaaaakiabg2da9iabgkHiTiaaikdacqaH1oqzdaWgaaWcbaGaamyAaaqabaGccaqGZbGaae4zaiaab2gacaqG0cWaaeWaaeaacaWGZbWaa0baaSqaaiaadMgaaeaacaqGOaGaaGOmaiaabMcaaaaakiaawIcacaGLPaaacaaMi8UaaGjcVlaayIW7caWG4bWaa0baaSqaaiaadQgaaeaadaqadaqaaiaaikdaaiaawIcacaGLPaaaaaGccqGH9aqpcqGHsislcaaIYaGaeqiTdq2aa0baaSqaaiaadMgaaeaadaqadaqaaiaaikdaaiaawIcacaGLPaaaaaGccaWG4bWaa0baaSqaaiaadQgaaeaadaqadaqaaiaaikdaaiaawIcacaGLPaaaaaaaaa@698B@ , (4.5)

illetve vektoros formában írva:

ε2wi(2)=2εisgm´(si(2))x(2)=2δi(2)x(2)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcqaH1oqzdaahaaWcbeqaaiaayIW7caaIYaaaaaGcbaGaeyOaIyRaaC4DamaaDaaaleaacaWGPbaabaGaaeikaiaaikdacaqGPaaaaaaakiabg2da9iabgkHiTiaaikdacqaH1oqzdaWgaaWcbaGaamyAaaqabaGccaqGZbGaae4zaiaab2gacaqG0cWaaeWaaeaacaWGZbWaa0baaSqaaiaadMgaaeaadaqadaqaaiaaikdaaiaawIcacaGLPaaaaaaakiaawIcacaGLPaaacaaMi8UaaGjcVlaayIW7caWH4bWaaWbaaSqabeaadaqadaqaaiaaikdaaiaawIcacaGLPaaaaaGccqGH9aqpcqGHsislcaaIYaGaeqiTdq2aa0baaSqaaiaadMgaaeaacaaMi8UaaeikaiaaikdacaqGPaaaaOGaaCiEamaaCaaaleqabaGaaeikaiaaikdacaqGPaaaaaaa@650D@ (4.6)

A súlymódosítás tehát

wi(2)(k+1)=wi(2)(k)+2μεi(k)sgm´(si(2)(k))x(2)(k)=wi(2)(k)+2μδi(2)(k)x(2)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4DamaaDaaaleaacaWGPbaabaWaaeWaaeaacaaIYaaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbGaey4kaSIaaGymaaGaayjkaiaawMcaaiabg2da9iaahEhadaqhaaWcbaGaamyAaaqaamaabmaabaGaaGOmaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiabgUcaRiaaikdacqaH8oqBcqaH1oqzdaWgaaWcbaGaamyAaaqabaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacaaMi8UaaGjcVlaabohacaqGNbGaaeyBaiaabsladaqadaqaaiaadohadaqhaaWcbaGaamyAaaqaamaabmaabaGaaGOmaaGaayjkaiaawMcaaaaakiaabIcacaWGRbGaaeykaaGaayjkaiaawMcaaiaayIW7caaMi8UaaCiEamaaDaaaleaaaeaadaqadaqaaiaaikdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacqGH9aqpcaWH3bWaa0baaSqaaiaadMgaaeaadaqadaqaaiaaikdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacqGHRaWkcaaIYaGaeqiVd0MaeqiTdq2aa0baaSqaaiaayIW7caWGPbaabaGaaGjcVlaayIW7daqadaqaaiaaikdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacaaMi8UaaGjcVlaahIhadaqhaaWcbaaabaWaaeWaaeaacaaIYaaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaa@87D8@ (4.7)

A rejtett réteg processzáló elemeinél a fenti összefüggések közvetlenül nem alkalmazhatók, mivel nem ismerjük az egyes processzáló elemek kimenetén fellépő hibát. A lánc-szabály alkalmazásával azonban a deriváltakat itt is meg tudjuk határozni, hiszen a rejtett réteg processzáló elemeinek súlytényezői befolyásolják ezen processzáló elemek lineáris (s) és nemlineáris (y) kimeneteit, továbbá ezen kimeneteken keresztül a későbbi rétegek kimeneteit is. Tehát a parciális deriváltak lépésenként számíthatók.

ε2wij(1)=ε2si(1)si(1)wij(1)=(ε12+ε22)si(1)si(1)wij(1)=ε12si(1)si(1)wij(1)+ε22si(1)si(1)wij(1)=2ε1ε1si(1)si(1)wij(1)+2ε2ε1si(1)si(1)wij(1)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGceaqabeaadaWcaaqaaiabgkGi2kabew7aLnaaCaaaleqabaGaaGjcVlaaikdaaaaakeaacqGHciITcaWG3bWaa0baaSqaaiaadMgacaWGQbaabaGaaeikaiaaigdacaqGPaaaaaaakiabg2da9maalaaabaGaeyOaIyRaeqyTdu2aaWbaaSqabeaacaaIYaaaaaGcbaGaeyOaIyRaam4CamaaDaaaleaacaWGPbaabaGaaeikaiaaigdacaqGPaaaaaaakmaalaaabaGaeyOaIyRaam4CamaaDaaaleaacaWGPbaabaGaaeikaiaaigdacaqGPaaaaaGcbaGaeyOaIyRaam4DamaaDaaaleaacaWGPbGaamOAaaqaaiaabIcacaaIXaGaaeykaaaaaaGccqGH9aqpdaWcaaqaaiabgkGi2oaabmaabaGaeqyTdu2aa0baaSqaaiaaigdaaeaacaaIYaaaaOGaey4kaSIaeqyTdu2aa0baaSqaaiaaikdaaeaacaaIYaaaaaGccaGLOaGaayzkaaaabaGaeyOaIyRaam4CamaaDaaaleaacaWGPbaabaGaaeikaiaaigdacaqGPaaaaaaakmaalaaabaGaeyOaIyRaam4CamaaDaaaleaacaWGPbaabaGaaeikaiaaigdacaqGPaaaaaGcbaGaeyOaIyRaam4DamaaDaaaleaacaWGPbGaamOAaaqaaiaabIcacaaIXaGaaeykaaaaaaGccqGH9aqpdaWcaaqaaiabgkGi2kabew7aLnaaDaaaleaacaaIXaaabaGaaGOmaaaaaOqaaiabgkGi2kaadohadaqhaaWcbaGaamyAaaqaaiaabIcacaaIXaGaaeykaaaaaaGcdaWcaaqaaiabgkGi2kaadohadaqhaaWcbaGaamyAaaqaaiaabIcacaaIXaGaaeykaaaaaOqaaiabgkGi2kaadEhadaqhaaWcbaGaamyAaiaadQgaaeaacaqGOaGaaGymaiaabMcaaaaaaOGaey4kaSYaaSaaaeaacqGHciITcqaH1oqzdaqhaaWcbaGaaGOmaaqaaiaaikdaaaaakeaacqGHciITcaWGZbWaa0baaSqaaiaadMgaaeaacaqGOaGaaGymaiaabMcaaaaaaOWaaSaaaeaacqGHciITcaWGZbWaa0baaSqaaiaadMgaaeaacaqGOaGaaGymaiaabMcaaaaakeaacqGHciITcaWG3bWaa0baaSqaaiaadMgacaWGQbaabaGaaeikaiaaigdacaqGPaaaaaaaaOqaaiaayIW7caaMi8UaaGjcVlabg2da9iaaikdacqaH1oqzdaWgaaWcbaGaaGjcVlaaigdaaeqaaOWaaSaaaeaacqGHciITcqaH1oqzdaqhaaWcbaGaaGymaaqaaaaaaOqaaiabgkGi2kaadohadaqhaaWcbaGaamyAaaqaaiaabIcacaaIXaGaaeykaaaaaaGcdaWcaaqaaiabgkGi2kaadohadaqhaaWcbaGaamyAaaqaaiaabIcacaaIXaGaaeykaaaaaOqaaiabgkGi2kaadEhadaqhaaWcbaGaamyAaiaadQgaaeaacaqGOaGaaGymaiaabMcaaaaaaOGaey4kaSIaaGOmaiabew7aLnaaBaaaleaacaaIYaaabeaakmaalaaabaGaeyOaIyRaeqyTdu2aa0baaSqaaiaaigdaaeaaaaaakeaacqGHciITcaWGZbWaa0baaSqaaiaadMgaaeaacaqGOaGaaGymaiaabMcaaaaaaOWaaSaaaeaacqGHciITcaWGZbWaa0baaSqaaiaadMgaaeaacaqGOaGaaGymaiaabMcaaaaakeaacqGHciITcaWG3bWaa0baaSqaaiaadMgacaWGQbaabaGaaeikaiaaigdacaqGPaaaaaaaaaaa@DFA0@ (4.8)

Ismét a lánc-szabályt alkalmazva a hibakomponensek parciális deriváltjai meghatározhatók.

ε1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqyTdu2aaSbaaSqaaiaaigdaaeqaaaaa@3862@ -re bemutatva:

ε1si(1)=ε1s1(2)s1(2)yi(1)yi(1)si(1)=sgm´(s1(2))w1i(2)sgm´(si(1))MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcqaH1oqzdaqhaaWcbaGaaGymaaqaaaaaaOqaaiabgkGi2kaadohadaqhaaWcbaGaamyAaaqaaiaabIcacaaIXaGaaeykaaaaaaGccqGH9aqpdaWcaaqaaiabgkGi2kabew7aLnaaDaaaleaacaaIXaaabaaaaaGcbaGaeyOaIyRaam4CamaaDaaaleaacaaIXaaabaGaaeikaiaaikdacaqGPaaaaaaakmaalaaabaGaeyOaIyRaam4CamaaDaaaleaacaaIXaaabaGaaeikaiaaikdacaqGPaaaaaGcbaGaeyOaIyRaamyEamaaDaaaleaacaWGPbaabaGaaeikaiaaigdacaqGPaaaaaaakmaalaaabaGaeyOaIyRaamyEamaaDaaaleaacaWGPbaabaGaaeikaiaaigdacaqGPaaaaaGcbaGaeyOaIyRaam4CamaaDaaaleaacaWGPbaabaGaaeikaiaaigdacaqGPaaaaaaakiabg2da9iabgkHiTiaabohacaqGNbGaaeyBaiaabsladaqadaqaaiaadohadaqhaaWcbaGaaGymaaqaamaabmaabaGaaGOmaaGaayjkaiaawMcaaaaaaOGaayjkaiaawMcaaiaayIW7caaMi8Uaam4DamaaDaaaleaacaaIXaGaamyAaaqaamaabmaabaGaaGOmaaGaayjkaiaawMcaaaaakiaabohacaqGNbGaaeyBaiaabsladaqadaqaaiaadohadaqhaaWcbaGaamyAaaqaamaabmaabaGaaGymaaGaayjkaiaawMcaaaaaaOGaayjkaiaawMcaaaaa@7E24@ , (4.9)

majd az ε2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqyTdu2aaSbaaSqaaiaaikdaaeqaaaaa@3863@ -re hasonlóan nyerhető deriváltat felhasználva a gradiens a következőre adódik:

ε2wij(1)=2ε1sgm´(s1(2))w1i(2)sgm´(si(1))si(1)wij(1)2ε2sgm´(s2(2))w2i(2)sgm´(si(1))si(1)wij(1)=(2δ1(2)w1i(2)+2δ2(2)w2i(2))sgm´(si(1))xj(1)=2δi(1)xj(1),MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaWaaeaaeaaakqaabeqaamaalaaabaGaeyOaIyRaeqyTdu2aaWbaaSqabeaacaaIYaaaaaGcbaGaeyOaIyRaaGPaVlaadEhadaqhaaWcbaGaamyAaiaadQgaaeaadaqadaqaaiaaigdaaiaawIcacaGLPaaaaaaaaOGaeyypa0JaeyOeI0IaaGOmaiabew7aLnaaBaaaleaacaaIXaaabeaakiaayIW7caqGZbGaae4zaiaab2gacaqG0cGaaGjcVpaabmaabaGaam4CamaaDaaaleaacaaIXaaabaGaaeikaiaaikdacaqGPaaaaaGccaGLOaGaayzkaaGaaGjcVlaayIW7caWG3bWaa0baaSqaaiaaigdacaWGPbaabaWaaeWaaeaacaaIYaaacaGLOaGaayzkaaaaaOGaaGjcVlaabohacaqGNbGaaeyBaiaabslacaaMi8+aaeWaaeaacaWGZbWaa0baaSqaaiaadMgaaeaacaqGOaGaaGymaiaabMcaaaaakiaawIcacaGLPaaacaaMi8UaaGjcVpaalaaabaGaeyOaIyRaam4CamaaDaaaleaacaWGPbaabaGaaeikaiaaigdacaqGPaaaaaGcbaGaeyOaIyRaaGPaVlaadEhadaqhaaWcbaGaamyAaiaadQgaaeaadaqadaqaaiaaigdaaiaawIcacaGLPaaaaaaaaOGaeyOeI0IaaGOmaiabew7aLnaaBaaaleaacaaIYaaabeaakiaayIW7caqGZbGaae4zaiaab2gacaqG0cWaaeWaaeaacaWGZbWaa0baaSqaaiaaikdaaeaacaqGOaGaaGOmaiaabMcaaaaakiaawIcacaGLPaaacaaMi8UaaGjcVlaadEhadaqhaaWcbaGaaGOmaiaadMgaaeaacaGGOaGaaGOmaiaacMcaaaGccaaMi8Uaae4CaiaabEgacaqGTbGaaeiTaiaayIW7daqadaqaaiaadohadaqhaaWcbaGaamyAaaqaaiaabIcacaaIXaGaaeykaaaaaOGaayjkaiaawMcaaiaayIW7caaMi8+aaSaaaeaacqGHciITcaWGZbWaa0baaSqaaiaadMgaaeaacaqGOaGaaGymaiaabMcaaaaakeaacqGHciITcaaMc8Uaam4DamaaDaaaleaacaWGPbGaamOAaaqaamaabmaabaGaaGymaaGaayjkaiaawMcaaaaaaaaakeaacaaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7cqGH9aqpcqGHsisldaqadaqaaiaaikdacqaH0oazdaqhaaWcbaGaaGymaaqaamaabmaabaGaaGOmaaGaayjkaiaawMcaaaaakiaadEhadaqhaaWcbaGaaGymaiaadMgaaeaadaqadaqaaiaaikdaaiaawIcacaGLPaaaaaGccqGHRaWkcaaIYaGaeqiTdq2aa0baaSqaaiaaikdaaeaadaqadaqaaiaaikdaaiaawIcacaGLPaaaaaGccaWG3bWaa0baaSqaaiaaikdacaWGPbaabaWaaeWaaeaacaaIYaaacaGLOaGaayzkaaaaaaGccaGLOaGaayzkaaGaaGjcVlaayIW7caaMi8UaaGjcVlaabohacaqGNbGaaeyBaiaabslacaaMi8UaaGjcVpaabmaabaGaam4CamaaDaaaleaacaWGPbaabaGaaeikaiaaigdacaqGPaaaaaGccaGLOaGaayzkaaGaaGjcVlaayIW7caWG4bWaa0baaSqaaiaadQgaaeaadaqadaqaaiaaigdaaiaawIcacaGLPaaaaaGccqGH9aqpcqGHsislcaaIYaGaaGjcVlabes7aKnaaDaaaleaacaWGPbaabaWaaeWaaeaacaaIXaaacaGLOaGaayzkaaaaaOGaamiEamaaDaaaleaacaWGQbaabaWaaeWaaeaacaaIXaaacaGLOaGaayzkaaaaaOGaaiilaaaaaa@0841@ (4.10)

és így a súlymódosítás

wi(1)(k+1)=wi(1)(k)+2μ(δ1(2)(k)w1i(2)(k)+δ2(2)(k)w2i(2)(k))sgm´(si(1)(k))x(1)(k)=wi(1)(k)+2μδi(1)(k)x(1)(k),MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaWaaeaaeaaakqaabeqaaiaahEhadaqhaaWcbaGaamyAaaqaamaabmaabaGaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaiabgUcaRiaaigdaaiaawIcacaGLPaaacqGH9aqpcaWH3bWaa0baaSqaaiaadMgaaeaadaqadaqaaiaaigdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacqGHRaWkcaaIYaGaeqiVd02aaeWaaeaacqaH0oazdaqhaaWcbaGaaGymaaqaamaabmaabaGaaGOmaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiaadEhadaqhaaWcbaGaaGymaiaadMgaaeaadaqadaqaaiaaikdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacqGHRaWkcqaH0oazdaqhaaWcbaGaaGOmaaqaamaabmaabaGaaGOmaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiaadEhadaqhaaWcbaGaaGOmaiaadMgaaeaadaqadaqaaiaaikdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaiaawIcacaGLPaaacaaMi8UaaGPaVlaabohacaqGNbGaaeyBaiaabsladaqadaqaaiaadohadaqhaaWcbaGaamyAaaqaamaabmaabaGaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaGaayjkaiaawMcaaiaayIW7caaMi8UaaCiEamaaDaaaleaaaeaadaqadaqaaiaaigdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaeaacaaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8Uaeyypa0JaaC4DamaaDaaaleaacaWGPbaabaWaaeWaaeaacaaIXaaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaey4kaSIaaGOmaiabeY7aTjabes7aKnaaDaaaleaacaWGPbaabaWaaeWaaeaacaaIXaaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaaCiEamaaDaaaleaaaeaadaqadaqaaiaaigdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacaGGSaaaaaa@CA9A@ (4.11)

ahol

δi(1)=(δ1(2)w1i(2)+δ2(2)w2i(2))sgm´(si(1))MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdq2aa0baaSqaaiaadMgaaeaacaaMi8+aaeWaaeaacaaIXaaacaGLOaGaayzkaaaaaOGaeyypa0ZaaeWaaeaacqaH0oazdaqhaaWcbaGaaGymaaqaaiaayIW7daqadaqaaiaaikdaaiaawIcacaGLPaaaaaGccaWG3bWaa0baaSqaaiaaigdacaWGPbaabaWaaeWaaeaacaaIYaaacaGLOaGaayzkaaaaaOGaey4kaSIaeqiTdq2aa0baaSqaaiaaikdaaeaacaaMi8+aaeWaaeaacaaIYaaacaGLOaGaayzkaaaaaOGaam4DamaaDaaaleaacaaIYaGaamyAaaqaamaabmaabaGaaGOmaaGaayjkaiaawMcaaaaaaOGaayjkaiaawMcaaiaayIW7caaMi8UaaGjcVlaabohacaqGNbGaaeyBaiaabsladaqadaqaaiaadohadaqhaaWcbaGaamyAaaqaamaabmaabaGaaGymaaGaayjkaiaawMcaaaaaaOGaayjkaiaawMcaaaaa@65A6@ (4.12)

az ún. "visszaterjesztett hiba". A súlymódosítás tehát itt is az LMS algoritmussal formailag megegyező eljárással történik, a hiba helyén azonban súlyozott, "visszaterjesztett hiba" szerepel. A súlyozó együtthatók megegyeznek az adott hálózat-részben az előrecsatolásnál szereplő súlytényezőkkel. A súlymódosítás ennek alapján tetszőleges rejtett rétegre megadható:

wi(l)(k+1)=wi(l)(k)+2μ(r=1Nl+1δr(l+1)(k)wri(l+1)(k))sgm´(si(l)(k))x(l)(k)=wi(l)(k)+2μδi(l)(k)x(l)(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaWaaeaaeaaakqaabeqaaiaahEhadaqhaaWcbaGaamyAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaiabgUcaRiaaigdaaiaawIcacaGLPaaacqGH9aqpcaWH3bWaa0baaSqaaiaadMgaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacqGHRaWkcaaIYaGaeqiVd02aaeWaaeaadaaeWbqaaiabes7aKnaaDaaaleaacaWGYbaabaGaaGjcVpaabmaabaGaamiBaiabgUcaRiaaigdaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacaWG3bWaa0baaSqaaiaadkhacaWGPbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaWcbaGaamOCaiabg2da9iaaigdaaeaacaWGobWaaSbaaWqaaiaadYgacqGHRaWkcaaIXaaabeaaa0GaeyyeIuoaaOGaayjkaiaawMcaaiaayIW7caaMi8UaaGjcVlaabohacaqGNbGaaeyBaiaabsladaqadaqaaiaadohadaqhaaWcbaGaamyAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaGaayjkaiaawMcaaiaayIW7caaMi8UaaCiEamaaDaaaleaaaeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaeaacaaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlabg2da9iaahEhadaqhaaWcbaGaamyAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiabgUcaRiaaikdacqaH8oqBcqaH0oazdaqhaaWcbaGaamyAaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiaahIhadaqhaaWcbaaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaaa@BEDF@ (4.13)

ahol a "visszaterjesztett hiba":

δi(l)(k)=(r=1Nl+1δr(l+1)(k)wri(l+1)(k))sgm´(si(l)(k))MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaGjcVlabes7aKnaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaeyypa0ZaaeWaaeaadaaeWbqaaiabes7aKnaaDaaaleaacaWGYbaabaWaaeWaaeaacaWGSbGaey4kaSIaaGymaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiaadEhadaqhaaWcbaGaamOCaiaadMgaaeaadaqadaqaaiaadYgacqGHRaWkcaaIXaaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaleaacaWGYbGaeyypa0JaaGymaaqaaiaad6eadaWgaaadbaGaamiBaiabgUcaRiaaigdaaeqaaaqdcqGHris5aaGccaGLOaGaayzkaaGaae4CaiaabEgacaqGTbGaaeiTamaabmaabaGaam4CamaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaOWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaacaGLOaGaayzkaaGaaGjcVdaa@6B7F@ (4.14)

és Nl+1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOtamaaBaaaleaacaWGSbGaey4kaSIaaGymaaqabaaaaa@3961@ az (l+1)-edik réteg bemeneteinek száma.

Ha az l-edik réteg összes processzáló elemének súlyvektorait egy, az (1.6.) összefüggésben definiált W(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4vamaaCaaaleqabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaaaa@395B@ mátrixba fogjuk össze, ahol tehát a mátrix i-edik sora az i-edik processzáló elem súlyvektora, akkor az l-edik réteg összes súlyvektorának módosítása tömören az alábbi formában adható meg:

W(l)(k+1)=W(l)(k)+2μδ(l)x(l)T(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaWaaeaaeaaakeaacaWHxbWaa0baaSqaaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaiabgUcaRiaaigdaaiaawIcacaGLPaaacqGH9aqpcaWHxbWaa0baaSqaaaqaamaabmaabaGaamiBaaGaayjkaiaawMcaaaaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiabgUcaRiaaikdacqaH8oqBcaaMi8UaaGjcVlaayIW7caWH0oWaaWbaaSqabeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGccaWH4bWaaWbaaSqabeaadaqadaqaaiaadYgaaiaawIcacaGLPaaaaaGcdaahaaWcbeqaaiaadsfaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaaa@5A96@ . (4.15)

Itt δ(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiTdmaaCaaaleqabaWaaeWaaeaacaWGSbaacaGLOaGaayzkaaaaaaaa@39BB@ a (4.14) összefüggéssel megadott δi(l)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdq2aa0baaSqaaiaadMgaaeaacaaMi8UaaGjcVlaayIW7daqadaqaaiaadYgaaiaawIcacaGLPaaaaaaaaa@3FC1@ visszaterjesztett "hibákból" képezett oszlopvektor. A súlymódosítást is tükröző hálózatarchitektúra két aktív rétegű hálózatnál a 4.2 ábrán látható. (Az ábrán a kimeneti nemlinearitást jelölő sgm helyett az általánosabb f(.) jelölés szerepel.)

Az előbbiekben bemutattuk a hibavisszaterjesztéses hálózat alapvető felépítését, működését. Az 1. fejezet approximációval foglalkozó részei pedig annak matematikai hátterét foglalták össze, hogy egy többrétegű, előrecsatolt hálózat egyáltalán milyen képességekkel rendelkezik. A hálózatok elvi alapjainak ismerete azonban még nem elegendő ahhoz, hogy e hálózatokat hatékonyan alkalmazni is tudjuk különböző gyakorlati feladatok megoldására. A következőkben azokkal a kérdésekkel foglalkozunk, melyek az elvi háttér birtokában most már azt is biztosítják, hogy a hálót hatékonyan tudjuk alkalmazni gyakorlati feladatok megoldására.

4.2. ábra - Az MLP tanítása back-propagation algoritmussal
Az MLP tanítása back-propagation algoritmussal