10.1. Hebb tanulás

A Hebb szabály biológiai eredetű eljárás [Heb49]. Legegyszerűbb formájában a következőképpen fogalmazható meg: két processzáló elem közötti kapcsolat erőssége (a processzáló elemek közötti súlytényező értéke) a processzáló elemek aktivitásának szorzatával arányosan változik.

wij(k+1)=wij(k)+μyi(k)yj(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4DamaaBaaaleaacaWGPbGaamOAaaqabaGcdaqadaqaaiaadUgacqGHRaWkcaaIXaaacaGLOaGaayzkaaGaeyypa0Jaam4DamaaBaaaleaacaWGPbGaamOAaaqabaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacqGHRaWkcqaH8oqBcaaMc8UaaGPaVlaaygW7caaMb8UaamyEamaaBaaaleaacaWGPbaabeaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiaadMhadaWgaaWcbaGaamOAaaqabaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaaa@5515@ , (10.1)

ahol wijMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4DamaaBaaaleaacaWGPbGaamOAaaqabaaaaa@386E@ az i-edik és a j-edik processzáló elem közötti súly, yiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaGzaVlaadMhadaWgaaWcbaGaamyAaaqabaaaaa@390B@ ill. yjMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEamaaBaaaleaacaWGQbaabeaaaaa@3782@ a két processzáló elem kimenetének értéke, μ pedig az eddigiekhez hasonlóan a tanulási tényező. Ha a súly egy bemenet és egy processzáló elem között található, ahol a bemenet értéke xiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaGzaVlaaygW7caWG4bWaaSbaaSqaaiaadMgaaeqaaaaa@3A94@ , a processzáló elem kimenetének értéke pedig yjMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEamaaBaaaleaacaWGQbaabeaaaaa@3782@ , akkor a súlymódosítás értelemszerűen:

wij(k+1)=wij(k)+μxi(k)yj(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4DamaaBaaaleaacaWGPbGaamOAaaqabaGcdaqadaqaaiaadUgacqGHRaWkcaaIXaaacaGLOaGaayzkaaGaeyypa0Jaam4DamaaBaaaleaacaWGPbGaamOAaaqabaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacqGHRaWkcqaH8oqBcaaMc8UaaGPaVlaaygW7caaMb8UaamiEamaaBaaaleaacaWGPbaabeaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiaadMhadaWgaaWcbaGaamOAaaqabaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaaa@5514@ (10.2)

Az eredeti Hebb tanulási szabálynak különböző változatait dolgozták ki. Ezen változatok legfontosabb jellemzője, hogy a szabályba beépítettek egy normalizáló eljárást is, ugyanis az eredeti Hebb szabály mellett a súlyok minden határon túl növekedhetnek. A normalizálásnak több módjával találkozhatunk, melyeket az egyes nemellenőrzött tanítású hálózatok bemutatásánál fogunk tárgyalni.

A nemellenőrzött tanítású hálók többnyire lineáris neuronokból épülnek fel. Egy ilyen lineáris neuront mutat a 10.1 ábra, ahol a neuron kimenete a bemenetek súlyozott összegeként áll elő:

y=wTx=i=1NwixiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEaiabg2da9iaahEhadaahaaWcbeqaaiaadsfaaaGccaWH4bGaeyypa0ZaaabCaeaacaWG3bWaaSbaaSqaaiaadMgaaeqaaaqaaiaadMgacqGH9aqpcaaIXaaabaGaamOtaaqdcqGHris5aOGaamiEamaaBaaaleaacaWGPbaabeaaaaa@4574@ (10.3)

10.1. ábra - Egy lineáris neuron
Egy lineáris neuron

Megmutatható, hogy egy lineáris processzáló elem súlyainak Hebb szabály alapján történő módosítása azt eredményezi, hogy a processzáló elem kimenetének varianciája, vagyis

E{(yE{y})2}MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyramaacmaabaWaaeWaaeaacaWG5bGaeyOeI0IaamyramaacmaabaGaamyEaaGaay5Eaiaaw2haaaGaayjkaiaawMcaamaaCaaaleqabaGaaGOmaaaaaOGaay5Eaiaaw2haaaaa@40C4@ (10.4)

maximumot vesz fel azzal a feltétellel, hogy

iwi=konstansMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaabuaeaacaWG3bWaaSbaaSqaaiaadMgaaeqaaaqaaiaadMgaaeqaniabggHiLdGccqGH9aqpcaqGRbGaae4Baiaab6gacaqGZbGaaeiDaiaabggacaqGUbGaae4Caaaa@431E@ (10.5)

Ez utóbbi feltétel vagy valamilyen normalizáló eljárással, vagy a súlyokra vonatkozó telítési feltétel beépítésével biztosítható.

Bizonyos hálózatoknál alkalmazzák az ún. anti-Hebb tanulási szabályt is, amelynél − hasonlóan a Hebb szabályhoz − a súlymódosítás most is a bemenet és a kimenet aktivitásának szorzatával arányos, csak negatív előjellel:

wij(k+1)=wij(k)μxi(k)yj(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4DamaaBaaaleaacaWGPbGaamOAaaqabaGcdaqadaqaaiaadUgacqGHRaWkcaaIXaaacaGLOaGaayzkaaGaeyypa0Jaam4DamaaBaaaleaacaWGPbGaamOAaaqabaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacqGHsislcqaH8oqBcaaMb8UaaGzaVlaaykW7caaMc8UaamiEamaaBaaaleaacaWGPbaabeaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiaadMhadaWgaaWcbaGaamOAaaqabaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaaa@551F@ . (10.6)

Az anti-Hebb szabály − szemben a Hebb szabály kimeneti variancia-maximumra törekvő hatásával − a kimeneti variancia minimumát igyekszik biztosítani. A súlymódosítás mindkét esetben a két aktivitás közötti korrelációval arányos, csak a változtatás iránya eltérő. A Hebb- és az anti-Hebb szabályok együttes alkalmazásának fontos szerepe van az ún. főkomponens meghatározó hálózatoknál; szerepüket részletesebben ezen hálózatok ismertetésénél mutatjuk be.