A Hebb szabály biológiai eredetű eljárás [Heb49]. Legegyszerűbb formájában a következőképpen fogalmazható meg: két processzáló elem közötti kapcsolat erőssége (a processzáló elemek közötti súlytényező értéke) a processzáló elemek aktivitásának szorzatával arányosan változik.
, (10.1)
ahol
az i-edik és a j-edik processzáló elem közötti súly,
ill.
a két processzáló elem kimenetének értéke, μ pedig az eddigiekhez hasonlóan a tanulási tényező. Ha a súly egy bemenet és egy processzáló elem között található, ahol a bemenet értéke
, a processzáló elem kimenetének értéke pedig
, akkor a súlymódosítás értelemszerűen:
(10.2)
Az eredeti Hebb tanulási szabálynak különböző változatait dolgozták ki. Ezen változatok legfontosabb jellemzője, hogy a szabályba beépítettek egy normalizáló eljárást is, ugyanis az eredeti Hebb szabály mellett a súlyok minden határon túl növekedhetnek. A normalizálásnak több módjával találkozhatunk, melyeket az egyes nemellenőrzött tanítású hálózatok bemutatásánál fogunk tárgyalni.
A nemellenőrzött tanítású hálók többnyire lineáris neuronokból épülnek fel. Egy ilyen lineáris neuront mutat a 10.1 ábra, ahol a neuron kimenete a bemenetek súlyozott összegeként áll elő:
(10.3)
Megmutatható, hogy egy lineáris processzáló elem súlyainak Hebb szabály alapján történő módosítása azt eredményezi, hogy a processzáló elem kimenetének varianciája, vagyis
(10.4)
maximumot vesz fel azzal a feltétellel, hogy
(10.5)
Ez utóbbi feltétel vagy valamilyen normalizáló eljárással, vagy a súlyokra vonatkozó telítési feltétel beépítésével biztosítható.
Bizonyos hálózatoknál alkalmazzák az ún. anti-Hebb tanulási szabályt is, amelynél − hasonlóan a Hebb szabályhoz − a súlymódosítás most is a bemenet és a kimenet aktivitásának szorzatával arányos, csak negatív előjellel:
. (10.6)
Az anti-Hebb szabály − szemben a Hebb szabály kimeneti variancia-maximumra törekvő hatásával − a kimeneti variancia minimumát igyekszik biztosítani. A súlymódosítás mindkét esetben a két aktivitás közötti korrelációval arányos, csak a változtatás iránya eltérő. A Hebb- és az anti-Hebb szabályok együttes alkalmazásának fontos szerepe van az ún. főkomponens meghatározó hálózatoknál; szerepüket részletesebben ezen hálózatok ismertetésénél mutatjuk be.