3.4. További elemi neuronok

Az 1. fejezetben láttuk, hogy az ún. bázisfüggvényes hálózatoknál a bemeneti rétegben speciális neuronokat használunk, melyek nem végeznek összegzést, hanem a bemenetükre kerülő vektor valamilyen nemlineáris leképezését valósítják meg. Ezek a neuronok tehát egy vektor-skalár függvényt implementálnak, és általában nincsenek olyan szabad paramétereik, melyeket ellenőrzött tanítással határozunk meg. (Ez alól van kivétel, amellyel a bázisfüggvényes hálózatokat bemutató 5. fejezetben foglalkozunk.)

Az elemi neuronok között külön meg kell említeni azokat a lineáris neuronokat, melyek felépítése megegyezik a perceptron lineáris részével, tehát melyek szintén lineáris súlyozott összegzést valósítanak meg, de ahol a súlyok kialakítása az előbbiekben bemutatott eljárástól jelentősen különbözik. Több olyan nemellenőrzött tanítású hálóarchitektútra is létezik, melyek lineáris neuronokból épülnek fel, és melyek tanítása a Hebb-szabály szerint történik. A Hebb-szabály neuro-biológiai megfigyeléseken alapul. Megfogalmazása Donald Hebb nevéhez fűződik [Hebb49].

Egy lineáris neuron wiMathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaebbnrfifHhDYfgasaacH8srps0lbbf9q8WrFfeuY=Hhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaqabeaadaaakeaacaWG3bWaaSbaaSqaaiaadMgaaeqaaaaa@33D0@ súlyának módosítása a Hebb-szabály szerint a következő:

Δwi=μxiyMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaWaaeaaeaaakeaacqqHuoarcaWG3bWaaSbaaSqaaiaadMgaaeqaaOGaeyypa0JaeqiVd0MaaGjcVlaayIW7caWG4bWaaSbaaSqaaiaadMgaaeqaaOGaamyEaaaa@452F@ , (3.29)

ahol xi a neuron adott súlyhoz kapcsolódó bemenete, y a neuron kimenete és μ egy pozitív konstans tanulási tényező. A Hebb-szabály azt mondja ki, hogy a súlymódosítás mértéke arányos a súly által összekapcsolt bemenet és a neuron kimenetének szorzatával, és azt fejezi ki, hogy ha egy bemenet szerepe a kimenet előállításában nagy, akkor ezt a szerepet növelni kell. A Hebb-szabály – amelynek alkalmazásával érdekes és fontos tulajdonságú neuronhálók konstruálhatók – azzal a következménnyel jár, hogy ismételt alkalmazásával a neuron súlyai minden határon túl tudnak nőni. Ezért önmagában ritkán alkalmazzák, valamilyen korlátozó hatás, normalizálás beépítése szükséges. A különböző normalizáló eljárásokat az egyes nemellenőrzött tanulású hálózatoknál, a 10. fejezetben mutatjuk be.

Feladatok

3.1 Mutassa meg, hogy a perceptron tanulás akkor is konvergens, ha nem konstans, hanem olyan αMathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaebbnrfifHhDYfgasaacH8srps0lbbf9q8WrFfeuY=Hhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaqabeaadaaakeaacqaHXoqyaaa@3359@ tanulási tényezőt alkalmazunk, mely minden tanító lépésben biztosítja, hogy a korrekciót követően az adott mintapont osztályozása helyes lesz.

3.2 A perceptron tanulás (3.3) és az LMS eljárás összefüggéseinek formai hasonlósága alapján megállapítható, hogy α=2μMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaWaaeaaeaaakeaacqaHXoqycqGH9aqpcaaIYaGaeqiVd0gaaa@3DC3@ választással a két eljárás formailag azonos. Igaz-e, hogy ezzel a választással a két eljárás ekvivalens? Igaz-e hogy μMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaWaaeaaeaaakeaacqaH8oqBaaa@3A62@ konvergenciatartománya alapján megadható αMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaWaaeaaeaaakeaacqaHXoqyaaa@3A4B@ konvergenciatartománya? Adja meg, hogy αMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaWaaeaaeaaakeaacqaHXoqyaaa@3A4B@ -t milyen tartományon belül kell megválasztania, hogy a perceptron tanulás konvergens legyen.

3.3 A perceptron kapacitására vonatkozó összefüggés szerint a lineáris szeparálhatóságot a P/N=1 arány biztosítja. Ha a rendelkezésre álló tanítópontokra P/N>1 igaz, hogyan transzformálhatja úgy a mintapontokat, hogy a lineáris szeparálhatóság feltétele teljesüljön?

3.4 Képes-e egy kétbemenetű perceptron a logikai ekvivalencia függvényt megtanulni?

3.5 A kétváltozós logikai függvények közül melyek megtanulására képes egy perceptron? És melyek megtanulására egy adaline?

3.6 Adja meg az adaline súlyvektorának LS becslését. Mit tehet, ha a szükséges mátrix invertá-lásnál szingularitási problémával találkozik?

3.7 Egy szigmoid kimeneti nemlinearitást alkalmazó elemi neuront tanítunk gradiens alapú, legmeredekebb lejtő eljárással. Milyen hibafelületet kapunk? Garantáltan konvergál-e az eljárás a legkisebb négyzetes hibát jelentő globális minimumhoz, és ha igen, mi ennek a feltétele?

3.8 Egy nemlineáris elemi neuron kimenetén a következő aktivációs függvényt alkalmazzuk:

y=sgm(s)={sin(s)haπ/2sπ/21has<π/2+1has>π/2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEaiabg2da9iaabohacaqGNbGaaeyBaiaacIcacaWGZbGaaiykaiabg2da9maaceaabaqbaeqabmWaaaqaaiGacohacaGGPbGaaiOBaiaacIcacaWGZbGaaiykaiaayIW7caaMi8oabaGaaeiAaiaabggaaeaadaWcgaqaaiabgkHiTiabec8aWbqaaiaaikdaaaGaeyizImQaam4CaiabgsMiJkaayIW7caaMi8UaaGjcVpaalyaabaGaeqiWdahabaGaaGOmaaaaaeaacqGHsislcaaIXaaabaGaaeiAaiaabggaaeaacaWGZbGaeyipaWZaaSGbaeaacqGHsislcqaHapaCaeaacaaIYaaaaaqaaiabgUcaRiaaigdacaaMi8oabaGaaeiAaiaabggaaeaacaWGZbGaeyOpa4ZaaSGbaeaacqaHapaCaeaacaaIYaaaaaaaaiaawUhaaaaa@6AE5@

Határozza meg a neuron tanulási szabályát.