1.4. A neurális hálózatok approximációs képessége

Ebben a részben az előrecsatolt, többrétegű hálózatok approximációs képességéhez kapcsolódó néhány fontosabb matematikai eredményt ismertetünk. Látni fogjuk, hogy ezek a matematikai tételek elsősorban elvi jelentőségűek: egyes előrecsatolt neurális architektúrákhoz kapcsolódóan általános approximációs eredményeket fogalmaznak meg, de ezt egzisztencia tételek formájában teszik. Azt mondják ki, hogy bizonyos képességek megvalósíthatók előrecsatolt többrétegű neuronhálókkal, de nem adnak támpontot ahhoz, hogy adott konkrét feladathoz hogyan konstruálhatunk megfelelő hálót. Fontosságuk a közvetlen gyakorlati felhasználhatóság hiánya ellenére vitathatatlan. A mérnöki feladatmegoldáshoz biztos támpontot adnak, hiszen abban biztosak lehetünk, hogy adott feladatosztályba tartozó problémákat megfelelő neuronhálóval meg tudunk oldani. A matematika ezt a biztos háttértudást adja, a mérnök feladata pedig a konkrét megoldás megtalálása, a megfelelő háló létrehozása.

Az approximációs képességekhez kapcsolódó eredmények bemutatásánál a lehetőségekhez képest az érthetőséget részesítjük előnyben a precíz matematikai megfogalmazással szemben. A tételeket és a feltétlenül szükséges definíciókat kimondjuk ugyan, de a bizonyításokat sehol sem közöljük, mivel ezek általában nem nyújtanak segítséget a mérnöki konstruktív eljárások kidolgozásához, vagy a probléma mélyebb megértéséhez.

A különböző eredmények egy része két nemlineáris réteget tartalmazó hálókra, míg más eredmények egy nemlineáris réteget tartalmazó hálókra vonatkoznak. Az alábbiakban e szerint csoportosítva tárgyaljuk az approximációs képességre vonatkozó tételeket.

1.4.1. Matematikai leképezések közelítése neurális hálóval, a probléma megfogalmazása

Az eddigiekben láttuk, hogy egy előrecsatolt, rétegekbe szervezett neuronokból felépülő neuronháló a bemenetei és a kimenetei között valamilyen (nemlineáris) leképezést valósít meg. E neuronháló-család alkalmazási körét az határozza meg, hogy a hálók által megvalósított leképezések milyen jellegű függvénykapcsolattal írhatók le. Precízebb megfogalmazásban arra keressük a választ, hogy egy előrecsatolt többrétegű hálózat által megvalósítható leképezés milyen függvényosztályba tartozó y=f(x) függvényeket tud pontosan előállítani, vagy legalább valamilyen értelemben közelíteni. E hálók számítási képessége a függvényapproximáció témakörének speciális szelete.

1.4.2. Két nemlineáris réteget használó approximációs hálózatok

1900-ban a híres német matematikus, David Hilbert (1862-1943) 23 érdekes matematikai problémát fogalmazott meg, melyek megoldása véleménye szerint a XX. század matematikusainak fontos feladata lesz. A felsorolt problémák között a 13. volt az a sejtés, melynek eredeti alakja mérnöki szemmel nézve meglehetősen érdektelennek tűnik [Lor76]:

"Bizonyítsuk be, hogy az x7+ax3+bx2+cx+1=0 hetedfokú egyenlet nem oldható meg pusztán kétváltozós függvények segítségével!"

Hilbert 13. problémájának más matematikusok által adott átfogalmazása már számunkra is több érdekességet mutat:

"Mutassuk meg, hogy van olyan háromváltozós folytonos függvény, mely nem írható fel véges számú kétváltozós folytonos függvény segítségével!"

Ez a megfogalmazás ugyanis számunkra azt jelenti, hogy vannak olyan (nemlineáris) hárombemenetű rendszerek, melyek nem dekomponálhatók egy- vagy kétbemenetű rendszerek segítségével. Mivel a bonyolult problémák mérnöki megközelítése igen gyakran az egyszerűbb rendszerekre való dekompozíció, ha Hilbert sejtése igaznak bizonyul, akkor ezen rendszerek megvalósíthatósága várhatóan igen súlyos nehézségekbe ütközik.

Itt a kétváltozós függvényeket részint szuperpozícióban használhatjuk, illetve megengedett a függvény-függvénye struktúra használata is. Például a ϕ1(.,.)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqy1dy2aaSbaaSqaaiaabgdaaeqaaOWaaeWaaeaacaGGUaGaaiilaiaac6caaiaawIcacaGLPaaaaaa@3C23@ és a ϕ2(.,.)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqy1dy2aaSbaaSqaaiaaikdaaeqaaOWaaeWaaeaacaGGUaGaaiilaiaac6caaiaawIcacaGLPaaaaaa@3C2B@ kétváltozós és a ψ1(.),ψ2(.),ψ3(.),ψ4(.) egyváltozós függvények felhasználásával a háromváltozós f függvénynek ebben az értelemben legális felírása az alábbi:

f(x,y,z)=ϕ1(ψ1(x),ψ2(y))+ϕ2(c1ψ3(y)+c2ψ4(z),x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOzaiaabIcacaWG4bGaaeilaiaadMhacaqGSaGaamOEaiaabMcacaqG9aGaeqy1dy2aaSbaaSqaaiaaigdaaeqaaOWaaeWaaeaacqaHipqEdaWgaaWcbaGaaGymaaqabaGccaqGOaGaamiEaiaabMcacaqGSaGaeqiYdK3aaSbaaSqaaiaaikdaaeqaaOGaaeikaiaadMhacaqGPaaacaGLOaGaayzkaaGaae4kaiabew9aMnaaBaaaleaacaaIYaaabeaakmaabmaabaGaam4yamaaBaaaleaacaaIXaaabeaakiabeI8a5naaBaaaleaacaaIZaaabeaakiaabIcacaWG5bGaaeykaiaabUcacaWGJbWaaSbaaSqaaiaaikdaaeqaaOGaeqiYdK3aaSbaaSqaaiaaisdaaeqaaOGaaeikaiaadQhacaqGPaGaaeilaiaadIhaaiaawIcacaGLPaaaaaa@6193@ (1.11)

A fenti összefüggés tulajdonképpen egy neurális háló struktúrával megvalósítható leképezést takar (ld. 1.11 ábra), ahol a bemeneten használt lineáris buffer neuronok mellett összegző és kétbemenetű nemlineáris neuronokat használunk, a neuronok aktivációs függvényei pedig rendre az összefüggésben használt egyváltozós függvények.

1.11. ábra - Két nemlineáris aktivációs függvényű réteget alkalmazó háló
Két nemlineáris aktivációs függvényű réteget alkalmazó háló

A helyzet a neurális hálókkal való approximáció szempontjából akkor vált igazán érdekessé, mikor 57 évvel később Andrej Kolmogorov (1903-1987) megcáfolta a Hilbert sejtést, és bebizonyította, hogy nem csupán minden háromváltozós függvény, hanem tetszőleges N-változós folytonos függvény felírható csupán egyváltozós függvények és az összeadás segítségével. (Érdekességként megemlítjük, hogy Kolmogorov és Vladimir Arnold versenyeztek egymással Hilbert 13. problémájának megoldásában, egyre újabb és újabb eredményeket értek el az 50-es évek során, míg 1957-ben Kolmogorov bebizonyította az eredeti Hilbert sejtés cáfolatán messze túlmutató reprezentációs tételét.)

1.1 tétel [Kol57]

Minden N≥2 egész esetén található N(2N+1) olyan folytonos, monoton növekvő, egyváltozós, az I=[0,1] intervallumon értelmezett ψpqMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiYdK3aaSbaaSqaaiaadchacaWGXbaabeaaaaa@39D9@ függvény, melyek segítségével tetszőleges N változós, valós, folytonos f: IN=[0,1]NMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOzaiaacQdacaqGGaGaaeysamaaCaaaleqabaGaamOtaaaakiabg2da9maadmaabaGaaGimaiaacYcacaqGXaaacaGLBbGaayzxaaWaaWbaaSqabeaacaWGobaaaOGaeyOKH4QaeSyhHekaaa@4373@ függvény az alábbi alakban előállítható

f(x1,x2,...,xN)=q=12N+1ϕq(p=1Nψpq(xp))  MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOzaiaabIcacaWG4bWaaSbaaSqaaiaaigdaaeqaaOGaaeilaiaadIhadaWgaaWcbaGaaGOmaaqabaGccaqGSaGaaeOlaiaab6cacaqGUaGaaeilaiaadIhadaWgaaWcbaGaamOtaaqabaGccaqGPaGaaeypamaaqahabaGaeqy1dy2aaSbaaSqaaiaadghaaeqaaaqaaiaadghacaqG9aGaaeymaaqaaiaaikdacaWGobGaey4kaSIaaGymaaqdcqGHris5aOWaaeWaaeaadaaeWbqaaiabeI8a5naaBaaaleaacaWGWbGaamyCaaqabaGccaqGOaGaamiEamaaBaaaleaacaWGWbaabeaakiaabMcaaSqaaiaadchacqGH9aqpcaaIXaaabaGaamOtaaqdcqGHris5aaGccaGLOaGaayzkaaGaaeiiaiaabccaaaa@5DCC@ (1.12)

Az összefüggésben felhasznált ϕq(.)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqy1dy2aaSbaaSqaaiaadghaaeqaaOWaaeWaaeaacaGGUaaacaGLOaGaayzkaaaaaa@3B23@q=1,...,2N+1 egyváltozós függvények különböző f-ek esetén különbözőek, de a ψpq(.)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiYdK3aaSbaaSqaaiaadchacaWGXbaabeaakmaabmaabaGaaiOlaaGaayjkaiaawMcaaaaa@3C1E@p=1,...,N; q=1,...,2N+1 egyváltozós függvények csak N értékétől függenek (minden f-re közösek). A fenti összefüggéssel megadott függvénykapcsolat egy olyan két rejtett rétegű neuronháló leképezésének is megfeleltethető, ahol a ψpq(xp)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiYdK3aaSbaaSqaaiaadchacaWGXbaabeaakmaabmaabaGaamiEamaaBaaaleaacaWGWbaabeaaaOGaayjkaiaawMcaaaaa@3D94@ kapcsolatok adják meg az első rejtett rétegbeli neuronok leképzéseit, az

yq=ϕq(p=1Nψpq(xp))  MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEamaaBaaaleaacaWGXbaabeaakiaab2dacqaHvpGzdaWgaaWcbaGaamyCaaqabaGcdaqadaqaamaaqahabaGaeqiYdK3aaSbaaSqaaiaadchacaWGXbaabeaakiaabIcacaWG4bWaaSbaaSqaaiaadchaaeqaaOGaaeykaaWcbaGaamiCaiabg2da9iaaigdaaeaacaWGobaaniabggHiLdaakiaawIcacaGLPaaacaqGGaGaaeiiaaaa@4BE4@ (1.13)

változók pedig a második rejtett réteg kimenetei. Ezekre a rejtett rétegbeli változókra hat a kimeneti réteg, mely az yqMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEamaaBaaaleaacaWGXbaabeaaaaa@3814@ függvényértékek összegét határozza meg. A Kolmogorov-féle reprezentációs összefüggés tehát egy speciális, két rejtett rétegű háló struktúrának felel meg. Mindkét rejtett rétegbeli neuronok nemlineáris neuronok ψpq(.)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiYdK3aaSbaaSqaaiaadchacaWGXbaabeaakmaabmaabaGaaiOlaaGaayjkaiaawMcaaaaa@3C1E@ , illetve a ϕq(.)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqy1dy2aaSbaaSqaaiaadghaaeqaaOWaaeWaaeaacaGGUaaacaGLOaGaayzkaaaaaa@3B23@ transzfer függvényekkel, míg a kimeneti réteg egy egyszerű összegző, itt tehát nincs transzfer függvény.

Míg a Kolmogorov tétel rendkívül ígéretes a neurális háló típusú eszközökkel való approximáció szempontjából, a valós mérnöki feladatok megoldására nem használható közvetlenül. Ugyanis a tétel bizonyítása nem konstruktív, tehát adott N és f esetén sem a ψpqMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiYdK3aaSbaaSqaaiaadchacaWGXbaabeaaaaa@39D9@ függvényrendszer, sem a ϕqMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqy1dy2aaSbaaSqaaiaadghaaeqaaaaa@38DE@ függvényrendszer előállítására nem ad módszert.

A Kolmogorov tételt az elmúlt évtizedek során többen továbbfejlesztették. Ilyen pl. a David Sprecher által adott finomított tétel. A továbblépés abban áll, hogy a Kolmogorov tételben használt függvényrendszerek helyett csupán két nemlineáris függvény segítségével állítja elő az ismeretlen leképezést. A két függvényt többször is fel kell használjuk a pontos előállításhoz.

1.2 tétel [Spr65]

Létezik olyan monoton növekvő, valós ψ(x): [0,1]→[0,1] függvény, mely csak N-től ( N2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOtaiabgwMiZkaaikdaaaa@3949@ ) függ, és található hozzá ε > 0 úgy, hogy minden folytonos, valós f(x): [0,1]NMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOzamaabmaabaGaaCiEaaGaayjkaiaawMcaaiaacQdacaqGGaWaamWaaeaacaaIWaGaaiilaiaabgdaaiaawUfacaGLDbaadaahaaWcbeqaaiaad6eaaaGccqGHsgIRcqWIDesOaaa@4321@ függvény felírható az alábbi formában:

f(x)=q=12N+1ϕq(p=1Nλpψ(xp+qε)) MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOzaiaabIcacaWH4bGaaeykaiaab2dadaaeWbqaaiabew9aMnaaBaaaleaacaWGXbaabeaaaeaacaWGXbGaaeypaiaabgdaaeaacaaIYaGaamOtaiabgUcaRiaaigdaa0GaeyyeIuoakmaabmaabaWaaabCaeaacqaH7oaBdaWgaaWcbaGaamiCaaqabaGcdaahaaWcbeqaaiaayIW7caaMi8oaaOGaeqiYdK3aaeWaaeaacaWG4bWaaSbaaSqaaiaadchaaeqaaOGaae4kaiaadghacqaH1oqzaiaawIcacaGLPaaaaSqaaiaadchacqGH9aqpcaaIXaaabaGaamOtaaqdcqGHris5aaGccaGLOaGaayzkaaGaaeiiaaaa@5BBB@ , (1.14)

ahol a ϕqMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqy1dy2aaSbaaSqaaiaadghaaeqaaaaa@38DE@ függvények valós, folytonos függvények, míg a λpMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4UdW2aaSbaaSqaaiaadchaaeqaaaaa@38C9@ értékek alkalmas konstansok.

A Sprecher által kimondott tétel egy olyan – szintén két rejtett réteget tartalmazó – neurális hálózat irányába mutat, amelyben az első rejtett réteg neuronjainak aktivációs függvénye ψ (tehát ez már semmilyen formában nem függ a reprezentálandó függvénytől), míg a második réteg neuronjainál a ϕqMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqy1dy2aaSbaaSqaaiaadghaaeqaaaaa@38DE@ aktivációs függvényeket használjuk. A fenti eredményekre alapozva ki is mondták a 3. fejezetben részletesen tárgyalásra kerülő többrétegű perceptron hálókra vonatkozó tételt.

1.3 tétel [Hec87]

Minden f(x): [0,1]NMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOzamaabmaabaGaaCiEaaGaayjkaiaawMcaaiaacQdacaqGGaWaamWaaeaacaaIWaGaaiilaiaabgdaaiaawUfacaGLDbaadaahaaWcbeqaaiaad6eaaaGccqGHsgIRcqWIDesOaaa@4321@ négyzetesen integrálható (fL2)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaeWaaeaacaWGMbGaeyicI4SaamitamaaBaaaleaacaaIYaaabeaaaOGaayjkaiaawMcaaaaa@3B8F@ függvény átlagos négyzetes értelemben tetszőleges pontossággal közelíthető legfeljebb két feldolgozó réteget, és a neuronokban szigmoid jellegű nemlinearitást alkalmazó neurális hálózat segítségével.

1.4.3. Egy nemlineáris réteget használó approximációs hálózatok

A fenti tétel, melyet Robert Hecht-Nielsen fogalmazott és bizonyított be, két feldolgozó réteget alkalmazó hálóra vonatkozik. A következő tétel azonban ezen gyengíteni tudott, hiszen azt állítja, hogy egy aktív réteg is elegendő ahhoz, hogy egy folytonos függvényt tetszőleges pontossággal közelíteni tudjunk.

1.4 tétel [Fun89]

Legyen g(x) nemkonstans, korlátos, monoton növekvő folytonos függvény. Legyen továbbá A egy kompakt (korlátos és zárt) részhalmaza NMathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeSyhHe6aaWbaaSqabeaacaWGobaaaaaa@3845@ -nek, és legyen f(x1,,xN)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOzaiaabIcacaWG4bWaaSbaaSqaaiaaigdaaeqaaOGaaiilaiablAciljaacYcacaWG4bWaaSbaaSqaaiaad6eaaeqaaOGaaeykaaaa@3EAC@ egy valós értékű folytonos függvény A-n. Ekkor tetszőleges ε>0MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqyTduMaeyOpa4JaaGimaaaa@395D@ esetére létezik egy olyan M egész szám, és léteznek ci  i=1,...,MMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4yamaaBaaaleaacaWGPbaabeaakiaabccacaqGGaGaamyAaiabg2da9iaaigdacaGGSaGaaiOlaiaac6cacaGGUaGaaiilaiaad2eaaaa@403D@ , valamint wijMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4DamaaBaaaleaacaWGPbGaamOAaaqabaaaaa@38F9@, i=1, …, M, j=1, …, N konstansok, hogy:

f^(x1,...,xN)=i=1Mcig(j=0Nwijxj);x0=1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabmOzayaajaGaaeikaiaadIhadaWgaaWcbaGaaGymaaqabaGccaGGSaGaaiOlaiaac6cacaGGUaGaaiilaiaadIhadaWgaaWcbaGaamOtaaqabaGccaqGPaGaeyypa0ZaaabCaeaacaWGJbWaaSbaaSqaaiaadMgaaeqaaOGaam4zamaabmaabaWaaabCaeaacaWG3bWaaSbaaSqaaiaadMgacaWGQbaabeaakiaadIhadaWgaaWcbaGaamOAaaqabaaabaGaamOAaiabg2da9iaaicdaaeaacaWGobaaniabggHiLdaakiaawIcacaGLPaaacaaMi8UaaGjcVlaacUdacaaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caWG4bWaaSbaaSqaaiaaicdaaeqaaOGaeyypa0JaaGymaiaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVdWcbaGaamyAaiabg2da9iaaigdaaeaacaWGnbaaniabggHiLdaaaa@9A8A@ (1.15)

melyre:

maxxA|f(x1,...,xN)f^(x1,...,xN)|<εMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaCbeaeaacaqGTbGaaeyyaiaabIhaaSqaaiaahIhacqGHiiIZcaWHbbaabeaakmaaemaabaGaamOzaiaabIcacaWG4bWaaSbaaSqaaiaaigdaaeqaaOGaaiilaiaac6cacaGGUaGaaiOlaiaacYcacaaMi8UaaGjcVlaadIhadaWgaaWcbaGaamOtaaqabaGccaqGPaGaeyOeI0IabmOzayaajaGaaeikaiaadIhadaWgaaWcbaGaaGymaaqabaGccaGGSaGaaiOlaiaac6cacaGGUaGaaiilaiaayIW7caaMi8UaamiEamaaBaaaleaacaWGobaabeaakiaabMcaaiaawEa7caGLiWoacqGH8aapcqaH1oqzaaa@5CBB@ . (1.16)

Vegyük észre, hogy a Tatsushi Funahashi által megfogalmazott 1.4 tétel nemcsak azt állítja, hogy az (1.16) összefüggés értelmében vett approximációs képességhez egy rejtett réteg elegendő, hanem azt is, hogy ezt a képességet lineáris kimeneti réteggel biztosíthatjuk.

Különösen fontosnak tűnik az utóbbi időben az egy nemlineáris réteggel közelítő hálózatok kutatásának egy másik iránya. A nemlinearitás ezekben a közelítésekben nem az eddigiekben tárgyalt folytonos, monoton, telítődő jellegű függvények közül kerül ki, hanem tipikusan nem monoton, esetleg nem is folytonos függvényeket alkalmazunk. Érdekes, hogy szükséges és elégséges feltételt tudtak kimondani az alkalmazott nemlinearitásra, az alábbi tétel szerint.

1.5 tétel [Les93]

Tetszőleges folytonos f:MathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOzaiaacQdacqWIDesOcqGHsgIRcqWIDesOaaa@3C4B@ függvényt akkor és csak akkor tudunk tetszőleges pontossággal közelíteni lokálisan korlátos aktivációs függvényt alkalmazó neuronokból felépített, egy nemlineáris réteget tartalmazó neurális hálóval, ha az alkalmazott aktivációs függvény nem polinom.

Az 1.5 tétel az aktivációs függvény folytonosságát sem tételezi fel, csupán annyi megkötést tesz, hogy a szakadási helyek nullmértékű halmazt kell alkossanak.

A Funahashi által a perceptron típusú hálózatokra megfogalmazott tétel igen fontos. Hasonló eredményt mások is megfogalmaztak (többek között George Cybenko, [Cyb89], Sean Carroll és Bradley Dickinson [Car89], Takahashi [Tak93]). E tételek részben abban térnek el egymástól, hogy az approximációt milyen értelemben fogalmazzák meg, részben a bizonyítás matematikai részletei mások.

Az eddigiekben olyan approximációs tételeket ismertettünk, melyek valós számok közötti leképezést megvalósító hálókra vonatkoztak, tehát ahol a háló f:MathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOzaiaacQdacqWIDesOcqGHsgIRcqWIDesOaaa@3C4B@ vagy f:NMathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOzaiaacQdacqWIDesOdaahaaWcbeqaaiaad6eaaaGccqGHsgIRcqWIDesOaaa@3D55@ típusú leképezést valósít meg. A feladatok egy részében (ezek az osztályozási feladatok) azonban a kimenet véges számú lehetséges diszkrét érték közül vehet csak fel értéket.

Cybenko eredménye [Cyb89] kiterjeszthető osztályozós típusú leképezésekre is. Ekkor a háló által megvalósított leképezés: f:AN{1,2,,k}MathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOzaiaacQdacaWHbbGaeyOGIWSaeSyhHe6aaWbaaSqabeaacaWGobaaaOGaeyOKH46aaiWaaeaacaaIXaGaaiilaiaaikdacaGGSaGaeSOjGSKaaiilaiaadUgaaiaawUhacaGL9baaaaa@4675@ , és

f(x)=jMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOzaiaabIcacaWH4bGaaeykaiabg2da9iaadQgaaaa@3B2C@ akkor és csak akkor, ha xAjMathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaacbeGaa8hEaiabgIGiolaahgeadaWgaaWcbaGaamOAaaqabaaaaa@3A41@ , (1.17)

ahol Aj, j=1,2,…,k az A tartomány diszjunkt részhalmazait jelöli, vagyis A=j=1kAjMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyqaiabg2da9maaxadabaGaeSOkIufaleaacaWGQbGaeyypa0JaaGymaaqaaiaadUgaaaGccaWHbbWaaSbaaSqaaiaadQgaaeqaaaaa@3EDD@ és AiAj=0MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyqamaaBaaaleaacaWGPbaabeaakiablMIijjaahgeadaWgaaWcbaGaamOAaaqabaGccqGH9aqpcaaIWaaaaa@3CB6@ ,

ha ij. Ez az eredmény azt mondja ki, hogy egy egy rejtett réteggel és szigmoid típusú nemlinearitással dolgozó háló nemcsak univerzális approximátor, hanem univerzális osztályozó is. Ezt az eredményt számos kétosztályos osztályozási feladat megoldásával kísérletileg igazolta William Huang és Richard Lippman [Hua88].

Végezetül a neurális hálózatok egyik, egyre jobban terjedő változatára mutatunk approximációs tételt. A 3. fejezetben részletesen tárgyaljuk az RBF (radial basis function) hálózatokat. Ezek tipikusan egy nemlineáris rejtett réteget tartalmaznak, a neuronok aktivációs függvényének jellegzetessége pedig az N-elemű bemeneti vektorok terében mutatott körszimmetria, melyre neve is utal. (radial = sugaras, ui. a neuronra jellemző középpont paramétertől azonos távolságra − egy r sugarú hipergömbön − elhelyezkedő bemeneti vektorok között nem tesz különbséget a neuron.)

1.6 tétel [Par91]

Legyen a ψ:NMathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiYdKNaaiOoaiabl2riHoaaCaaaleqabaGaamOtaaaakiabgkziUkabl2riHcaa@3E38@ aktivációs függvény a (,)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaeWaaeaacqGHsislcqGHEisPcaGGSaGaeyOhIukacaGLOaGaayzkaaaaaa@3BFC@ -ben integrálható, folytonos és nem azonosan nulla függvény, mely körszimmetriát mutat az N-elemű bemeneti vektorok halmazán, az euklideszi távolságra nézve. Ekkor bármely fCNMathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOzaiabgIGiolaadoeadaahaaWcbeqaaiaad6eaaaaaaa@3A0C@ függvény tetszőleges pontossággal közelíthető

f(x) = i=1Mwiψ(x-ciσi)  MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOzaiaabIcacaWG4bGaaeykaiaabccacaqG9aGaaeiiamaaqahabaGaam4DamaaBaaaleaacaWGPbaabeaakiaayIW7caaMi8UaeqiYdK3aaeWaaeaadaWcaaqaamaafmaabaGaaCiEaiaab2cacaWHJbWaaSbaaSqaaiaadMgaaeqaaaGccaGLjWUaayPcSdaabaGaeq4Wdm3aaSbaaSqaaiaadMgaaeqaaaaaaOGaayjkaiaawMcaaaWcbaGaamyAaiaab2dacaaIXaaabaGaamytaaqdcqGHris5aOGaaeiiaiaabccaaaa@547E@ (1.18)

alakban, ahol ciNMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4yamaaBaaaleaacaWGPbaabeaakiabgIGiolabl2riHoaaCaaaleqabaGaamOtaaaaaaa@3BD8@ , σi és wi i=1, 2, ..., M a hálózatra jellemző valós paraméterek.

A fentiekben tárgyalt, alapvetően approximációelméleti eredmények olyan modellek irányába mutatnak, melyek struktúrája az 1.2.3 alfejezetben felvázolt előrecsatolt neurális háló. Az eredmények egyik része az 1.3 ábrán látható rendkívül elterjedten használt telítődő jellegű aktivációs függvények használatát sugallja, míg másik része az 1.4 ábrán látható bázisfüggvények használatának irányába mutat.

Az utóbbi években jelentős matematikai kutatások kezdődtek, melyek a fenti eredmények gyakorlati alkalmazhatóságára irányulnak. A kutatások egyrészt az adott pontosságú közelítéshez szükséges neuronszám meghatározását, vagy legalább egy felső korlát felállítását célozzák. Ezek az eredmények azonban már általában nemcsak egy általános neuronháló architektúrát tételeznek fel, hanem kapcsolatot keresnek a háló approximációs hibája, a háló mérete, a tanítópontok száma és a megoldandó probléma bonyolultsága között is; tehát már azzal a kérdéssel is foglalkoznak, hogy adott képességű háló hogyan konstruálható, és azzal is, hogy mennyiben hat a háló képességeire az, hogy véges számú tanítópont felhasználásával konstruáljuk a hálókat. Ezek a kérdések az eddig tárgyaltakhoz hasonló fontosságúak. A legfontosabb eredményeket a következő, a tanulással foglalkozó fejezetben foglaljuk össze, illetve néhány eredményt az egyes háló architektúrákat tárgyaló 3. fejezetben mutatunk be.

Feladatok

1.1 Rajzoljon fel egy FIR/IIR neuront (ld. 1.6 ábra) részletesen felrajzolva a dinamikus hálózatokat! A neuron nemlineáris függvénye legyen egyváltozós (M=1), a bemenetek száma legyen N=2. A neuron mindegyik bemenetén egy-egy két tároló elemet tartalmazó FIR szűrővel, kimenetén pedig egy mind előrevezető, mind visszacsatoló ágában három-három tároló elemet tartalmazó általános IIR szűrővel rendelkezzen! Hány időegységgel késleltetve jelennek meg a bemeneti változások a kimeneten?

1.2 Rajzoljon fel egy FIR/IIR neuront (ld. 1.6 ábra), részletesen felrajzolva a dinamikus hálózatokat. A neuron nemlineáris függvénye legyen egyváltozós (M=1), a bemenetek száma legyen N=2. Mutassa meg, hogy a bemeneteken megvalósított FIR szűrő hogyan transzformálható át az összegző kimenetére!

1.3 Az alábbi aktivációs függvényeket használó neuronok közül, mely(ek) segítségével lehet univerzális approximációs hálózatot építeni (ld. 1.4 − 1.6 tételek)?

g1(x)=11+x2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4zamaaBaaaleaacaaIXaaabeaakiaabIcacaWG4bGaaeykaiabg2da9maalaaabaGaaGymaaqaaiaaigdacqGHRaWkcaWG4bWaaWbaaSqabeaacaaIYaaaaaaaaaa@3F79@ ; g2(x)=x2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4zamaaBaaaleaacaaIYaaabeaakiaabIcacaWG4bGaaeykaiabg2da9iaadIhadaahaaWcbeqaaiaaikdaaaaaaa@3D12@ ; g3(x)=sin(x)(-π/2xπ/2)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4zamaaBaaaleaacaaIZaaabeaakiaabIcacaWG4bGaaeykaiabg2da9iaabohacaqGPbGaaeOBaiaabIcacaWG4bGaaeykaiaabYcacaqGGaGaaGjcVlaayIW7caaMi8UaaGjcVpaabmaabaGaaeylaiabec8aWjaab+cacaqGYaGaeyizImQaamiEaiabgsMiJkabec8aWjaab+cacaqGYaaacaGLOaGaayzkaaaaaa@54D2@ ; g4(x)=1|x|MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4zamaaBaaaleaacaaI0aaabeaakiaabIcacaWG4bGaaeykaiabg2da9maalaaabaGaaGymaaqaamaaemaabaGaamiEaaGaay5bSlaawIa7aaaaaaa@4018@ , g5(x)=xTxMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4zamaaBaaaleaacaaI1aaabeaakiaabIcacaWH4bGaaeykaiabg2da9iaahIhadaahaaWcbeqaaiaadsfaaaGccaWH4baaaa@3E45@ ; g6(x) = exp(xci2σi)  MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4zamaaBaaaleaacaaI2aaabeaakiaabIcacaWH4bGaaeykaiaabccacaqG9aGaaeiiaiaabwgacaqG4bGaaeiCaiabgkHiTmaabmaabaWaaSaaaeaadaqbdaqaaiaahIhacqGHsislcaWHJbWaaSbaaSqaaiaadMgaaeqaaaGccaGLjWUaayPcSdWaaWbaaSqabeaacaaIYaaaaaGcbaGaeq4Wdm3aaSbaaSqaaiaadMgaaeqaaaaaaOGaayjkaiaawMcaaiaabccacaqGGaaaaa@4DD5@ .