8. fejezet - Időfüggő (szekvenciális) hálók

Az eddig bemutatott hálók legfontosabb jellemzője, hogy a bemenetükre kerülő adatok és az ezekhez tartozó kívánt kimenetek közötti statikus leképezés megtanulására képesek. Számos olyan feladattal találkozunk azonban, amikor a statikus modell nem megfelelő, a bemeneti és a kimeneti adatok közötti kapcsolat az adatok sorrendjétől is függ. Ilyenkor olyan hálókra van szükségünk, ahol a hálózat válasza nemcsak a pillanatnyi bemenettől, hanem a mintasorozat időben előbbi értékeitől is függ. Ilyen feladattal találkozunk, ha nemlineáris dinamikus rendszerek modellezését, irányítását kell megoldanunk, illetve olyan előrejelzési, jóslási problémáknál, ahol egy folyamat régebbi viselkedésének ismeretében kívánjuk megjósolni a folyamat viselkedésének további alakulását.

Az időfüggő hálók a statikus hálókból származtatott olyan rendszerek, amelyek emlékezettel, memóriával rendelkeznek. Ez azt jelenti, hogy a hálózat kimenete nem csupán a pillanatnyi bemeneti értéktől, hanem régebbi bemeneti és/vagy a régebbi kimeneti értékektől is függ.

Az időfüggő hálózatok általánosságban nemlineáris dinamikus viselkedést mutatnak, tehát mint nemlineáris dinamikus rendszermodellek tekinthetők. Ebben a megközelítésben az időfüggő hálók a lineáris dinamikus rendszermodellek nemlineáris általánosításaiként is származtathatók, illetve úgy, mint az általánosított nemlineáris regressziós feladat megoldására alkalmas architektúrák.

Egy általános nemlineáris dinamikus rendszermodell által megvalósított be-kimeneti kapcsolat − diszkrét idejű rendszerek esetében − az alábbi általános formában adható meg:

y(k)=f(Θ,φ(k))MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEamaabmaabaGaam4AaaGaayjkaiaawMcaaiabg2da9iaadAgadaqadaqaaiaahI5acaGGSaGaaCOXdmaabmaabaGaam4AaaGaayjkaiaawMcaaaGaayjkaiaawMcaaaaa@4264@ , (8.1)

Az f(Θ,φ(k))MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOzamaabmaabaGaaCiMdiaacYcacaWHgpWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaacaGLOaGaayzkaaaaaa@3DE7@ kapcsolat a modell struktúráját rögzíti, ahol φ(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdmaabmaabaGaam4AaaGaayjkaiaawMcaaaaa@399F@ az ún. regresszorvektor, k az időindex, ΘMathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiMdaaa@36F9@ pedig a rendszer paramétereit összefoglaló vektor. A regresszorvektor feladata megadni, hogy a kimenet előállításában a modellezendő rendszer, folyamat milyen régebbi bemeneti és kimeneti adatait használjuk fel.

A modell felállításával az a cél, hogy a modell y(k) kimenete, valamely d(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamizamaabmaabaGaam4AaaGaayjkaiaawMcaaaaa@3936@ kívánt válasz (a modellezendő rendszer válasza) minél pontosabb közelítését adja meg egy adott kritérium értelmében (ld. még a 2. fejezetben említett modell-illesztési alapfeladatot). A modell általában tökéletesen nem fogja előállítani a kívánt választ; a modell kimenete és a kívánt válasz közötti különbséget, a hibát egy ε(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqyTdu2aaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaa@39F4@ zaj folyamattal vehetjük figyelembe.

d(k)=y(k)+ε(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamizamaabmaabaGaam4AaaGaayjkaiaawMcaaiabg2da9iaadMhadaqadaqaaiaadUgaaiaawIcacaGLPaaacqGHRaWkcqaH1oqzcaaMc8+aaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaa@4440@ (8.2)

A modellezésnél arra törekszünk, hogy olyan regresszorvektort ( φ(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdmaabmaabaGaam4AaaGaayjkaiaawMcaaaaa@399F@ ), paramétervektort ( ΘMathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiMdaaa@36F9@ ) és nemlineáris leképezést (f) találjunk, amely ε(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqyTdu2aaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaa@39F4@ valamilyen jellemzőjét, rendszerint az átlagos négyzetes értékét minimalizálja.

A felmerülő kérdések részben megtalálhatók a lineáris modellezési feladatok körében is. A φ(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdmaabmaabaGaam4AaaGaayjkaiaawMcaaaaa@399F@ regresszort − tehát a modell struktúráját − lineáris esetben is meg kell választani; φ(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdmaabmaabaGaam4AaaGaayjkaiaawMcaaaaa@399F@ megválasztása azonban lineáris esetben a feladatot teljesen specifikálja, hiszen ezt követően már csak a paraméterek meghatározása marad hátra. Nemlineáris modellezési feladatnál ezen kívül még f(.,.) megválasztásáról is gondoskodni kell. Amennyiben a nemlineáris dinamikus modellezési feladat megoldására neurális hálózatot használunk, a feladatmegoldás tipikusan ún. fekete doboz (black box) modellezési feladat. Fekete doboz modellezésnél a modell struktúrájáról nincs a priori ismeretünk, a feladatot pusztán a rendelkezésre álló összetartozó be-kimeneti adatok (adatszekvenciák) alapján kell megoldanunk. A (8.2) összefüggéssel kapcsolatban meg kell jegyezzük, hogy lineáris rendszerek modellezésénél ε(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqyTdu2aaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaa@39F4@ általában valóban a zajt jelenti, nemlineáris rendszereknél azonban ε(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqyTdu2aaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaa@39F4@ -ba beleértjük az ún. modellezési hibát is, ami abból eredhet, hogy a nemlineáris modellünk struktúrája nem feltétlenül felel meg a modellezendő rendszer struktúrájának.

A rendelkezésre álló adatokhoz illeszkedő nemlineáris dinamikus modell általában nem egyértelmű, tehát − hasonlóan a statikus regressziós feladatokhoz − itt is rosszul definiált (ill-posed) problémákkal állunk szemben. Ugyanahhoz az adatkészlethez különböző struktúrájú, más nemlineáris függvényt, más paramétereket alkalmazó megoldások is találhatók. Sok esetben célszerű, ha nem a legáltalánosabb modellstruktúrát alkalmazzuk. A nemlineáris függvény lehetséges megválasztását is érdemes bizonyos függvényosztályra korlátozni, mivel így jobban kezelhető, könnyebben megtalálható modellt nyerhetünk. A nemlineáris dinamikus rendszer-modellezési feladat tehát jóval nehezebb a lineáris megfelelőjénél. Az alábbiakban mielőtt néhány általános neurális dinamikus struktúrával foglalkoznánk, előbb a nemlineáris rendszermodellek egyfajta csoportosítását tekintjük át.