10.5. Nemlineáris PCA és altér hálók

Az utóbbi időben több olyan eredmény is született, melyek nemlineáris kiterjesztései a PCA illetve az altér hálóknak. A nemlineáris hálók működésének elve nagymértékben hasonlít az eddig bemutatott PCA hálókéhoz azzal a különbséggel, hogy a nemlineáris hálóknál nem közvetlenül a bemeneti adatokat dolgozzuk fel, hanem előbb egy nemlineáris transzformációt alkalmazunk – amely általában dimenziónövelő transzformáció is egyben –, majd a transzformált adatokra alkalmazzuk a már ismert eljárásokat. A nemlineáris transzformáció miatt itt esetenként a lineáris hálókénál is nagyobb mértékű tömörítés, ill. azonos mértékű tömörítés mellett kisebb hiba is elérhető.

A nemlineáris tömörítésre mutat példát a 10.9 ábra. Az ábrán látható adatok esetén nem találunk olyan lineáris transzformációt, melynek alkalmazását követően a kétdimenziós adatok olyan egydimenziós reprezentációját nyernénk, hogy a közelítés átlagos négyzetes értelemben vett hibája ne lenne jelentős. Nemlineáris transzformációt is megengedve – tehát ha az ábrán az x1, x2 koordinátarendszer helyett az x'1, és az x'1-re minden pontban merőleges x'2 koordinátarendszerben adjuk meg az adatokat – látható, hogy az x'2 koordináta elhagyása átlagos négyzetes értelemben az adatok reprezentációjában csak kis hibát eredményez: az így kapott egydimenziós reprezentáció hibája jóval kisebb, mintha az eredeti komponensek bármelyikét hagytuk volna el.

A főkomponens analízis célja az adattömörítésen kívül más is lehet. Sok esetben nem az adatok dimenzióját akarjuk redukálni, hanem a főkomponensek meghatározásával az adatok belső struktúráját szeretnénk meghatározni. A 10.9 ábrán bemutatott példa esetében sem feltétlenül az a cél, hogy a kétdimenziós reprezentáció helyett egydimenziós közelítő reprezentációt kapjunk. Önmagában annak a felismerése is hasznos lehet, hogy az x'1-menti és egy erre merőleges komponens az adatok struktúráját jobban kifejezi, mintha az eredeti x1 és x2 komponenseket használnánk. A főkomponenseket ezért nemcsak a bemeneti térben, az adatok eredeti reprezentációja mellett, hanem valamilyen nemlineáris transzformáció útján kapott jellemzőtérben is érdemes keresni. A nemlineáris transzformáció közbeiktatása miatt az adatok komponensei között magasabbrendű korreláció, az adatokban rejtve meglévő valamilyen nemlineáris struktúra felderítése is lehetséges.

A nemlineáris főkomponens analízis eljárásoknál is – hasonlóan a lineáris eljárásokhoz – olyan új koordinátarendszert keresünk, melynek egyes koordinátái jelentős mértékben eltérő fontosságúak az adatok előállításában. A kétféle eljárás közötti alapvető különbség, hogy itt a megfelelő transzformáció keresését nem korlátozzuk a lineáris transzformációk körére. A jellemzőtérben történő főkomponens analízis elvégzéséhez előbb meg kell határozni a jellemzőtérre való leképezés nemlineáris transzformációját, majd ebben − a bemeneti térnél sokszor nagyobb dimenziós − térben kell elvégezni a főkomponensek meghatározását. A módszer nehézségét már lineáris eljárásnál is az okozta, hogy a transzformáció bázisa a kiinduló jel függvénye. Nemlineáris esetben a megfelelő transzformáció megtalálása és hatékony megvalósítása még nehezebb feladat.

10.9. ábra - Nemlineáris dimenzió redukció
Nemlineáris dimenzió redukció

A következőkben két nemlineáris eljárást mutatunk be. Az első eljárásnál alkalmazott nemlineáris transzformáció általában a bemeneti térnél sokkal nagyobb dimenziós jellemzőteret eredményez, azonban a jellemzőtérbeli főkomponens analízist nem ebben a térben, hanem az ebből származtatott kernel térben tudjuk megoldani. Itt tehát nincs szükség a jellemzőtérbeli transzformáció explicit definiálására és a jellemzőtérbeli reprezentáció meghatározására. A kernel gépeknél bemutatott kernel trükk segítségével ugyanis a jellemzőtérbeli főkomponens analízis elvégezhető a kernel térben is. Az ún. kernel PCA célja az adatokban meglévő rejtett (nemlineáris) struktúra meghatározása. A kernel PCA tehát elsődlegesen nem adattömörítésre szolgál.

A második bemutatott megoldás nemlineáris adattömörítést végez, mégpedig többrétegű perceptronnal. A megoldás tehát az előzőekben bemutatott perceptron-alapú altér háló nemlineáris megfelelője.

10.5.1. Kernel PCA

A PCA során a bemeneti térben keresünk főkomponenseket úgy, hogy a bemenetek megfelelő lineáris transzformációját végezzük. A kernel PCA ezzel szemben nem a bemeneti térben keres főkomponenseket, hanem előbb a bemeneti vektorokat nemlineáris transzformációval egy ún. jellemzőtérbe transzformálja, és itt keres főkomponenseket.

Az eljárás bemutatásához a következő jelölésekből induljunk ki. Jelöljük a bemeneti térből a jellemzőtérbe való nemlineáris transzformációt Φ-vel. A bemeneti tér lehet pl. a valós szám N-esek tere, NMathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeSyhHe6aaWbaaSqabeaacaWGobaaaaaa@3845@ , ekkor a nemlineáris transzformáció NMathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeSyhHe6aaWbaaSqabeaacaWGobGaaGzaVdaaaaa@39CF@ -ből egy F jellemzőtérbe képez le:

Φ:NF,       xX=Φ(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOPdiaacQdatuuDJXwAK1uy0HMmaeHbfv3ySLgzG0uy0HgiuD3BaGqbaiab=1risnaaCaaaleqabaGaamOtaaaakiabgkziUkaadAeacaGGSaGaaeiiaiaabccacaqGGaGaaeiiaiaabccacaqGGaGaaeiiaiaahIhacqWIMgsycaWHybGaeyypa0JaaCOPdiaabIcacaWH4bGaaeykaaaa@5323@ (10.59)

Az F jellemzőtér tetszőlegesen sokdimenziós, akár végtelen dimenziós tér is lehet. Tételezzük fel, hogy az F térben is fennáll, hogy k=1PΦ(xk)=0MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaabqaeaadaqhaaWcbaGaam4Aaiabg2da9iaaigdaaeaacaWGqbaaaOGaaCOPdmaabmaabaGaaCiEamaaBaaaleaacaWGRbaabeaaaOGaayjkaiaawMcaaiabg2da9iaahcdaaSqabeqaniabggHiLdaaaa@41DB@ , ahol P a bemeneti vektorok száma. Becsüljük a jellemzőtérbeli kovarianciamátrixot a véges számú mintapont (jellemzőtérbeli vektor) alapján:

C¯=1Pj=1PΦ(xj)Φ(xj)TMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabC4qayaaraGaeyypa0ZaaSaaaeaacaaIXaaabaGaamiuaaaadaaeWbqaaiaahA6adaqadaqaaiaahIhadaWgaaWcbaGaamOAaaqabaaakiaawIcacaGLPaaacaWHMoWaaeWaaeaacaWH4bWaaSbaaSqaaiaadQgaaeqaaaGccaGLOaGaayzkaaWaaWbaaSqabeaacaWGubaaaaqaaiaadQgacqGH9aqpcaaIXaaabaGaamiuaaqdcqGHris5aaaa@4977@ (10.60)

A jellemzőtérbeli főkomponensek meghatározásához először most is meg kell határoznunk a kovarianciamátrix nemnulla sajátértékeit és a megfelelő sajátvektorokat, melyek kielégítik a szokásos sajátvektor-sajátérték egyenletet:

λV=C¯VMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4UdWMaaCOvaiabg2da9iqahoeagaqeaiaahAfaaaa@3AC5@ , (10.61)

majd a jellemzőtérbeli főkomponenseket a Φ(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOPdiaabIcacaWH4bGaaeykaaaa@38F3@ jellemzőtérbeli vektorok és az egységnyi hosszúságúra normált V sajátvektorok skalár szorzataként kapjuk.

A sajátértékek és a sajátvektorok meghatározásához hasznos, ha felhasználjuk, hogy a C¯MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabC4qayaaraaaaa@364D@ kovarianciamátrix sajátvektorai a jellemzőtérbeli vektorok által kifeszített térben vannak:

V=i=1PαiΦ(xi)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOvaiabg2da9maaqahabaGaeqySde2aaSbaaSqaaiaadMgaaeqaaOGaaCOPdmaabmaabaGaaCiEamaaBaaaleaacaWGPbaabeaaaOGaayjkaiaawMcaaaWcbaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaaaa@44B7@ , (10.62)

tehát léteznek olyan αiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqySde2aaSbaaSqaaiaadMgaaeqaaaaa@3822@ (i=1,…,P) együtthatók, melyek segítségével a sajátvektorok előállíthatók a bemeneteket a jellemzőtérben reprezentáló vektorok súlyozott összegeiként. A (10.62) összefüggés felhasználásával azonban meg tudjuk mutatni, hogy a jellemzőtérbeli főkomponensek anélkül is meghatározhatók, hogy a bemeneti vektorok jellemzőtérbeli reprezentációját meghatároznánk.

Ennek érdekében tekintsük a következő egyenletet:

λΦT(xk)V=ΦT(xk)C¯VMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4UdWMaaCOPdmaaCaaaleqabaGaamivaaaakmaabmaabaGaaCiEamaaBaaaleaacaWGRbaabeaaaOGaayjkaiaawMcaaiaayIW7caaMi8UaaCOvaiabg2da9iaahA6adaahaaWcbeqaaiaadsfaaaGcdaqadaqaaiaahIhadaWgaaWcbaGaam4AaaqabaaakiaawIcacaGLPaaacaaMi8UaaGjcVlqahoeagaqeaiaahAfaaaa@4CED@ , k=1,…,P (10.63)

Helyettesítsük ebbe az egyenletbe C¯MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabC4qayaaraaaaa@364D@ (10.60) és V (10.62) összefüggését. Ekkor minden k=1,…,P-re a következőt kapjuk:

λi=1PαiΦT(xk)Φ(xi)=1Pi=1PαiΦT(xk)j=1PΦ(xj)ΦT(xj)Φ(xi)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4UdW2aaabCaeaacqaHXoqydaWgaaWcbaGaamyAaaqabaGccaWHMoWaaWbaaSqabeaacaWGubaaaOWaaeWaaeaacaWH4bWaaSbaaSqaaiaadUgaaeqaaaGccaGLOaGaayzkaaGaaGjcVlaayIW7caaMi8UaaGjcVlaahA6adaqadaqaaiaahIhadaWgaaWcbaGaamyAaaqabaaakiaawIcacaGLPaaacqGH9aqpdaWcaaqaaiaaigdaaeaacaWGqbaaamaaqahabaGaeqySde2aaSbaaSqaaiaadMgaaeqaaOGaaCOPdmaaCaaaleqabaGaamivaaaakmaabmaabaGaaCiEamaaBaaaleaacaWGRbaabeaaaOGaayjkaiaawMcaaiaayIW7caaMi8+aaabCaeaacaWHMoWaaeWaaeaacaWH4bWaaSbaaSqaaiaadQgaaeqaaaGccaGLOaGaayzkaaGaaGjcVlaayIW7caaMi8UaaCOPdmaaCaaaleqabaGaamivaaaakmaabmaabaGaaCiEamaaBaaaleaacaWGQbaabeaaaOGaayjkaiaawMcaaiaayIW7caaMi8UaaGjcVlaayIW7caWHMoWaaeWaaeaacaWH4bWaaSbaaSqaaiaadMgaaeqaaaGccaGLOaGaayzkaaGaaGjcVdWcbaGaamOAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaaleaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaSqaaiaadMgacqGH9aqpcaaIXaaabaGaamiuaaqdcqGHris5aaaa@8700@ (10.64)

Vegyük észre, hogy ebben az összefüggésben a jellemzőtérbeli Φ(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOPdiaabIcacaWH4bGaaeykaaaa@38F3@ vektorok mindig csak skalár szorzat formájában szerepelnek.

Definiáljunk egy P×PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiuaiabgEna0kaadcfaaaa@392A@ méretű K kernel mátrixot, melynek (i,j)-edik eleme:

Kij=K(xi,xj)=ΦT(xi)Φ(xj)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4samaaBaaaleaacaWGPbGaamOAaaqabaGccqGH9aqpcaWGlbWaaeWaaeaacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaiilaiaahIhadaWgaaWcbaGaamOAaaqabaaakiaawIcacaGLPaaacqGH9aqpcaWHMoWaaWbaaSqabeaacaWGubaaaOWaaeWaaeaacaWH4bWaaSbaaSqaaiaadMgaaeqaaaGccaGLOaGaayzkaaGaaGjcVlaayIW7caaMi8UaaGjcVlaahA6adaqadaqaaiaahIhadaWgaaWcbaGaamOAaaqabaaakiaawIcacaGLPaaaaaa@52C1@ . (10.65)

Ezzel a (10.64) összefüggés az alábbi tömör formában is felírható:

PλKα=K2αMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiuaiabeU7aSjaahUeacaWHXoGaeyypa0JaaC4samaaCaaaleqabaGaaGOmaaaakiaahg7aaaa@3E0D@ , (10.66)

ahol az αMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCySdaaa@36A6@ oszlopvektor az αiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqySde2aaSbaaSqaaiaadMgaaeqaaaaa@3822@i=1,…,P együtthatókból áll. K szimmetrikus mátrix, és ha megoldjuk a következő sajátvektor-sajátérték problémát:

Pλα=KαMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiuaiabeU7aSjaahg7acqGH9aqpcaWHlbGaaCySdaaa@3C46@ , (10.67)

ahol az αMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCySdaaa@36A6@ vektorok K sajátvektorai és a értékek a sajátértékek, a megoldás kielégíti a (10.66) egyenletet is. Jelöljük K nemnulla sajátértékeit nagyság szerint sorbarendezve λ1λ2...λPMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4UdW2aaSbaaSqaaiaaigdaaeqaaOGaeyizImQaeq4UdW2aaSbaaSqaaiaaikdaaeqaaOGaeyizImQaaiOlaiaac6cacaGGUaGaeyizImQaeq4UdW2aaSbaaSqaaiaadcfaaeqaaaaa@449E@ -vel, a hozzájuk tartozó sajátvektorokat pedig α(1),...,α(P)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCySdmaaCaaaleqabaWaaeWaaeaacaaIXaaacaGLOaGaayzkaaaaaOGaaiilaiaayIW7caaMi8UaaiOlaiaac6cacaGGUaGaaGjcVlaayIW7caGGSaGaaGjcVlaayIW7caWHXoWaaWbaaSqabeaadaqadaqaaiaadcfaaiaawIcacaGLPaaaaaaaaa@49C5@ -vel, és legyen λrMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4UdW2aaSbaaSqaaiaadkhaaeqaaaaa@3840@ az első (legkisebb) nemnulla sajátérték. (Ha feltételezzük, hogy Φ(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOPdiaabIcacaWH4bGaaeykaaaa@38F3@ nem azonosan 0, akkor mindig léteznie kell egy ilyen λrMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4UdW2aaSbaaSqaaiaadkhaaeqaaaaa@3840@ -nek.) Normalizáljuk az α(r),...,α(P)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCySdmaaCaaaleqabaWaaeWaaeaacaWGYbaacaGLOaGaayzkaaaaaOGaaiilaiaayIW7caaMi8UaaiOlaiaac6cacaGGUaGaaGjcVlaayIW7caGGSaGaaGjcVlaayIW7caWHXoWaaWbaaSqabeaadaqadaqaaiaadcfaaiaawIcacaGLPaaaaaaaaa@4A01@ sajátvektorokat, hogy az F térben a következő egyenlőség teljesüljön k=r,…,P–re :

V(k)TV(k)=1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOvamaaCaaaleqabaWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaOWaaWbaaSqabeaacaWGubaaaOGaaGjcVlaayIW7caWHwbWaaWbaaSqabeaadaqadaqaaiaadUgaaiaawIcacaGLPaaaaaGccqGH9aqpcaaIXaaaaa@427A@ (10.68)

Ez a következő normalizálási feltételt szabja az αMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCySdaaa@36A6@ sajátvektorokra:

1=i,j=1Pαi(k)αj(k)ΦT(xi)Φ(xj)=i,j=1Pαi(k)αj(k)Kij=α(k)TKα(k)=λkα(k)Tα(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGceaqabeaafaqabeWabaaabaGaaGymaiabg2da9maaqahabaGaeqySde2aa0baaSqaaiaadMgaaeaadaqadaqaaiaadUgaaiaawIcacaGLPaaaaaGccqaHXoqydaqhaaWcbaGaamOAaaqaamaabmaabaGaam4AaaGaayjkaiaawMcaaaaakiaahA6adaahaaWcbeqaaiaadsfaaaGcdaqadaqaaiaahIhadaWgaaWcbaGaamyAaaqabaaakiaawIcacaGLPaaacaaMi8UaaGjcVlaayIW7caWHMoWaaeWaaeaacaWH4bWaaSbaaSqaaiaadQgaaeqaaaGccaGLOaGaayzkaaaaleaacaWGPbGaaiilaiaadQgacqGH9aqpcaaIXaaabaGaamiuaaqdcqGHris5aaGcbaaabaGaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8Uaeyypa0ZaaabCaeaacqaHXoqydaqhaaWcbaGaamyAaaqaamaabmaabaGaam4AaaGaayjkaiaawMcaaaaakiabeg7aHnaaDaaaleaacaWGQbaabaWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaOGaam4samaaBaaaleaacaWGPbGaamOAaaqabaGccqGH9aqpcaWHXoWaaWbaaSqabeaadaqadaqaaiaadUgaaiaawIcacaGLPaaaaaGcdaahaaWcbeqaaiaadsfaaaGccaWHlbGaaGjcVlaayIW7caWHXoWaaWbaaSqabeaadaqadaqaaiaadUgaaiaawIcacaGLPaaaaaaabaGaamyAaiaacYcacaWGQbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaaaakeaacaaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlabg2da9iabeU7aSnaaBaaaleaacaWGRbaabeaakiaahg7adaahaaWcbeqaamaabmaabaGaam4AaaGaayjkaiaawMcaaaaakmaaCaaaleqabaGaamivaaaakiaahg7adaahaaWcbeqaamaabmaabaGaam4AaaGaayjkaiaawMcaaaaaaaaa@E57D@ (10.69)

A főkomponensek meghatározása után szükségünk van még a jellemzőtérbeli vektorok sajátvektorok szerinti vetítésére. Legyen x egy tesztpont, Φ(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOPdmaabmaabaGaaCiEaaGaayjkaiaawMcaaaaa@3925@ képpel F-ben, ekkor

V(k)TΦ(x)=i=1Pαi(k)ΦT(xi)Φ(x)=i=1Pαi(k)K(xi,x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOvamaaCaaaleqabaWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaOWaaWbaaSqabeaacaWGubaaaOGaaGjcVlaayIW7caWHMoWaaeWaaeaacaWH4baacaGLOaGaayzkaaGaeyypa0ZaaabCaeaacqaHXoqydaqhaaWcbaGaamyAaaqaamaabmaabaGaam4AaaGaayjkaiaawMcaaaaakiaahA6adaahaaWcbeqaaiaadsfaaaGcdaqadaqaaiaahIhadaWgaaWcbaGaamyAaaqabaaakiaawIcacaGLPaaacaaMi8UaaGjcVlaayIW7caaMi8UaaCOPdmaabmaabaGaaCiEaaGaayjkaiaawMcaaaWcbaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdGccqGH9aqpdaaeWbqaaiabeg7aHnaaDaaaleaacaWGPbaabaWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaOGaam4samaabmaabaGaaCiEamaaBaaaleaacaWGPbaabeaakiaacYcacaWH4baacaGLOaGaayzkaaaaleaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaaa@6F21@ (10.70)

A jellemzőtérbeli főkomponens tehát a közvetlenül a kernel értékek függvényében kifejezhető, anélkül, hogy a Φ(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOPdmaabmaabaGaaCiEaaGaayjkaiaawMcaaaaa@3925@ nemlineáris leképezéseket meg kéne határozni. Tehát itt is a kernel trükköt alkalmazhatjuk, ha a nemlineáris PCA számítását nem a Φ(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOPdmaabmaabaGaaCiEaaGaayjkaiaawMcaaaaa@3925@ nemlineáris leképezések rögzítésével, hanem a K mátrix (a kernel függvény) megválasztásával végezzük. A kernel PCA-nál tehát nem a Φ(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOPdmaabmaabaGaaCiEaaGaayjkaiaawMcaaaaa@3925@ nemlineáris leképezésekből, hanem a kernel függvényből indulunk ki. A kernel függvény implicit módon definiálja a jellemzőtérbeli leképezést.

Összefoglalva a következő teendőink vannak a főkomponensek meghatározása során. Először meg kell választanunk a kernel függvényt, majd meg kell határoznunk a K mátrixot. Ennek a mátrixnak kell kiszámítanunk az α(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCySdmaaCaaaleqabaWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaaaa@394C@ sajátvektorait. A sajátvektorok normalizálását követően határozhatjuk meg a bemeneti vektorok jellemzőtérbeli főkomponenseit a (10.70) összefüggés felhasználásával.

Az eljárás fő előnye abban rejlik, hogy a Φ(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOPdmaabmaabaGaaCiEaaGaayjkaiaawMcaaaaa@3925@ függvény ismeretére nincs szükségünk, továbbá, hogy míg az eredeti PCA során a kovarianciamátrix mérete a bemeneti dimenziótól függ, addig itt a K mátrix méretét a tanítópontok száma határozza meg. Lineáris PCA-nál legfeljebb N sajátvektort és így N főkomponenst találunk, ahol N a bemeneti vektorok dimenziója. Kernel PCA-nál maximum P nemnulla sajátértéket kaphatunk, ahol P a mintapontok száma.

A nulla várhatóérték biztosítása a jellemzőtérben

A korábbiakban tényéként kezeltük, hogy az F térben igaz a k=1PΦ(xk)=0MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaabqaeaadaqhaaWcbaGaam4Aaiabg2da9iaaigdaaeaacaWGqbaaaOGaaCOPdmaabmaabaGaaCiEamaaBaaaleaacaWGRbaabeaaaOGaayjkaiaawMcaaiabg2da9iaaicdaaSqabeqaniabggHiLdaaaa@41DC@ megállapítás. Ez nyilvánvalóan nem lehet igaz minden Φ(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOPdmaabmaabaGaaCiEaaGaayjkaiaawMcaaaaa@3925@ függvényre, így szükségünk van arra, hogy a Φ(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOPdmaabmaabaGaaCiEaaGaayjkaiaawMcaaaaa@3925@ jellemzőtérbeli vektorokat is 0 átlagértékűvé transzformáljuk. Ez megoldható, ha a vektorokból kivonjuk az átlagukat:

Φ˜(xi)=Φ(xi)1Pk=1PΦ(xk)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCOPdyaaiaWaaeWaaeaacaWH4bWaaSbaaSqaaiaadMgaaeqaaaGccaGLOaGaayzkaaGaeyypa0JaaCOPdmaabmaabaGaaCiEamaaBaaaleaacaWGPbaabeaaaOGaayjkaiaawMcaaiaayIW7caaMi8UaaGjcVlaayIW7cqGHsislcaaMi8UaaGjcVpaalaaabaGaaGymaaqaaiaadcfaaaWaaabCaeaacaWHMoWaaeWaaeaacaWH4bWaaSbaaSqaaiaadUgaaeqaaaGccaGLOaGaayzkaaaaleaacaWGRbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaaa@56DB@ (10.71)

Az eddigi megállapítások szerint most ez alapján kell meghatározni a kovarianciamátrixot, illetve a

K˜ij=Φ˜T(xi)Φ˜(xj)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabm4sayaaiaWaaSbaaSqaaiaadMgacaWGQbaabeaakiabg2da9iqahA6agaacamaaCaaaleqabaGaamivaaaakmaabmaabaGaaCiEamaaBaaaleaacaWGPbaabeaaaOGaayjkaiaawMcaaiabgwSixlqahA6agaacamaabmaabaGaaCiEamaaBaaaleaacaWGQbaabeaaaOGaayjkaiaawMcaaaaa@469A@ (10.72)

mátrixot az F térben. Az így kapott K˜MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabC4sayaaiaaaaa@364C@ mátrix sajátérték-sajátvektor rendszerét kell meghatároznunk:

λ˜α˜=K˜α˜MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGafq4UdWMbaGaaceWHXoGbaGaacqGH9aqpceWGlbGbaGaaceWHXoGbaGaaaaa@3BA9@ (10.73)

ahol α˜MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCySdyaaiaaaaa@36B5@ a sajátvektorok együtthatóit tartalmazza a következő formában:

V˜=i=1Pα˜iΦ˜(xi)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCOvayaaiaGaeyypa0ZaaabmaeaacuaHXoqygaacamaaBaaaleaacaWGPbaabeaaaeaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoakiqahA6agaacamaabmaabaGaaCiEamaaBaaaleaacaWGPbaabeaaaOGaayjkaiaawMcaaaaa@4499@ . (10.74)

A K˜MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabC4sayaaiaaaaa@364C@ mátrix kiszámítása a definíciós összefüggés szerint azonban nem lehetséges a módosított jellemzőtérbeli vektorok ismerete nélkül. Lehetőségünk van viszont arra, hogy a K˜MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabC4sayaaiaaaaa@364C@ mátrixot K-val kifejezzük.

Használjuk a következő jelöléseket: Kij=(ΦT(xi)Φ(xj))MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4samaaBaaaleaacaWGPbGaamOAaaqabaGccqGH9aqpdaqadaqaaiaahA6adaahaaWcbeqaaiaadsfaaaGcdaqadaqaaiaahIhadaWgaaWcbaGaamyAaaqabaaakiaawIcacaGLPaaacqGHflY1caWHMoWaaeWaaeaacaWH4bWaaSbaaSqaaiaadQgaaeqaaaGccaGLOaGaayzkaaaacaGLOaGaayzkaaaaaa@47F6@ , 1ij=1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaGymamaaBaaaleaacaWGPbGaamOAaaqabaGccqGH9aqpcaaIXaaaaa@39F8@ minden i, j-re és (1P)ij=1/PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaeWaaeaacaaIXaWaaSbaaSqaaiaadcfaaeqaaaGccaGLOaGaayzkaaWaaSbaaSqaaiaadMgacaWGQbaabeaakiabg2da9iaaigdacaGGVaGaamiuaaaa@3E14@ . Ezek után K˜MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabC4sayaaiaaaaa@364C@ számítása:

K˜ij=((Φ(xi)1Pp=1PΦ(xp))(Φ(xj)1Pk=1PΦ(xk)))==Kij1Pp=1P1ipKpj1Pk=1PKik1kj+1P2p,k=1P1ipKpk1kj==(K1PK+K1P+1PK1P)ijMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGceaqabeaaceWGlbGbaGaadaWgaaWcbaGaamyAaiaadQgaaeqaaOGaeyypa0ZaaeWaaeaadaqadaqaaiaahA6adaqadaqaaiaahIhadaWgaaWcbaGaamyAaaqabaaakiaawIcacaGLPaaacqGHsisldaWcaaqaaiaaigdaaeaacaWGqbaaamaaqahabaGaaCOPdmaabmaabaGaaCiEamaaBaaaleaacaWGWbaabeaaaOGaayjkaiaawMcaaaWcbaGaamiCaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaakiaawIcacaGLPaaacqGHflY1daqadaqaaiaahA6adaqadaqaaiaahIhadaWgaaWcbaGaamOAaaqabaaakiaawIcacaGLPaaacqGHsisldaWcaaqaaiaaigdaaeaacaWGqbaaamaaqahabaGaaCOPdmaabmaabaGaaCiEamaaBaaaleaacaWGRbaabeaaaOGaayjkaiaawMcaaaWcbaGaam4Aaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaakiaawIcacaGLPaaaaiaawIcacaGLPaaacqGH9aqpcaaMf8oabaaabaGaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlabg2da9iaadUeadaWgaaWcbaGaamyAaiaadQgaaeqaaOGaeyOeI0YaaSaaaeaacaaIXaaabaGaamiuaaaadaaeWbqaaiaaigdadaWgaaWcbaGaamyAaiaadchaaeqaaOGaam4samaaBaaaleaacaWGWbGaamOAaaqabaGccqGHsisldaWcaaqaaiaaigdaaeaacaWGqbaaamaaqahabaGaam4samaaBaaaleaacaWGPbGaam4AaaqabaGccaaIXaWaaSbaaSqaaiaadUgacaWGQbaabeaaaeaacaWGRbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaSqaaiaadchacqGH9aqpcaaIXaaabaGaamiuaaqdcqGHris5aOGaey4kaSYaaSaaaeaacaaIXaaabaGaamiuamaaCaaaleqabaGaaGOmaaaaaaGcdaaeWbqaaiaaigdadaWgaaWcbaGaamyAaiaadchaaeqaaOGaam4samaaBaaaleaacaWGWbGaam4AaaqabaGccaaIXaWaaSbaaSqaaiaadUgacaWGQbaabeaakiabg2da9aWcbaGaamiCaiaacYcacaWGRbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoakiaaywW7aeaaaeaacaaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8Uaeyypa0ZaaeWaaeaacaWHlbGaeyOeI0IaaCymamaaBaaaleaacaWGqbaabeaakiaahUeacqGHRaWkcaWHlbGaaCymamaaBaaaleaacaWGqbaabeaakiabgUcaRiaahgdadaWgaaWcbaGaamiuaaqabaGccaWHlbGaaCymamaaBaaaleaacaWGqbaabeaaaOGaayjkaiaawMcaamaaBaaaleaacaWGPbGaamOAaaqabaaaaaa@E10C@ (10.75)

Ezután számíthatók ki a sajátértékek és a sajátvektorok, a főkomponensek számítása pedig ugyanaz, mint a nem központosított adatok esetében.

Jelvisszaállítás

Láttuk, hogy a kernel PCA a jellemzőtérben határoz meg főkomponenseket, ezért a főkomponensekből szintén a jel jellemzőtérbeli reprezentációját tudnánk előállítani. Azt is láttuk ugyanakkor, hogy a kernel trükk miatt valójában nem is dolgozunk a jellemzőtérben, hiszen a jellemzőtérbeli vetületeket is meg tudjuk határozni a kerneltérbeli reprezentáció segítségével. Ha azt szeretnénk tudni, hogy mi a jellemzőtérbeli közelítő reprezentáció hatása a bemeneti térben, akkor a jellemzőtérbeli főkomponensekből vissza kell állítanunk a jelet a bemeneti térben. Ez a feladat egyáltalán nem triviális, sőt nem is feltétlenül egyértelmű. A jelvisszaállításra Sebastian Mika [Mik99] és munkatársai javasoltak közvetett eljárást. E szerint a bemeneti térben keresünk olyan vektort, amelynek jellemzőtérbeli főkomponensei minél inkább hasonlóak a visszaállítandó jel főkomponenseihez.

Jelöljük az eredeti jel m főkomponens alapján kapott jellemzőtérbeli közelítő reprezentációját X^mMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiwayaajaWaaSbaaSqaaiaad2gaaeqaaaaa@3778@ -mel. Ekkor

X^m=k=1mβkV(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiwayaajaWaaSbaaSqaaiaad2gaaeqaaOGaeyypa0ZaaabCaeaacqaHYoGydaWgaaWcbaGaam4AaaqabaGccaWHwbWaaWbaaSqabeaadaqadaqaaiaadUgaaiaawIcacaGLPaaaaaaabaGaam4Aaiabg2da9iaaigdaaeaacaWGTbaaniabggHiLdaaaa@44AE@ , (10.76)

vagyis a közelítő reprezentáció a jellemzőtérbeli sajátvektorok lineáris kombinációjaként állítható elő. A jelvisszaállításhoz olyan bemenetet keresünk, melynek a jellemzőtérbeli képe minél kisebb mértékben tér el X^mMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiwayaajaWaaSbaaSqaaiaad2gaaeqaaaaa@3778@ -től. E mögött az a feltevés áll, hogy ha két jel jellemzőtérbeli reprezentációja között az eltérés kicsi, akkor a bemeneti térben is kicsi a köztük lévő eltérés. Négyzetes hibakritériumot alkalmazva ez azt jelenti, hogy keressük azt az x^MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiEayaajaaaaa@367A@ bemeneti vektort, melyre

C(x^)=Φ(x^)X^m2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4qaiaabIcaceWH4bGbaKaacaqGPaGaeyypa0ZaauWaaeaacaWHMoWaaeWaaeaaceWH4bGbaKaaaiaawIcacaGLPaaacqGHsislceWHybGbaKaadaWgaaWcbaGaamyBaaqabaaakiaawMa7caGLkWoadaahaaWcbeqaaiaaikdaaaaaaa@4481@MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcaa@3568@ (10.77)

minimális. Behelyettesítve (10.77)-be (10.76)-ot és V(k)MathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaebbnrfifHhDYfgasaacH8YjY=vipgYlh9vqqj=hEeeu0xXdbba9frFj0=OqFfea0dXdd9vqai=hGuQ8kuc9pgc9q8qqaq=dir=f0=yqaiVgFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaaeWabaWaaaGcbaGaaCOvamaaCaaaleqabaGaaiikaiaadUgacaGGPaaaaaaa@3506@ (10.62) összefüggését, az eltérésre a következőt kapjuk:

C(x^)=K(x^,x^)2k=1mβki=1Pαi(k)K(x^,xi)+ΩMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4qaiaabIcaceWH4bGbaKaacaqGPaGaeyypa0Jaam4samaabmaabaGabCiEayaajaGaaiilaiqahIhagaqcaaGaayjkaiaawMcaaiabgkHiTiaaikdadaaeWbqaaiabek7aInaaBaaaleaacaWGRbaabeaakmaaqahabaGaeqySde2aa0baaSqaaiaadMgaaeaadaqadaqaaiaadUgaaiaawIcacaGLPaaaaaGccaWGlbWaaeWaaeaaceWH4bGbaKaacaGGSaGaaCiEamaaBaaaleaacaWGPbaabeaaaOGaayjkaiaawMcaaaWcbaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaaleaacaWGRbGaeyypa0JaaGymaaqaaiaad2gaa0GaeyyeIuoakiabgUcaRiaabM6aaaa@5C7C@MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcaa@3568@ (10.78)

ahol Ω függtelen x^MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiEayaajaaaaa@367A@ -től. A (10.78) kritérium minimumát biztosító x^MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiEayaajaaaaa@367A@ gradiens eljárással megkereshető, ha rögzítettük a kernel függvényt.

10.1 példa

A kernel PCA működését egy egyszerű példán illusztráljuk [Sch96c]. Egy kétdimenziós adathalmaz főkomponenseit keressük, ahol az adatok generálása a következő módon történt: egy mintapont x1 komponense a [-1,1] intervallumba egyenletes eloszlású véletlen szám, x2 komponensét pedig az alábbi kapcsolat alapján határozhatjuk meg x2=x12+ξMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiEamaaBaaaleaacaaIYaaabeaakiabg2da9iaadIhadaqhaaWcbaWaaSbaaWqaaiaaigdaaeqaaaWcbaGaaGOmaaaakiabgUcaRiabe67a4baa@3DE6@ ahol ξ egy nulla várható értékű σ=0,2 szórású normális eloszlású véletlen zaj.

Válasszunk a feladat megoldásához polinomiális kernelt:

K(xi,x)=(xiTx)qMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4saiaabIcacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaCilaiaahIhacaqGPaGaeyypa0ZaaeWaaeaacaWH4bWaa0baaSqaamaaBaaameaacaWGPbaabeaalmaaCaaameqabaaaaaWcbaGaamivaaaakiaahIhaaiaawIcacaGLPaaacaaMi8UaaGjcVpaaCaaaleqabaGaamyCaaaaaaa@46B0@

A 10.10 ábra különböző q értékekre mutatja a főkomponens analízis eredményét. Balról jobbra az egyes oszlopok rendre q=1, 2, 3 és 4 érték melletti polinomiális kernellel született eredményeket mutatnak olyan módon, hogy az egyes oszlopokban a három legnagyobb sajátértéknek megfelelő eredmény látható. Az ábrán a vonalak a konstans főkomponensek kontúr vonalai.

A bal szélső oszlop a q=1 esethez tartozik, ami valójában a lineáris PCA. Látható, hogy itt csak két sajátérték lesz nullától különböző, ami triviális is kétdimenziós bemenetek esetében. Lineáris PCA-nál a sajátvektorok az ábra vonalaira merőleges irányúak és nyilvánvalóan egymásra is merőlegesek. Az első oszlop ábráiból az is látható, hogy az adott példában a lineáris PCA főkomponensei nem tükrözik az adatok struktúráját.

10.10. ábra - Egy egyszerű példa a kernel PCA működésének illusztrálására [Sch96c]. (dr. Klaus-Robert Müller hozzájárulásával).
Egy egyszerű példa a kernel PCA működésének illusztrálására [Sch96c]. (dr. Klaus-Robert Müller hozzájárulásával).

A magasabb fokszámú esetekre a főkomponensek már visszaadnak valamit az adatok struktúrájából. Ez jól látszik a három utolsó oszlop legfelső, a legfontosabb jellemzőtérbeli sajátértékekhez tartozó ábráiból. A magasabb fokszámú esetekben a jellemzőtér dimenziója nagyobb, mint a bemeneti tér dimenziója, így itt a várakozásnak megfelelően kettőnél több nemnulla sajátérték lehet. A második oszlopban (q=2) a harmadik főkomponens − ami a legkisebb sajátértékhez tartozik − az additív Gauss zaj szerepét mutatja.

Ez utóbbi megfigyelés arra is utal, hogy a kisebb sajátértékekhez tartozó főkomponensek sok esetben az adatokat terhelő zajhoz köthetők. Ilyenkor ezeknek a főkomponenseknek az elhagyása elsősorban nem a dimenzióredukciót, hanem a zajszűrést, az adatok „zajtalanítását” (denoising) szolgálja. A PCA eljárások mind lineáris mind nemlineáris esetben eredményezhetnek zajtalanítást. Ezt illusztrálja a következő példa.

10.2 példa

A kernel PCA zajtalanító hatását egy éles feladatra való alkalmazáson mutatjuk be. A feladat kézzel írott számjegyek felismeréséhez kapcsolódik [Mik99]. A kiinduló minták 16×16 pixeles szürkeárnyalatos képek, melyeket különböző tulajdonságú additív zaj terhel. A feladatban a kernel PCA alkalmazása azt illusztrálja, hogy a kernel térben a legfontosabb főkomponensek meghagyása és a kisebb sajátértékekhez tartozó főkomponensek elhagyása alkalmas lehet a képek zajszűrésére. A példa ugyanakkor azt is illusztrálja, hogy az adott feladatban a lineáris PCA a zajszűrést megfelelő minőségben nem tudja megoldani.

A 10.11 ábra mind a kiinduló, mind a kétfajta zajjal (nulla várható értékű, σ=0,5 szórású Gauss zaj, illetve pontszerű zaj, ahol egy pixel 0,2 valószínűséggel változik fekete vagy fehér pixellé) terhelt karakterek képeit mutatja (az ábra első két sora), valamint bemutatja a lineáris PCA és a kernel PCA adott számú főkomponenséből visszaállított karakterképeket is. Minthogy az eredeti képek 256 pixelből állnak, lineáris PCA esetében maximum 256 főkomponens lehetséges. Kernel PCA mellett azonban a jellemzőtér dimenziója a választott kernel függvénytől függően ennél jóval nagyobb is lehet, a sajátvektorok számát pedig a mintapontok száma határozza meg. A példában Gauss kernel függvényt és 300 tanítómintát használtak.

Az ábrából látható, hogy lineáris PCA mellett, ha nem az összes főkomponenst használjuk, az additív zaj mérsékelhető ugyan, de a képek is jelentősen torzulnak, ami a későbbi felismerést nehezíti. A kernel PCA-nál a többdimenziós jellemzőtér biztosítja, hogy a zajt úgy mérsékeljük, hogy közben a képek minősége alig változik.

10.11. ábra - A kernel PCA zajtalanító hatása [Mik99]. (dr. Klaus-Robert Müller hozzájárulásával)
A kernel PCA zajtalanító hatása [Mik99]. (dr. Klaus-Robert Müller hozzájárulásával)

10.5.2. Nemlineáris többrétegű perceptron, mint adattömörítő hálózat

Természetesen adódik a gondolat, hogy használjuk ki a megfelelő neurális hálózatok azon képességét, hogy lényegében tetszőleges folytonos nemlineáris leképezés közelítésére megtaníthatók. Ugyancsak fontos tulajdonság, hogy a tanítás a kívánt választól való átlagos négyzetes eltérés minimalizálását végzi. Ha tehát megfelelő többrétegű nemlineáris leképezésre alkalmas hálót a lineáris adattömörítő MLP-hez hasonlóan autoasszociatív módon tanítunk, várható, hogy a háló nemlineáris adattömörítésre képes lesz [Mal96].

Nemlineáris adattömörítést úgy valósíthatunk meg, hogy olyan 5 rétegű (4 aktív rétegű) hálót alkalmazunk (10.12 ábra), amelynek első és harmadik rejtett rétege nemlineáris − ezt f jelöli az ábrán −, második rejtett rétege és kimeneti rétege pedig l-lel jelölt lineáris neuronokból épül fel. A hálót most is a szokásos hibavisszaterjesztéses eljárással tanítjuk, így a megtanított háló kimenete átlagos négyzetes értelemben a legkisebb hibájú közelítése a bemenetnek. Mint utaltunk rá, egy rejtett rétegű hálózat akár lineáris, akár nemlineáris rejtett neuronokat tartalmaz csak lineáris adattömörítésre alkalmas. Nemlineáris adattömörítés csak legalább három rejtett rétegű hálózattal lehetséges. Bár ez a háló nem tartozik sem a PCA hálócsaládba, sem a nemellenőrzött tanítású hálók közé, mégis itt említjük, mivel a háló által megoldott feladat rokon az előbb említettekkel.

A nemlineáris rejtett rétegbeli neuronok számát alapvetően a szükséges leképezés "nemlinearitásának mértéke" határozza meg. A középső, lineáris rejtett réteg − amelyben a bemeneti komponensek számánál kevesebb neuron található − kimenetén nyerjük a tömörített reprezentációt. A nemlineáris adattömörítő MLP tehát abban különbözik a lineáris tömörítést végző, a 10.8 ábrán bemutatott változattól, hogy kiegészül két nemlineáris rejtett réteggel, melyek alapvetően felelősek a nemlineáris leképezésért, és a tömörítést, illetve a visszaállítást hivatottak biztosítani. Az l-lel jelölt neuronoknál is alkalmazhatunk nemlineáris aktivációs függvényeket, bár a megfelelő működéshez erre valójában nincs szükség. A bemutatott nemlineáris hálózat − hasonlóan lineáris megfelelőjéhez − nem feltétlenül a nemlineáris főkomponenseket, hanem az M nemlineáris főkomponens által meghatározott altérbe eső vetületet határozza meg.

10.12. ábra - Nemlineáris adattömörítő MLP hálózat
Nemlineáris adattömörítő MLP hálózat