10.6. Független komponens analízis

A független komponens analízis (independent component analysis, ICA) olyan statisztikai módszer, amely adatokban (véletlen változókban, mérési eredményekben vagy akár időfüggvényekben) rejtve meglévő komponensek meghatározására szolgál. A független komponens analízis a megfigyelt többváltozós adatok generálásának egy modelljét definiálja. E modell szerint a rendelkezésre álló többdimenziós adatok egyes komponensei valamilyen ismeretlen változók lineáris vagy nemlineáris „keverékei”, súlyozott összegei, ahol a keverő rendszer szintén ismeretlen. A független komponens analízis feladata ezen rejtett változók meghatározása, feltéve, hogy a rejtett változók statisztikailag függetlenek egymástól.

A független komponens analízis a főkomponens analízis (PCA) kiterjesztésének is tekinthető, amennyiben a megfigyelt adatokban, jelekben itt is valamilyen kitüntetett komponenseket keresünk. A független komponens analízis számos gyakorlati feladat kapcsán felmerül. Ha például időfüggvények független komponensekre való szétválasztása a feladat, szokás vak forrás szeparálásról (blind source separation, BSS) beszélni. Ilyenkor a rendelkezésünkre álló megfigyelt időfüggvények valamilyen források időfüggvényeinek súlyozott összegeiként állnak elő és a megfigyelésekből az eredeti időfüggvényeket szeretnénk visszaállítani. Bár nem időfüggvényekre történő szétbontásról van szó, mégis hasonló feladatról beszélhetünk, ha pl. képek (vagy tetszőleges többdimenziós jelek) keveréke áll rendelkezésünkre, melyekből az eredeti képeket (komponenseket) szeretnénk visszakapni.

Egy komplex jel független komponensekre bontása későbbi feldolgozó lépések (pl. felismerési, osztályozási feladatok) elvégzést is megkönnyítheti. Ilyenkor a független komponens analízis eljárásokat lényegkiemelő eljárásoknak (feature extraction) tekinthetjük. További fontos gyakorlati alkalmazás az ún. vak dekonvolúció (blind deconvolution). Ebben az esetben általában csak egyetlen megfigyelt és egyetlen forrás jelünk van, melyek tipikusan időfüggvények. A megfigyelt jel a forrás jel valamilyen szűrt változata. Lineáris szűrőt feltételezve a megfigyelt jel a forrás jel és a szűrő súlyfüggvényének konvolúciójaként nyerhető, tehát a megfigyelt jel adott időpillanatbeli értéke a forrás jel régebbi értékeinek súlyozott összegeként áll elő. A megfigyelt (szűrt) jelből a forrásjel visszaállítása dekonvolúciós feladat. Amennyiben a szűrő együtthatóit nem ismerjük a jelvisszaállítást vakon kell elvégeznünk. Megfelelő feltételek fennállta esetén a vak dekonvolúció is értelmezhető független komponens analízis feladatként.

A független komponens analízis feladatot egy hétköznapi vak forrás szeparálási feladat kapcsán, az ún. koktélparti probléma kapcsán fogjuk pontosabban definiálni. A koktélparti probléma során beszédjelek keverékéből szeretnénk az egyes beszédjeleket szétválasztani.

Képzeljük el, hogy egy olyan teremben vagyunk, ahol többen beszélnek egyszerre. Amit hallunk az a sok beszéd keveréke. Ebből a beszédkeverékből szeretnénk az egyes különálló beszédjeleket elkülöníteni, hogy megértsük az egyes beszélőket.

Általánosabban a problémát a következőképpen fogalmazhatjuk meg. Adott N skalár értékű, nulla várható értékű, statisztikailag kölcsönösen független jelünk (időfüggvényünk): s1(t),s2(t),...,sN(t)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4CamaaBaaaleaacaaIXaaabeaakmaabmaabaGaamiDaaGaayjkaiaawMcaaiaacYcacaaMi8UaaGjcVlaayIW7caaMi8Uaam4CamaaBaaaleaacaaIYaaabeaakmaabmaabaGaamiDaaGaayjkaiaawMcaaiaacYcacaaMi8UaaGjcVlaayIW7caGGUaGaaGjcVlaayIW7caaMi8UaaiOlaiaayIW7caaMi8UaaGjcVlaac6cacaaMi8UaaGjcVlaacYcacaaMi8UaaGjcVlaadohadaWgaaWcbaGaamOtaaqabaGcdaqadaqaaiaadshaaiaawIcacaGLPaaaaaa@618A@ , ahol t jelöli az időt. Ezek a jelek lehetnek pl. beszéd hullámforma időfüggvények, ahol minden egyes időfüggvény más-más beszélőtől származik. Az si(t)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4CamaaBaaaleaacaWGPbaabeaakmaabmaabaGaamiDaaGaayjkaiaawMcaaaaa@3A07@ jeleket közvetlenül nem tudjuk megfigyelni, hanem helyette egy x1(t),x2(t)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiEamaaBaaaleaacaaIXaaabeaakmaabmaabaGaamiDaaGaayjkaiaawMcaaiaacYcacaaMi8UaaGjcVlaayIW7caaMi8UaamiEamaaBaaaleaacaaIYaaabeaakmaabmaabaGaamiDaaGaayjkaiaawMcaaaaa@453E@ ,…, xL(t)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaGjcVlaayIW7caWG4bWaaSbaaSqaaiaadYeaaeqaaOWaaeWaaeaacaWG0baacaGLOaGaayzkaaaaaa@3D11@ jelkészletet figyelhetünk meg, pl. L különböző helyen elhelyezett mikrofon felhasználásával. Minden egyes megfigyelt xj(t)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaGjcVlaayIW7caWG4bWaaSbaaSqaaiaadQgaaeqaaOWaaeWaaeaacaWG0baacaGLOaGaayzkaaaaaa@3D2F@ jel (mikrofonjel) az egyes beszédjelek súlyozott összegeként áll elő:

xi(t)=j=1Naijsj(t),i=1,2,...,LMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiEamaaBaaaleaacaWGPbaabeaakmaabmaabaGaamiDaaGaayjkaiaawMcaaiabg2da9maaqahabaGaamyyamaaBaaaleaacaWGPbGaamOAaaqabaaabaGaamOAaiabg2da9iaaigdaaeaacaWGobaaniabggHiLdGccaWGZbWaaSbaaSqaaiaadQgaaeqaaOWaaeWaaeaacaWG0baacaGLOaGaayzkaaGaaiilaiaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caWGPbGaeyypa0JaaGymaiaacYcacaaMi8UaaGjcVlaaikdacaGGSaGaaGjcVlaayIW7caGGUaGaaiOlaiaac6cacaaMi8UaaGjcVlaacYcacaWGmbaaaa@94D1@ (10.79)

ahol az aij együtthatók a súlyozó értékek, melyek pl. a beszélők és a mikrofonok közötti távolságok függvényei. A kevert mikrofonjelekből szeretnénk az eredeti beszédjeleket visszaállítani, vagy legalább becsülni anélkül, hogy az aij együtthatókat ismernénk.

Amennyiben ezen jelek mintavételezett értékeivel dolgozunk, az xj(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiEamaaBaaaleaacaWGQbaabeaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaaa@3A04@ , j=1, 2, …, L megfigyelési sorozatokból szeretnénk az si(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4CamaaBaaaleaacaWGPbaabeaakmaabmaabaGaam4AaaGaayjkaiaawMcaaaaa@39FE@ , i=1, 2, …, N független jelsorozatokat visszaállítani, ahol k a diszkrét időindex. Ekkor a jelmodell vektoros formában is felírható:

x(k)=As(k)+n(k)=j=1Najsj(k)+n(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiEamaabmaabaGaam4AaaGaayjkaiaawMcaaiabg2da9iaahgeacaWHZbWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaey4kaSIaaCOBamaabmaabaGaam4AaaGaayjkaiaawMcaaiabg2da9maaqahabaGaaCyyamaaBaaaleaacaWGQbaabeaaaeaacaWGQbGaeyypa0JaaGymaaqaaiaad6eaa0GaeyyeIuoakiaadohadaWgaaWcbaGaamOAaaqabaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaacqGHRaWkcaWHUbWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaa@5431@ . (10.80)

ahol A a „keverő” mátrix, aj=[a1j,a2j,...,aLj]TMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyyamaaBaaaleaacaWGQbaabeaakiaayIW7cqGH9aqpcaqGBbGaamyyamaaBaaaleaacaaIXaGaamOAaaqabaGccaGGSaGaamyyamaaBaaaleaacaaIYaGaamOAaaqabaGccaGGSaGaaGjcVlaayIW7caaMi8UaaGjcVlaac6cacaaMi8UaaGjcVlaayIW7caGGUaGaaGjcVlaayIW7caaMi8UaaiOlaiaayIW7caaMi8UaaGjcVlaayIW7caGGSaGaaGjcVlaayIW7caaMi8UaamyyamaaBaaaleaacaWGmbGaamOAaaqabaGccaqGDbWaaWbaaSqabeaacaWGubaaaaaa@6403@ a mátrix j-edik oszlopa., s(k)=[s1(k),s2(k),...,sN(k)]TMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaacbeGaa83CamaabmaabaGaam4AaaGaayjkaiaawMcaaiabg2da9maadmaabaGaam4CamaaBaaaleaacaaIXaaabeaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiaacYcacaaMi8UaaGjcVlaayIW7caaMi8Uaam4CamaaBaaaleaacaaIYaaabeaakmaabmaabaGaam4AaaGaayjkaiaawMcaaiaacYcacaaMi8UaaGjcVlaayIW7caGGUaGaaGjcVlaayIW7caaMi8UaaiOlaiaayIW7caaMi8UaaGjcVlaac6cacaaMi8UaaGjcVlaacYcacaaMi8UaaGjcVlaadohadaWgaaWcbaGaamOtaaqabaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaiaawUfacaGLDbaadaahaaWcbeqaaiaadsfaaaaaaa@68E4@ pedig a keresett független jelforrások jeleiből álló vektor. A (10.80) összefüggéssel megadott feladat annyiban általánosabb, mint a (10.79) összefüggés, hogy itt feltételeztük, hogy a megfigyeléseinket még egy n(k) additív zaj is terheli. Általában feltételezhető, hogy L N, tehát legalább annyi megfigyelt jelünk van, mint amennyi a független komponensek száma. Bár az általános feladatnál az additív zaj jelenlétével is kell számolni, a továbbiakban zajmentes esetet tételezünk fel.

A fenti alkalmazási példák mindegyike mögött ott húzódik a következő alapprobléma. Adottak az x1,x2,...,xNMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiEamaaBaaaleaacaaIXaaabeaakiaacYcacaaMi8UaaGjcVlaayIW7caaMi8UaamiEamaaBaaaleaacaaIYaaabeaakiaacYcacaaMi8UaaGjcVlaayIW7caGGUaGaaGjcVlaayIW7caaMi8UaaiOlaiaayIW7caaMi8UaaGjcVlaac6cacaaMi8UaaGjcVlaacYcacaaMi8UaaGjcVlaayIW7caWG4bWaaSbaaSqaaiaad6eaaeqaaaaa@5B9A@ valószínűségi változók, melyek az s1,s2,...,sNMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4CamaaBaaaleaacaaIXaaabeaakiaacYcacaaMi8UaaGjcVlaayIW7caaMi8Uaam4CamaaBaaaleaacaaIYaaabeaakiaacYcacaaMi8UaaGjcVlaayIW7caGGUaGaaGjcVlaayIW7caaMi8UaaiOlaiaayIW7caaMi8UaaGjcVlaac6cacaaMi8UaaGjcVlaacYcacaaMi8UaaGjcVlaayIW7caWGZbWaaSbaaSqaaiaad6eaaeqaaaaa@5B8B@ valószínűségi változók lineáris kombinációiként modellezhetők:

xi=ai1s1+ai2s2++aiNsNMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiEamaaBaaaleaacaWGPbaabeaakiabg2da9iaadggadaWgaaWcbaGaamyAaiaaigdaaeqaaOGaam4CamaaBaaaleaacaaIXaaabeaakiabgUcaRiaadggadaWgaaWcbaGaamyAaiaaikdaaeqaaOGaam4CamaaBaaaleaacaaIYaaabeaakiabgUcaRiablAciljabgUcaRiaadggadaWgaaWcbaGaamyAaiaad6eaaeqaaOGaam4CamaaBaaaleaacaWGobaabeaaaaa@4A8A@ , i=1,2,…N, (10.81)

ahol az aijMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyyamaaBaaaleaacaWGPbGaamOAaaqabaaaaa@3858@ együtthatók valamilyen valós értékű konstansok és ahol feltételezzük, hogy az s1,s2,...,sNMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4CamaaBaaaleaacaaIXaaabeaakiaacYcacaaMi8UaaGjcVlaayIW7caaMi8Uaam4CamaaBaaaleaacaaIYaaabeaakiaacYcacaaMi8UaaGjcVlaayIW7caGGUaGaaGjcVlaayIW7caaMi8UaaiOlaiaayIW7caaMi8UaaGjcVlaac6cacaaMi8UaaGjcVlaacYcacaaMi8UaaGjcVlaayIW7caWGZbWaaSbaaSqaaiaad6eaaeqaaaaa@5B8B@ valószínűségi változók statisztikailag kölcsönösen függetlenek egymástól. A független komponens analízis feladatoknál mindig feltételezzük, hogy mind az eredeti siMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4CamaaBaaaleaacaWGPbaabeaaaaa@377B@ valószínűségi változók, mind az xiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiEamaaBaaaleaacaWGPbaabeaaaaa@3780@ kevert (megfigyelt) valószínűségi változók nulla várható értékűek. A független komponensek és a megfigyelések közötti kapcsolatot vektorosan felírva:

x=AsMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiEaiabg2da9iaahgeacaWHZbaaaa@3936@ . (10.82)

ahol A a keverési mátrix, s=[s1,s2,...,sN]TMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4Caiabg2da9iaabUfacaWGZbWaaSbaaSqaaiaaigdaaeqaaOGaaiilaiaayIW7caaMi8UaaGjcVlaayIW7caWGZbWaaSbaaSqaaiaaikdaaeqaaOGaaiilaiaayIW7caaMi8UaaGjcVlaac6cacaaMi8UaaGjcVlaayIW7caGGUaGaaGjcVlaayIW7caaMi8UaaiOlaiaayIW7caaMi8UaaiilaiaayIW7caaMi8Uaam4CamaaBaaaleaacaWGobaabeaakiaab2fadaahaaWcbeqaaiaadsfaaaaaaa@5ECA@ a független komponensek vektora és x=[x1,x2,...,xN]TMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiEaiabg2da9iaabUfacaWG4bWaaSbaaSqaaiaaigdaaeqaaOGaaiilaiaayIW7caaMi8UaaGjcVlaayIW7caWG4bWaaSbaaSqaaiaaikdaaeqaaOGaaiilaiaayIW7caaMi8UaaGjcVlaac6cacaaMi8UaaGjcVlaayIW7caGGUaGaaGjcVlaayIW7caaMi8UaaiOlaiaayIW7caaMi8UaaiilaiaayIW7caaMi8UaamiEamaaBaaaleaacaWGobaabeaakiaab2fadaahaaWcbeqaaiaadsfaaaaaaa@5EDE@ a megfigyelések vektora. Az alapproblémánál tehát feltételezzük, hogy a megfigyeléseink zajmentesek, továbbá azt is, hogy pontosan annyi megfigyelésünk van, mint ahány független komponensünk (L=N). Ez utóbbiból következik, hogy A kvadratikus mátrix. A továbbiakban még azt is feltételezzük, hogy A invertálható. Ezekkel az egyszerűsítő feltételezésekkel a független komponensek meghatározása valójában A1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyqamaaCaaaleqabaGaeyOeI0IaaGymaaaaaaa@3808@ meghatározását igényli. Ha ismernénk A-t, kiszámíthatnánk az inverzét, amivel a független komponensek közvetlenül meghatározhatók lennének:

s=A1xMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4Caiabg2da9iaahgeadaahaaWcbeqaaiabgkHiTiaaigdaaaGccaWH4baaaa@3B15@ . (10.83)

A probléma legegyszerűbb változatánál a megfigyelések a független komponensekből lineáris transzformáció útján származnak és a jelvisszaállítás is egy lineáris transzformáció. A független komponens analízis tehát a jelvisszaállító transzformáció A1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyqamaaCaaaleqabaGaeyOeI0IaaGymaaaaaaa@3808@ mátrixának a meghatározását igényli.

A független komponens feladat megoldásánál tehát olyan lineáris transzformációt keresünk, mely minél jobban közelíti az A1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyqamaaCaaaleqabaGaeyOeI0IaaGymaaaaaaa@3808@ mátrixot. A nehézséget az okozza, hogy A-t nem ismerjük. Számos valós feladatnál további nehézségeket okoz, hogy a fentiekben megfogalmazott egyszerűsítő feltételezések sem érvényesek.

A fejezetben csak az alapesetre térünk ki, a problémakör általános tárgyalására itt nincs mód. Az általánosabb esetekkel, illetve a nagyon speciális esetekkel a bőséges irodalom pl. [Jut88], [Car94], [Com94], [Kar94], [Bel95], [Ama95], [Gir96], [Kar97], [Kar98], [Hyv00], [Hyv01], [Hyv06] foglalkozik.

A fenti feltételeken túl egy további általános feltételnek is eleget kell tenni: a független komponensek nem lehetnek Gauss eloszlású valószínűségi változók. Ennek a feltételnek az a magyarázata, hogy a független komponens analízis eljárások olyan kritériumok alapján dolgoznak, melyek csak nem Gauss eloszlású valószínűségi változókra alkalmazhatók. Itt érdemes utalni a főkomponens analízis problémára. Míg a főkomponens analízis egy többdimenziós jelet korrelálatlan komponensekre bontja szét, addig a független komponens analízis összetett jelek kölcsönösen független komponenseit próbálja megtalálni, vagy legalább olyan komponenseket keres, amelyek a lehető legnagyobb mértékben függetlenek egymástól. A korrelálatlan komponensekre bontáshoz a bemenet első és másodrendű statisztikai jellemzőinek felhasználása elegendő, az ICA a magasabbrendű statisztikákat is felhasználja.

Gauss eloszlás jellemzésére a magasabbrendű statisztikák alkalmazása nem szükséges, hiszen az első és másodrendű statisztikai jellemzők a Gauss valószínűségi változók teljes statisztikai leírását megadják. Továbbá egy x Gauss eloszlású valószínűségi vektorváltozóra az is igaz, hogy x lineáris transzformációja, (pl. az (10.83) jelvisszaállításnak megfelelő transzformációval) szintén Gauss eloszlású lesz, melyet várhatóérték vektorával és kovariancia mátrixával teljes mértékben tudunk jellemezni. Ennek következménye, hogy a standard független komponens analízis eljárások képtelenek a keverő, illetve a visszaállító mátrixot identifikálni. Ugyanakkor meg kell jegyezni, hogy ha a független komponensek között csak egyetlen Gauss eloszlású található, a feladat megoldható. Azt is mondhatjuk, hogy a független komponens analízis feladat úgy is megfogalmazható, hogy az x valószínűségi vektorváltozók olyan lineáris transzformációját, olyan vetületeit keressük, melyek a lehető legkevésbé Gauss eloszlásúak. A független komponens analízis eljárásoknál ezért a statisztikai függetlenség és a „nemgauss-ság” felcserélhető fogalmak.

A fentiek indokolják a független komponens analízis eljárások formális megfogalmazásait. Olyan eljárásokat keresünk, melyek eredményeképpen kapott komponensek kielégítik a statisztikai függetlenség valamelyik definícióját, vagy melyek eredményeképp kapott komponensek a lehető legkevésbé Gauss eloszlásúak.

Mindkét megközelítés alapján számos eljárást dolgoztak ki. A statisztikai függetlenség mérésére a függetlenség definíciójából indulhatunk ki. A statisztikai függetlenség a valószínűség sűrűségfüggvények vagy eloszlásfüggvények segítségével definiálható. Legyen pl. y1 és y2 két skalár értékű valószínűségi változó és jelölje p(y1)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiCamaabmaabaGaamyEamaaBaaaleaacaaIXaaabeaaaOGaayjkaiaawMcaaaaa@39D6@ illetve p(y2)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiCamaabmaabaGaamyEamaaBaaaleaacaaIYaaabeaaaOGaayjkaiaawMcaaaaa@39D7@ a megfelelő valószínűség sűrűségfüggvényeket. A két valószínűségi változó független, ha a p(y1,y2)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiCamaabmaabaGaamyEamaaBaaaleaacaaIXaaabeaakiaacYcacaWG5bWaaSbaaSqaaiaaikdaaeqaaaGccaGLOaGaayzkaaaaaa@3C76@ együttes valószínűségi sűrűségfüggvényük a két sűrűségfüggvény szorzataként felírható:

p(y1,y2)=p(y1)p(y2)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiCamaabmaabaGaamyEamaaBaaaleaacaaIXaaabeaakiaacYcacaWG5bWaaSbaaSqaaiaaikdaaeqaaaGccaGLOaGaayzkaaGaeyypa0JaamiCamaabmaabaGaamyEamaaBaaaleaacaaIXaaabeaaaOGaayjkaiaawMcaaiaadchadaqadaqaaiaadMhadaWgaaWcbaGaaGOmaaqabaaakiaawIcacaGLPaaaaaa@4657@ (10.84)

Ennek felhasználásával könnyen belátható, hogy független valószínűségi változókra fennáll a következő összefüggés is:

E{h1(y1),h2(y2)}=E{h1(y1)}E{h2(y2)}MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyramaacmaabaGaamiAamaaBaaaleaacaaIXaaabeaakmaabmaabaGaamyEamaaBaaaleaacaaIXaaabeaaaOGaayjkaiaawMcaaiaacYcacaWGObWaaSbaaSqaaiaaikdaaeqaaOWaaeWaaeaacaWG5bWaaSbaaSqaaiaaikdaaeqaaaGccaGLOaGaayzkaaaacaGL7bGaayzFaaGaeyypa0JaamyramaacmaabaGaamiAamaaBaaaleaacaaIXaaabeaakmaabmaabaGaamyEamaaBaaaleaacaaIXaaabeaaaOGaayjkaiaawMcaaaGaay5Eaiaaw2haaiaadweadaGadaqaaiaadIgadaWgaaWcbaGaaGOmaaqabaGcdaqadaqaaiaadMhadaWgaaWcbaGaaGOmaaqabaaakiaawIcacaGLPaaaaiaawUhacaGL9baaaaa@556C@ (10.85)

ahol h1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiAamaaBaaaleaacaaIXaaabeaaaaa@373D@ és h2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiAamaaBaaaleaacaaIYaaabeaaaaa@373E@ tetszőleges abszolút integrálható függvény lehet.

A függetlenség megállapítása a fentieken túl a valószínűségi változók statisztikai jellemzőinek (pl. momentumainak), illetve számos az információelmélet alapján származtatott mennyiségnek az alapján is lehetséges [Hyv01]. Ilyen mennyiségek pl. az entrópia és a kölcsönös információ vagy a Kullback-Leibler divergencia. A nemgauss-ságon alapuló eljárások egyrészt a magasabbrendű momentumokat, elsősorban a kurtózist alkalmazzák, de a nemgauss-ság mérésére is használhatók egyes információelméleti fogalmak, mint pl. a negentrópia. A különböző függetlenség vagy nemgauss-ság mértékek eltérő eljárásokat eredményeznek. Ezen eljárások közül itt csak néhányat mutatunk be. Olyan eljárásokat, melyek neuronháló architektúrával, mintapontokból való iteratív tanulással oldják meg a független komponens analízis feladatot.

A következőkben előbb egy magasabbrendű momentumokon alapuló eljárást, majd az egyik legsikeresebb független komponens meghatározó algoritmust, az ún. FastICA eljárást mutatjuk be. Végül olyan megoldásra is mutatunk példát, ahol a neurális PCA hálózatok nemlineáris változatával becsülhetők a független komponensek. A bemutatott eljárásoknál mindig feltételezzük, hogy mind a kiinduló adatok, mind az eredményként kapott adatok nulla várható értékűek.

10.6.1. Független komponens analízis nemgauss-ság alapján

Annak eldöntése, hogy egy valószínűségi változó Gauss eloszlású-e vagy sem bizonyos magasabbrendű momentumok segítségével is lehetséges. Ilyen magasabbrendű momentum a kurtózis, melyet nulla várható értékű valószínűségi változó esetére a következőképpen definiálhatunk:

kurt(y)=E{y4}3(E{y2})2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaae4AaiaabwhacaqGYbGaaeiDamaabmaabaGaamyEaaGaayjkaiaawMcaaiabg2da9iaadweadaGadaqaaiaadMhadaahaaWcbeqaaiaaisdaaaaakiaawUhacaGL9baacqGHsislcaaIZaWaaeWaaeaacaWGfbWaaiWaaeaacaWG5bWaaWbaaSqabeaacaaIYaaaaaGccaGL7bGaayzFaaaacaGLOaGaayzkaaWaaWbaaSqabeaacaaIYaaaaaaa@4ABE@ . (10.86)

Gauss valószínűségi változóknál a kurtózis nulla, míg olyan eloszlásoknál, melyek a nulla körül csúcsosodnak, de elnyúló farokrésszel rendelkeznek pozitív, lapos sűrűségfüggvény estében pedig negatív a kurtózis. A nemgauss-ság mérésére ezért a kurtózis abszolút értéke vagy négyzete használható. A pozitív kurtózisú eloszlásokat szuper-Gauss, a negatív kurtózisúakat pedig szub-Gauss eloszlásoknak nevezzük. A Laplace eloszlás (kétoldalú exponenciális eloszlás) jó példa a szuper-Gauss eloszlásra, egy egyenletes eloszlású valószínűségi változó pedig szub-Gauss változó. Sok gyakorlati feladatnál a jelforrások szub-Gauss vagy szuper-Gauss jelet szolgáltatnak. A beszédjelek pl. tipikusan szuper-Gauss jelek.

A kurtózis alkalmazásának a független komponensek meghatározásánál a legfőbb előnye, hogy könnyű becsülni. Ha ugyanis a véletlen változó varianciáját egyégnyire tudjuk választani, a kurtózis meghatározása lényegében csak a negyedik momentum számítását igényli. Hátrányos ugyanakkor, hogy a kurtózis nagyon érzékeny a kilógó adatokra, ami viszonylag kevés mintapont alapján történő becslésnél jelentős hibát eredményezhet. A kurtózis nem robusztus mértéke a nemgauss-ságnak.

A független komponenseket megadó szeparáló mátrix meghatározása könnyebb, ha előzetesen elvégezzük az adatok ún. fehérítését. A fehérítés a megfigyelések olyan lineáris transzformációja, amelynél a transzformált (fehérített) adatok komponensei kölcsönösen korrelálatlanok és varianciájuk egységnyi.

Ha a fehérített jel v=VxMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCODaiabg2da9iaahAfacaWH4baaaa@394E@ , ahol V a fehérítő transzformáció mátrixa, akkor v autokorrelációs mátrixa egységmátrix lesz: E{vvT}=IMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyramaacmaabaGaaGjcVlaahAhacaWH2bWaaWbaaSqabeaacaWGubaaaaGccaGL7bGaayzFaaGaeyypa0JaaCysaaaa@3EDB@ . A fehérített jel és az eredeti független komponensek közötti kapcsolat ennek megfelelőn:

v=Vx=VAs=BsMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCODaiabg2da9iaahAfacaWH4bGaeyypa0JaaCOvaiaahgeacaWHZbGaeyypa0JaaCOqaiaahohaaaa@3FC6@ . (10.87)

Ha feltesszük, hogy a független komponensek varianciája egységnyi, fehérített jel esetén a B keverő mátrix ortogonális lesz: BBT=I.

A fehérített megfigyelésekből kell a visszaállítást elvégeznünk:

s=B1v=BTvMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4Caiabg2da9iaahkeadaahaaWcbeqaaiabgkHiTiaaigdaaaGccaWH2bGaeyypa0JaaCOqamaaCaaaleqabaGaamivaaaakiaahAhaaaa@3EF4@ . (10.88)

Így egy teljes rangú, de tetszőleges mátrix meghatározása helyett egy egyszerűbb feladatot, egy ortogonális mátrix meghatározását kell megoldanunk. Ha B i-edik oszlopvektorát biMathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaebbnrfifHhDYfgasaacH8YjY=vipgYlh9vqqj=hEeeu0xXdbba9frFj0=OqFfea0dXdd9vqai=hGuQ8kuc9pgc9q8qqaq=dir=f0=yqaiVgFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaaeWabaWaaaGcbaGaaCOyamaaBaaaleaacaWGPbaabeaaaaa@33B6@ jelöli, akkor az i-edik független komponens a fehérített megfigyelésekből si=biTvMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4CamaaBaaaleaacaWGPbaabeaakiabg2da9iaahkgadaqhaaWcbaGaamyAaaqaaiaadsfaaaGccaWH2baaaa@3C73@ formában határozható meg.

Minthogy a fehérítés következtében v komponensei korrelálatlanok és egységnyi varianciájúak lesznek, a fehérítés PCA felhasználásával is végezhető. A PCA azonban csak a korrelálatlanságot biztosítja, az egységnyi varianciát nem. A PCA eredményeképpen kapott jel autokorrelációs mátrixa ugyan diagonális lesz, de általában nem egységmátrix, ezért még egy normalizáló lépésre is szükség van. A fehérítő transzformáció mátrixa tehát: V=Λ-1/2Φ, ahol Φ a fehérítendő jel (x) autokorrelációs mátrixának (R) sajátvektoraiból képzett mátrix, Λ pedig R sajátértékeiből álló diagonálmátrix.

A továbbiakban feltételezzük, hogy a független komponens analízis fehérített adatokból dolgozik. Egy független komponens meghatározásánál ezeknek az adatoknak olyan wTvMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4DamaaCaaaleqabaGaamivaaaakiaahAhaaaa@3878@ lineáris kombinációját keressük, hogy a kurtózis maximális vagy minimális értéket vegyen fel. Természetesen a szélsőérték-keresés csak akkor alkalmazható, ha a súlyvektor hossza konstans, ezért feltesszük, hogy w=1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaauWaaeaacaWH3baacaGLjWUaayPcSdGaeyypa0JaaGymaaaa@3B51@ .

A kurtózis maximalizálás (minimalizálás) többféle úton is elérhető, most azonban csak olyan algoritmussal foglalkozunk, ahol a szélsőérték-keresés pillanatnyi gradiens felhasználásával történik. Ekkor olyan iteratív megoldást kapunk, mely megfelelő neurális háló architektúrával megvalósítható. A neurális megoldásnál valójában egy elemi neuront használunk melynek súlyvektora lesz a keresett w.

A fehérített adatok miatt a kritériumfüggvény, melynek a szélsőértékét keressük a következő lesz:

MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcaa@3568@C(w)=kurt(wTv)=E{(wTv)4}3(E{(wTv)2})2=E{(wTv)4}3w4MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4qamaabmaabaGaaC4DaaGaayjkaiaawMcaaiabg2da9iaabUgacaqG1bGaaeOCaiaabshadaqadaqaaiaahEhadaahaaWcbeqaaiaadsfaaaGccaWH2baacaGLOaGaayzkaaGaeyypa0JaamyramaacmaabaGaaGjcVlaayIW7daqadaqaaiaahEhadaahaaWcbeqaaiaadsfaaaGccaWH2baacaGLOaGaayzkaaWaaWbaaSqabeaacaaI0aaaaaGccaGL7bGaayzFaaGaeyOeI0IaaG4mamaabmaabaGaamyramaacmaabaGaaGjcVlaayIW7daqadaqaaiaahEhadaahaaWcbeqaaiaadsfaaaGccaWH2baacaGLOaGaayzkaaWaaWbaaSqabeaacaaIYaaaaaGccaGL7bGaayzFaaaacaGLOaGaayzkaaWaaWbaaSqabeaacaaIYaaaaOGaeyypa0JaamyramaacmaabaGaaGjcVlaayIW7daqadaqaaiaahEhadaahaaWcbeqaaiaadsfaaaGccaWH2baacaGLOaGaayzkaaWaaWbaaSqabeaacaaI0aaaaaGccaGL7bGaayzFaaGaeyOeI0IaaG4mamaafmaabaGaaC4DaaGaayzcSlaawQa7amaaCaaaleqabaGaaGinaaaaaaa@7214@ . (10.89)

Ha figyelembe vesszük még a w=1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaauWaaeaacaWH3baacaGLjWUaayPcSdGaeyypa0JaaGymaaaa@3B51@ feltételt, a végleges kritériumfüggvényre a következőt kapjuk:

MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcaa@3568@C(w)=E{(wTv)4}3w4+F(w2)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4qamaabmaabaGaaC4DaaGaayjkaiaawMcaaiabg2da9iaadweadaGadaqaaiaayIW7caaMi8+aaeWaaeaacaWH3bWaaWbaaSqabeaacaWGubaaaOGaaCODaaGaayjkaiaawMcaamaaCaaaleqabaGaaGinaaaaaOGaay5Eaiaaw2haaiabgkHiTiaaiodadaqbdaqaaiaahEhaaiaawMa7caGLkWoadaahaaWcbeqaaiaaisdaaaGccqGHRaWkcaWGgbWaaeWaaeaadaqbdaqaaiaahEhaaiaawMa7caGLkWoadaahaaWcbeqaaiaaikdaaaaakiaawIcacaGLPaaaaaa@5480@ . (10.90)

ahol F egy büntető tag a súlyvektor hosszára vonatkozó feltétel biztosítására. A büntető tag megválasztására különböző javaslatok születtek. Az eljárás mostani bemutatásánál F konkrét megválasztásával nem foglalkozunk. Meghatározva a kritériumfüggvény pillanatnyi gradiensét – vagyis a kritériumfüggvényből a várhatóérték-képzést elhagyjuk – a súlymódosításra a következő összefüggést kapjuk:

w(k+1)=w(k)±μ(k)[v(k)(w(k)Tv(k))33w(k)2w(k)+f(w(k)2)w(k)]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4DamaabmaabaGaam4AaiabgUcaRiaaigdaaiaawIcacaGLPaaacqGH9aqpcaWH3bWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaeyySaeRaeqiVd02aaeWaaeaacaWGRbaacaGLOaGaayzkaaWaamWaaeaacaWH2bWaaeWaaeaacaWGRbaacaGLOaGaayzkaaWaaeWaaeaacaWH3bWaaeWaaeaacaWGRbaacaGLOaGaayzkaaWaaWbaaSqabeaacaWGubaaaOGaaCODamaabmaabaGaam4AaaGaayjkaiaawMcaaaGaayjkaiaawMcaamaaCaaaleqabaGaaG4maaaakiabgkHiTiaaiodadaqbdaqaaiaahEhadaqadaqaaiaadUgaaiaawIcacaGLPaaaaiaawMa7caGLkWoadaahaaWcbeqaaiaaikdaaaGccaWH3bWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaey4kaSIaamOzamaabmaabaWaauWaaeaacaWH3bWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaacaGLjWUaayPcSdWaaWbaaSqabeaacaaIYaaaaaGccaGLOaGaayzkaaGaaC4DamaabmaabaGaam4AaaGaayjkaiaawMcaaaGaay5waiaaw2faaaaa@701B@ , (10.91)

ahol v(k) az éppen felhasznált fehérített megfigyelés, μ(k) a lépésfüggő tanulási tényező, f pedig a büntető tagból származó komponens, F/2 deriváltja. A büntető tagból származó gradiens komponensnél feltételeztük, hogy F(w2)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOramaabmaabaWaauWaaeaacaWH3baacaGLjWUaayPcSdWaaWbaaSqabeaacaaIYaaaaaGccaGLOaGaayzkaaaaaa@3CD7@ valóban csak w2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaauWaaeaacaWH3baacaGLjWUaayPcSdWaaWbaaSqabeaacaaIYaaaaaaa@3A79@ függvénye, és így a gradiense skalár × w formában írható. A módosító tag előjele maximumkeresésnél pozitív, minimumkeresésénél negatív.

Az eljárás konvergenciája a sztochasztikus approximáció alapján bizonyítható [Hyv97]. Bár az iteratív eljárás konvergenciája nem gyors, a pontonkénti tanítás biztosítja a hasonló egyéb pillanatnyi gradiens alapú tanuló eljárásoknál is meglévő tulajdonságot, a változó környezethez való folyamatos adaptálódás képességét. A konvergenciasebességet − ugyancsak hasonlóan az egyéb pillanatnyi gardiens felhasználásával dolgozó eljáráshoz − μ(k) megválasztása jelentősen befolyásolja.

A konvergenciasebesség drasztikusan növelhető, ha fix-pont iterációt alkalmazunk. A fix-pont iterációk származtatásához abból indulunk ki, hogy egy gradiens eljárás stabil pontja csak olyan pont lehet, ahol a gradiens az aktuális súlyvektor irányába mutat, vagyis a gradiens a súlyvektor skalár konstansszorosával egyenlő. Csak ilyen esetben lehetséges, hogy egy gradiens irányú módosító vektort adunk a súlyvektorhoz és annak az iránya mégsem változik [Aga01], [Hea02], [Gra03].

10.6.2. FastICA: egy kurtózis alapú fix-pont ICA algoritmus

A (10.91) súlymódosító összefüggés fix pontjait megkapjuk, ha a súlyváltozás várható értékét vesszük és ezt nullává tesszük. Ha ugyanis az algoritmus konvergens, akkor kialakul egy egyensúlyi állapot, amikor a súlymódosítások várható értéke nulla. A diszkrét időindexet elhagyva a súlymódosítás várható értéke:

E{Δ(w)}=E{v(wTv)3}3w2w+f(w2)w=0MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyramaacmaabaGaaCiLdmaabmaabaGaaC4DaaGaayjkaiaawMcaaaGaay5Eaiaaw2haaiabg2da9iaadweadaGadaqaaiaahAhadaqadaqaaiaahEhadaahaaWcbeqaaiaadsfaaaGccaWH2baacaGLOaGaayzkaaWaaWbaaSqabeaacaaIZaaaaaGccaGL7bGaayzFaaGaeyOeI0IaaG4mamaafmaabaGaaC4DaaGaayzcSlaawQa7amaaCaaaleqabaGaaGOmaaaakiaahEhacqGHRaWkcaWGMbWaaeWaaeaadaqbdaqaaiaahEhaaiaawMa7caGLkWoadaahaaWcbeqaaiaaikdaaaaakiaawIcacaGLPaaacaWH3bGaeyypa0JaaCimaaaa@598C@ . (10.92)

Az ilyen egyenletek megoldására számos determinisztikus iteratív eljárás létezik. Nagyon gyors iterációt kapunk, ha az (10.92) összefüggést a következő formában írjuk fel:

w=skalár×(E{v(wTv)3}3w2w)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4Daiabg2da9iaabohacaqGRbGaaeyyaiaabYgacaqGHdGaaeOCaiabgEna0oaabmaabaGaamyramaacmaabaGaaCODamaabmaabaGaaC4DamaaCaaaleqabaGaamivaaaakiaahAhaaiaawIcacaGLPaaadaahaaWcbeqaaiaaiodaaaaakiaawUhacaGL9baacqGHsislcaaIZaWaauWaaeaacaWH3baacaGLjWUaayPcSdWaaWbaaSqabeaacaaIYaaaaOGaaC4DaaGaayjkaiaawMcaaaaa@5269@ . (10.93)

Most csak w iránya érdekes számunkra, a vektor normája lényegtelen. Ezért az összefüggésben szereplő skalár konstans hatása egy explicit normalizálással kiváltható.

Az alábbiakban az algoritmus fő lépéseit mutatjuk be, előbb egyetlen, majd több független komponens meghatározására.

Tételezzük fel, hogy a megfigyelhető mintapontok független komponensek lineáris kombinációiként jöttek létre és a mintapontokon a fehérítést elvégeztük. Ekkor egy független komponens az alábbi lépések alkalmazásával határozható meg:

1. Válasszunk véletlenszerűen egy w(0) kezdeti súlyvektort és legyen a diszkrét lépésindex k=1.

2. Legyen

w(k)=E{v(w(k1)Tv)3}3w(k1)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4DamaabmaabaGaam4AaaGaayjkaiaawMcaaiabg2da9iaadweadaGadaqaaiaahAhadaqadaqaaiaahEhadaqadaqaaiaadUgacqGHsislcaaIXaaacaGLOaGaayzkaaWaaWbaaSqabeaacaWGubaaaOGaaCODaaGaayjkaiaawMcaamaaCaaaleqabaGaaG4maaaaaOGaay5Eaiaaw2haaiabgkHiTiaaiodacaWH3bWaaeWaaeaacaWGRbGaeyOeI0IaaGymaaGaayjkaiaawMcaaaaa@4E5A@ ,

ahol a várhatóértéket kellően nagyszámú (pl. 1000) v mintapont alapján becsüljük.

3. Normalizáljuk w(k)-t úgy, hogy osszuk el w(k)-t a normájával.

4. Ha |w(k)Tw(k1)|MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaqWaaeaacaWH3bWaaeWaaeaacaWGRbaacaGLOaGaayzkaaWaaWbaaSqabeaacaWGubaaaOGaaC4DamaabmaabaGaam4AaiabgkHiTiaaigdaaiaawIcacaGLPaaaaiaawEa7caGLiWoaaaa@4235@ közel 1, w(k)-t tekintsük eredménynek, egyébként legyen k=k+1 és menjünk vissza a 2. lépéshez.

A kapott w(k) vektor az ortogonális keverő mátrix egyik oszlopvektora lesz. Ez azt jelenti, hogy w(k)TvMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4DamaabmaabaGaam4AaaGaayjkaiaawMcaamaaCaaaleqabaGaamivaaaakiaahAhaaaa@3AF1@ megadja az egyik független komponens becslését. Az eljárás igen kedvező tulajdonsága, hogy kevés (tipikusan 5-10) iterációs lépés elegendő, hogy a mintapontok által biztosított maximális pontosságú becslést kapjunk.

A fenti algoritmus egyetlen független komponens meghatározására alkalmas. A független komponens analízis feladatoknál azonban legtöbbször az összes vagy legalábbis több független komponens meghatározására van szükség. Több független komponens meghatározása az előbbi algoritmus segítségével úgy lehetséges, ha az algoritmust egymás után többször lefuttatjuk. A többszöri lefuttatatásnál azonban biztosítani kell, hogy ne ugyanazt a független komponenst határozzuk meg többször. Ehhez egy ortogonalizáló vetítést kell beiktatnunk az algoritmus lépései közé. Itt emlékeztetni szeretnénk arra, hogy a fehérítés következtében a keverő mátrix ortogonális. Ezért a független komponenseket egyenként becsülhetjük, ha az aktuális w(k) megoldást egy olyan térre vetítjük, amely ortogonális a B keverőmátrix eddig megtalált oszlopvektoraira.

Legyen B¯MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCOqayaaraaaaa@364C@ az eddig megtalált oszlopvektorokból felépített mátrix. A fenti algoritmusban a 3. lépést cseréljük ki a következőre:

3. Legyen w(k)=w(k)B¯B¯Tw(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4DamaabmaabaGaam4AaaGaayjkaiaawMcaaiabg2da9iaahEhadaqadaqaaiaadUgaaiaawIcacaGLPaaacqGHsislceWHcbGbaebaceWHcbGbaebadaahaaWcbeqaaiaadsfaaaGccaWH3bWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaaaa@449D@ , majd normalizáljuk w(k)-t.

Ezen a módosításon kívül egy hasonló vetítésre szükség van a kezdeti súlyvektor felvételénél is.

Hogy elkerüljük az előző vektorok (tehát B¯MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCOqayaaraaaaa@364C@ ) becslési hibájának hatását a későbbi vektorok becslésénél, a fenti vetítést csak az algoritmus első néhány iterációjában alkalmazzuk. Ha az algoritmus már közelítőleg megtalálta a keverőmátrix egy oszlopát, akkor már egy fix pont vonzáskörzetében vagyunk, ahonnan a megfelelő pontba történő konvergencia már biztosított.

Az algoritmus bizonyítottan konvergens, sőt a konvergenciasebességre is lehet állítást megfogalmazni. A részletek [Hyv97]-ben és [Hyv01]-ben megtalálhatók.

Megjegyezzük, hogy a bemutatott gyors ICA eljárás csak egy a hasonló fix pont algoritmusok közül. Hasonló eredményeket a nemgauss-ság más megfogalmazása alapján is származtathatunk. Így pl. a negentrópia alapján is származtatható FastICA algoritmus, melynek részletes bemutatása [Hyv01]-ben található.

10.6.3. Független komponens analízis nemlineáris PCA alkalmazásával

Az eddigiek alapján látható, hogy a független komponensekre bontás a (fehérített) megfigyelések lineáris transzformációjával lehetséges, ahol a transzformáló mátrix meghatározása nemlineáris feldolgozó lépéseket is igényel. Ez veti fel azt a gondolatot, hogy érdemes a PCA algoritmus nemlineáris változatával próbálkozni.

A (10.88) összefüggés szerint egy olyan B mátrixot keresünk, amely a fehérített megfigyelésekből visszaállítja az eredeti független komponenseket. Konstruáljunk ezért egy olyan egyrétegű neurális hálót, melynek súlyvektorait a PCA hálózatoknál alkalmazott Oja altér szabály nemlineáris változatával tanítjuk. A súlymódosító összefüggésünk ennek megfelelően legyen a következő:

W(k+1)=W(k)+μ(k)[v(k)W(k)g(y(k))]g(yT(k))MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4vamaabmaabaGaam4AaiabgUcaRiaaigdaaiaawIcacaGLPaaacqGH9aqpcaWHxbWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaey4kaSIaeqiVd0MaaGjcVlaayIW7caaMi8+aaeWaaeaacaWGRbaacaGLOaGaayzkaaGaaGjcVlaayIW7daWadaqaaiaahAhadaqadaqaaiaadUgaaiaawIcacaGLPaaacqGHsislcaWHxbWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaaGjcVlaayIW7caaMi8UaaC4zamaabmaabaGaaGjcVlaahMhadaqadaqaaiaadUgaaiaawIcacaGLPaaaaiaawIcacaGLPaaacaaMi8oacaGLBbGaayzxaaGaaGjcVlaayIW7caaMi8UaaGjcVlaahEgadaqadaqaaiaahMhadaahaaWcbeqaaiaadsfaaaGcdaqadaqaaiaadUgaaiaawIcacaGLPaaaaiaawIcacaGLPaaaaaa@7065@ (10.94)

Itt W a többkimenetű háló összes súlyvektorából, mint sorvektorból felépített súlymátrix, v a fehérített megfigyelésvektor, y a háló kimeneti vektora, g(y) pedig egy olyan vektort jelöl, melynek i-edik komponense g(yi), ahol g(.) egy megfelelő nemlineáris függvény. Megmutatható, hogy a (10.94) összefüggés egy olyan sztochasztikus gradiens algoritmus, amely a i=1ME{f(yi)}MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaabmaeaacaWGfbWaaiWaaeaacaWGMbWaaeWaaeaacaWG5bWaaSbaaSqaaiaadMgaaeqaaaGccaGLOaGaayzkaaaacaGL7bGaayzFaaGaaGPaVdWcbaGaamyAaiabg2da9iaaigdaaeaacaWGnbaaniabggHiLdaaaa@4408@ kritérium szélső értékét keresi, azzal a feltétellel, hogy W ortonormált (M a kimenetek száma). Ha f(t)=t4/4, a kritérium a negyedik momentumok összegét jelenti, és minthogy a sztochasztikus gradiens eljárás miatt g(t) az f(t) függvény deriváltja, g(t)=t3. A nemlineáris függvény ilyen megválasztása mellett (10.94) valóban a negyedik momentumok összegének szélsőértékét biztosító, ortonormált W-t eredményezne, de az algoritmus nem stabil. Stabil algoritmust nyerünk, ha pl. a g(t)=tanh(t) függvényt választjuk, amelynek Taylor-soros közelítésében a t3 tag domináns lehet.

Fehérített jelek és ortogonális szeparáló mátrix mellett igaz, hogy E{yi2}=1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyramaacmaabaGaaGjcVlaayIW7caWG5bWaaSbaaSqaaiaadMgaaeqaaOWaaWbaaSqabeaacaaIYaaaaaGccaGL7bGaayzFaaGaeyypa0JaaGymaaaa@405C@ , ezért, ha a negyedik momentumok összegét, i=1ME{yi4}MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaabmaeaacaWGfbWaaiWaaeaacaWG5bWaaSbaaSqaaiaadMgaaeqaaOWaaWbaaSqabeaacaaI0aaaaaGccaGL7bGaayzFaaaaleaacaWGPbGaeyypa0JaaGymaaqaaiaad2eaa0GaeyyeIuoaaaa@40FE@ -t minimalizáljuk a szub-Gauss jelekre, ill. maximalizáljuk a szuper-Gauss jelekre, akkor a

C(y)=i=1M|E{yi4}3E2{yi2}|MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4qamaabmaabaGaaCyEaaGaayjkaiaawMcaaiabg2da9maaqahabaWaaqWaaeaacaaMi8UaamyramaacmaabaGaamyEamaaBaaaleaacaWGPbaabeaakmaaCaaaleqabaGaaGinaaaaaOGaay5Eaiaaw2haaiabgkHiTiaaiodacaWGfbWaaWbaaSqabeaacaaIYaaaaOWaaiWaaeaacaWG5bWaaSbaaSqaaiaadMgaaeqaaOWaaWbaaSqabeaacaaIYaaaaaGccaGL7bGaayzFaaGaaGjcVlaayIW7caaMi8oacaGLhWUaayjcSdaaleaacaWGPbGaeyypa0JaaGymaaqaaiaad2eaa0GaeyyeIuoaaaa@57AA@ (10.95)

kritériumfüggvény maximumát biztosító megoldást kapunk, vagyis most is a kurtózis alapján dolgozó algoritmust nyertünk.

A nemlineáris PCA háló tehát egy Oja altér hálóhoz hasonló felépítésű azzal az eltéréssel, hogy nemlineáris neuronokból épül fel, ahol a nemlinearitást célszerűen a szokásos tangens hiperbolikusz függvényre kell választani. A háló azonban csak a tanulási fázisban működik nemlineáris hálóként, hiszen a független komponenseket a fehérített adatok lineáris transzformációjával nyerhetjük. A visszaállító mátrix meghatározása azonban nemlineáris művelet, ezért a tanulási fázisban szükség van a nemlineáris neuronokra.

A nemlineáris PCA hálózatoknak is több változatát dolgozták ki. Ezek között említést érdemel az ún. bigradiens algoritmus, mely egyszerűsítést jelent az Oja nemlineáris PCA szabályhoz képest. A bigradiens algoritmus súlymódosító összefüggése a következő [Wan96b]:

W(k+1)=W(k)+μ(k)g(W(k)v(k))v(k)T+α(IW(k)W(k)T)W(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4vamaabmaabaGaam4AaiabgUcaRiaaigdaaiaawIcacaGLPaaacqGH9aqpcaWHxbWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaey4kaSIaeqiVd0MaaGjcVlaayIW7caaMi8+aaeWaaeaacaWGRbaacaGLOaGaayzkaaGaaGjcVlaayIW7caWHNbWaaeWaaeaacaWHxbWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaaGjcVlaahAhadaqadaqaaiaadUgaaiaawIcacaGLPaaaaiaawIcacaGLPaaacaaMi8UaaGjcVlaayIW7caaMi8UaaCODamaabmaabaGaam4AaaGaayjkaiaawMcaamaaCaaaleqabaGaamivaaaakiabgUcaRiabeg7aHnaabmaabaGaaCysaiabgkHiTiaahEfadaqadaqaaiaadUgaaiaawIcacaGLPaaacaaMi8UaaGjcVlaayIW7caWHxbWaaeWaaeaacaWGRbaacaGLOaGaayzkaaWaaWbaaSqabeaacaWGubaaaOGaaGjcVdGaayjkaiaawMcaaiaayIW7caaMi8UaaGjcVlaahEfadaqadaqaaiaadUgaaiaawIcacaGLPaaacaaMi8oaaa@7EB7@ (10.96)

ahol αMathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaebbnrfifHhDYfgasaacH8YjY=vipgYlh9vqqj=hEeeu0xXdbba9frFj0=OqFfea0dXdd9vqai=hGuQ8kuc9pgc9q8qqaq=dir=f0=yqaiVgFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaaeWabaWaaaGcbaGaeqySdegaaa@3350@ egy konstans együttható, melynek értékét a [0,5, 1] intervallumból kell választani, a g függvénykapcsolat pedig azt jelöli, hogy egy g függvényt a Wv vektor komponenseire külön-külön alkalmazzuk.

A bigradiens algoritmus előnye, hogy a (10.94) összefüggésben szereplő W(k)g(y(k))MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4vamaabmaabaGaam4AaaGaayjkaiaawMcaaiaayIW7caaMi8UaaGjcVlaahEgadaqadaqaaiaayIW7caWH5bWaaeWaaeaacaWGRbaacaGLOaGaayzkaaaacaGLOaGaayzkaaaaaa@44FA@ számítását nem igényli.

A nemlineáris PCA algoritmuson alapuló megoldás, mint kétlépéses szeparáló algoritmus neurális architektúrával is megvalósítható. A háló két rétegből áll (10.13 ábra). Az első, lineáris réteg a fehérítést végzi, ennek a rétegnek a súlyait a

V(k+1)=V(k)μ(k)(V(k)x(k)x(k)TV(k)TI)V(k)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqi=G0dg9qqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOvamaabmaabaGaam4AaiabgUcaRiaaigdaaiaawIcacaGLPaaacqGH9aqpcaWHwbWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaeyOeI0IaeqiVd02aaeWaaeaacaWGRbaacaGLOaGaayzkaaGaaGjcVlaayIW7daqadaqaaiaahAfadaqadaqaaiaadUgaaiaawIcacaGLPaaacaWH4bWaaeWaaeaacaWGRbaacaGLOaGaayzkaaGaaCiEamaabmaabaGaam4AaaGaayjkaiaawMcaamaaCaaaleqabaGaamivaaaakiaahAfadaqadaqaaiaadUgaaiaawIcacaGLPaaadaahaaWcbeqaaiaadsfaaaGccqGHsislcaWHjbaacaGLOaGaayzkaaGaaCOvamaabmaabaGaam4AaaGaayjkaiaawMcaaaaa@5D5E@ . (10.97)

összefüggés szerinti tanítással határozhatjuk meg [Plu93], ahol x a tényleges bemeneti adat. A második réteg, melynek súlyait a (10.94) vagy a (10.97) összefüggés szerinti nemlineáris Hebb szabállyal tanítjuk, a fehérített v vektorokon dolgozik.

A független komponens analízis működését két példán illusztráljuk. Az első példa (10.14 ábra) három időfüggvény lineárisan súlyozott keverékeiből indul ki. Az ábrán a három kiinduló időfüggvényt, ezen időfüggvények keverékeit, valamint a három visszaállított jelet láthatjuk. A 10.15 ábra kétdimenziós jelek (képek) független komponenseinek meghatározására mutat példát.

10.13. ábra - Független komponens analízis hálózat
Független komponens analízis hálózat

Mindkét példa jól illusztrálja a független komponens analízis eljárások két „hiányosságát”. Egyrészt nem tudjuk megmondani, hogy az eljárások milyen sorrendben állítják elő a független komponenseket. Másrészt az eredmények csak egy skalár szorzótényezőtől eltekintve lesznek egyértelműek. A független komponensként egy eredeti jel valamilyen skalárszorosát kaphatjuk. Ha rögzítjük a jelek varianciáját például egységnyire, még akkor is visszakaphatjuk az egyes eredeti komponensek (−1)-szeresét. Ezt figyelhetjük meg a 10.14 ábrán a második időfüggvénynél, valamint a képvisszaállításnál a fatörzs esetében, ahol az eredeti kép helyett annak negatívját kaptuk eredményül.

10.14. ábra - A független komponens analízis alkalmazása időfüggvényekre (beszédjelekre)
A független komponens analízis alkalmazása időfüggvényekre (beszédjelekre)

A független komponens analízis feladat megoldására a fentiekben röviden bemutatott eljárásokon túl számos egyéb javaslat született. Ezek az eljárások általában a feladat más megfogalmazásából származtathatók. További olyan változatokat is kidolgoztak, melyek az itt bemutatott alapfeladaton túl általánosabb eseteket próbálnak megoldani. Ilyen eset lehet, ha a megfigyeléseinket zaj terheli, továbbá, ha a keverőmátrix nem konstans. A független komponens analízis eljárásoknak kidolgozták olyan változatait is, melyek valamilyen mértékben kezelni tudják azon eseteket is, amikor kevesebb megfigyelésünk van, mint ahány független komponens szeretnénk meghatározni.

10.15. ábra - Független komponens analízis alkalmazása képekre
Független komponens analízis alkalmazása képekre

Feladatok

10.1 Mutassa meg, hogy a Kohonen hálónál alkalmazott tanítási összefüggés (10.5 egyenlet) a normalizált Hebb szabály.

10.2 A [0,5 3,5] × [0,5 3,5] tartományon egyenletes eloszlású, kétdimenziós adathalmaz feldolgozására topologikus leképezést biztosító Kohonen hálót alkalmazunk. A háló − kétdimenziós rácsban elhelyezve − 9 neuront tartalmaz az [i, j] pozíciókban, ahol i,j=0,1,2. Milyen súlyvektorok kialakulása várható a háló tanítása után?

10.3 Milyen súlyvektorokat kapunk a tanítás végén, ha az előző feladat adathalmazát egy 9 neuront lineáris elrendezésben tartalmazó Kohonen hálónak tanítjuk. A neuronok pozíciói: 1, 2, 3, . . . , 9.

10.4 Mutassa meg, hogy az Oja szabállyal tanított háló súlyvektora egyensúlyi helyzetben a bemenet autokovariancia mátrixának sajátvektora.

10.5 A GHA (Sanger) háló csak előrecsatoló összeköttetéseket használ. Ezzel szemben az APEX algoritmus mind előrecsatoló, mind oldalirányú kapcsolatokkal rendelkezik. Mutassa meg, hogy a két eltérő hálózat-architektúra a megfelelő tanulási algoritmussal azonos súlyvektorokhoz (wi) konvergál.

10.6 Miért van szükség minimum 5 rétegű hálózatra, ha nemlineáris adattömörítést szeretnénk végezni?

10.7 Kernel PCA esetére, Gauss kernel mellett határozza meg a jellemzőtérbeli tömörített reprezentáció bemeneti térbeli közelítő megfelelőjét. Adja meg a gradiens eljárással dolgozó jelvisszaállítás algoritmusát.

10.8 Mutassa meg, hogy két független komponens súlyozott összegeiből kapott kevert adatokból kiindulva a kurtózis maximalizálása útján valóban megkapjuk a független komponenseket, ha szuper-Gauss komponensekből indulunk ki és kikötjük, hogy az eljárás eredményeképpen kapott adatok varianciája legyen egységnyi. A feladatot, mint feltételes szélsőérték-kereső problémát oldja meg.

10.9 Adja meg, hogy milyen feltételek mellett tekinthető a nemgauss-ság és a függetlenség ekvivalens fogalmaknak.