6.1. Egy egyszerű kernel gép

A kernel reprezentációt a legegyszerűbben talán egy lineáris regressziós feladat kapcsán mutathatjuk be. Adott egy lineáris be-kimeneti leképezést megvalósító eszköz, amit a továbbiakban lineáris gépnek nevezünk:

y(x)=wTx+bMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEaiaabIcacaWH4bGaaeykaiabg2da9iaahEhadaahaaWcbeqaaiaadsfaaaGccaWH4bGaey4kaSIaamOyaaaa@3F0A@ . (6.1)

Itt az eddigieknek megfelelően w a lineáris gép súlyvektora, b pedig az eltolásérték. Amennyiben rendelkezésünkre áll egy {xi,di}i=1PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaiWaaeaacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaiilaiaadsgadaWgaaWcbaGaamyAaaqabaaakiaawUhacaGL9baadaqhaaWcbaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaaaaa@4098@ tanítópont készlet, olyan súlyvektort keresünk, ami mellett a

C(w)=12i=1P(diwTxib)2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4qaiaabIcacaWH3bGaaeykaiabg2da9maalaaabaGaaGymaaqaaiaaikdaaaWaaabCaeaadaqadaqaaiaadsgadaWgaaWcbaGaamyAaaqabaGccqGHsislcaWH3bWaaWbaaSqabeaacaWGubaaaOGaaCiEamaaBaaaleaacaWGPbaabeaakiabgkHiTiaadkgaaiaawIcacaGLPaaadaahaaWcbeqaaiaaikdaaaaabaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaaaa@4CB0@ (6.2)

kritériumfüggvény minimumot vesz fel. A minimális négyzetes hibát biztosító súlyvektor − ahogy ezt az előző fejezetekben már láttuk − a kritériumfüggvény deriváltja alapján határozható meg. A b eltolásértéket a súlyvektor nulladik komponenseként kezelve és bevezetve a kibővített súlyvektort w^=[b,wT]TMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabC4DayaajaGaeyypa0Jaae4waiaadkgacaqGSaGaaC4DamaaCaaaleqabaGaamivaaaakiaab2fadaahaaWcbeqaaiaadsfaaaaaaa@3E54@ , valamint a kibővített bemeneti vektort x^=[1,xT]TMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiEayaajaGaeyypa0Jaae4waiaaigdacaqGSaGaaCiEamaaCaaaleqabaGaamivaaaakiaab2fadaahaaWcbeqaaiaadsfaaaaaaa@3E2A@ is, a lineáris gép válasza x^MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiEayaajaaaaa@36E5@ bemenet mellett

y(x^)=w^Tx^=i=0Nw^ix^iMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEaiaabIcaceWH4bGbaKaacaqGPaGaeyypa0JabC4DayaajaWaaWbaaSqabeaacaWGubaaaOGabCiEayaajaGaeyypa0ZaaabCaeaaceWG3bGbaKaadaWgaaWcbaGaamyAaaqabaGcceWG4bGbaKaadaWgaaWcbaGaamyAaaqabaaabaGaamyAaiabg2da9iaaicdaaeaacaWGobaaniabggHiLdaaaa@4886@ (6.3)

formába írható, ahol N a bemeneti x vektorok dimenziója. A tanítópontokban a lineáris gép válaszai és a kívánt válaszok közötti eltérésekből képezhetünk egy hibavektort

ε(w^)=dX^w^MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyTdiaabIcaceWH3bGbaKaacaqGPaGaeyypa0JaaCizaiabgkHiTiqahIfagaqcaiqahEhagaqcaaaa@3E5D@ , (6.4)

melynek segítségével az eredő négyzetes hiba a

C(w^)=12εT(w^ε(w^)=12(dX^w^)T(dX^w^)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4qaiaabIcaceWH3bGbaKaacaqGPaGaeyypa0ZaaSaaaeaacaaIXaaabaGaaGOmaaaacaWH1oWaaWbaaSqabeaacaWGubaaaOGaaeikaiqahEhagaqcaiaabMcacaqGGaGaaCyTdiaabIcaceWH3bGbaKaacaqGPaGaeyypa0ZaaSaaaeaacaaIXaaabaGaaGOmaaaacaqGOaGaaCizaiabgkHiTiqahIfagaqcaiqahEhagaqcaiaabMcadaahaaWcbeqaaiaadsfaaaGccaqGOaGaaCizaiabgkHiTiqahIfagaqcaiqahEhagaqcaiaabMcaaaa@5294@ (6.5)

összefüggéssel adható meg. Itt d a tanítópontokban a kívánt válaszok vektora, X^MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiwayaajaaaaa@36C5@ pedig a tanítópontok kibővített bemeneti vektoraiból képezett mátrix:

X^=[x^1Tx^2Tx^PT]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiwayaajaGaeyypa0ZaamWaaeaafaqabeabbaaaaeaaceWH4bGbaKaadaWgaaWcbaGaaGymaaqabaGcdaahaaWcbeqaaiaadsfaaaaakeaaceWH4bGbaKaadaWgaaWcbaGaaGOmaaqabaGcdaahaaWcbeqaaiaadsfaaaaakeaacqWIUlstaeaaceWH4bGbaKaadaWgaaWcbaGaamiuaaqabaGcdaahaaWcbeqaaiaadsfaaaaaaaGccaGLBbGaayzxaaaaaa@450D@ . (6.6)

Elvégezve a gradiens számítást és a gradienst nullává téve

C(w^)w^=X^d+X^TX^w^=0MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWGdbGaaeikaiqahEhagaqcaiaabMcaaeaacqGHciITceWH3bGbaKaaaaGaeyypa0JaeyOeI0IabCiwayaajaGaaCizaiabgUcaRiqahIfagaqcamaaCaaaleqabaGaamivaaaakiqahIfagaqcaiqahEhagaqcaiabg2da9iaahcdaaaa@4763@ (6.7)

a súlyvektor legkisebb négyzetes hibájú (LS) becslését most is a pszeudo-inverz segítségével kapjuk meg:

w^=X^T(X^X^T)-1dMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabC4DayaajaWaaWbaaSqabeaacqGHxiIkaaGccqGH9aqpceWHybGbaKaadaahaaWcbeqaaiaadsfaaaGccaqGOaGabCiwayaajaGabCiwayaajaWaaWbaaSqabeaacaWGubaaaOGaaeykamaaCaaaleqabaGaaeylaiaabgdaaaGccaWHKbaaaa@41E2@ . (6.8)

Ha a kapott súlyvektort behelyettesítjük a (1.3) összefüggésbe, akkor adott x^MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiEayaajaaaaa@36E5@ -re a lineáris gép válasza a következő lesz[1]:

y(x^)=x^Tw^=x^TX^T(X^X^T)-1dMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEaiaabIcaceWH4bGbaKaacaqGPaGaeyypa0JabCiEayaajaWaaWbaaSqabeaacaWGubaaaOGabC4DayaajaWaaWbaaSqabeaacqGHxiIkaaGccqGH9aqpceWH4bGbaKaadaahaaWcbeqaaiaadsfaaaGcceWHybGbaKaadaahaaWcbeqaaiaadsfaaaGccaqGOaGabCiwayaajaGabCiwayaajaWaaWbaaSqabeaacaWGubaaaOGaaeykamaaCaaaleqabaGaaeylaiaabgdaaaGccaWHKbaaaa@4A90@ . (6.9)

Vezessük be az

α=(X^X^T)-1dMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCySdiabg2da9iaabIcaceWHybGbaKaaceWHybGbaKaadaahaaWcbeqaaiaadsfaaaGccaqGPaWaaWbaaSqabeaacaqGTaGaaeymaaaakiaahsgaaaa@3EE8@ (6.10)

jelölést. Ekkor a kimenet az alábbi formában is felírható:

y(x^)=x^TX^Tα=i=1Pαi(x^Tx^i)=i=1PαiKi(x^)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEaiaabIcaceWH4bGbaKaacaqGPaGaeyypa0JabCiEayaajaWaaWbaaSqabeaacaWGubaaaOGabCiwayaajaWaaWbaaSqabeaacaWGubaaaOGaaCySdiabg2da9maaqahabaGaeqySde2aaSbaaSqaaiaadMgaaeqaaOGaaeikaiqahIhagaqcamaaCaaaleqabaGaamivaaaaaeaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoakiqahIhagaqcamaaBaaaleaadaWgaaadbaGaamyAaaqabaaaleqaaOGaaeykaiabg2da9maaqahabaGaeqySde2aaSbaaSqaaiaadMgaaeqaaOGaam4samaaBaaaleaacaWGPbaabeaakiaabIcaceWH4bGbaKaacaqGPaaaleaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaaa@5CF3@ . (6.11)

ahol αiMathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVCI8FfYJH8YrFfeuY=Hhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiabeg7aHnaaBaaaleaacaWGPbaabeaaaaa@38A3@ az αMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCySdaaa@3711@ vektor i-edik komponense és Ki(x^)=x^Tx^iMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4samaaBaaaleaacaWGPbaabeaakiaabIcaceWH4bGbaKaacaqGPaGaeyypa0JabCiEayaajaWaaWbaaSqabeaacaWGubaaaOGabCiEayaajaWaaSbaaSqaaiaadMgaaeqaaaaa@3F82@ . A (6.11) összefüggés származtatásánál figyelembe vettük a tanítópontokhoz tartozó bemeneti vektorok (6.6) összefüggését. Így x^TX^TMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiEayaajaWaaWbaaSqabeaacaWGubaaaOGabCiwayaajaWaaWbaaSqabeaacaWGubaaaaaa@39EC@ egy olyan vektor, melynek elemei az x^MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiEayaajaaaaa@36E5@ bemenet és az x^iMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiEayaajaWaaSbaaSqaaiaadMgaaeqaaaaa@37FF@ tanítópont-bemenetek skalár szorzataiként állnak elő:

x^TX^T=[x^Tx^1,x^Tx^2,,x^Tx^ix^Tx^P]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiEayaajaWaaWbaaSqabeaacaWGubaaaOGabCiwayaajaWaaWbaaSqabeaacaWGubaaaOGaeyypa0Jaae4waiqahIhagaqcamaaCaaaleqabaGaamivaaaakiqahIhagaqcamaaBaaaleaacaaIXaaabeaakiaacYcaceWH4bGbaKaadaahaaWcbeqaaiaadsfaaaGcceWH4bGbaKaadaWgaaWcbaGaaGOmaaqabaGccaGGSaGaeSOjGSKaaiilaiqahIhagaqcamaaCaaaleqabaGaamivaaaakiqahIhagaqcamaaBaaaleaacaWGPbaabeaakiaabYcacaqGGaGaeSOjGSKaaeilaiaabccaceWH4bGbaKaadaahaaWcbeqaaiaadsfaaaGcceWH4bGbaKaadaWgaaWcbaGaamiuaaqabaGccaqGDbaaaa@548C@ (6.12)

A (6.11) összefüggés érdekessége, hogy a lineáris gép egy x^MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiEayaajaaaaa@36E5@ bemenetre adott válasza a skalár szorzattal definiált Ki(x^)=x^Tx^iMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4samaaBaaaleaacaWGPbaabeaakiaabIcaceWH4bGbaKaacaqGPaGaeyypa0JabCiEayaajaWaaWbaaSqabeaacaWGubaaaOGabCiEayaajaWaaSbaaSqaaiaadMgaaeqaaaaa@3F82@ függvények súlyozott összegeként határozható meg. Egy lineáris gépnél ezeket a függvényeket nevezzük kernel függvényeknek vagy magfüggvényeknek.

A (6.11) összefüggés a lineáris regressziós leképezés alternatív felírását jelenti. Míg az eredeti (1.3) összefüggés a bemenetek súlyozott összegeként adja meg a választ, ahol a súlyokat a w^MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabC4Dayaajaaaaa@36E4@ súlyvektor képviseli, addig a kerneles reprezentációban a kimenet a Ki(x^)=x^Tx^iMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4samaaBaaaleaacaWGPbaabeaakiaabIcaceWH4bGbaKaacaqGPaGaeyypa0JabCiEayaajaWaaWbaaSqabeaacaWGubaaaOGabCiEayaajaWaaSbaaSqaaiaadMgaaeqaaaaa@3F82@ függvények súlyozott összegeként áll elő, ahol a súlyokat az αiegyütthatók jelentik.

A fenti (6.3) és (6.11) összefüggések ugyanannak a feladatnak két eltérő reprezentációját képviselik. Nyilvánvaló, hogy a két reprezentáció ekvivalens. A (6.3) összefüggés a megoldást a „bemeneti térben”, közvetlenül x^MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiEayaajaaaaa@36E5@ függvényeként adja meg, míg a (6.11) összefüggés ugyanezt a „kernel térben”, a Ki(x^)=x^Tx^iMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4samaaBaaaleaacaWGPbaabeaakiaabIcaceWH4bGbaKaacaqGPaGaeyypa0JabCiEayaajaWaaWbaaSqabeaacaWGubaaaOGabCiEayaajaWaaSbaaSqaaiaadMgaaeqaaaaa@3F82@ kernel értékek függvényeként teszi meg.

A most vizsgált lineáris leképezésnél a kernel reprezentáció különösebb előnnyel nem jár, mindössze egy alternatív megadási formát jelent. A különbség a kétféle reprezentáció között csupán annyi, hogy a két szummás kifejezésben a tagok száma eltérő. A bemeneti térben történő összegzés N+1 tagból, míg a kernel térbeli P tagból áll. A kernel reprezentáció tehát akkor előnyös, ha a mintapontok száma, P jóval kisebb, mint a bemeneti adatok dimenziója, N.

Más a helyzet akkor, ha nemlineáris leképezést akarunk megvalósítani. A nemlineáris feladatok egy lehetséges megoldása a bázisfüggvényes hálók alkalmazása, vagyis, ha a kimenetet az (5.1) összefüggéssel megadott

y(x)=i=0Mwiφi(x)=wTφ(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaebbnrfifHhDYfgasaacH8qrps0lbbf9q8WrFfeuY=Hhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaqabeaadaaakeaacaWG5bGaaeikaiaahIhacaqGPaGaeyypa0ZaaabCaeaacaWG3bWaaSbaaSqaaiaadMgaaeqaaOGaeqOXdO2aaSbaaSqaaiaadMgaaeqaaaqaaiaadMgacqGH9aqpcaaIWaaabaGaamytaaqdcqGHris5aOGaaeikaiaahIhacaqGPaGaeyypa0JaaC4DamaaCaaaleqabaGaamivaaaakiaahA8acaqGOaGaaCiEaiaabMcaaaa@49C5@ (6.13)

alakban állítjuk elő, ahol w0MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4DamaaBaaaleaacaqGWaaabeaaaaa@37B3@ képviseli az eltolás tagot (bias), amennyiben φ0(x)1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqOXdO2aaSbaaSqaaiaabcdaaeqaaOGaaeikaiaahIhacaqGPaGaeyyyIORaaeymaaaa@3D4F@ .

A bázisfüggvényes leképezés a bemeneti térből az ún. jellemzőtérbe transzformál. A jellemzőtérbeli megoldás alternatívájaként viszont most is alkalmazható a kernel térre való áttérés. A lineáris esetre vonatkozó fenti gondolatmenetet követve a (6.13)-mal megadott leképezés kerneles változata úgy nyerhető, hogy a (6.11) összefüggésben minden x^MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiEayaajaaaaa@36E5@ helyére φ(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdiaabIcacaWH4bGaaeykaaaa@397E@ kerül. (A továbbiakban – hacsak ez nem okoz értelmezési zavart – külön nem jelezzük, hogy kibővített bemeneti vektorról van szó.) Ezzel:

y(x)=φ(x)TΦTα=i=1Pαi(φ(x)Tφ(xi))=i=1PαiKi(φ(x))MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEaiaabIcacaWH4bGaaeykaiabg2da9iaahA8acaqGOaGaaCiEaiaabMcadaahaaWcbeqaaiaadsfaaaGccaWHMoWaaWbaaSqabeaacaWGubaaaOGaaCySdiabg2da9maaqahabaGaeqySde2aaSbaaSqaaiaadMgaaeqaaOGaaeikaiaahA8acaqGOaGaaCiEaiaabMcadaahaaWcbeqaaiaadsfaaaaabaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdGccaWHgpGaaeikaiaahIhadaWgaaWcbaGaamyAaaqabaGccaqGPaGaaeykaiabg2da9maaqahabaGaeqySde2aaSbaaSqaaiaadMgaaeqaaOGaam4samaaBaaaleaacaWGPbaabeaakiaabIcacaWHgpGaaeikaiaahIhacaqGPaGaaeykaaWcbaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaaaa@6750@ , (6.14)

ami azt jelenti, hogy a kimenetet most is a skalár szorzattal definiált kernel értékek súlyozott összegeként állítjuk elő. Itt a

φ(x)Tφ(xi)=Ki(φ(x))=K(x,xiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdiaabIcacaWH4bGaaeykamaaCaaaleqabaGaamivaaaakiaahA8acaqGOaGaaCiEamaaBaaaleaacaWGPbaabeaakiaabMcacqGH9aqpcaWGlbWaaSbaaSqaaiaadMgaaeqaaOGaaeikaiaahA8acaqGOaGaaCiEaiaabMcacaqGPaGaeyypa0Jaam4saiaabIcacaWH4bGaaeilaiaahIhadaWgaaWcbaGaamyAaaqabaGccaqGPaGaaeiiaaaa@4EFC@ . (6.15)

függvény a kernel függvény, amit tehát a bázisfüggvények skalár szorzatával nyerhetünk, míg a

Φ=[φ(x1)Tφ(x2)Tφ(xP)T]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOPdiabg2da9maadmaabaqbaeqabqqaaaaabaGaaCOXdiaabIcacaWH4bWaaSbaaSqaaiaaigdaaeqaaOGaaeykamaaCaaaleqabaGaamivaaaaaOqaaiaahA8acaqGOaGaaCiEamaaBaaaleaacaaIYaaabeaakiaabMcadaahaaWcbeqaaiaadsfaaaaakeaacqWIUlstaeaacaWHgpGaaeikaiaahIhadaWgaaWcbaGaamiuaaqabaGccaqGPaWaaWbaaSqabeaacaWGubaaaaaaaOGaay5waiaaw2faaaaa@4D19@ (6.16)

mátrix a tanítópontok jellemzőtérbeli reprezentációiból felépülő mátrix.

A (6.15) összefüggéssel megadott kernel reprezentáció itt is ekvivalens az eredeti reprezentációval ((6.13) összefüggés), és alkalmazása önmagában különösebb előnnyel itt sem jár az összegzésben szereplő tagok esetleges kisebb számán túl. A kernel reprezentáció előnyei akkor látszanak, ha a kernel függvényeket nem a bázisfüggvények skalár szorzataként határozzuk meg, hanem közvetlenül felvesszük, tehát ha nem a bázisfüggvényekből, hanem a kernel függvényből indulunk ki. Kernel függvényként azonban bármilyen függvény nem használható, hiszen a kernel függvény még akkor is bázisfüggvények skalár szorzatával származtatható függvény kell legyen, ha a származtatásnál nem ezt az utat választjuk. Érvényes kernel függvénynek bizonyos feltételeket teljesítenie kell. A kernel függvény megválasztása implicit módon meghatározza a jellemzőtérre való leképezést biztosító bázisfüggvényeket is. Ez viszont már magában rejti a kernel megközelítés egy nagyon lényeges előnyét.

Amint az a (6.14) összefüggésből látszik a kerneles reprezentáció a tanítópontoknak megfelelő számú (P) kernel függvény-érték súlyozott összegeként áll elő, függetlenül attól, hogy az implicit módon definiált jellemzőtér dimenziója (M) mekkora. A kernel függvény megválasztásától függően a jellemzőtér dimenziója nagyon nagy, akár végtelen is lehet, ami a (6.13) szerinti kimenet előállítást nagyon megnehezítené, sőt akár lehetetlenné is tenné, miközben a kernel reprezentáció komplexitása a tanítópontok száma által mindenképpen korlátozott. Minthogy a kernel térbeli megoldás ekvivalens a jellemzőtérbeli megoldással, a kernel módszerekkel azt tudjuk elérni, hogy a megoldás komplexitását akkor is korlátozni tudjuk, ha egyébként a megfelelő jellemzőtérbeli megoldás extrém módon komplex lenne. A kernel függvények bevezetésének ezt a hatását kernel trükknek (kernel trick) nevezzük.

Nemlineáris esetben a kernel reprezentációt – legalábbis koncepcionálisan – két lépésben érjük el. Először a bemeneti térről megfelelő bázisfüggvények alkalmazásával nemlineáris dimenziónövelő transzformációt hajtunk végre. Ennek eredménye a jellemzőtérbeli reprezentáció. A feladatot azonban nem itt, hanem egy újabb transzformáció után a kernel térben oldjuk meg. A jellemzőtér és a kernel tér között a skalár szorzat teremti meg a kapcsolatot, és mindkét származtatott reprezentációra igaz, hogy az eredetileg nemlineáris probléma a származtatott reprezentációkban már lineárisan megoldható. A reprezentációk kapcsolatát mutatja a 6.1 ábra.

A koncepcionális származtatás mellett azonban fontos hangsúlyozni, hogy a kernel reprezentáció alkalmazásánál nem a 6.1 ábrán bemutatott utat követjük, a kernel térbe nem a jellemzőtéren keresztül jutunk el, hanem épp ellenkezőleg a kernel térből indulunk ki, és ez automatikusan definiálja a jellemzőteret. A fordított út előnye – ami a kernel trükk következménye –, hogy nem kell a jellemzőteret definiálnunk, ami egyébként sok esetben komoly nehézséget jelentene, dolgoznunk sem kell a praktikusan nehezen kezelhető jellemzőtérben, hanem közvetlenül a kernel teret definiáljuk és a megoldást is itt nyerjük. Mindehhez az egyik legfontosabb követelmény a megfelelő kernel függvény megválasztása.

6.1. ábra - A nemlineáris leképezések az eredeti probléma tértől a kernel térig.
A nemlineáris leképezések az eredeti probléma tértől a kernel térig.



[1] A válasz (6.9) szerinti meghatározásához az (X^X^T)-1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaeikaiqahIfagaqcaiqahIfagaqcamaaCaaaleqabaGaamivaaaakiaabMcadaahaaWcbeqaaiaab2cacaqGXaaaaaaa@3BAE@ inverznek léteznie kell. Ha (X^X^TMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaeikaiqahIfagaqcaiqahIfagaqcamaaCaaaleqabaGaamivaaaakiaabMcacaqGGaaaaa@3AC0@ szinguláris vagy közel szinguláris, a regularizáció alkalmazható, amikor (X^X^T)-1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaeikaiqahIfagaqcaiqahIfagaqcamaaCaaaleqabaGaamivaaaakiaabMcadaahaaWcbeqaaiaab2cacaqGXaaaaaaa@3BAE@ helyett (X^X^T+λI)-1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaeikaiqahIfagaqcaiqahIfagaqcamaaCaaaleqabaGaamivaaaakiabgUcaRiabeU7aSjaahMeacaqGPaWaaWbaaSqabeaacaqGTaGaaeymaaaaaaa@3F16@ szerepel. (ld. még 2.1 szakasz illetve Függelék.)