6.4. SVM változatok

A szupport vektor gépek alkalmazásának legjelentősebb akadálya a nagy memória- és számítási komplexitás. Mint láttuk, ennek oka, hogy az SVM tanítása során egy nagy számításigényű kvadratikus programozási feladatot kell megoldani. Az előzőekben röviden összefoglalt néhány hatékony eljárás vagy a kvadratikus programozás gyors megvalósításával, vagy az SVM optimalizálási feladatának módosításával ér célt. Ezek a megoldások azonban mind az eredeti feladat megoldását keresik.

A probléma egy másik lehetséges megközelítése, ha az optimalizálási feladatot módosítjuk, az SVM elméleti hátterének, valamit előnyeinek lehetőség szerinti megtartása mellett. Ekkor azonban már nem az eredeti SVM feladat megoldására törekszünk. A biztonsági sáv maximalizálása, a duális felírás és a kernel trükk alkalmazása jelentik a módszer azon magját, amelyet meghagyva a számítási feladat átfogalmazásával az eredeti módszerhez hasonló kernel gépeket kaphatunk. Az SVM változatokkal szembeni fő elvárás, hogy egyszerűsítsék a szükséges számításokat, mindemellett megtartsák az eredeti eljárás jó tulajdonságait, mind a jó általánosítóképességet, mind a kapott megoldás ritkaságát (sparseness).

Az egyik legelterjedtebb ilyen módosítás a négyzetes hibára optimalizált szupport vektor gép, az LS-SVM (Least Squares Support Vector Machine) [Suy00], [Suy02]. Ez a megoldás az SVM-től eltérően a klasszikus neuronhálóknál szokásos négyzetes hibafüggvénnyel dolgozik, továbbá a kielégítendő feltételeket egyenlőségek formájában fogalmazza meg. Ennek köszönhetően a megoldás egy lineáris egyenletrendszer eredményeként áll elő, amelynek megoldása lényegesen egyszerűbb, mint a kvadratikus programozási feladaté.

Az SVM változatok közül először a legelterjedtebb LS-SVM-et mutatjuk be, ami megfelel a statisztikából ismert ridge regressziónak, amelyet később szintén bemutatunk röviden. A legkisebb négyzetes hiba alkalmazásából adódóan az eredeti LS-SVM és a ridge regresszió elveszíti a ritkasági tulajdonságot. Megfelelő módosítássokkal, kiterjesztésekkel azonban itt is elérhető, hogy ritka megoldást kapjunk. A ritka megoldásra vezető egyik lehetséges kiterjesztés az LS2-SVM. Ennek tárgyalását a redukált rangú kernel ridge regresszió (reduced rank kernel ridge regression, RRKRR) bemutatása követi, ami más megközelítést alkalmazva, de ugyancsak ritka megoldást biztosít.

6.4.1. Az LS-SVM

A Johan Suykens által kidolgozott LS-SVM [Suy02] a hagyományos szupport vektor gépek olyan módosítása, ami az idő- és erőforrás-igényes kvadratikus programozással szemben, egy lineáris egyenletrendszer megoldására vezet.

Mivel az LS-SVM a hagyományos SVM módosítása, a kiinduló ötletek, illetve összefüggések hasonlóak, ezért a továbbiakban elsősorban az alapváltozattól való eltérések bemutatására törekszünk. A fő különbség a két módszer között az ε-érzéketlenségi sávval rendelkező költségfüggvény négyzetes függvényre való lecserélése, valamint, hogy az SVM mellékfeltételeit megfogalmazó egyenlőtlenségeket egyenlőségekre cseréljük.

Az LS-SVM tárgyalásánál csak a legáltalánosabb nemlineáris változatot származtatjuk.

Az LS-SVM osztályozó

Az osztályozási feladat a már megszokott: adott egy {xi,di}i=1PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaiWaaeaacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaiilaiaadsgadaWgaaWcbaGaamyAaaqabaaakiaawUhacaGL9baadaqhaaWcbaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaaaaa@4098@ tanítópont-halmaz, ahol xiRNMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiEamaaBaaaleaacaWGPbaabeaakiabgIGiopXvP5wqonvsaeHbj1gCYLMB0bstubYuOfgzVDhaiuaacqWFsbGudaahaaWcbeqaaiaad6eaaaaaaa@4460@ egy N-dimenziós bemeneti vektor, illetve di{0,1}MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamizamaaBaaaleaacaWGPbaabeaakiabgIGiopaacmaabaGaaGimaiaacYcacaaIXaaacaGL7bGaayzFaaaaaa@3DBB@ az ehhez tartozó kívánt kimenet. A cél egy olyan modell létrehozása, ami jól reprezentálja a tanítópontok által leírt kapcsolatot.

Az osztályozó esetében az optimalizálási feladat az alábbi:

minw,b,eJ(w,b,e)=12wTw+C12i=1Pei2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaCbeaeaacaqGTbGaaeyAaiaab6gaaSqaaiaahEhacaGGSaGaamOyaiaacYcacaWHLbaabeaakiaadQeacaqGOaGaaC4DaiaacYcacaWGIbGaaiilaiaahwgacaqGPaGaeyypa0ZaaSaaaeaacaaIXaaabaGaaGOmaaaacaWH3bWaaWbaaSqabeaacaWGubaaaOGaaC4DaiabgUcaRiaadoeadaWcaaqaaiaaigdaaeaacaaIYaaaamaaqahabaGaamyzamaaDaaaleaacaWGPbaabaGaaGOmaaaaaeaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaaa@54BE@ (6.79)

a

di[wTφ(xi)+b]=1eiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamizamaaBaaaleaacaWGPbaabeaakmaadmaabaGaaC4DamaaCaaaleqabaGaamivaaaakiaahA8adaqadaqaaiaahIhadaWgaaWcbaGaamyAaaqabaaakiaawIcacaGLPaaacqGHRaWkcaWGIbaacaGLBbGaayzxaaGaeyypa0JaaGymaiabgkHiTiaadwgadaWgaaWcbaGaamyAaaqabaaaaa@475E@ , i=1,...,PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyAaiabg2da9iaaigdacaGGSaGaaiOlaiaac6cacaGGUaGaaiilaiaadcfaaaa@3CCE@ (6.80)

mellékfeltételekkel. A fenti képletben a négyzetes hibát megadó ei értékek a négyzetes költségfüggvényből adódó hibaértékek. Szerepük az SVM-ben bevezetett ξiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqOVdG3aaSbaaSqaaiaadMgaaeqaaaaa@38B1@ gyengítő változóknak felel meg. Látható, hogy a feltételekben az SVM osztályozóhoz képest (lásd (6.24) összefüggés) az egyenlőtlenség helyett egyenlőség szerepel, valamint hogy a célfüggvényben a hiba négyzete ( ei2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyzamaaDaaaleaacaWGPbaabaGaaGOmaaaaaaa@3895@ ) jelenik meg.

Az osztályozó most is a szokásos bázisfüggvényes alakban írható fel:

y(x)=sign[wTφ(x)+b]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEaiaabIcacaWH4bGaaeykaiabg2da9iaabohacaqGPbGaae4zaiaab6gadaWadaqaaiaahEhadaahaaWcbeqaaiaadsfaaaGccaWHgpWaaeWaaeaacaWH4baacaGLOaGaayzkaaGaey4kaSIaamOyaaGaay5waiaaw2faaaaa@4794@ (6.81)

ahol a φ(.):RNRMMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdiaahIcacaWHUaGaaCykaiaacQdatCvAUfKttLearyqsTbNCP5gDG0evGmfAHr2B3bacfaGae8Nuai1aaWbaaSqabeaacaWGobaaaOGaeyOKH4Qae8Nuai1aaWbaaSqabeaacaWGnbaaaaaa@4900@ leképezés az SVM-ben is használt nemlineáris leképezés egy magasabb, M-dimenziós jellemzőtérbe.

A fenti egyenletekből az alábbi Lagrange kritérium írható fel:

L(w,b,e;α)=J(w,b,e)i=1Pαi{di[wTφ(xi)+b]1+ei}MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamitaiaabIcacaWH3bGaaiilaiaadkgacaGGSaGaaCyzaiaacUdacaWHXoGaaeykaiabg2da9iaadQeacaqGOaGaaC4DaiaacYcacaWGIbGaaiilaiaahwgacaqGPaGaeyOeI0YaaabCaeaacqaHXoqydaWgaaWcbaGaamyAaaqabaGcdaGadaqaaiaayIW7caaMi8UaamizamaaBaaaleaacaWGPbaabeaakmaadmaabaGaaC4DamaaCaaaleqabaGaamivaaaakiaahA8adaqadaqaaiaahIhadaWgaaWcbaGaamyAaaqabaaakiaawIcacaGLPaaacqGHRaWkcaWGIbaacaGLBbGaayzxaaGaeyOeI0IaaGymaiabgUcaRiaadwgadaWgaaWcbaGaamyAaaqabaaakiaawUhacaGL9baaaSqaaiaadMgacqGH9aqpcaaIXaaabaGaamiuaaqdcqGHris5aaaa@65C7@ , (6.82)

ahol az αiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqySde2aaSbaaSqaaiaadMgaaeqaaaaa@388D@ értékek a Lagrange multiplikátorok, amelyek az egyenlőségi feltételek miatt itt pozitív és negatív értékeket is felvehetnek.

Az optimumra vonatkozó feltételek az alábbiak.

Lw=0w=i=1Pαidiφ(xi)Lb=0i=1Pαidi=0Lei=0αi=C eii=1,...,PLαi=0di[wTφ(xi)+b]1+ei=0i=1,...,PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaqbaeaabqabaaaaaeaadaWcaaqaaiabgkGi2kaadYeaaeaacqGHciITcaWH3baaaiabg2da9iaaicdaaeaacqGHsgIRaeaacaWH3bGaeyypa0ZaaabCaeaacqaHXoqydaWgaaWcbaGaamyAaaqabaGccaWGKbWaaSbaaSqaaiaadMgaaeqaaOGaaCOXdiaacIcacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaiykaaWcbaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaakeaaaeaadaWcaaqaaiabgkGi2kaadYeaaeaacqGHciITcaWGIbaaaiabg2da9iaaicdaaeaacqGHsgIRaeaadaaeWbqaaiabeg7aHnaaBaaaleaacaWGPbaabeaakiaadsgadaWgaaWcbaGaamyAaaqabaGccqGH9aqpcaaIWaaaleaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaOqaaaqaamaalaaabaGaeyOaIyRaamitaaqaaiabgkGi2kaadwgadaWgaaWcbaGaamyAaaqabaaaaOGaeyypa0JaaGimaaqaaiabgkziUcqaaiabeg7aHnaaBaaaleaacaWGPbaabeaakiabg2da9iaadoeacaqGGaGaamyzamaaBaaaleaacaWGPbaabeaaaOqaaiaadMgacqGH9aqpcaaIXaGaaiilaiaac6cacaGGUaGaaiOlaiaacYcacaWGqbaabaWaaSaaaeaacqGHciITcaWGmbaabaGaeyOaIyRaeqySde2aaSbaaSqaaiaadMgaaeqaaaaakiabg2da9iaaicdaaeaacqGHsgIRaeaacaWGKbWaaSbaaSqaaiaadMgaaeqaaOWaamWaaeaacaWH3bWaaWbaaSqabeaacaWGubaaaOGaaCOXdmaabmaabaGaaCiEamaaBaaaleaacaWGPbaabeaaaOGaayjkaiaawMcaaiabgUcaRiaadkgaaiaawUfacaGLDbaacqGHsislcaaIXaGaey4kaSIaamyzamaaBaaaleaacaWGPbaabeaakiabg2da9iaaicdaaeaacaWGPbGaeyypa0JaaGymaiaacYcacaGGUaGaaiOlaiaac6cacaGGSaGaamiuaaaaaaa@A04F@ (6.83)

A fenti egyenletekből egy lineáris egyenletrendszer írható fel, mely az alábbi kompakt formában is megadható:

[0dTdΩ+C1I][bα]=[01]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaamWaaeaafaqabeGacaaabaGaaGimaaqaaiaahsgadaahaaWcbeqaaiaacsfaaaaakeaacaWHKbaabaGaaCyQdiabgUcaRiaadoeadaahaaWcbeqaaiabgkHiTiaaigdaaaGccaWHjbaaaaGaay5waiaaw2faamaadmaabaqbaeqabiqaaaqaaiaadkgaaeaacaWHXoaaaaGaay5waiaaw2faaiabg2da9maadmaabaqbaeqabiqaaaqaaiaaicdaaeaacaWHXaaaaaGaay5waiaaw2faaaaa@49A5@ , (6.84)

ahol:

dT=[d1,d2,...,dP]1T=[1,...,1]αT=[α1,α2,...,αP]Ωi,j=didjφ(xi)Tφ(xj)=didjK(xi,xj)i,j=1,...,PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGceaqabeaacaWHKbWaaWbaaSqabeaacaWGubaaaOGaeyypa0ZaamWaaeaacaWGKbWaaSbaaSqaaiaaigdaaeqaaOGaaiilaiaadsgadaWgaaWcbaGaaGOmaaqabaGccaGGSaGaaGjcVlaayIW7caGGUaGaaiOlaiaac6cacaaMi8UaaGjcVlaacYcacaWGKbWaaSbaaSqaaiaadcfaaeqaaaGccaGLBbGaayzxaaaabaGaaCymamaaCaaaleqabaGaamivaaaakiabg2da9maadmaabaGaaGymaiaacYcacaGGUaGaaiOlaiaac6cacaGGSaGaaGymaaGaay5waiaaw2faaaqaaiaahg7adaahaaWcbeqaaiaacsfaaaGccqGH9aqpdaWadaqaaiabeg7aHnaaBaaaleaacaaIXaaabeaakiaacYcacqaHXoqydaWgaaWcbaGaaGOmaaqabaGccaGGSaGaaGjcVlaayIW7caGGUaGaaiOlaiaac6cacaaMi8UaaGjcVlaacYcacqaHXoqydaWgaaWcbaGaamiuaaqabaaakiaawUfacaGLDbaaaeaacaqGPoWaaSbaaSqaaiaadMgacaGGSaGaamOAaaqabaGccqGH9aqpcaWGKbWaaSbaaSqaaiaadMgaaeqaaOGaamizamaaBaaaleaacaWGQbaabeaakiaabA8adaqadaqaaGqabiaa=HhadaWgaaWcbaGaamyAaaqabaaakiaawIcacaGLPaaadaahaaWcbeqaaiaadsfaaaGccaWHgpGaaeikaiaahIhadaWgaaWcbaGaamOAaaqabaGccaqGPaGaeyypa0JaamizamaaBaaaleaacaWGPbaabeaakiaadsgadaWgaaWcbaGaamOAaaqabaGccaWGlbGaaeikaiaahIhadaWgaaWcbaGaamyAaaqabaGccaqGSaGaaCiEamaaBaaaleaacaWGQbaabeaakiaabMcacaaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaamyAaiaacYcacaWGQbGaeyypa0JaaGymaiaacYcacaGGUaGaaiOlaiaac6cacaGGSaGaamiuaaaaaa@BBFE@ (6.85)

és I egy megfelelő méretű egységmátrix. Látható, hogy az egyenletrendszer első sora a i=1Pαidi=0MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaabCaeaacqaHXoqydaWgaaWcbaGaamyAaaqabaGccaWGKbWaaSbaaSqaaiaadMgaaeqaaOGaeyypa0JaaGimaaWcbaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaaaa@422A@ feltételt írja le, míg a további sorok a Lαi=0MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWGmbaabaGaeyOaIyRaeqySde2aaSbaaSqaaiaadMgaaeqaaaaakiabg2da9iaaicdaaaa@3E04@ feltételből adódó egyenleteket írják le, behelyettesítve a (6.83)-ban megadott derivált számításokból wMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4Daaaa@36D4@ -re és eiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyzamaaBaaaleaacaWGPbaabeaaaaa@37D8@ -re származtatott összefüggéseket.

Az osztályozó válasza – hasonlóan a hagyományos SVM-hez – a következő alakban írható fel:

y(x)=i=1PαidiK(x,xi)+bMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEaiaabIcacaWH4bGaaeykaiabg2da9maaqahabaGaeqySde2aaSbaaSqaaiaadMgaaeqaaOGaamizamaaBaaaleaacaWGPbaabeaaaeaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoakiaadUeacaqGOaGaaCiEaiaacYcacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaeykaiabgUcaRiaadkgaaaa@4C81@ . (6.86)

Az αiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqySde2aaSbaaSqaaiaadMgaaeqaaaaa@388D@ súlyok és a b eltolásérték (bias) a fenti egyenletrendszerből számíthatók. Az eredmény jellemzője, hogy a megoldásban az összes tanítópont szerepel, tehát mind szupport vektor, azaz az egyenlőség használata miatt nincsenek nulla súlytényezők. Ezzel elveszítjük az SVM ritkasági tulajdonságát, nevezetesen, hogy a bemeneti vektoroknak csak egy kis része lesz szupport vektor. Az αiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqySde2aaSbaaSqaaiaadMgaaeqaaaaa@388D@ súlyok nagyság szerinti sorba rendezéséből látszik, hogy melyek a fontosabb, illetve melyek a kevésbé fontos bemeneti vektorok. Ezen alapul a később bemutatásra kerülő komplexitás redukciós metszési (pruning) eljárás, ami az SVM ritkasági tulajdonságát adja vissza.

A 6.13 ábrán a szupport vektor gépek összehasonlításánál gyakran alkalmazott kettős spirál probléma LS-SVM-mel történő megoldását mutatjuk. Jól látható, hogy ennél az erősen nemlineáris feladatnál az LS-SVM – hasonlóan az SVM-hez – nagyon jól teljesít.

6.13. ábra - A kettős spirál probléma megoldása LS-SVM-el.
A kettős spirál probléma megoldása LS-SVM-el.

Az LS-SVM regresszió

Az LS-SVM – hasonlóan az eddig látott hálózatokhoz – az osztályozós feladaton túl regressziós esetre is alkalmazható. Ekkor az eddigieknek megfelelően egy f(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOzamaabmaabaGaaCiEaaGaayjkaiaawMcaaaaa@3949@ függvény közelítése a cél adott {xi,di}i=1PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaiWaaeaacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaiilaiaadsgadaWgaaWcbaGaamyAaaqabaaakiaawUhacaGL9baadaqhaaWcbaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaaaaa@4098@ tanítópont-halmaz alapján, ahol xiRNMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiEamaaBaaaleaacaWGPbaabeaakiabgIGiopXvP5wqonvsaeHbj1gCYLMB0bstubYuOfgzVDhaiuaacqWFsbGudaahaaWcbeqaaiaad6eaaaaaaa@4460@ egy N-dimenziós bemeneti vektor és diRMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamizamaaBaaaleaacaWGPbaabeaakiabgIGiopXvP5wqonvsaeHbj1gCYLMB0bstubYuOfgzVDhaiuaacqWFsbGuaaa@4348@ a kívánt kimenet.

A regresszió esetén az optimálási feladat az alábbi:

minw,b,eJ(w,b,e)=12wTw+C12i=1Pei2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaCbeaeaacaqGTbGaaeyAaiaab6gaaSqaaiaahEhacaGGSaGaamOyaiaacYcacaWHLbaabeaakiaadQeacaqGOaGaaC4DaiaacYcacaWGIbGaaiilaiaahwgacaqGPaGaeyypa0ZaaSaaaeaacaaIXaaabaGaaGOmaaaacaWH3bWaaWbaaSqabeaacaWGubaaaOGaaC4DaiabgUcaRiaadoeadaWcaaqaaiaaigdaaeaacaaIYaaaamaaqahabaGaamyzamaaDaaaleaacaWGPbaabaGaaGOmaaaaaeaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaaa@54BE@ (6.87)

a

di=wTφ(xi)+b+eiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamizamaaBaaaleaacaWGPbaabeaakiabg2da9iaahEhadaahaaWcbeqaaiaadsfaaaGccaWHgpaccaGae8hkaGIaaCiEamaaBaaaleaacaWGPbaabeaakiab=LcaPiabgUcaRiaadkgacqGHRaWkcaWGLbWaaSbaaSqaaiaadMgaaeqaaaaa@44D3@ , ahol i=1,...,PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyAaiabg2da9iaaigdacaGGSaGaaiOlaiaac6cacaGGUaGaaiilaiaadcfaaaa@3CCE@ (6.88)

feltételekkel.

A regresszió válasza a következő alakban írható fel:

y(x)=wTφ(x)+bMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEaiaabIcacaWH4bGaaeykaiabg2da9iaahEhadaahaaWcbeqaaiaadsfaaaGccaWHgpGaaGjcVlaayIW7daqadaqaaiaahIhaaiaawIcacaGLPaaacqGHRaWkcaWGIbaaaa@4507@ , (6.89)

ahol a φ(.):RNRMMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdiaabIcacaqGUaGaaeykaiaacQdatCvAUfKttLearyqsTbNCP5gDG0evGmfAHr2B3bacfaGae8Nuai1aaWbaaSqabeaacaWGobaaaOGaeyOKH4Qae8Nuai1aaWbaaSqabeaacaWGnbaaaaaa@48EE@ nemlineáris transzformáció most is a jellemzőtérbe való leképezést biztosítja. Az osztályozós esthez hasonlóan itt is felírhatunk egy Lagrange függvényt:

L(w,b,e;α)=J(w,b,e)i=1Pαi{wTφ(xi)+b+eidi}MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamitaiaabIcacaWH3bGaaiilaiaadkgacaGGSaGaaCyzaiaacUdacaWHXoGaaeykaiabg2da9iaadQeacaqGOaGaaC4DaiaacYcacaWGIbGaaiilaiaahwgacaqGPaGaeyOeI0YaaabCaeaacqaHXoqydaWgaaWcbaGaamyAaaqabaGcdaGadaqaaiaahEhadaahaaWcbeqaaiaadsfaaaGccaWHgpaccaGae8hkaGIaaCiEamaaBaaaleaacaWGPbaabeaakiab=LcaPiabgUcaRiaadkgacqGHRaWkcaWGLbWaaSbaaSqaaiaadMgaaeqaaOGaeyOeI0IaamizamaaBaaaleaacaWGPbaabeaaaOGaay5Eaiaaw2haaaWcbaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaaaa@6025@ , (6.90)

ahol az αiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqySde2aaSbaaSqaaiaadMgaaeqaaaaa@388D@ értékek a Lagrange multiplikátorok. Az optimumra vonatkozó feltételek az alábbiak.

Lw=0w=i=1Pαiφ(xi)Lb=0i=1Pαi=0Lei=0αi=C eii=1,...,PLαi=0wTφ(xi)+b+eidi=0i=1,...,PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaqbaeaabqabaaaaaeaadaWcaaqaaiabgkGi2kaadYeaaeaacqGHciITcaWH3baaaiabg2da9iaaicdaaeaacqGHsgIRaeaacaWH3bGaeyypa0ZaaabCaeaacqaHXoqydaWgaaWcbaGaamyAaaqabaGccaWHgpGaaeikaiaahIhadaWgaaWcbaGaamyAaaqabaGccaqGPaaaleaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaOqaaaqaamaalaaabaGaeyOaIyRaamitaaqaaiabgkGi2kaadkgaaaGaeyypa0JaaGimaaqaaiabgkziUcqaamaaqahabaGaeqySde2aaSbaaSqaaiaadMgaaeqaaOGaeyypa0JaaGimaaWcbaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaakeaaaeaadaWcaaqaaiabgkGi2kaadYeaaeaacqGHciITcaWGLbWaaSbaaSqaaiaadMgaaeqaaaaakiabg2da9iaaicdaaeaacqGHsgIRaeaacqaHXoqydaWgaaWcbaGaamyAaaqabaGccqGH9aqpcaWGdbGaaeiiaiaadwgadaWgaaWcbaGaamyAaaqabaaakeaacaWGPbGaeyypa0JaaGymaiaacYcacaGGUaGaaiOlaiaac6cacaGGSaGaamiuaaqaamaalaaabaGaeyOaIyRaamitaaqaaiabgkGi2kabeg7aHnaaBaaaleaacaWGPbaabeaaaaGccqGH9aqpcaaIWaaabaGaeyOKH4kabaGaaC4DamaaCaaaleqabaGaamivaaaakiaahA8aiiaacqWFOaakcaWH4bWaaSbaaSqaaiaadMgaaeqaaOGae8xkaKIaey4kaSIaamOyaiabgUcaRiaadwgadaWgaaWcbaGaamyAaaqabaGccqGHsislcaWGKbWaaSbaaSqaaiaadMgaaeqaaOGaeyypa0JaaGimaaqaaiaadMgacqGH9aqpcaaIXaGaaiilaiaac6cacaGGUaGaaiOlaiaacYcacaWGqbaaaaaa@99B3@ (6.91)

A wMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4Daaaa@36D4@ és az eMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyzaaaa@36BE@ kifejezése után a következő lineáris egyenletrendszer írható fel:

[01T1Ω+C1I][bα]=[0d]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaamWaaeaafaqabeGacaaabaGaaGimaaqaaiaahgdadaahaaWcbeqaaiaacsfaaaaakeaacaWHXaaabaGaaCyQdiabgUcaRiaadoeadaahaaWcbeqaaiabgkHiTiaaigdaaaGccaWHjbaaaaGaay5waiaaw2faamaadmaabaqbaeqabiqaaaqaaiaadkgaaeaacaWHXoaaaaGaay5waiaaw2faaiabg2da9maadmaabaqbaeqabiqaaaqaaiaaicdaaeaacaWHKbaaaaGaay5waiaaw2faaaaa@4972@ (6.92)

ahol az ΩMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyQdaaa@3709@ kivételével az egyenletrendszerben szereplő többi jelölés megegyezik a (6.85)-ben megadottakkal. Az ΩMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyQdaaa@3709@ mátrix (i,j)-edik eleme :

Ωi,j=φ(xi)Tφ(xj)=K(xi,xj)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeuyQdC1aaSbaaSqaaiaadMgacaGGSaGaamOAaaqabaGccqGH9aqpcaWHgpGaaeikaiaahIhadaWgaaWcbaGaamyAaaqabaGccaqGPaWaaWbaaSqabeaacaWGubaaaOGaaCOXdiaabIcacaWH4bWaaSbaaSqaaiaadQgaaeqaaOGaaeykaiabg2da9iaadUeacaqGOaGaaCiEamaaBaaaleaacaWGPbaabeaakiaacYcacaWH4bWaaSbaaSqaaiaadQgaaeqaaOGaaeykaaaa@4E00@ , i,j=1,...,PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyAaiaacYcacaWGQbGaeyypa0JaaGymaiaacYcacaGGUaGaaiOlaiaac6cacaGGSaGaamiuaaaa@3E6D@ . (6.93)

Az eredmény – hasonlóan a hagyományos SVM-hez – a következő alakban írható fel:

y(x)=i=1PαiK(x,xi)+bMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEaiaabIcacaWH4bGaaeykaiabg2da9maaqahabaGaeqySde2aaSbaaSqaaiaadMgaaeqaaaqaaiaadMgacqGH9aqpcaaIXaaabaGaamiuaaqdcqGHris5aOGaam4saiaabIcacaWH4bGaaiilaiaahIhadaWgaaWcbaGaamyAaaqabaGccaqGPaGaey4kaSIaamOyaaaa@4A74@ , (6.94)

ahol az αiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqySde2aaSbaaSqaaiaadMgaaeqaaaaa@388D@ -k és bMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOyaaaa@36BB@ a fenti lineáris egyenletrendszer megoldásai.

Az egyenletrendszer felírása a parciális deriváltakból az osztályozós esetnél bemutatottak szerint történik. A regressziós esetben azonban az eredmény kiszámítása ((6.94) összefüggés) és az egyenletrendszer sorai között egyértelműen látszik a kapcsolat, nevezetesen, hogy az egyenletrendszer sorai a regularizációt ( C1IMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4qamaaCaaaleqabaGaeyOeI0IaaGymaaaakiaahMeaaaa@394D@ ) leszámítva pontosan megfelelnek az eredmény kiszámítására szolgáló összefüggésnek. Ez nem meglepő, hiszen a tanítópontok által reprezentált feltételek gyakorlatilag azt fogalmazzák meg, hogy az adott bemenetre milyen kimenetet várunk a modelltől. Ez a működés jól követhető a 6.10 ábrán. A tanítás során bevezetett regularizáció pedig megadja, hogy mennyire (mekkora hibával) kell illeszkedni a tanítópontokban. Az erősebb regularizáló hatás pontatlanabb illeszkedést követel és simább (egyszerűbb) megoldást, simább válaszfüggvényt eredményez.

A 6.14 ábrán egy egyszerű példát mutatunk be LS-SVM használatával megoldott regressziós feladatra. Látható, hogy még jelentősebb mértékben zajos tanítópontok mellett is jó megoldást kapunk.

6.14. ábra - A zajos sinc(x) LS-SVM modellje (Gauss kernel; σ=π; C=10MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4qaiabg2da9iaaigdacaaIWaaaaa@3917@ ; A Gauss zaj szórása (a) σn=0.01MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4Wdm3aaSbaaSqaaiaad6gaaeqaaOGaeyypa0JaaGimaiaac6cacaaIWaGaaGymaaaa@3CA7@ (b) σn=0.04MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4Wdm3aaSbaaSqaaiaad6gaaeqaaOGaeyypa0JaaGimaiaac6cacaaIWaGaaGinaaaa@3CAA@ ). Az összes tanítópont szupport vektor.
A zajos sinc(x) LS-SVM modellje (Gauss kernel; σ=π; C=10 MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4qaiabg2da9iaaigdacaaIWaaaaa@3917@ ; A Gauss zaj szórása (a) σ n =0.01 MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4Wdm3aaSbaaSqaaiaad6gaaeqaaOGaeyypa0JaaGimaiaac6cacaaIWaGaaGymaaaa@3CA7@ (b) σ n =0.04 MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4Wdm3aaSbaaSqaaiaad6gaaeqaaOGaeyypa0JaaGimaiaac6cacaaIWaGaaGinaaaa@3CAA@ ). Az összes tanítópont szupport vektor.

Ritka LS-SVM

A Least-Squares megoldás egyik hátránya, hogy a megoldás nem ritka (sparse), hiszen mint láttuk, minden tanító vektor szupport vektor is egyben. Ha a végeredményt neurális hálózatként értelmezzük, akkor ebben P (azaz a felhasznált tanítópontok számával megegyező számú) nemlineáris neuron található, így az eredmény komplexitása (a háló mérete) nagyobb, mint a hagyományos SVM-mel nyert hálózatoké, melyek valóban szelektálnak a bementek közül. Ez abból is látszik, hogy a megoldásban felhasználjuk az αi=C eiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqySde2aaSbaaSqaaiaadMgaaeqaaOGaeyypa0Jaam4qaiaabccacaWGLbWaaSbaaSqaaiaadMgaaeqaaaaa@3D0C@ egyenletet, ami mutatja, hogy a i-edik tanítópontban kapott hiba arányos a tanítóponthoz, mint szupport vektorhoz tartozó αiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqySde2aaSbaaSqaaiaadMgaaeqaaaaa@388D@ súllyal. Figyeljük meg, hogy a négyzetes hibafüggvény alkalmazása miatt az εMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqyTdugaaa@377B@ sáv hiányában gyakorlatilag nincs 0 hibaérték, így nincs αi=0MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqySde2aaSbaaSqaaiaadMgaaeqaaOGaeyypa0JaaGimaaaa@3A57@ érték sem. Ahhoz, hogy a hagyományos SVM ritkasági tulajdonságát visszanyerjük további lépésekre van szükség.

Intuitíven állíthatjuk, hogy a kisebb αiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqySde2aaSbaaSqaaiaadMgaaeqaaaaa@388D@ -k kevésbé járulnak hozzá a megoldáshoz, azaz a kialakított modellhez. A következő „pruning” (metszési) eljárás egy ezen alapuló iteratív módszer, mellyel az LS-SVM alkalmazásánál is elérhető egy egyszerűbb eredmény, azaz kisebb hálózat. A megoldás menete az alábbi:

  • Tanítsuk a hálózatot az összes rendelkezésre álló (P) tanítóponttal.

  • Távolítsuk el egy kisebb részét (pl. 5%–át) a pontoknak úgy, hogy azokat hagyjuk el, melyekhez a legkisebb |αi|MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaqWaaeaacqaHXoqydaWgaaWcbaGaamyAaaqabaaakiaawEa7caGLiWoaaaa@3BB9@ -k tartoznak.

  • Tanítsuk újra az LS-SVM-et a kisebb tanítókészlettel.

  • Folytassuk a 2. lépéstől, amíg a válasz minősége nem romlik. Ha a teljesítmény romlik, akkor a hiperparaméterek ( CMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4qaaaa@369C@ és Gauss kernel esetén a σMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4Wdaaa@371F@ ) hangolásával esetleg korrigálhatjuk, illetve még tovább csökkenthetjük a megoldás méretét.

A negyedik pontban említett hiperparaméter hangolásának oka jól látható például egy Gauss kerneles hálózat esetén. Ha a metszési (pruning) eljárás eredményeképpen csökken a kernelek száma, akkor az egymástól távolabb eső középpontok miatt gyakran növelni kell a Gauss függvények szélességét ( σMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4Wdaaa@371F@ ).

Fontos megjegyezni, hogy a metszési eljárás során, a minták elhagyásával gyakorlatilag a tanítókészlet méretét redukáljuk, ami – főként jelentősebb redukció esetén – információvesztéssel és így a háló minőségének romlásával jár(hat). Ez egyértelmű különbség a Vapnik-féle SVM-hez képest, hiszen ott a ritka megoldást úgy nyertük, hogy közben a Lagrange multiplikátorok meghatározásában az összes tanítópont részt vett. Ennek a kedvezőtlen hatásnak egyfajta mérséklését, vagy kiküszöbölését oldja meg a későbbiekben bemutatásra kerülő LS2-SVM. A mintapontok redukciójának hatását illusztrálja a 1.15 ábra. Az ábrán az üres négyzetek képviselik az összes tanítópontot, az árnyékolt négyzetek pedig a redukált mintakészlet pontjait.

A 6.16 ábrasorozat az eljárás valós példán történő futtatásának eredményét mutatja. Az (a) ábrán az eredeti LS-SVM megoldása látható. A további ábrák az egyre nagyobb mértékű redukció eredményét mutatják: a (b), (c) és (d) ábrákon egyre több pontot hagytunk el az eredeti tanítókészletből, miközben az approximáció minősége jelentősen nem változott.

6.15. ábra - A metszési eljárás, azaz a tanító minták elhagyásának hatása a feladat méretére valamint az approximáció eredményére.
A metszési eljárás, azaz a tanító minták elhagyásának hatása a feladat méretére valamint az approximáció eredményére.

Súlyozott LS-SVM

A négyzetes hibafüggvény a nem normál eloszlású zaj (például kilógó minták, „outlier”-ek) esetén nem optimális, ezért ilyen tanítómintáknál a modellt egy további módosítással hangolhatjuk. A módszer, hasonlóan a „pruning”-hoz az αi=C eiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqySde2aaSbaaSqaaiaadMgaaeqaaOGaeyypa0Jaam4qaiaabccacaWGLbWaaSbaaSqaaiaadMgaaeqaaaaa@3D0C@ összefüggésen alapul. Ez az összefüggés azt mutatja, hogy az egyes pontokban kapott hiba, ei arányos az eredményként kapott αi súlyokkal. A módosított eljárás célja, hogy az egyes mintapontok szerepét a szerint mérlegelje, hogy ott mekkora a hiba. Ha ei nagy, akkor az ehhez tartozó mintapont kevésbé megbízható, tehát a teljes eljárásban a szerepét célszerű csökkenteni, míg a pontosabb mintapontok szerepét, ahol ei kisebb, érdemes növelni. Ezt a hatást egy újonnan bevezetett viMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamODamaaBaaaleaacaWGPbaabeaaaaa@37E9@ súlykészlettel érjük el. Az optimalizálandó egyenlet (a regressziós esetre felírva) ekkor a következőképpen módosul:

minw,b,eJ(w,b,e)=12wTw+C12i=1Pviei2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaCbeaeaacaqGTbGaaeyAaiaab6gaaSqaaiaahEhacaGGSaGaamOyaiaacYcacaWHLbaabeaakiaadQeacaqGOaGaaC4DaiaacYcacaWGIbGaaiilaiaahwgacaqGPaGaeyypa0ZaaSaaaeaacaaIXaaabaGaaGOmaaaacaWH3bWaaWbaaSqabeaacaWGubaaaOGaaC4DaiabgUcaRiaadoeadaWcaaqaaiaaigdaaeaacaaIYaaaamaaqahabaGaamODamaaBaaaleaacaWGPbaabeaakiaadwgadaqhaaWcbaGaamyAaaqaaiaaikdaaaaabaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaaaa@56DD@ . (6.95)

A tanítópontokra vonatkozó feltételek nem változnak:

di=wTφ(xi)+b+eiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamizamaaBaaaleaacaWGPbaabeaakiabg2da9iaahEhadaahaaWcbeqaaiaadsfaaaGccaWHgpWaaeWaaeaacaWH4bWaaSbaaSqaaiaadMgaaeqaaaGccaGLOaGaayzkaaGaey4kaSIaamOyaiabgUcaRiaadwgadaWgaaWcbaGaamyAaaqabaaaaa@44A6@ , i=1,...,PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyAaiabg2da9iaaigdacaGGSaGaaiOlaiaac6cacaGGUaGaaiilaiaadcfaaaa@3CCE@ . (6.96)

A lineáris egyenletrendszerben ez a következőket jelenti:

[01T1Ω+VC][bα]=[0d]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaamWaaeaafaqabeGacaaabaGaaGimaaqaaiqahgdagaWcamaaCaaaleqabaacbeGaa8hvaaaaaOqaaiqahgdagaWcaaqaaiaahM6acqGHRaWkcaWHwbWaaSbaaSqaaiaadoeaaeqaaaaaaOGaay5waiaaw2faamaadmaabaqbaeqabiqaaaqaaiaadkgaaeaacaWHXoaaaaGaay5waiaaw2faaiabg2da9maadmaabaqbaeqabiqaaaqaaiaaicdaaeaacaWHKbaaaaGaay5waiaaw2faaaaa@4801@ (6.97)

ahol a VCMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOvamaaBaaaleaacaWGdbaabeaaaaa@37A7@ az alábbi diagonál mátrix:

VC=diag([1Cv1,...,1CvP])MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOvamaaBaaaleaacaWGdbaabeaakiabg2da9iaabsgacaqGPbGaaeyyaiaabEgadaqadaqaamaadmaabaWaaSaaaeaacaaIXaaabaGaam4qaiaadAhadaWgaaWcbaGaaGymaaqabaaaaOGaaiilaiaayIW7caaMi8UaaiOlaiaac6cacaGGUaGaaGjcVlaayIW7caaMi8UaaiilamaalaaabaGaaGymaaqaaiaadoeacaWG2bWaaSbaaSqaaiaadcfaaeqaaaaaaOGaay5waiaaw2faaaGaayjkaiaawMcaaaaa@5236@ (6.98)

A viMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamODamaaBaaaleaacaWGPbaabeaaaaa@37E9@ súlyokat az ei=αiC MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyzamaaBaaaleaacaWGPbaabeaakiabg2da9maalaaabaGaeqySde2aaSbaaSqaaiaadMgaaeqaaaGcbaGaam4qaaaacaqGGaaaaa@3D26@ értékek alapján választhatjuk meg, például a következők szerint:

vi={1ha|ei/s|c1c2|ei/s|c2c1hac1|ei/s|c2104egyébkéntMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaqbaeqabeWaaaqaaiaadAhadaWgaaWcbaGaamyAaaqabaaakeaacqGH9aqpaeaadaGabaqaauaabeqadmaaaqaabeqaaiaaigdaaeaaaaabaeqabaGaaeiAaiaabggaaeaaaaabaeqabaWaaqWaaeaadaWcgaqaaiaadwgadaWgaaWcbaGaamyAaaqabaaakeaacaWGZbaaaaGaay5bSlaawIa7aiabgsMiJkaadogadaWgaaWcbaGaaGymaaqabaaakeaaaaqaamaalaaabaGaam4yamaaBaaaleaacaaIYaaabeaakiabgkHiTmaaemaabaWaaSGbaeaacaWGLbWaaSbaaSqaaiaadMgaaeqaaaGcbaGaam4CaaaaaiaawEa7caGLiWoaaeaacaWGJbWaaSbaaSqaaiaaikdaaeqaaOGaeyOeI0Iaam4yamaaBaaaleaacaaIXaaabeaaaaaakeaacaqGObGaaeyyaaqaaiaadogadaWgaaWcbaGaaGymaaqabaGccqGHKjYOdaabdaqaamaalyaabaGaamyzamaaBaaaleaacaWGPbaabeaaaOqaaiaadohaaaaacaGLhWUaayjcSdGaeyizImQaam4yamaaBaaaleaacaaIYaaabeaaaOabaeqabaaabaGaaGymaiaaicdadaahaaWcbeqaaiabgkHiTiaaisdaaaaaaOabaeqabaaabaGaaeyzaiaabEgacaqG5bGaaey6aiaabkgacaqGRbGaaey6aiaab6gacaqG0baaaeaaaaaacaGL7baaaaaaaa@7049@ (6.99)

ahol c1, c2 és s megválasztása a statisztikában ismert módszerek alapján történhet [Suy02].

Az algoritmus menete a következő:

  • Tanítsuk a hálózatot súlyozás nélkül az összes rendelkezésre álló (P) tanítóponttal és határozzuk meg az ei értékeket.

  • Határozzuk meg a vi súlyokat az előzőek ((6.99) összefüggés) szerint.

  • Számítsunk ki egy súlyozott LS-SVM modellt a vi súlyok segítségével.

Ez az eljárás iteratívan ismételhető, de a gyakorlatban egy súlyozó lépés általában elegendő.

6.16. ábra - A metszési eljárás folyamatának négy állapota egy zajos sinc(x) megoldása során (RBF kenel; σ=πMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4WdmNaeyypa0JaeqiWdahaaa@3A5A@ ; C=10MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4qaiabg2da9iaaigdacaaIWaaaaa@3917@ ; a zaj szórása: σn=0.01MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4Wdm3aaSbaaSqaaiaad6gaaeqaaOGaeyypa0JaaGimaiaac6cacaaIWaGaaGymaaaa@3CA7@ ). A mintapontok közül végül (d) 22-t tartunk meg (nagy fekete pontok).
A metszési eljárás folyamatának négy állapota egy zajos sinc(x) megoldása során (RBF kenel; σ=π MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4WdmNaeyypa0JaeqiWdahaaa@3A5A@ ; C=10 MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4qaiabg2da9iaaigdacaaIWaaaaa@3917@ ; a zaj szórása: σ n =0.01 MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4Wdm3aaSbaaSqaaiaad6gaaeqaaOGaeyypa0JaaGimaiaac6cacaaIWaGaaGymaaaa@3CA7@ ). A mintapontok közül végül (d) 22-t tartunk meg (nagy fekete pontok).

6.4.2. Az LS-SVM hatékonyabb megoldása

Az LS-SVM tanításának komplexitása jóval kisebb, mint a hagyományos SVM tanításé, hiszen a QP helyett itt „csak” egy lineáris egyenletrendszert kell megoldani. Az LS-SVM használatának azonban vannak hátrányai is, mint pl. a ritkaság elvesztése. Mindemellett még az LS-SVM esetén is felmerül a hatékonyabb megoldás iránti igény, hisz a gyakorlati felhasználásokban még ez a módszer is túl számítás- és memóriaigényesnek bizonyulhat. Itt a fő probléma a kernel mátrix méretének csökkentése, ami így természetesen gyakran összekapcsolódik az LS-SVM egyéb hátrányinak a kiküszöbölésével.

A számítás gyorsítása

A tanítási sebesség növelésére, valamint a memóriaigények csökkentésére az LS-SVM lineáris egyenletrendszerét kell gyorsabban, kisebb memóriában megoldani. Erre Johan Suykens a Heistens-Stiefel konjugált gradiens módszert javasolja [Suy02]. Ez a lineáris egyenletrendszer egy iteratív megoldása, ami ez eredeti LS-SVM felírásnak megfelelő egyenletrendszer eredményére vezet.

Más lehetőség a ritka megoldás és a hatékonyság növelésének együttes alkalmazása, ami az LS-SVM módosítását jelenti. Ennek eléréséhez például a következőkben bemutatásra kerülő LS2-SVM-et vagy az LS-SVM-mel lényegében ekvivalens ridge regresszió egy redukált változatát, a csökkentett rangú kernel ridge regressziót alkalmazhatjuk.

6.4.3. LS2-SVM

Az LS2-SVM fő célja egy ritka LS-SVM megoldás elérése, csökkentve a modell komplexitását, azaz a rejtett rétegbeli nemlineáris neuronok számát. A módszer két fontos lépést tartalmaz:

  • Az első lépés átalakítja az LS-SVM megoldást úgy, hogy az a tanítópontoknak csak egy részhalmazát használja „szupport vektornak”. Ennek következtében egy túlhatározott egyenletrendszert kapunk, melynek LS megoldása adja az eredményt.

  • A második lépés a “szupport vektorok” (a kernel függvényeket meghatározó vektorok) automatikus meghatározására ad eljárást.

Túlhatározott egyenletrendszer

Az új megközelítés kiindulópontja az LS-SVM lineáris egyenletrendszere. Ha a tanító készlet P mintapontot tartalmaz, akkor az egyenletrendszer (P+1)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaWaaeaaeaaakeaacaqGOaGaamiuaiabgUcaRiaaigdacaqGPaaaaa@3C75@ ismeretlent, az αMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaWaaeaaeaaakeaacqaHXoqyaaa@3A4B@ -kat és a b-t, (P+1)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaWaaeaaeaaakeaacaqGOaGaamiuaiabgUcaRiaaigdacaqGPaaaaa@3C75@ egyenletet és (P+1)2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaeikaiaadcfacqGHRaWkcaaIXaGaaeykamaaCaaaleqabaGaaeOmaaaaaaa@3A7F@ együtthatót tartalmaz. Az együtthatók a K(xi,xj)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4samaabmaabaGaaCiEamaaBaaaleaacaWGPbaabeaakiaacYcacaWH4bWaaSbaaSqaaiaadQgaaeqaaaGccaGLOaGaayzkaaaaaa@3D28@i,j=1,...,PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyAaiaacYcacaWGQbGaeyypa0JaaGymaiaacYcacaGGUaGaaiOlaiaac6cacaGGSaGaamiuaaaa@3E6D@ kernel függvény értékek. A mintapontok száma tehát meghatározza az egyenletrendszer méretét, ami egyúttal a megoldás komplexitását, a hálózat méretét is megszabja. Hogy ritka megoldást, azaz egy kisebb modellt kapjunk, az egyenletrendszert, illetve az együtthatómátrix méretét redukálni kell.

Vizsgáljuk meg közelebbről az LS-SVM regressziós problémát leíró egyenletrendszert és jelentését. Az első sor jelentése:

k=1Pαk=0MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaabCaeaacqaHXoqydaWgaaWcbaGaam4AaaqabaaabaGaam4Aaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdGccqGH9aqpcaaIWaaaaa@4016@ (6.100)

míg a j-edik sor a

b+α1K(xj,x1)+...+αk[K(xj,xk)+C1]+...+αPK(xj,xP)=djMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOyaiabgUcaRiabeg7aHnaaBaaaleaacaaIXaaabeaakiaadUeadaqadaqaaiaahIhadaWgaaWcbaGaamOAaaqabaGccaGGSaGaaCiEamaaBaaaleaacaaIXaaabeaaaOGaayjkaiaawMcaaiabgUcaRiaac6cacaGGUaGaaiOlaiabgUcaRiabeg7aHnaaBaaaleaacaWGRbaabeaakmaadmaabaGaam4samaabmaabaGaaCiEamaaBaaaleaacaWGQbaabeaakiaacYcacaWH4bWaaSbaaSqaaiaadUgaaeqaaaGccaGLOaGaayzkaaGaey4kaSIaam4qamaaCaaaleqabaGaeyOeI0IaaGymaaaaaOGaay5waiaaw2faaiabgUcaRiaac6cacaGGUaGaaiOlaiabgUcaRiabeg7aHnaaBaaaleaacaWGqbaabeaakiaadUeadaqadaqaaiaahIhadaWgaaWcbaGaamOAaaqabaGccaGGSaGaaCiEamaaBaaaleaacaWGqbaabeaaaOGaayjkaiaawMcaaiabg2da9iaadsgadaWgaaWcbaGaamOAaaqabaaaaa@6587@ (6.101)

feltételt, megkötést tartalmazza.

Az egyenletrendszer redukálásánál sorokat, illetve oszlopokat hagyhatunk el.

  • Ha a j-edik oszlopot hagyjuk el, akkor az ennek megfelelő K(x,xj)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4samaabmaabaGaaCiEaiaacYcacaWH4bWaaSbaaSqaaiaadQgaaeqaaaGccaGLOaGaayzkaaaaaa@3C04@ kernel szintén “eltűnik”, így az eredményként megkapott hálózat mérete csökken. Az első sor által támasztott feltétel azonban automatikusan alkalmazkodik, hisz a megmaradó αkMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqySde2aaSbaaSqaaiaadUgaaeqaaaaa@388F@ -k összege 0 marad.

  • Ha a j-edik sort töröljük, akkor az (xj,dj)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaeWaaeaacaWH4bWaaSbaaSqaaiaadQgaaeqaaOGaaiilaiaadsgadaWgaaWcbaGaamOAaaqabaaakiaawIcacaGLPaaaaaa@3C41@ tanítópontnak megfelelő információ elvész, hiszen a j-edik megkötést elveszítjük.

A fentiek alapján az egyenletrendszert leíró mátrix legfontosabb része a [ Ω+C1IMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyQdiabgUcaRiaadoeadaahaaWcbeqaaiabgkHiTiaaigdaaaGccaWHjbaaaa@3B64@ ] részmátrix, ahol ΩMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyQdaaa@3709@ az összes lehetséges tanítóvektor kombinációját tartalmazza ( Ωi,j=K(xi,xj)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeuyQdC1aaSbaaSqaaiaadMgacaGGSaGaamOAaaqabaGccqGH9aqpcaWGlbGaaeikaiaahIhadaWgaaWcbaGaamyAaaqabaGccaGGSaGaaCiEamaaBaaaleaacaWGQbaabeaakiaabMcaaaa@424D@ ). A mátrix redukálása során abból sorokat, oszlopokat, illetve mindkettőt (sort a hozzá tartozó oszloppal) törölhetünk.

Minden oszlop egy neuronnak felel meg, míg a sorok bemenet-kimenet relációkat, azaz a megoldás által teljesítendő feltételeket fogalmaznak meg. A mátrix az alábbi két módon redukálható:

Az (xj,dj)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaWaaeaaeaaakeaadaqadaqaaiaahIhadaWgaaWcbaGaamOAaaqabaGccaGGSaGaamizamaaBaaaleaacaWGQbaabeaaaOGaayjkaiaawMcaaaaa@3F19@ tanítópontot teljesen elhagyjuk, azaz mind a hozzá tartozó sort, mind pedig az oszlopot töröljük. Az alábbi egyenlet a tanító minták teljes elhagyásának hatását mutatja. A törölt elemeket szürkével jelöltük.

(6.102)

A hagyományos metszési (pruning) technika esetében pontosan ez történik, hisz a metszési algoritmus iteratívan kihagyja a tanítópontok egy részét. Az elhagyott tanítópontok által hordozott információ ezért teljesen elvész. A tanítópontok által hordozott információ megőrzése a részleges redukció mellett lehetséges.

  • Részleges redukció

A (xj,dj)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaeWaaeaacaWH4bWaaSbaaSqaaiaadQgaaeqaaOGaaiilaiaadsgadaWgaaWcbaGaamOAaaqabaaakiaawIcacaGLPaaaaaa@3C41@ tanító mintát csak részben hagyjuk el, úgy, hogy töröljük a ponthoz tartozó oszlopot, de megtartjuk a hozzá tartozó sort. Így a tanítóminta által hordozott megkötés továbbra is érvényben marad, hisz az adott sor súlyozott összegének amennyire csak lehet egyezni kell a djMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamizamaaBaaaleaacaWGQbaabeaaaaa@37D8@ kívánt kimenettel .

Ha kiválasztunk MMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamytaaaa@36A6@ ( M<PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamytaiabgYda8iaadcfaaaa@387F@ ) “szupport vektort” (oszlopot), de megtartjuk az összes megkötést (sort), az egyenletrendszer túlhatározottá válik. A részleges redukció hatását a mutatja a következő összefüggés, ahol a szürkével jelölt részeket távolítjuk el.

(6.103)

A fentiek alapján kapott túlhatározott ( P×MMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiuaiabgEna0kaad2eaaaa@3992@ méretű) egyenletrendszert legkisebb négyzetes hiba értelemben oldhatjuk meg. Egyszerűsítsük a jelöléseinket úgy, hogy a fenti egyenletrendszer mátrix alakja legyen:

MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcaa@35D3@Au=vMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyqaiaahwhacqGH9aqpcaWH2baaaa@39A1@ , (6.104)

melynek legkisebb négyzetes hibájú megoldása:

u=(ATA)1ATvMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaWaaeaaeaaakeaacaWH1bGaeyypa0ZaaeWaaeaacaWHbbWaaWbaaSqabeaacaWGubaaaOGaaCyqaaGaayjkaiaawMcaamaaCaaaleqabaGaeyOeI0IaaGymaaaakiaahgeadaahaaWcbeqaaiaadsfaaaGccaWH2baaaa@4395@ . (6.105)

Az oszlopok törlése a sorok megtartása mellet biztosítja, hogy a kernelek (neuronok) száma csökkenjen, miközben az eljárás az összes ismert megkötést (tanítómintát) figyelembe veszi. Ez a kulcsa annak, hogy a modell komplexitása a pontosság megtartása mellett is csökkenthető legyen.

Látható, hogy a kernel mátrix redukciója során az oszlopok elhagyásával a regularizálás „aszimmetrikussá” válik, hiszen a továbbiakban nem minden sorban szerepel regularizáció. Ennek kiküszöbölésére megtehető, hogy a regularizációt már csak a kernel térbeli megoldás során használjuk, ami a kernel térbeli margó maximalizálásnak ( αMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaauWaaeaacqaHXoqyaiaawMa7caGLkWoaaaa@3A9A@ minimalizálásának) felel meg. Ez hasonló az SV megoldások nemlineáris kiterjesztéséhez, ahol a w súlyvektor minimalizálása valójában a jellemző térben történik. A kernel térben regularizált megoldás:

(ATA+C1I)u=ATvMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaeikaiaahgeadaahaaWcbeqaaiaadsfaaaGccaWHbbGaey4kaSIaam4qamaaCaaaleqabaGaeyOeI0IaaGymaaaakiaahMeacaqGPaGaaCyDaiabg2da9iaahgeadaahaaWcbeqaaiaadsfaaaGccaWH2baaaa@4307@ , (6.106)

ahol

A=[01T1Ω]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyqaiabg2da9maadmaabaqbaeqabiGaeqqaaiaaicdaaeaacaWHXaWaaWbaaSqabeaaieqacaWFubaaaaGcbaGaaCymaaqaaiaahM6aaaaacaGLBbGaayzxaaaaaa@3E27@ , Ω=[K(x1,x1)K(x1,xM)K(xP,x1)K(xP,xM)]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyQdiabg2da9maadmaabaqbaeqabuWaaaaabaGaam4saiaabIcacaWH4bWaaSbaaSqaaiaaigdaaeqaaOGaaiilaiaahIhadaWgaaWcbaGaaGymaaqabaGccaqGPaaabaGaeS47IWeabaGaam4saiaabIcacaWH4bWaaSbaaSqaaiaaigdaaeqaaOGaaiilaiaahIhadaWgaaWcbaGaamytaaqabaGccaqGPaaabaaabaaabaaabaGaeSO7I0eabaGaeSy8I8eabaGaeSO7I0eabaaabaaabaaabaGaam4saiaabIcacaWH4bWaaSbaaSqaaiaadcfaaeqaaOGaaiilaiaahIhadaWgaaWcbaGaaGymaaqabaGccaqGPaaabaGaeS47IWeabaGaam4saiaabIcacaWH4bWaaSbaaSqaaiaadcfaaeqaaOGaaiilaiaahIhadaWgaaWcbaGaamytaaqabaGccaqGPaaaaaGaay5waiaaw2faaaaa@5F19@ . (6.107)

A módosított, részlegesen redukált egyenletrendszert legkisebb négyzetes hibájú (least-squares) értelemben oldjuk meg, ezért nevezzük ezt a módszert Least Squares LS-SVM-nek vagy röviden LS2-SVM-nek [Val04].

Az itt bemutatott részleges redukció hasonlít a hagyományos SVM kiterjesztéseként bevezetett redukált szupport vektor gép (Reduced Support Vector Machine − RSVM) alapelvéhez [Lee01b]. Az RSVM esetén azonban, mivel az SVM eleve kisebb (ritka) modellt eredményez, a részleges redukció célja az algoritmikus komplexitás csökkentése, míg az LS-SVM esetében elsődlegesen a modell komplexitásának, a hálózat méretének csökkentése, azaz a ritka LS-SVM elérése a cél.

A kiválasztási eljárás

A fenti részleges redukció alkalmazása esetén szükség van valamilyen módszerre, ami meghatározza a szükséges szupport vektorokat. A kernel mátrix oszlopaiból kiválasztható egy lineárisan független részhalmaz, melynek elemeiből lineáris kombinációival a többi előállítható. Ez a kernel mátrix „bázisának” meghatározásával érhető el, hiszen az oszlopvektorok terének bázisa az a legkisebb vektorkészlet, amellyel a feladat megoldható. Ha a bázis meghatározásánál nem követeljük meg, hogy az oszlopvektorok által kifeszített tér és a kiválasztott bázisok által kifeszített tér azonos legyen, hanem bizonyos toleranciát is megengedünk, akkor a tolerancia mértékének meghatározásával egy szabad paramétert kaptunk. Ez a szabad paraméter lehetővé teszi, hogy kontroláljuk a bázisvektorok számát (M), hiszen a célunk az, hogy a P darab P-dimenziós oszlopvektorból M<P bázisvektort határozzunk meg, ahol M minél kisebb.

A bázisvektorok száma, ami egyben a szupport vektorok száma is, valójában nem függ a mintapontok számától (P), csak a probléma nehézségétől, hiszen M a mátrix lineárisan független oszlopainak száma. A gyakorlatban ez azt jelenti, hogy ha egy probléma nehézsége M neuront igényel, akkor a tanításhoz felhasznált mintapontok számától függetlenül a modell mérete nem növekszik.

A szupport vektorok kiválasztása az ATMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyqamaaCaaaleqabaGaamivaaaaaaa@37A4@ mátrix RRE alakra (reduced row echelon form, RREF) hozása során részleges pivotolással végrehajtott Gauss-Jordan eliminációval történik [Pre02], [Gol89b] (ld. Függelék). A tolerancia figyelembevétele a pivot elem (p) ellenőrzésével lehetséges. Eredetileg a pivotolás lényege, hogy az elimináció végrehajtása során szükséges osztásban a lehető legnagyobb elemet használjuk fel a numerikus stabilitás érdekében. A kiválasztott pivot elem nagysága azonban információt hordoz arról is, hogy mennyire fontos a hozzá tartozó oszlop a pontos megoldáshoz. Ha pεMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamiCaiabgsMiJkqbew7aLzaafaaaaa@3A31@ (ahol ε’ a tolerancia paraméter), akkor az adott oszlop elhagyható, ellenkező esetben az oszlopnak megfelelő bemenet egy szupport vektor. A módszer azon oszlopvektorok listáját adja meg, melyek az ε’ toleranciaérték értelmében lineárisan függetlenek.

A megfelelő tolerancia helyes meghatározása hasonló a többi hiperparaméter (C, ε, valamint a kernel paraméterek) megválasztásához. Egy lehetséges megoldás a kereszt kiértékelés (cross-validation) alkalmazása. Minél nagyobb a tolerancia, annál kisebb a hálózat, és annál nagyobb az approximáció hibája. Az ε’ helyes megválasztása egy olyan kompromisszum alapján lehetséges, ahol a pontos approximáció, illetve a modell komplexitása áll szemben egymással.

6.17. ábra - A zajos sinc(x) LS2-SVM modellje (RBF kernel;σ=π; C=100; ε’=0,01; A zaj szórása: (a) σn=0.01MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4Wdm3aaSbaaSqaaiaad6gaaeqaaOGaeyypa0JaaGimaiaac6cacaaIWaGaaGymaaaa@3CA7@ (b) σn=0.04MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4Wdm3aaSbaaSqaaiaad6gaaeqaaOGaeyypa0JaaGimaiaac6cacaaIWaGaaGinaaaa@3CAA@ ). Az RREF módszer eredményeképp a megoldás 23 szupport vektoron alapul.
A zajos sinc(x) LS2-SVM modellje (RBF kernel;σ=π; C=100; ε’=0,01; A zaj szórása: (a) σ n =0.01 MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4Wdm3aaSbaaSqaaiaad6gaaeqaaOGaeyypa0JaaGimaiaac6cacaaIWaGaaGymaaaa@3CA7@ (b) σ n =0.04 MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeq4Wdm3aaSbaaSqaaiaad6gaaeqaaOGaeyypa0JaaGimaiaac6cacaaIWaGaaGinaaaa@3CAA@ ). Az RREF módszer eredményeképp a megoldás 23 szupport vektoron alapul.

A 6.17 ábra zajos mintapontok mellett mutatja az LS2-SVM eredményét. Fontos hangsúlyozni, hogy nulla tolerancia esetén az LS2-SVM és az LS-SVM megoldás azonos, mivel ebben az esetben a kiválasztási módszer a mátrix minden oszlopát, azaz az összes tanítómintát megtartja (kivéve, ha a tanítópontok között volt redundancia).

6.18. ábra - Egy kétdimenziós sinc függvény approximációja LS2-SVM-el. A baloldali képen az összes (2500) tanítópont, a jobboldalin az LS2-SVM eljárással kapott 63 szupport vektor (fekete pontok) és az approximáció eredménye látható. (Gauss kernel, σ=π, C=1000, ε’=0,15.)
Egy kétdimenziós sinc függvény approximációja LS2-SVM-el. A baloldali képen az összes (2500) tanítópont, a jobboldalin az LS2-SVM eljárással kapott 63 szupport vektor (fekete pontok) és az approximáció eredménye látható. (Gauss kernel, σ=π, C=1000, ε’=0,15.)

Az alábbiakban az LS2-SVM alkalmazására mutatunk két mintapéldát. A 6.18 ábrán egy kétdimenziós sinc függvény LS2-SVM-mel történő approximációja látható. A bal oldali ábra a kiinduló tanítópontokat mutatja, a jobboldali pedig a megoldást, ahol külön megjelennek az eljárás által meghagyott tanítópontok (szupport vektorok) is. Láthatóan a tanítópontok elenyésző töredéke elég a megfelelően pontos approximáció eléréséhez. A 6.19 ábra a klasszikus kettős spirál probléma megoldását adja meg. A módszer hatékonyságnövelő hatása itt is jól követhető.

6.19. ábra - A kettős spirál probléma megoldása LS2-SVM alkalmazásával. A mintapontok száma 194, a szupport vektorok száma 119. (Gauss kernel, σ=0,5; C=10, ε’=0,9.)
A kettős spirál probléma megoldása LS2-SVM alkalmazásával. A mintapontok száma 194, a szupport vektorok száma 119. (Gauss kernel, σ=0,5; C=10, ε’=0,9.)

Súlyozott LS2-SVM

Az LS-SVM-nél megmutattuk, hogy egy iteratív eljárással súlyozott megoldás is adható, ami zajos esetben, főként kilógó minták (outlierek) esetén jelentősen jobb megoldásra vezet.

Amennyiben ismert vagy becsülhető a tanító mintákat terhelő zaj mértéke, ezt az információt az LS2-SVM esetén is fel lehet használni. A mintapontok azonos kezelése helyett ebben az esetben a pontosabb mintákat nagyobb, a pontatlan, azaz zajos mintákat kisebb súllyal célszerű figyelembe venni. A hiba súlyozott számítása:

εv=i=1Pviei2=i=1Pvi(diyi)2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqyTdu2aaSbaaSqaaiaadAhaaeqaaOGaeyypa0JaaGzaVpaaqahabaGaamODamaaBaaaleaacaWGPbaabeaakiaadwgadaqhaaWcbaWaaWbaaWqabeaacaWGPbaaaaWcbaGaaGOmaaaaaeaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoakiabg2da9iaaygW7daaeWbqaaiaadAhadaWgaaWcbaGaamyAaaqabaGccaqGOaGaamizamaaBaaaleaacaWGPbaabeaakiabgkHiTiaadMhadaWgaaWcbaGaamyAaaqabaGccaqGPaWaaWbaaSqabeaacaaIYaaaaaqaaiaadMgacqGH9aqpcaaIXaaabaGaamiuaaqdcqGHris5aaaa@57E0@ (6.108)

A túlhatározott LS2-SVM egyenletrendszer súlyozott megoldása az előbbiekben bevezetett átírást alkalmazva:

ATVAu=ATVvMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyqamaaCaaaleqabaGaamivaaaakiaahAfacaWHbbGaaCyDaiabg2da9iaahgeadaahaaWcbeqaaiaadsfaaaGccaWHwbGaaCODaaaa@3F13@ , (6.109)

ahol a V súlyozó mátrix egy diagonálmátrix, amely a főátlóban a viMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamODamaaBaaaleaacaWGPbaabeaaaaa@37E9@ súlyokat tartalmazza. A súlyokat úgy kell beállítani, hogy jól tükrözzék az egyes tanítóminták hatását a lineáris illesztésre. A zaj mértéke, illetve a súlyozás meghatározható egy előzetes megoldás alapján (vagy a priori információ alapján), de a túlhatározott egyenletrendszer megoldására használhatunk olyan statisztikai megoldó módszereket is, amelyek csökkentik a nagyon hibás adatok hatását. Ilyen például a Least Absolute Residuals – LAR, a Bisquare weights vagy a Least Trimmed Squares - (LTS) módszer [Ciz04], [Hol77], [Hub81].

6.4.4. Ridge regresszió

A fejezet elején egy egyszerű kernel gép származtatásánál láttuk, hogy a négyzetes hiba minimalizálását célzó lineáris gép értelmezhető kernel gépként is. A megoldást a tanítópontok bemeneti vektoraiból képezett mátrix pszeudo-inverze segítségével tudtuk meghatározni (ld. (6.8) összefüggés) A könnyebb követhetőség miatt ezt az összefüggést itt megismételjük.

w^=X^T(X^X^T)-1dMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabC4DayaajaWaaWbaaSqabeaacqGHxiIkaaGccqGH9aqpceWHybGbaKaadaahaaWcbeqaaiaadsfaaaGccaqGOaGabCiwayaajaGabCiwayaajaWaaWbaaSqabeaacaWGubaaaOGaaeykamaaCaaaleqabaGaaeylaiaabgdaaaGccaWHKbaaaa@41E2@ . (6.110)

Azt is megmutattuk, hogy az így származtatott súlyvektorral kapott háló kernel gépként is értelmezhető, ahol a választ az alábbi formában is felírhatjuk:

y(x^)=x^TX^Tα=i=1Pαi(x^Tx^i)=i=1PαiKi(x^)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEaiaabIcaceWH4bGbaKaacaqGPaGaeyypa0JabCiEayaajaWaaWbaaSqabeaacaWGubaaaOGabCiwayaajaWaaWbaaSqabeaacaWGubaaaOGaaCySdiabg2da9maaqahabaGaeqySde2aaSbaaSqaaiaadMgaaeqaaOGaaeikaiqahIhagaqcamaaCaaaleqabaGaamivaaaaaeaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoakiqahIhagaqcamaaBaaaleaadaWgaaadbaGaamyAaaqabaaaleqaaOGaaeykaiabg2da9maaqahabaGaeqySde2aaSbaaSqaaiaadMgaaeqaaOGaam4samaaBaaaleaacaWGPbaabeaakiaabIcaceWH4bGbaKaacaqGPaaaleaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaaa@5CF3@ . (6.111)

Amennyiben az X^X^TMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiwayaajaGabCiwayaajaWaaWbaaSqabeaacaWGubaaaaaa@38BC@ mátrix rangja nem teljes, vagy bármilyen pl. numerikus instabilitás miatt nem invertálható, a következőképp módosított összefüggés alapján nyerhető a megoldás:

w^=X^T(X^X^T+λI)-1dMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabC4DayaajaWaaWbaaSqabeaacqGHxiIkaaGccqGH9aqpceWHybGbaKaadaahaaWcbeqaaiaadsfaaaGccaqGOaGabCiwayaajaGabCiwayaajaWaaWbaaSqabeaacaWGubaaaOGaey4kaSIaeq4UdWMaaCysaiaabMcadaahaaWcbeqaaiaab2cacaqGXaaaaOGaaCizaaaa@454A@ , (6.112)

ahol I az X^X^TMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCiwayaajaGabCiwayaajaWaaWbaaSqabeaacaWGubaaaaaa@38BC@ mátrixnak megfelelő méretű egységmátrix, λ pedig egy kis pozitív konstans. Ez az összefüggés valójában a rosszul kondicionált mátrixok invertálásánál alkalmazott regularizációs eljárás, ami a matematikában Tyihonov regularizáció néven is ismert. Erre az összefüggésre azonban több úton is eljuthatunk. A fenti megoldás a Tyihonov regularizációtól függetlenül az ún. ridge regresszió (ridge regression) [Hoe70] útján is származtatható.

A következőkben röviden bemutatjuk a ridge regresszió származtatását és azt, hogy a ridge regresszió és az LS-SVM probléma-megfogalmazása, és így a megoldás is lényegében azonos. Mivel ez a tárgyalás főként a neurális modellekhez, illetve a szupport vektor gépekhez kapcsolódik, a ridge regressziós eljárásra csak röviden térünk ki. A ridge regressziót többnyire eltolásérték (bias) nélkül alkalmazzák, a következőkben itt is ezt a változatot mutatjuk be.

Lineáris ridge regresszió

A korábban bemutatott osztályozási problémának megfelelően itt is az {xi,di}i=1PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaiWaaeaacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaiilaiaadsgadaWgaaWcbaGaamyAaaqabaaakiaawUhacaGL9baadaqhaaWcbaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaaaaa@4098@ tanító mintakészlet alapján keressük az y(x)=xTwMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEaiaabIcacaWH4bGaaeykaiabg2da9iaahIhadaahaaWcbeqaaiaadsfaaaGccaWH3baaaa@3D41@ lineáris modellt. A ridge regresszió is a négyzetes hibát minimalizálja, de az LS-SVM-hez hasonlóan közben a súlyvektor hosszának minimumát is biztosítani szeretné, ami regressziós feladatoknál a minél laposabb megoldást biztosítja [Sch02]. Ennek megfelelően a wRNMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4DaiabgIGiopXvP5wqonvsaeHbj1gCYLMB0bstubYuOfgzVDhaiuaacqWFsbGudaahaaWcbeqaaiaad6eaaaaaaa@433B@ súlyvektort ridge regresszióval a következőképpen határozzuk meg. Jelölje J(w) most is a minimalizálandó kritériumfüggvényt (az 1/2-es szorzó a deriválás utáni eredmény egyszerűsítése miatt szerepel):

J(w)=12w2+12Ci=1P(dixiTw)2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOsaiaabIcacaWH3bGaaeykaiabg2da9maalaaabaGaaGymaaqaaiaaikdaaaWaauWaaeaacaWH3baacaGLjWUaayPcSdWaa0baaSqaaaqaaiaaikdaaaGccqGHRaWkdaWcaaqaaiaaigdaaeaacaaIYaaaaiaadoeadaaeWbqaaiaabIcacaWGKbWaaSbaaSqaaiaadMgaaeqaaOGaeyOeI0IaaCiEamaaDaaaleaacaWGPbaabaGaamivaaaakiaahEhacaqGPaWaaWbaaSqabeaacaaIYaaaaaqaaiaadMgacqGH9aqpcaaIXaaabaGaamiuaaqdcqGHris5aaaa@52C6@ (6.113)

A JwMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaSaaaeaacqGHciITcaWGkbaabaGaeyOaIyRaaC4Daaaaaaa@3A7F@ parciális deriválás eredményéből az optimális w az alábbiak szerint számítható:

i=1P(dixiTw)xi= 1CwMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaabCaeaacaqGOaGaamizamaaBaaaleaacaWGPbaabeaakiabgkHiTiaahIhadaqhaaWcbaGaamyAaaqaaiaadsfaaaGccaWH3bGaaeykaiaahIhadaWgaaWcbaGaamyAaaqabaaabaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdGccqGH9aqpcaqGGaWaaSaaaeaacaqGXaaabaGaam4qaaaacaWH3baaaa@4A39@ (6.114)

w=(i=1PxixiT+1CI)1(j=1Pdjxj)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4Daiabg2da9maabmaabaWaaabCaeaacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaCiEamaaDaaaleaacaWGPbaabaGaamivaaaakiabgUcaRaWcbaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdGcdaWcaaqaaiaabgdaaeaacaWGdbaaaiaahMeaaiaawIcacaGLPaaadaahaaWcbeqaaiabgkHiTiaaigdaaaGcdaqadaqaamaaqahabaGaamizamaaBaaaleaacaWGQbaabeaakiaahIhadaWgaaWcbaGaamOAaaqabaaabaGaamOAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaakiaawIcacaGLPaaaaaa@54EF@ (6.115)

Mátrix alakban felírva (ahol d=[d1dP]TMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCizaiabg2da9uaabeqabmaaaeaacaqGBbGaamizamaaBaaaleaacaaIXaaabeaaaOqaaiablAcilbqaaiaadsgadaWgaaWcbaGaamiuaaqabaGccaqGDbaaamaaCaaaleqabaGaamivaaaaaaa@3F8A@ a tanítópontok kívánt válaszaiból képezett vektor és X az xiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiEamaaBaaaleaacaWGPbaabeaaaaa@37EF@i=1...PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyAaiabg2da9iaaigdacaGGUaGaaiOlaiaac6cacaWGqbaaaa@3B6E@ tanítóminta-bemenetekből, mint sorvektorokból képezett mátrix):

X=[x1Tx2TxPT]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCiwaiabg2da9maadmaabaqbaeqabqqaaaaabaGaaCiEamaaBaaaleaacaaIXaaabeaakmaaCaaaleqabaGaamivaaaaaOqaaiaahIhadaWgaaWcbaGaaGOmaaqabaGcdaahaaWcbeqaaiaadsfaaaaakeaacqWIUlstaeaacaWH4bWaaSbaaSqaaiaadcfaaeqaaOWaaWbaaSqabeaacaWGubaaaaaaaOGaay5waiaaw2faaaaa@44CD@ , (6.116)

a megoldás súlyvektor:

w=(XTX+1CI)1XTd=XT(XXT+1CI)1dMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4Daiabg2da9maabmaabaGaaCiwamaaCaaaleqabaGaamivaaaakiaahIfacqGHRaWkdaWcaaqaaiaabgdaaeaacaWGdbaaaiaahMeaaiaawIcacaGLPaaadaahaaWcbeqaaiabgkHiTiaaigdaaaGccaWHybWaaWbaaSqabeaacaWGubaaaOGaaCizaiabg2da9iaahIfadaahaaWcbeqaaiaadsfaaaGcdaqadaqaaiaahIfacaWHybWaaWbaaSqabeaacaWGubaaaOGaey4kaSYaaSaaaeaacaqGXaaabaGaam4qaaaacaWHjbaacaGLOaGaayzkaaWaaWbaaSqabeaacqGHsislcaaIXaaaaOGaaCizaaaa@5190@ . (6.117)

Az

α=(XXT+1CI)1dMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCySdiabg2da9maabmaabaGaaCiwaiaahIfadaqhaaWcbaaabaGaamivaaaakiabgUcaRmaalaaabaGaaeymaaqaaiaadoeaaaGaaCysaaGaayjkaiaawMcaamaaCaaaleqabaGaeyOeI0IaaGymaaaakiaahsgaaaa@427E@ (6.118)

jelölés bevezetésével

w=XTαMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4Daiabg2da9iaahIfadaahaaWcbeqaaiaadsfaaaGccaWHXoaaaa@3B08@ (6.119)

így a végeredmény:

y(x)=xTXTα=i=1PαixTxiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEaiaabIcacaWH4bGaaeykaiabg2da9iaahIhadaqhaaWcbaaabaGaamivaaaakiaahIfadaahaaWcbeqaaiaadsfaaaGccaWHXoGaeyypa0ZaaabCaeaacqaHXoqydaWgaaWcbaGaamyAaaqabaGccaWH4bWaa0baaSqaaaqaaiaadsfaaaGccaWH4bWaaSbaaSqaaiaadMgaaeqaaaqaaiaadMgacqGH9aqpcaaIXaaabaGaamiuaaqdcqGHris5aaaa@4D1F@ (6.120)

Vegyük észre, hogy ez a felírás egy kis különbséggel megegyezik a 6.1 részben bevezetett egyszerű kernel gép összefüggéseivel. A kis különbség abból adódik, hogy itt a kiinduló kritériumfüggvény a súlyvektor hosszának négyzetét, mint minimalizálandó mennyiséget, is tartalmazza. Ennek következménye a w illetve az αMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCySdaaa@3711@ vektorok összefüggéseiben ((6.117), illetve (6.118) összefüggések) a C1IMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4qamaaCaaaleqabaGaeyOeI0IaaGymaaaakiaahMeaaaa@394D@ regularizációs tag megjelenése. A ridge regresszió tehát az egyszerű kernel gép regularizált változata. Azt is észrevehetjük, hogy ez az eredmény megegyezik az eltolás-érték nélküli lineáris LS-SVM-re kapott összefüggéssel.

Természetesen a ridge regresszió is kiterjeszthető nemlineáris esetre a szokásos φ(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdiaabIcacaWH4bGaaeykaaaa@397E@ transzformáció, és a kernel trükk alkalmazásával.

Nemlineáris kernel ridge regresszió

A nemlineáris ridge regresszió esetén – csakúgy, mint az SVM vagy az LS-SVM kiterjesztésénél – a lineáris regressziós modellt egy magasabb dimenziós térben, a jellemző térben alkalmazzuk, ami a szokásos módon egy nemlineáris transzformáció eredménye.

A φ(.)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdiaahIcacaWHUaGaaCykaaaa@3940@ leképezés segítségével a lineáris esetben megismert célfüggvény a következőképpen módosul:

J(w)=12w2+12Ci=1Pei2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOsaiaabIcacaWH3bGaaeykaiabg2da9maalaaabaGaaGymaaqaaiaaikdaaaWaauWaaeaacaWH3baacaGLjWUaayPcSdWaa0baaSqaaaqaaiaaikdaaaGccqGHRaWkdaWcaaqaaiaaigdaaeaacaaIYaaaaiaadoeadaaeWbqaaiaadwgadaqhaaWcbaGaamyAaaqaaiaaikdaaaaabaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaaaa@4C4E@ (6.121)

ahol:

ei=diwTφ(xi)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyzamaaDaaaleaacaWGPbaabaaaaOGaeyypa0JaamizamaaBaaaleaacaWGPbaabeaakiabgkHiTiaahEhadaahaaWcbeqaaiaadsfaaaGccaWHgpGaaiikaiaahIhadaWgaaWcbaGaamyAaaqabaGccaGGPaaaaa@42C3@ , i=1,...,PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyAaiabg2da9iaaigdacaGGSaGaaiOlaiaac6cacaGGUaGaaiilaiaadcfaaaa@3CCE@ . (6.122)

Az LS-SVM regressziónál bemutatott lépéseknek megfelelően az L(w,e,α)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamitaiaacIcacaWH3bGaaiilaiaahwgacaGGSaGaaCySdiaacMcaaaa@3C89@ Lagrange-függvény írható fel az αiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaWaaeaaeaaakeaacqaHXoqydaWgaaWcbaGaamyAaaqabaaaaa@3B65@ ( i=1,...,PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyAaiabg2da9iaaigdacaGGSaGaaiOlaiaac6cacaGGUaGaaiilaiaadcfaaaa@3CCE@ ) Lagrange együtthatókkal. A deriválások után a kernel trükk alkalmazásával az alábbi megoldás nyerhető (mátrix alakban):

α=(Ω+1CI)1dMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCySdiabg2da9iaabIcacaWHPoGaey4kaSYaaSaaaeaacaaIXaaabaGaam4qaaaacaWHjbGaaeykamaaCaaaleqabaGaeyOeI0IaaGymaaaakiaahsgaaaa@40B6@ , (6.123)

ahol az Ωi,j=K(xi,xj)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCyQdmaaBaaaleaacaWGPbGaaiilaiaadQgaaeqaaOGaeyypa0Jaam4saiaacIcacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaiilaiaahIhadaWgaaWcbaGaamOAaaqabaGccaGGPaaaaa@41F6@ a tanítómintákból képzett kernel mátrix. Látható, hogy a nemlineáris eset itt is a kernel térben kerül megoldásra. A megoldás ugyanakkor megfelel egy regularizált kernel térbeli megoldásnak. Ez annyit tesz, hogy a w2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfea0=yr0RYxir=Jbba9q8aq0=yq=He9q8qqQ8frFve9Fve9Ff0dmeaabaqaciGacaGaaeqabaWaaeaaeaaakeaadaqbdaqaaiaahEhaaiaawMa7caGLkWoadaqhaaWcbaaabaGaaGOmaaaaaaa@3DBC@ jellemzőtérbeli minimalizálása az α2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaauWaaeaacaWHXoaacaGLjWUaayPcSdWaaWbaaSqabeaacaaIYaaaaaaa@3B21@ kernel térbeli minimalizálására vezet.

A kernel ridge regressziós modell:

y(x)=i=1PαiK(x,xi)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyEaiaabIcacaWH4bGaaeykaiabg2da9maaqahabaGaeqySde2aaSbaaSqaaiaadMgaaeqaaOGaam4saiaabIcacaWH4bGaaiilaiaahIhadaWgaaWcbaGaamyAaaqabaGccaqGPaaaleaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaaa@48B6@ , (6.124)

ami a regularizációtól eltekintve ismét megegyezik az egyszerű nemlineáris kernel gép válaszával (ld. (6.14) összefüggés).

Csökkentett rangú kernel ridge regresszió

Az eredeti ridge regressziós megoldásokban a kernel mátrix négyzetes, ami azt jelenti, hogy a modell a tanító pontoknak megfelelő számú szupport vektort tartalmaz, azaz nem ritka. A csökkentett rangú kernel ridge regresszió (Reduced Rank Kernel Ridge Regression - RRKRR) [Caw02] eljárás a ritka megoldást a kernel mátrix redukciójával éri el. Az RRKRR eljárás tehát hasonló célt tűz ki, mint az LS2-SVM, a célhoz azonban más úton jut el.

Az eljárást eltolásérték (bias) alkalmazása mellett mutatjuk be, hogy az eredmény összevethető legyen az LS-SVM eredményével.

A ritka megoldáshoz az approximációban felhasznált kernel függvények – azaz a kernel középpon-toknak megfelelő szupport vektorok – számát kell csökkenteni. Az eredeti ridge regresszió (és természetesen az LS-SVM is) olyan kernel mátrixot használ fel, ahol mind az oszlopok, mind a sorok számát a tanítópontok száma határozza meg, hiszen minden tanítópont egy kernel középpont – ezek felelnek meg az oszlopoknak – és ugyanakkor minden tanítópont a jellemzőtérben egy lineáris egyenletet is jelent – ezek felelnek meg a soroknak. Az RRKRR eljárás az oszlopok számát redukálja úgy, hogy a tanítópontokból kiválaszt egy részhalmazt – ezek fogják képezni a kernel középpontokat –, és megtartja az összes tanítópontot, tehát megtartja a sorok számát. Az RRKRR eljárás tehát az LS2-SVM-hez hasonlóan részleges redukciót alkalmaz.

Az oszlopok kiválogatásához az alábbiakból indulhatunk ki. Az LS-SVM (6.83) és (6.91) összefüggései a w súlyvektort, mint a φ(xi)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdiaacIcacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaiykaaaa@3AA4@ jellemzőtérbeli vektorok súlyozott összegét fejezik ki.:

w=i=1Pαiφ(xi)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4Daiabg2da9maaqahabaGaeqySde2aaSbaaSqaaiaadMgaaeqaaOGaaCOXdiaabIcacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaeykaaWcbaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaaaa@4531@ (6.125)

Ez azt jelenti, hogy a súlyvektorok terét a φ(xi)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdiaabIcacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaeykaaaa@3AA2@ vektorok meghatározzák; mint bázisvektorok kifeszítik a teret. Kérdés azonban, hogy az összes φ(xi)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdiaabIcacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaeykaaaa@3AA2@ , i=1,…,P jellemzőtérbeli vektorra szükség van-e a súlyvektor (adott pontosságú) reprezentációjához. Tételezzük fel, hogy ehhez a tanítópontok egy S részhalmaza elegendő. Ekkor a w súlyvektor felírható az S részhalmazba tartozó jellemzővektorok súlyozott összegeként:

w=iSβiφ(xi)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4Daiabg2da9maaqafabaGaeqOSdi2aaSbaaSqaaiaadMgaaeqaaOGaaCOXdiaacIcacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaiykaaWcbaGaamyAaiabgIGiolaadofaaeqaniabggHiLdaaaa@44DC@ . (6.126)

Ha ez a megadás pontos, akkor az S-be tartozó φ(xi)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdiaabIcacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaeykaaaa@3AA2@ vektorok is kifeszítik a súlyvektorok terét, tehát bázist alkotnak ebben a térben. Ha S elemeinek száma kisebb, mint P, eredményként ritka megoldást kapunk. Természetesen itt a βi súlyok különbözni fognak az (6.125) szerinti megadás α i súlyaitól.

Ha az S részhalmazba tartozó jellemzővektorok bázist alkotnak a jellemzőtérben, akkor bármely x bemenet jellemzőtérbeli képe is kifejezhető, mint az S-beli φ(xi)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdiaabIcacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaeykaaaa@3AA2@ vektorok lineáris kombinációja.

φ(x)=iSζiφ(xi)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdiaabIcacaWH4bGaaeykaiabg2da9maaqafabaGaeqOTdO3aaSbaaSqaaiaadMgaaeqaaOGaaCOXdiaabIcacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaeykaaWcbaGaamyAaiabgIGiolaadofaaeqaniabggHiLdaaaa@47A0@ . (6.127)

Ha a bázisvektorok φ(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOXdiaabIcacaWH4bGaaeykaaaa@397E@ -nek csak közelítő reprezentációját, φ^S(x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGabCOXdyaajaWaaSbaaSqaaiaadofaaeqaaOGaaeikaiaahIhacaqGPaaaaa@3A9C@ -et adják, akkor olyan bázisfüggvényeket kell kiválasztanunk, melyek mellett ez a közelítés a legkisebb hibájú. A hibát most mint a két vektor normalizált euklideszi távolságát definiálhatjuk:

δj=φ(xj)-φ^S(xj)2φ(xj)2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdq2aaSbaaSqaaiaadQgaaeqaaOGaeyypa0ZaaSaaaeaadaqbdaqaaiaahA8acaqGOaGaaCiEamaaBaaaleaacaWGQbaabeaakiaabMcacaqGTaGabCOXdyaajaWaaSbaaSqaaiaadofaaeqaaOGaaeikaiaahIhadaWgaaWcbaGaamOAaaqabaGccaqGPaaacaGLjWUaayPcSdWaaWbaaSqabeaacaaIYaaaaaGcbaWaauWaaeaacaWHgpGaaeikaiaahIhadaWgaaWcbaGaamOAaaqabaGccaqGPaaacaGLjWUaayPcSdWaaWbaaSqabeaacaaIYaaaaaaaaaa@5219@ . (6.128)

Megmutatható [Bau01], hogy ez a hiba a kernel trükk felhasználásával a kernel mátrix segítségével is felírható:

δj=1KSjTKSS1KSjkjjMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeqiTdq2aaSbaaSqaaiaadQgaaeqaaOGaeyypa0JaaGymaiabgkHiTmaalaaabaGaaC4samaaDaaaleaacaWGtbGaamOAaaqaaiaadsfaaaGccaWHlbWaa0baaSqaaiaadofacaWGtbaabaGaeyOeI0IaaGymaaaakiaahUeadaqhaaWcbaGaam4uaiaadQgaaeaaaaaakeaacaWGRbWaaSbaaSqaaiaadQgacaWGQbaabeaaaaaaaa@4936@ . (6.129)

ahol KSSMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4samaaDaaaleaacaWGtbGaam4uaaqaaaaaaaa@3885@ a K kernel mátrix almátrixa: KSS={Kij}i,jSMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4samaaDaaaleaacaWGtbGaam4uaaqaaaaakiabg2da9maacmaabaGaam4samaaBaaaleaacaWGPbGaamOAaaqabaaakiaawUhacaGL9baadaqhaaWcbaGaamyAaiaacYcacaWGQbGaeyicI4Saam4uaaqaaaaaaaa@43BF@ , KSj={Kji}jSTMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4samaaDaaaleaacaWGtbGaamOAaaqaaaaakiabg2da9maacmaabaGaam4samaaBaaaleaacaWGQbGaamyAaaqabaaakiaawUhacaGL9baadaqhaaWcbaGaamOAaiabgIGiolaadofaaeaacaWGubaaaaaa@4311@ pedig egy belső szorzatokból képezett oszlopvektor, míg kjj = Kjj, a kernel mátrix j-edik főátlóbeli eleme.

A jellemzőtér bázisának meghatározásához az így definiált hiba átlagát kell minimalizálni a tanítókészlet összes pontját tekintetbe véve. Vagyis maximalizálni kell a

J(S)=1Pj=1PKSjTKSS1KSjkjjMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOsaiaabIcacaWGtbGaaeykaiabg2da9maalaaabaGaaGymaaqaaiaadcfaaaWaaabCaeaadaWcaaqaaiaahUeadaqhaaWcbaGaam4uaiaadQgaaeaacaWGubaaaOGaaC4samaaDaaaleaacaWGtbGaam4uaaqaaiabgkHiTiaaigdaaaGccaWHlbWaa0baaSqaaiaadofacaWGQbaabaaaaaGcbaGaam4AamaaBaaaleaacaWGQbGaamOAaaqabaaaaaqaaiaadQgacqGH9aqpcaaIXaaabaGaamiuaaqdcqGHris5aaaa@4F1E@ (6.130)

mennyiséget. Az eljárást az üres halmazzal, vagyis S=MathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4uaiabg2da9iabgwGigdaa@392C@ -val indítjuk, és mohó stratégiát alkalmazunk. Minden egyes lépésben azt a tanítóvektort adjuk S–hez, mely a (6.130) kifejezést maximálja. Az eljárás magától leáll, ha KSSMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaC4samaaDaaaleaacaWGtbGaam4uaaqaaaaaaaa@3885@ már nem invertálható, jelezve, hogy a megfeleleő bázist megtaláltuk, illetve leállítható, ha a hiba adott korlát alá csökken vagy egy előre meghatározott számú bázisvektort már kiválasztottunk.

Mivel a súlyvektor (6.126) szerint kifejezhető S-be tartozó bázisvektorok lineáris kombinációjaként, a következő duális egyenletet kapjuk, melyet βMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOSdaaa@3712@ és b szerint kell minimalizálnunk.

J(β,b)=12i,jSβiβjK(xi,xj)+12Ci=1P(dijSβjK(xi,xj)b)2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOsaiaabIcacaWHYoGaaiilaiaadkgacaqGPaGaeyypa0ZaaSaaaeaacaaIXaaabaGaaGOmaaaadaaeqbqaaiabek7aInaaBaaaleaacaWGPbaabeaakiabek7aInaaBaaaleaacaWGQbaabeaakiaadUeacaqGOaGaaCiEamaaBaaaleaacaWGPbaabeaakiaacYcacaWH4bWaaSbaaSqaaiaadQgaaeqaaOGaaeykaaWcbaGaamyAaiaacYcacaWGQbGaeyicI4Saam4uaaqab0GaeyyeIuoakiabgUcaRmaalaaabaGaaGymaaqaaiaaikdaaaGaam4qamaaqahabaGaaeikaiaadsgadaWgaaWcbaGaamyAaaqabaGccqGHsisldaaeqbqaaiabek7aInaaBaaaleaacaWGQbaabeaakiaadUeacaqGOaGaaCiEamaaBaaaleaacaWGPbaabeaakiaacYcacaWH4bWaaSbaaSqaaiaadQgaaeqaaOGaaeykaaWcbaGaamOAaiabgIGiolaadofaaeqaniabggHiLdGccqGHsislcaWGIbGaaeykamaaCaaaleqabaGaaGOmaaaaaeaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaaa@7079@ . (6.131)

A βMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOSdaaa@3712@ és bMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamOyaaaa@36BB@ szerinti parciális deriváltak alapján megkeresve a minimumhelyeket, valamint ezt C-vel leosztva az alábbi egyenletet kapjuk:

iSβij=1PK(xi,xj)+b=j=1PdjMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaabuaeaacqaHYoGydaWgaaWcbaGaamyAaaqabaGcdaaeWbqaaiaadUeacaqGOaGaaCiEamaaBaaaleaacaWGPbaabeaakiaacYcacaWH4bWaaSbaaSqaaiaadQgaaeqaaOGaaeykaaWcbaGaamOAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaaleaacaWGPbGaeyicI4Saam4uaaqab0GaeyyeIuoakiabgUcaRiaadkgacqGH9aqpdaaeWbqaaiaadsgadaWgaaWcbaGaamOAaaqabaaabaGaamOAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaaaa@5588@ (6.132)

és rSreMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeyiaIiIaamOCaiabgIGiolaadofacqGHsislcaqGYbGaaeyzaaaa@3CC1@

iSβi(1CK(xi,xr)+j=1PK(xj,xr)K(xj,xi))+bi=1PK(xi,xr)==j=1PdjK(xi,xr)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGceaqabeaadaaeqbqaaiabek7aInaaBaaaleaacaWGPbaabeaakmaabmaabaWaaSaaaeaacaaIXaaabaGaam4qaaaacaWGlbGaaeikaiaahIhadaWgaaWcbaGaamyAaaqabaGccaGGSaGaaCiEamaaBaaaleaacaWGYbaabeaakiaabMcacqGHRaWkdaaeWbqaaiaadUeacaqGOaGaaCiEamaaBaaaleaacaWGQbaabeaakiaacYcacaWH4bWaaSbaaSqaaiaadkhaaeqaaOGaaeykaiaadUeacaqGOaGaaCiEamaaBaaaleaacaWGQbaabeaakiaacYcacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaeykaaWcbaGaamOAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaakiaawIcacaGLPaaaaSqaaiaadMgacqGHiiIZcaWGtbaabeqdcqGHris5aOGaey4kaSIaamOyamaaqahabaGaam4saiaabIcacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaiilaiaahIhadaWgaaWcbaGaamOCaaqabaGccaqGPaaaleaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoakiabg2da9aqaaiabg2da9maaqahabaGaamizamaaBaaaleaacaWGQbaabeaakiaadUeacaqGOaGaaCiEamaaBaaaleaacaWGPbaabeaakiaacYcacaWH4bWaaSbaaSqaaiaadkhaaeqaaOGaaeykaaWcbaGaamOAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdGccaaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7aaaa@7644@ (6.133)

A fenti egyenletek az alábbi (|S|+1)×(|S|+1)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaeikamaaemaabaGaam4uaaGaay5bSlaawIa7aiabgUcaRiaaigdacaqGPaGaey41aqRaaeikamaaemaabaGaam4uaaGaay5bSlaawIa7aiabgUcaRiaaigdacaqGPaaaaa@45C7@ méretű lineáris egyenletrendszerre vezetnek ( |S|MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaqWaaeaacaWGtbaacaGLhWUaayjcSdaaaa@39CE@ az S halmaz elemeinek a száma):

[ΩΦΦP][βb]=[ci=1Pdi]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaamWaaeaafaqabeGacaaabaGaaCyQdaqaaiaahA6aaeaacaWHMoaabaGaamiuaaaaaiaawUfacaGLDbaadaWadaqaauaabeqaceaaaeaacaWHYoaabaGaamOyaaaaaiaawUfacaGLDbaacqGH9aqpdaWadaqaauaabeqaceaaaeaacaWHJbaabaWaaabmaeaacaWGKbWaaSbaaSqaaiaadMgaaeqaaaqaaiaadMgacqGH9aqpcaaIXaaabaGaamiuaaqdcqGHris5aaaaaOGaay5waiaaw2faaaaa@4BE1@ , (6.134)

ahol

Ωr,i=1CK(xi,xr)+j=1PK(xj,xr)K(xj,xi)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeuyQdC1aaSbaaSqaaiaadkhacaGGSaGaamyAaaqabaGccqGH9aqpdaWcaaqaaiaaigdaaeaacaWGdbaaaiaadUeacaqGOaGaaCiEamaaBaaaleaacaWGPbaabeaakiaacYcacaWH4bWaaSbaaSqaaiaadkhaaeqaaOGaaeykaiabgUcaRmaaqahabaGaam4saiaabIcacaWH4bWaaSbaaSqaaiaadQgaaeqaaOGaaiilaiaahIhadaWgaaWcbaGaamOCaaqabaGccaqGPaGaam4saiaabIcacaWH4bWaaSbaaSqaaiaadQgaaeqaaOGaaiilaiaahIhadaWgaaWcbaGaamyAaaqabaGccaqGPaaaleaacaWGQbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaaa@58E6@ , i,rSMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaamyAaiaacYcacaWGYbGaeyicI4Saam4uaaaa@3AC5@

Φr=i=1PK(xi,xr)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaaCOPdmaaBaaaleaacaWGYbaabeaakiabg2da9maaqahabaGaam4saiaabIcacaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaaiilaiaahIhadaWgaaWcbaGaamOCaaqabaGccaqGPaaaleaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaaa@4629@ , iSMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeyiaIiIaamyAaiabgIGiolaadofaaaa@39EE@

c pedig egy olyan |S|MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaqWaaeaacaWGtbaacaGLhWUaayjcSdaaaa@39CE@ -dimenziós vektor, melynek r-edik eleme:

cr=j=1PdjK(xi,xr)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaam4yamaaBaaaleaacaWGYbaabeaakiabg2da9maaqahabaGaamizamaaBaaaleaacaWGQbaabeaakiaadUeacaqGOaGaaCiEamaaBaaaleaacaWGPbaabeaakiaacYcacaWH4bWaaSbaaSqaaiaadkhaaeqaaOGaaeykaaWcbaGaamOAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaaaa@47EE@iSMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaGaeyiaIiIaamyAaiabgIGiolaadofaaaa@39EE@

Az egyenletrendszer megoldása egy csökkentett rangú (bázisú) ritka megoldásra vezet, mivel az csak |S|MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqipu0Je9sqqrpepC0xbbL8F4rqqrFfpeea0xe9Lq=Jc9vqaqpepm0xbba9pwe9Q8fs0=yqaqpepae9pg0FirpepeKkFr0xfr=xfr=xb9adbaqaaeGaciGaaiaabeqaamaabaabaaGcbaWaaqWaaeaacaWGtbaacaGLhWUaayjcSdaaaa@39CE@ számú kernelt és az eltolást tartalmazza.