12.2. Az a priori tudás beépítése a tanuló eljárásba

Az a priori információnak az előbbiektől eltérő felhasználási lehetősége, ha az információt közvetlenül beépítjük a tanuló eljárásba. A probléma általános felvetése Yaser Abu-Mostafatól származik, aki a járulékos információnak a tanuló eljárásba való beépítését, mint lehetőséget bevezette [Abu90], [Abu95]. Az általa megfogalmazott „utalásokból” történő tanulás (learning from hints) tulajdonképpen mindazon ismeretnek a tanuló eljárásba való beépítését jelenti, mely ismeret nem mintapontok formájában áll rendelkezésre. Ebben az értelmezésben − még ha csak közvetve is −, de az előbbiekben tárgyalt virtuális mintagenerálást is e körbe tartozónak kell tekinteni.

Azt a megközelítést, hogy a priori információt közvetlenül beépítünk a tanuló eljárásba valójában már korábban is alkalmaztuk. A tanuló eljárásba bármilyen járulékos információ beépítése legkönnyebben a kritériumfüggvény módosításán keresztül lehetséges. Amennyiben az optimalizálandó kritériumfüggvény nemcsak egy valamilyen értelemben vett hiba (veszteség, kockázat) minimalizálását fogalmazza meg, hanem járulékos ismeretekből származó feltételeket is megszab, az optimalizáló eljárás eredményeképp a járulékos ismeretek is „beépülnek” a megoldásba. Az előzőekben már alkalmazott regularizációs eljárások valójában pont ezt a megközelítést alkalmazzák. A „valódi” kritériumfüggvényt kiegészítjük egy regularizációs taggal, ahol ez a tag a tanító mintákon túl rendelkezésre álló ismeret figyelembevételét teszi lehetővé. Simasági feltétel beépítésére pl. már több megoldást is láttunk. Valójában a szupport vektor gépeknél alkalmazott súlyvektorhossz minimalizálási feltétel is egy simasági feltétel. A CMAC hálónál alkalmazott súlysimító regularizáció (ld. 5.2 alfejezet) is abból a feltételezésből (vagy a priori információból) indul ki, hogy azt várjuk, hogy a háló válasza a tanítópontok között minél kevésbé legyen változékony, és hirtelen ugrások a mintapontok közötti tartományokban ne forduljanak elő. A sima megoldás preferálása, mint általános cél − miközben természetesen a megoldás döntően a mintapontok által szolgáltatott ismereten kell hogy alapuljon − szintén a priori ismereten alapul, nevezetesen azon ismereten, hogy a természetben inkább sima leképezések fordulnak elő.

12.2.1. Monoton válaszú kernel regresszió

A simasági feltételen túl számos további feltétel megfogalmazása alapul a priori információn [Lau06]. Ilyen feltétel lehet, hogy egy regressziós feladatnál a megoldás monotonitását előírjuk. A monoton LS-SVM regressziós megoldásra találunk példát [Pel04]-ben. A 6. fejezetben bemutatott LS-SVM optimalizálási problémához egydimenziós esetben még a következő feltétel megfogalmazása adódik:

wTφ(xi)wTφ(xi+1),     ha    xi<xi+1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahEhadaahaaWcbeqaaiaadsfaaaGccaWHgpWaaeWaaeaacaWG4bWaaSbaaSqaaiaadMgaaeqaaaGccaGLOaGaayzkaaGaeyizImQaaC4DamaaCaaaleqabaGaamivaaaakiaahA8adaqadaqaaiaadIhadaWgaaWcbaGaamyAaaqabaGcdaWgaaWcbaGaey4kaSIaaGymaaqabaaakiaawIcacaGLPaaacaqGSaGaaeiiaiaabccacaqGGaGaaeiiaiaabccacaqGObGaaeyyaiaabccacaqGGaGaaeiiaiaabccacaWG4bWaaSbaaSqaaiaadMgaaeqaaOGaeyipaWJaamiEamaaBaaaleaacaWGPbaabeaakmaaBaaaleaacqGHRaWkcaaIXaaabeaakiaaysW7aaa@5B93@i=1,…,P-1, (12.1)

ahol xi jelöli az SVM bemenetét, wTφ(xi)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahEhadaahaaWcbeqaaiaadsfaaaGccaWHgpWaaeWaaeaacaWG4bWaaSbaaSqaaiaadMgaaeqaaaGccaGLOaGaayzkaaaaaa@4020@ pedig a megfelelő választ. A járulékos információ a tanító eljárásba úgy épül be, hogy a Lagrange kritérium módosul:

L(w,b,e,α,β)=12wTw+C2i=1Pei2i=1Pαi{wTφ(xi)+b+eidi}ι=1P1βi{wTφ(xi+1)wTφ(xi)}MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOabaeqabaGaamitaiaabIcacaWH3bGaaiilaiaadkgacaGGSaGaaCyzaiaacYcacaWHXoGaaiilaiaahk7acaqGPaGaeyypa0ZaaSaaaeaacaaIXaaabaGaaGOmaaaacaWH3bWaaWbaaSqabeaacaWGubaaaOGaaC4DaiabgUcaRmaalaaabaGaam4qaaqaaiaaikdaaaWaaabCaeaacaWGLbWaa0baaSqaamaaBaaameaacaWGPbaabeaaaSqaaiaaikdaaaaabaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdGccaaMi8UaeyOeI0YaaabCaeaacqaHXoqydaWgaaWcbaGaamyAaaqabaGcdaGadaqaaiaahEhadaahaaWcbeqaaiaadsfaaaGccaWHgpaccaGae8hkaGIaamiEamaaBaaaleaacaWGPbaabeaakiab=LcaPiabgUcaRiaadkgacqGHRaWkcaWGLbWaaSbaaSqaaiaadMgaaeqaaOGaeyOeI0IaamizamaaBaaaleaacaWGPbaabeaaaOGaay5Eaiaaw2haaaWcbaGaamyAaiabg2da9iaaigdaaeaacaWGqbaaniabggHiLdaakeaacaaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaeyOeI0YaaabCaeaacaWGYoWaaSbaaSqaaiaadMgaaeqaaaqaaiaadM7acqGH9aqpcaaIXaaabaGaamiuaiabgkHiTiaaigdaa0GaeyyeIuoakmaacmaabaGaaC4DamaaCaaaleqabaGaamivaaaakiaahA8adaqadaqaaiaadIhadaWgaaWcbaGaamyAaaqabaGcdaWgaaWcbaGaey4kaSIaaGymaaqabaaakiaawIcacaGLPaaacqGHsislcaWH3bWaaWbaaSqabeaacaWGubaaaOGaaCOXdmaabmaabaGaamiEamaaBaaaleaacaWGPbaabeaaaOGaayjkaiaawMcaaaGaay5Eaiaaw2haaaaaaa@FC02@ . (12.2)

Látható, hogy a szokásos Lagrange együtthatós tag mellett egy újabb tag jelent meg, amely szintén Lagrange multiplikátoros formában veszi figyelembe a monotonitásra vonatkozó feltételeket, ahol a {βi}i=1PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaamaacmaabaGaeqOSdi2aaSbaaSqaaiaadMgaaeqaaaGccaGL7bGaayzFaaWaa0baaSqaaiaadMgacqGH9aqpcaaIXaaabaGaamiuaaaaaaa@41BB@ együtthatók az új Lagrange multiplikátorok.

Más a priori ismeretet tükröző feltételek hasonló módon fogalmazhatók bele a tanuló eljárásba (a kiinduló kritériumfüggvénybe). Az eljárás hátránya, hogy minden újabb formálisan megfogalmazott a priori ismeret a teljes optimalizálási feladat származtatását igényli, ami egyes esetekben komoly matematikai nehézségekkel járhat. Az így kapott eljárások hatékonysága tehát jelentős mértékben függ attól, hogy milyen matematikai nehézségek merülnek fel az elsődleges, illetve a másodlagos optimalizálási feladatok megoldásánál. A monotonitást előíró feltételek figyelembevétele például kvadratikus optimalizálási feladatra vezet annak ellenére, hogy a standard LS-SVM-nél csak lineáris egyenletrendszert kell megoldanunk.

12.2.2. Tudásalapú szupport vektor gép

A tudásalapú szupport vektor gépeknél (knowledge-based support vector machines) az a priori tudás a bemeneti tér valamilyen korlátozott tartományára vonatkozik. Glenn Fung és munkatársai olyan osztályozós esetet vizsgáltak, amikor a bemeneti tér egyes poliéder tartományai teljes egészében az egyik osztályhoz tartoznak [Fun03]. Az osztályozási problémát ebben az esetben tehát egyrészt az ismert besorolású tanítópontok, másrészt a poliéder tartományok (egyenesekkel, síkokkal illetve hipersíkokkal határolt tartományok) specifikálják. A poliéder tartományoknak, mint a priori információnak az osztályozásra gyakorolt hatását illusztrálja a 12.1 ábra.

A Fung és Mangasarian által javasolt SVM-ben a megszokott négyzetes hiba helyett egyes normájú hiba szerepel a célfeltételben, így a feladat megoldása (hasonlóan az LS-SVM-hez) nem igényel kvadratikus programozást, elegendő a létrejövő lineáris egyenlőtlenségrendszert lineáris programozással megoldani. Az említett poliéder tartományok ezt a lineáris egyenletrendszert egészítik ki extra egyenlőtlenségekkel.

Hasonló eljárást dolgoztak ki függvényapproximációs feladatokra is, ahol az a priori információ a függvényre vonatkozóan extra korlátokat jelent [Man04]. Az alábbiakban bemutatjuk a lineáris kernel modellt, ami az alapfeladatot leírja.

Mint az eddigi függvényapproximációs feladatoknál most is egy f:NMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadAgacaGG6aWefv3ySLgznfgDOjdaryqr1ngBPrginfgDObcv39gaiuaacqWFDeIudaahaaWcbeqaaiaad6eaaaGccqGHsgIRcqWFDeIuaaa@4981@ függvényt szeretnénk közelíteni az

y(x)=wTx+bMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadMhadaqadaqaaiaahIhaaiaawIcacaGLPaaacqGH9aqpcaWH3bWaaWbaaSqabeaacaWGubaaaOGaaCiEaiabgUcaRiaadkgaaaa@427C@ (12.3)

lineáris kapcsolattal az {xi,di}i=1PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaamaacmaabaGaaCiEamaaBaaaleaacaWGPbaabeaakiaacYcacaWGKbWaaSbaaSqaaiaadMgaaeqaaaGccaGL7bGaayzFaaWaa0baaSqaaiaadMgacqGH9aqpcaaIXaaabaGaamiuaaaaaaa@43D8@ mintapontok felhasználásával. Jelölje a bemeneti mintavektorokat összefogó mátrixot

X=[x1Tx2TxPT]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahIfacqGH9aqpdaWadaqaauaabeqaeeaaaaqaaiaahIhadaWgaaWcbaGaaGymaaqabaGcdaahaaWcbeqaaiaadsfaaaaakeaacaWH4bWaaSbaaSqaaiaaikdaaeqaaOWaaWbaaSqabeaacaWGubaaaaGcbaGaeSO7I0eabaGaaCiEamaaBaaaleaacaWGqbaabeaakmaaCaaaleqabaGaamivaaaaaaaakiaawUfacaGLDbaaaaa@480D@ . (12.4)

12.1. ábra - Egy kétosztályos osztályozási feladat. (a) az eredeti SVM-mel történő megoldás; (b) az a priori tudás (árnyékolt konvex sokszögek, mint az adott osztályhoz tartozó területek) figyelembevételével származtatott tudás alapú SVM megoldása
Egy kétosztályos osztályozási feladat. (a) az eredeti SVM-mel történő megoldás; (b) az a priori tudás (árnyékolt konvex sokszögek, mint az adott osztályhoz tartozó területek) figyelembevételével származtatott tudás alapú SVM megoldása

Ezzel a háló válasza az összes tanítópontra a következő formában is felírható:

y=Xw+b1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahMhacqGH9aqpcaWHybGaaC4DaiabgUcaRiaadkgacaWHXaaaaa@3F80@ , (12.5)

ahol 1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahgdaaaa@39CE@ egy csupa egyesekből álló vektor. Feltételezve, hogy a háló válaszai közelítik a kívánt válaszokat, az approximáció hibája közel nulla, vagyis:

Xw+b1d0MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaayIW7caWHybGaaC4DaiabgUcaRiaadkgacaWHXaGaeyOeI0IaaCizaiabgIKi7kaahcdaaaa@434D@ , (12.6)

ahol d a di, i=1,…,P kívánt válaszokból képezett vektor. Ahogy azt a kernel gépeknél már láttuk, a súlyvektor X sorainak lineáris kombinációjaként is előállítható:

w=XTαMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahEhacqGH9aqpcaWHybWaaWbaaSqabeaacaWGubaaaOGaaCySdaaa@3E48@ . (12.7)

Itt αMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahg7aaaa@3A51@ a lineáris kombináció együtthatóinak vektora. (A szokásos Lagrange multiplikátoros felírásnál αMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahg7aaaa@3A51@ a Lagrange multiplikátorokból álló vektor.) Behelyettesítve a súlyvektor (12.7) kifejezését a (12.6) összefüggésbe, a lineáris kernel gépek szokásos formájú felírását kapjuk:

K(XXT)α+b1d0MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadUeadaqadaqaaiaahIfacaWHybWaaWbaaSqabeaacaWGubaaaaGccaGLOaGaayzkaaGaaGjcVlaayIW7caWHXoGaey4kaSIaamOyaiaahgdacqGHsislcaWHKbGaeyisISRaaCimaaaa@4965@ (12.8)

ahol K(X,XT)=XXTMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadUeacaqGOaGaaCiwaiaacYcacaWHybWaaWbaaSqabeaacaWGubaaaOGaaeykaiabg2da9iaahIfacaWHybWaaWbaaSqabeaacaWGubaaaaaa@428B@ a lineáris kernel mátrix. A hibát az eRPMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahwgacqGHiiIZtCvAUfKttLearyqsTbNCP5gDG0evGmfAHr2B3bacfaGae8Nuai1aaWbaaSqabeaacaWGqbaaaaaa@466B@ vektorral elemenként mérjük, és ennek a hibának az 1-es normáját minimalizáljuk, ahol az 1-es norma jelentése:

x1=i=1N|xi|MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaamaafmaabaGaaCiEaaGaayzcSlaawQa7amaaBaaaleaacaaIXaaabeaakiabg2da9maaqahabaGaaiiFaiaadIhadaWgaaWcbaGaamyAaaqabaGccaGG8baaleaacaWGPbGaeyypa0JaaGymaaqaaiaad6eaa0GaeyyeIuoaaaa@4918@ (12.9)

Az 1-es norma alkalmazásának következménye, hogy a megoldást a szupport vektor gépeknél (6. fejezet) látott kvadratikus programozás helyett itt lineáris programozással megkaphatjuk. A megoldandó feladat a:

J(α,b,e)=α1+Ce1MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadQeadaqadaqaaiaahg7acaGGSaGaamOyaiaacYcacaWHLbaacaGLOaGaayzkaaGaeyypa0ZaauWaaeaacaWHXoaacaGLjWUaayPcSdWaaSbaaSqaaiaaigdaaeqaaOGaey4kaSIaam4qamaafmaabaGaaCyzaaGaayzcSlaawQa7amaaBaaaleaacaaIXaaabeaaaaa@4CDF@ (12.10)

kritériumfüggvény minimumát biztosító αMathType@MTEF@5@5@+=feaagCart1ev2aqatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVCI8FfYJH8YrFfeuY=Hhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahg7aaaa@3727@, b és e megtalálása, azzal a feltétellel, hogy teljesülnek az alábbi formában megfogalmazott egyenlőtlenségek:

eK(X,XT)α+b1deMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiabgkHiTiaahwgacqGHKjYOcaWGlbWaaeWaaeaacaWHybGaaiilaiaahIfadaahaaWcbeqaaiaadsfaaaaakiaawIcacaGLPaaacaaMi8UaaGjcVlaahg7acqGHRaWkcaWGIbGaaCymaiabgkHiTiaahsgacqGHKjYOcaWHLbaaaa@4DDE@ (12.11)

A feltételes optimalizálási feladat az alábbi lineáris programozási feladatra vezethető vissza:

min(α,b,e,a)1Ta+C1TeeK(X,XT)α+b1de,aαaMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOabaiqabaWaaCbeaeaacaqGTbGaaeyAaiaab6gaaSqaamaabmaabaGaaCySdiaadYcacaWGIbGaamilaiaahwgacaWGSaGaaCyyaaGaayjkaiaawMcaaaqabaGccaWHXaWaaWbaaSqabeaacaWGubaaaOGaaCyyaiabgUcaRiaadoeacaWHXaWaaWbaaSqabeaacaWGubaaaOGaaCyzaaqaaiabgkHiTiaahwgacqGHKjYOcaWGlbWaaeWaaeaacaWHybGaaiilaiaahIfadaahaaWcbeqaaiaadsfaaaaakiaawIcacaGLPaaacaaMi8UaaGjcVlaahg7acqGHRaWkcaWGIbGaaCymaiabgkHiTiaahsgacqGHKjYOcaWHLbGaaiilaaqaaiabgkHiTiaahggacqGHKjYOcaWHXoGaeyizImQaaCyyaaaaaa@67BD@ (12.12)

Az eddigiek csupán azt illusztrálták, hogy egy kernel regressziós feladatnál a kritériumfüggvény a 6. fejezetben bemutatott kritériumfüggvényektől eltérő formában is megfogalmazható. A más megfogalmazást az indokolja, hogy így a kvadratikus programozási feladat helyett a megoldás lineáris programozással megkapható. A lineáris programozás számítási komplexitásban egyértelműen előnyösebb, mint a kvadratikus programozást igénylő „klasszikus” SVM.

A tudás alapú szupport vektor gépeknél járulékos információt is beépítünk az eljárásba. A fenti kiindulás mellett a lineáris egyenlőtlenségek formájában megfogalmazott a priori információ beépítése is lineáris programozási feladatra vezet. Az a priori információ itt azt jelenti, hogy a bemeneti tér egy poliéder tartományára további feltétel fogalmazható meg.

Ez a feltétel minden olyan xNMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahIhacqGHiiIZtuuDJXwAK1uy0HMmaeHbfv3ySLgzG0uy0HgiuD3BaGqbaiab=1risnaaCaaaleqabaGaamOtaaaaaaa@4751@ bemenetre vonatkozik, amely nem feltétlenül tartozik a tanítópontok közé, de melyre igaz, hogy egy

BxgMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahkeacaWH4bGaeyizImQaaC4zaaaa@3D85@ , (12.13)

által meghatározott nem üres poliéderen belül található, ahol BL×NMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahkeacqGHiiIZtuuDJXwAK1uy0HMmaeHbfv3ySLgzG0uy0HgiuD3BaGqbaiab=1risnaaCaaaleqabaGaamitaiabgEna0kaad6eaaaaaaa@4A03@ valamilyen együttható készlet, gLMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahEgacqGHiiIZtuuDJXwAK1uy0HMmaeHbfv3ySLgzG0uy0HgiuD3BaGqbaiab=1risnaaCaaaleqabaGaamitaaaaaaa@473E@ pedig valamilyen valós számokból álló vektor. A feltétel azt fogalmazza meg, hogy a poliéder tartományra az approximálandó függvénynek dominálnia kell egy adott lineáris függvényt, vagyis a járulékos információ az alábbi implikáció formájában fogalmazható meg:

BxgwTx+bhTx+βMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahkeacaWH4bGaeyizImQaaC4zaiabgkDiElaahEhadaahaaWcbeqaaiaadsfaaaGccaWH4bGaey4kaSIaamOyaiabgwMiZkaahIgadaahaaWcbeqaaiaadsfaaaGccaWH4bGaey4kaSIaeqOSdigaaa@4C07@ , (12.14)

A lineáris függvény h és β paramétereit az a priori információ szolgáltatja. A súlyvektor (12.7) összefüggését felhasználva az implikáció

BxgαTXx+bhTx+βMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahkeacaWH4bGaeyizImQaaC4zaiabgkDiElaahg7adaahaaWcbeqaaiaadsfaaaGccaWHybGaaCiEaiabgUcaRiaadkgacqGHLjYScaWHObWaaWbaaSqabeaacaWGubaaaOGaaCiEaiabgUcaRiabek7aIbaa@4D25@ , (12.15)

formában is felírható. Ezt az implikációt kell még a (12.12) lineáris programozási feladathoz hozzávennünk.

Ennek érdekében az implikációt át kell alakítani lineáris egyenlőtlenségekké. Nem bizonyítjuk, de amennyiben a fenti implikációnak van megoldása, akkor az alábbi rendszer uLMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahwhacqGHiiIZtuuDJXwAK1uy0HMmaeHbfv3ySLgzG0uy0HgiuD3BaGqbaiab=1risnaaCaaaleqabaGaamitaaaaaaa@474C@ megoldása ekvivalens az implikáció megoldásával:

BTu+XTαh=0,gTu+bβ0,u0MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaayIW7caWHcbWaaWbaaSqabeaacaWGubaaaOGaaCyDaiabgUcaRiaayIW7caaMi8UaaCiwamaaCaaaleqabaGaamivaaaakiaahg7acqGHsislcaWHObGaeyypa0JaaCimaiaacYcacaaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlabgkHiTiaahEgadaahaaWcbeqaaiaadsfaaaGccaWH1bGaey4kaSIaamOyaiabgkHiTiabek7aIjabgwMiZkaaicdacaGGSaGaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaahwhacqGHLjYScaWHWaaaaa@6F6B@ (12.16)

Az itt megfogalmazott feltételeket hozzávéve a (12.12)-ben megadott lineáris programozási feladathoz megkapjuk azt a lineáris programozási feladatot, mely a mintapontokon túl a járulékos ismeretet is figyelembe veszi. A minimalizálandó kritériumfüggvény, melynél a minimumot α,b,e,aés uMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahg7acaGGSaGaaGjcVlaayIW7caaMi8UaaGjcVlaadkgacaGGSaGaaGjcVlaayIW7caaMi8UaaGjcVlaahwgacaGGSaGaaGjcVlaayIW7caaMi8UaaGjcVlaahggacaaMi8UaaGjcVlaayIW7caaMi8Uaaey6aiaabohacaqGGaGaaGjcVlaayIW7caWH1baaaa@5F55@ szerint keressük, ahol u0MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaayIW7caaMi8UaaCyDaiabgwMiZkaahcdaaaa@3FB3@ , az alábbi:

J(α,b,e,a,u0)=1Ta+C1TeMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadQeadaqadaqaaiaahg7acaGGSaGaamOyaiaacYcacaWHLbGaaiilaiaahggacaGGSaGaaCyDaiabgwMiZkaaicdaaiaawIcacaGLPaaacqGH9aqpcaWHXaWaaWbaaSqabeaacaWGubaaaOGaaCyyaiabgUcaRiaadoeacaWHXaWaaWbaaSqabeaacaWGubaaaOGaaCyzaaaa@4DC2@ , (12.17)

a mellékfeltételek pedig:

eK(X,XT)α+b1ge,aαaaBTu+XTαhagTuβbMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOabaiqabaGaeyOeI0IaaCyzaiabgsMiJkaadUeadaqadaqaaiaahIfacaGGSaGaaCiwamaaCaaaleqabaGaamivaaaaaOGaayjkaiaawMcaaiaayIW7caaMi8UaaCySdiabgUcaRiaahkgacaWHXaGaeyOeI0IaaC4zaiabgsMiJkaahwgacaGGSaaabaGaeyOeI0IaaCyyaiabgsMiJkaahg7acqGHKjYOcaWHHbaabaGaeyOeI0IaaCyyaiabgsMiJkaayIW7caaMi8UaaCOqamaaCaaaleqabaGaamivaaaakiaahwhacqGHRaWkcaaMi8UaaGjcVlaahIfadaahaaWcbeqaaiaadsfaaaGccaWHXoGaeyOeI0IaaCiAaiabgsMiJkaahggaaeaacqGHsislcaWHNbWaaWbaaSqabeaacaWGubaaaOGaaCyDaiabgwMiZkabek7aIjabgkHiTiaadkgaaaaa@7463@ (12.18)

A kapott megoldás meglehetősen speciális esetre érvényes, hiszen lineáris függvényapproximációs feladatból indultunk ki és az a priori információ is a bemenet lineáris függvényeként van megfogalmazva. Az eljárás nemlineáris esetre történő általánosítása viszonylag természetes módon megtörténhet. Ekkor egyrészt a lineáris kernel helyett nemlineáris kernellel dolgozunk, másrészt az a priori információt is mint a bemenet nemlineáris függvényét fogalmazzuk meg. Ennek részleteire azonban itt nem térünk ki.

A priori ismeretek beépítésére az eddig bemutatott eljárásokon kívül számos további eljárást is kidolgoztak. Ilyen eljárásokat ismertet pl. [Yu04], [Sun05] és [Le06], valamint az a priori információ beépítésének egy további lehetőségére ad példát a következőkben bemutatott súlyozott margójú SVM is.

12.2.3. Súlyozott margójú szupport vektor gép

A súlyozott margójú szupport vektor gépeknél (Weighted Margin Support Vector Machines, WMSVM) [Wu04] minden tanító mintához a rendelkezésre álló a priori információ alapján egy konfidencia értéket is rendelünk. A konfidencia értékek hatása, hogy az egyes tanító minták különböző súllyal vesznek részt az SVM tanításában. A súlyozott szupport vektor gép működését lineárisan szeparálható esetre mutatjuk be, de értelemszerűen az eredmények megfelelő kernelfüggvény-választást követően érvényesek a nemlineárisan szeparálható esetre is.

Adott egy lineárisan szeparálható tanítóhalmaz {xi,di}i=1PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaamaacmaabaGaaCiEamaaBaaaleaacaWGPbaabeaakiaacYcacaWGKbWaaSbaaSqaaiaadMgaaeqaaaGccaGL7bGaayzFaaWaa0baaSqaaiaadMgacqGH9aqpcaaIXaaabaGaamiuaaaaaaa@43D8@ , és minden mintához rendelkezésünkre áll egy vi(0,1]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadAhadaWgaaWcbaGaamyAaaqabaGccqGHiiIZdaqcWaqaaiaaicdacaGGSaGaaGymaaGaayjkaiaaw2faaaaa@40CE@ konfidenciaérték, ami a di kívánt válasz konfidenciaszintjét jellemzi. A konfidenciához olyan intuitív értelmezés adható, hogy minél nagyobb egy minta konfidenciája, annál nagyobb margót szeretnénk biztosítani az adott mintánál. A súlyozott SVM és a standard SVM közötti különbséget illusztrálja a 12.2 ábra. Az ábrán látható kétosztályos osztályozási feladatnál különböző méretű körök és négyzetek jelölik a két osztályba tartozó mintapontokat, és a körök, illetve a négyzetek mérete képviseli a mintaponthoz rendelt konfidenciát. Az ábrán vékony folytonos vonal jelzi az SVM szeparáló egyenesét. Látható, hogy ez nem veszi figyelembe a mintapontokhoz rendelt konfidenciát, míg a vastag vonal olyan elválasztó felületet képvisel, mely a nagyobb konfidenciájú pontoknál nagyobb távolságot (nagyobb margót), a kisebb konfidenciájú pontoknál pedig kisebb távolságot biztosít.

A súlyozott margójú megoldás származtatása a standard SVM 6. fejezetben bemutatott származtatásához hasonlóan történik. Itt is azt a w súlyvektorral és b eltolás értékkel jellemezhető hipersíkot keressük, ahol w2MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaamaafmaabaGaaC4DaaGaayzcSlaawQa7amaaCaaaleqabaGaaGOmaaaaaaa@3E24@ minimális, és ahol az osztályozásra vonatkozó

f(vi)di(wTxi+b)1,i=1,,PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadAgadaqadaqaaiaadAhadaWgaaWcbaGaamyAaaqabaaakiaawIcacaGLPaaacaaMi8UaaGjcVlaadsgadaWgaaWcbaGaamyAaaqabaGcdaqadaqaaiaahEhadaahaaWcbeqaaiaadsfaaaGccaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaey4kaSIaamOyaaGaayjkaiaawMcaaiabgwMiZkaaigdacaGGSaGaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaayIW7caaMi8UaaGjcVlaadMgacqGH9aqpcaaIXaGaaiilaiablAciljaacYcacaWGqbaaaa@7ABD@ (12.19)

feltételek teljesülnek. A (12.19) összefüggésben szereplő f()(0,1]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadAgadaqadaqaaiabgwSixdGaayjkaiaawMcaaiabgIGiopaajadabaGaaGimaiaacYcacaaIXaaacaGLOaGaayzxaaaaaa@436D@ monoton csökkenő függvény biztosítja, hogy a „megbízhatóbb”, nagyobb konfidenciájú mintapontok nagyobb hatást gyakorolnak az elválasztó hipersíkra, ezeknél a pontoknál nagyobb margót kapunk.

A részletektől eltekintve a megoldás súlyvektorára a következő adódik:

w=i=1Psαidif(vi)xiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahEhadaahaaWcbeqaaiabgEHiQaaakiabg2da9maaqahabaGaeqySde2aa0baaSqaamaaBaaameaacaWGPbaabeaaaSqaaiabgEHiQaaaaeaacaWGPbGaeyypa0JaaGymaaqaaiaadcfadaWgaaadbaGaam4CaaqabaaaniabggHiLdGccaWGKbWaaSbaaSqaaiaadMgaaeqaaOGaamOzamaabmaabaGaamODamaaBaaaleaacaWGPbaabeaaaOGaayjkaiaawMcaaiaahIhadaWgaaWcbaGaamyAaaqabaaaaa@4FC6@ (12.20)

ahol az αi0MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiabeg7aHnaaDaaaleaadaWgaaadbaGaamyAaaqabaaaleaacqGHxiIkaaGccqGHLjYScaaIWaaaaa@3F7F@ együtthatók most is a Lagrange multiplikátorok.

A standard SVM-hez hasonlóan itt is származtatható egy lágy margójú változat, ha egy gyengítő változót vezetünk be. Ekkor a megfelelő kritériumfüggvény a következő lesz

12.2. ábra - Az WMSVM működésének a standard SVM-től való eltérésre. A háló négyzetekkel illetve körökkel jelölt mintapontok osztályozását végzi, ahol a objektum mérete a konfidenciát jellemzi. A vékony vonal az SVM válasza, a vastag fekete vonal a WMSVM válasza.
Az WMSVM működésének a standard SVM-től való eltérésre. A háló négyzetekkel illetve körökkel jelölt mintapontok osztályozását végzi, ahol a objektum mérete a konfidenciát jellemzi. A vékony vonal az SVM válasza, a vastag fekete vonal a WMSVM válasza.

J(w)=12wTw+Ci=1Pg(vi)ξiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadQeacaqGOaGaaC4DaiaabMcacqGH9aqpdaWcaaqaaiaaigdaaeaacaaIYaaaaiaahEhadaahaaWcbeqaaiaadsfaaaGccaWH3bGaey4kaSIaam4qamaaqahabaGaam4zamaabmaabaGaamODamaaBaaaleaacaWGPbaabeaaaOGaayjkaiaawMcaaiabe67a4naaBaaaleaacaWGPbaabeaaaeaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaaa@50AD@ . (12.21)

Ennek w szerinti minimumát keressük azzal a feltétellel, hogy

f(vi)di(w*Txi+b)1ξi      i=1, 2,PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadAgadaqadaqaaiaadAhadaWgaaWcbaGaamyAaaqabaaakiaawIcacaGLPaaacaaMi8UaaGjcVlaadsgadaWgaaWcbaGaamyAaaqabaGccaqGOaGaaC4DamaaCaaaleqabaGaaiOkaiaadsfaaaGccaWH4bWaaSbaaSqaaiaadMgaaeqaaOGaey4kaSIaamOyamaaCaaaleqabaGaey4fIOcaaOGaaeykaiabgwMiZkaaigdacqGHsislcqaH+oaEdaWgaaWcbaGaamyAaaqabaGccaqGGaGaaeiiaiaabccacaqGGaGaaeiiaiaabccacaWGPbGaeyypa0JaaeymaiaabYcacaqGGaGaaeOmaiaabYcacaqGGaGaeSOjGSKaaGjcVlaayIW7caaMi8Uaaeilaiaadcfaaaa@6380@ . (12.22)

ahol f()(0,1]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadAgadaqadaqaaiabgwSixdGaayjkaiaawMcaaiabgIGiopaajadabaGaaGimaiaacYcacaaIXaaacaGLOaGaayzxaaaaaa@436D@ egy monoton csökkenő és g()(0,1]MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadEgadaqadaqaaiabgwSixdGaayjkaiaawMcaaiabgIGiopaajadabaGaaGimaiaacYcacaaIXaaacaGLOaGaayzxaaaaaa@436E@ egy monoton növekedő függvény és a ξi0,   i=1, 2,PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiabe67a4naaBaaaleaacaWGPbaabeaakiabgwMiZkaaicdacaGGSaGaaeiiaiaabccacaqGGaGaamyAaiabg2da9iaabgdacaqGSaGaaeiiaiaabkdacaqGSaGaaeiiaiablAciljaayIW7caaMi8UaaGjcVlaabYcacaWGqbaaaa@4E6E@ értékek a gyengítő változó értékei. A szokásos lépések eredményeképpen itt is megkapjuk a megoldás súlyvektorát:

w=i=1Psαidif(vi)xiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaahEhadaahaaWcbeqaaiabgEHiQaaakiabg2da9maaqahabaGaeqySde2aa0baaSqaaiaadMgaaeaacqGHxiIkaaaabaGaamyAaiabg2da9iaaigdaaeaacaWGqbWaaSbaaWqaaiaadohaaeqaaaqdcqGHris5aOGaamizamaaBaaaleaacaWGPbaabeaakiaadAgadaqadaqaaiaadAhadaWgaaWcbaGaamyAaaqabaaakiaawIcacaGLPaaacaWH4bWaaSbaaSqaaiaadMgaaeqaaaaa@4F8E@ , (12.23)

ahol teljesülnie kell még a következő összefüggéseknek:

i=1Pdiαif(vi)=0, 0αig(vi)Ci=1,2,....,PMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaauaabeqabmaaaeaadaaeWbqaaiaadsgadaWgaaWcbaGaamyAaaqabaGccqaHXoqydaWgaaWcbaGaamyAaaqabaGccaWGMbWaaeWaaeaacaWG2bWaaSbaaSqaaiaadMgaaeqaaaGccaGLOaGaayzkaaGaeyypa0JaaGimaiaabYcacaqGGaaaleaacaWGPbGaeyypa0JaaGymaaqaaiaadcfaa0GaeyyeIuoaaOqaaiaaicdacqGHKjYOcqaHXoqydaWgaaWcbaGaamyAaaqabaGccqGHKjYOcaWGNbWaaeWaaeaacaWG2bWaaSbaaSqaaiaadMgaaeqaaaGccaGLOaGaayzkaaGaaGjcVlaayIW7caWGdbGaaeilaiaabccaaeaacaWGPbGaeyypa0JaaGymaiaacYcacaaMi8UaaGjcVlaaikdacaGGSaGaaGjcVlaayIW7caGGUaGaaiOlaiaac6cacaGGUaGaaGjcVlaayIW7caGGSaGaamiuaaaaaaa@6E9D@ . (12.24)

A priori tudás beépítése WMSVM-be

A súlyozott margójú szupport vektor gépeknél a priori tudást egyrészt a konfidencia értékek meghatározásával, másrészt virtuális minták generálásával is beépíthetünk az eljárásba. A kiinduló mintákhoz tartozó konfidencia értékek például a mintákat terhelő zajtól függhetnek. A virtuális minták generálása itt nem invariancia transzformációk alkalmazását jelenti, hanem ismeretlen válaszú mintapontok beiktatását, ahol a kívánt válasz és annak konfidenciája származik az a priori információból. Konfidencia értékként annak a P(d|x)MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVCI8FfYJH8YrFfeuY=Hhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadcfadaqadaqaaiaadsgadaabbaqaaiaahIhaaiaawEa7aaGaayjkaiaawMcaaaaa@3BC5@ feltételes valószínűségnek a becslését használhatjuk, amely megadja, hogy egy adott, ismeretlen osztályba tartozó x bemenet milyen valószínűséggel tartozhat egy adott osztályba. A módszer jelentősége, hogy bizonytalan a priori tudást is be tud építeni. Ugyancsak a priori ismeret alapján választhatjuk meg az f()MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadAgadaqadaqaaiabgwSixdGaayjkaiaawMcaaaaa@3DD2@ és g()MathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadEgadaqadaqaaiabgwSixdGaayjkaiaawMcaaaaa@3DD3@ függvényeket. Ezeknek a függvényeknek a hatása nagymértékben függ a viMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadAhadaWgaaWcbaGaamyAaaqabaaaaa@3B29@ konfidencia értékektől. Mivel a legtöbb valós problémán a viMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadAhadaWgaaWcbaGaamyAaaqabaaaaa@3B29@ értékekre csak durva becslést tudunk adni és semmilyen elmélet nem támasztja alá a komplexebb függvények használatának előnyét, ezért a legtöbb esetben a legegyszerűbb függvényeket, pl. az f(v)=1/vMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadAgadaqadaqaaiaadAhaaiaawIcacaGLPaaacqGH9aqpdaWcgaqaaiaaigdaaeaacaWG2baaaaaa@3F55@ és a g(v)=vMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadEgadaqadaqaaiaadAhaaiaawIcacaGLPaaacqGH9aqpcaWG2baaaa@3E85@ függvényeket használhatjuk.

Példaként tekintsünk egy lehetséges alkalmazást, különböző dokumentumok kategorizálását. A kiinduló tanítóhalmaz a már kategorizált dokumentumok halmaza. A virtuális tanítóhalmaz kialakításához szükséges konfidencia értékeket a már kategorizált tanítóhalmaz alapján szakértői tudás felhasználásával határozhatjuk meg. A szakértők a tanítóhalmazba tartozó dokumentumok alapján olyan szavakat választanak ki, melyek szerintük az adott kategóriát jól jellemzik, vagyis egy kiválasztott szó nagy valószínűséggel fordul elő egy adott kategóriába tartozó dokumentumokban. Ezeket a szavakat tekintsük kulcsszavaknak. Például, ha a kategória a kardiológia, akkor a kulcsszavak a vér, vérnyomás, szív, véna, artéria stb. A jelöletlen dokumentumok kategorizálása a kulcsszavak keresésével történik. A konfidencia értékeket többféleképpen is előállíthatjuk. Jelöljön x egy adott dokumentumot és c egy adott kategóriát. Az x mintának a c kategóriába tartozását jellemző konfidencia legyen egyszerűen |x|kw/|c|kwMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaamaalyaabaWaaqWaaeaacaWG4baacaGLhWUaayjcSdWaaSbaaSqaaiaadUgacaWG3baabeaaaOqaamaaemaabaGaam4yaaGaay5bSlaawIa7amaaBaaaleaacaWGRbGaam4Daaqabaaaaaaa@458D@ , ahol |x|kwMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaamaaemaabaGaamiEaaGaay5bSlaawIa7amaaBaaaleaacaWGRbGaam4Daaqabaaaaa@3F4B@ jelöli, hogy az x dokumentumban az adott kategóriát jellemző kulcsszavak közül hány fordul elő, |c|kwMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaamaaemaabaGaam4yaaGaay5bSlaawIa7amaaBaaaleaacaWGRbGaam4Daaqabaaaaa@3F36@ pedig azt adja meg, hogy az adott kategóriát hány kulcsszóval jellemzünk (A jelölésnél a kw index a kulcsszóra (keyword) utal.) Azokat a dokumentumokat, melyek egyetlen kulcsszót sem tartalmaznak, figyelmen kívül hagyjuk.

Az SVM konstrukciója ezek után a két tanítóhalmaz együttes felhasználásával történik. Amennyiben az eredeti mintahalmaz pontjaihoz is rendeltünk konfidencia értékeket, a két mintahalmaz eltérő kezelésére nincs szükség. Ha azonban az eredeti tanítóhalmaz mintáit zajmentesnek, pontosnak tekinthetjük, akkor célszerű, ha ezen mintákhoz nem rendelünk konfidencia értékeket (pontosabban ezekhez egységnyi konfidencia értékeket rendelünk), vagyis a két mintahalmaz pontjait a kritériumfüggvényben különbözőképpen vesszük figyelembe. Amennyiben az első P1 elemű mintahalmaz az eredeti ismert kategóriájú tanítómintákból áll és a maradék P P1 minta képezi a virtuális mintahalmazt, akkor a következő módosított kritériumfüggvényt célszerű használni:

J(w)=12wTw+Ci=1P1ξi+ηCi=P1+1Pg(vi)ξiMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiaadQeacaqGOaGaaC4DaiaabMcacqGH9aqpdaWcaaqaaiaaigdaaeaacaaIYaaaaiaahEhadaahaaWcbeqaaiaadsfaaaGccaWH3bGaey4kaSIaam4qamaaqahabaGaeqOVdG3aaSbaaSqaaiaadMgaaeqaaOGaey4kaSIaeq4TdGMaaGjcVlaayIW7caWGdbaaleaacaWGPbGaeyypa0JaaGymaaqaaiaadcfadaWgaaadbaGaaGymaaqabaaaniabggHiLdGcdaaeWbqaaiaadEgadaqadaqaaiaadAhadaWgaaWcbaGaamyAaaqabaaakiaawIcacaGLPaaacqaH+oaEdaWgaaWcbaGaamyAaaqabaaabaGaamyAaiabg2da9iaadcfadaWgaaadbaGaaGymaaqabaWccqGHRaWkcaaIXaaabaGaamiuaaqdcqGHris5aaaa@636E@ . (12.25)

Itt C az SVM-nél megszokott paraméter, amely a biztonsági sáv mérete és a sávon belülre eső pontok száma közötti egyensúlyért felelős, míg az ηMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqkLspw0le9v8qqaqFD0xXdHaVhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiabeE7aObaa@3AC0@ paraméter a két tanítóhalmaz relatív fontosságának beállítására szolgál. Értelemszerűen, ha az eredetileg ismert kategóriájú dokumentumok száma kicsi, akkor nagy ηMathType@MTEF@5@5@+=feaagCart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLnhiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr4rNCHbGeaGqiVCI8FfYJH8YrFfeuY=Hhbbf9v8qqaqFr0xc9pk0xbba9q8WqFfeaY=biLkVcLq=JHqpepeea0=as0Fb9pgeaYRXxe9vr0=vr0=vqpWqaaeaabiGaciaacaqabeaadaqaaqaaaOqaaiabeE7aObaa@3795@ -t érdemes választani. Ahogy a valóban kategorizált dokumentumok száma növekszik, úgy érdemes a virtuális tanítóhalmaz hatását csökkenteni, hiszen az eredeti tanítóhalmaz „jobb minőségű”.