Sulejman da bi podaci koji nisu bili linearni (odnosno nisu bili linearno odvojivi kod klasifikacije) u originalnom ulaznom prostoru postali linearni u tom preslikanom prostoru. Na taj način ne moramo mijenjati linearan model (model je i dalje linearan u težinama \mathbf{w}), nego potencijalnu nelinearnost možemo postići sa nelinearnim preslikavanjem \boldsymbol{\phi}.
Skripta Regresija II, paragraf 1.2
Artemis
Znamo da su težine takve da je maksimizirana udaljenost. Za predznačenu udaljenost primjera od hiperravnine granice modela znamo da se računa prema izrazu d = \frac{h \left(\mathbf{x}\right)}{\left\| \mathbf{w} \right\|} gdje je \mathbf{w} vektor težina ali sa isključenim w_0, dakle u našem slučaju \mathbf{w} = \left(w_1, w_2\right). E ali kod nas je induktivna pristranost takva da se maksimizira udaljenost ali da se ne gleda predznak, dakle onda moramo gledati apsolutnu vrijednost: d = \left| \frac{h \left(\mathbf{x}\right)}{\left\| \mathbf{w} \right\|} \right|
dakle potrebno je maksimizirati izraz (označio sam ga sa D reda radi)
D = \sum_{i=1}^{N} \left| \frac{h \left(\mathbf{x}^{(i)}\right)}{\left\| \mathbf{w} \right\|} \right|
E sad mi znamo da za oba primjera vrijedi y \cdot h \left(\mathbf{x}\right) = 5, pa prema tome odmah možemo saznati koliko iznose vrijednosti hipoteze (linearnog modela prije nego se uplete klasifikacija) za svaki primjer ako uvrstimo vrijednosti njihovih oznaka y (možemo uvrstiti i vrijednosti njihovih značajki):
h \left(\mathbf{x}^{(1)}\right) = w_1 x_1^{(1)} + w_2 x_2^{(1)} + w_0 = w_1 \cdot 1 + w_2 \cdot 0 + w_0 = w_1 + w_0 = 5 \\
h \left(\mathbf{x}^{(2)}\right) = w_1 x_1^{(2)} + w_2 x_2^{(2)} + w_0 = w_1 \cdot 0 + w_2 \cdot 1 + w_0 = w_2 + w_0 = -5
Samo iz dobivenih linearnih jednadžbi sa nepoznanicama w_0, w_1, w_2 ne možemo odrediti jedinstveno rješenje, no moramo iskoristiti činjenicu da rješenje maksimizira udaljenosti (izraz D) hiperravnine od primjera. E sad uvrstimo podatke (iznose hipoteza za svaka 2 primjera) u izraz D:
D = \frac{5}{\left\| \mathbf{w} \right\|} + \frac{5}{\left\| \mathbf{w} \right\|} = \frac{10}{\sqrt{{w_1}^2 + {w_2}^2}}
I to je potrebno maksimizirati uz uvjete da vrijede one 2 linearne jednadžbe gore. Pa jasno je da maksimizacija D se svodi na minimizaciju zbroja kvadrata dvaju težina (minimizacija jer se zbroj kvadrata nalazi u nazivniku, a minimizacija korijena se svodi na minimizaciju onog unutar korijena pod uvjetom da je to unutar korijena pozitivno, što naravno jest slučaj jer se radi o zbroju kvadrata).
Inače bismo morali minimizirati funkciju dviju varijabli w_1 i w_2, ali one linearno ovise o w_0 (iz onih linearnih jednadžbi) pa ih možemo tako zapisati. Dakle onda se zadatak svodi na minimiziranje izraza \left(5 - w_0\right)^2 + \left(-5 - w_0\right)^2 što je dost trivijalno
Izraz se svede na (kad se kvadriraju zagrade) 2 {w_0}^2 + 50 što je parabola sa tjemenom u w_0 = 0. Dakle onda je rješenje w_2 = -5 - w_0 = -5 - 0 = -5.
