Studoši

Rene Treba pogađati i vidjeti da je XOR=x_1+x_2-2x_1 x_2=\frac{-2\phi_3+\phi_4+\phi_5}{\sqrt 2}

viliml Kako? x=(1, 1) => 1 + 1 - 1 = 1, po tvom izrazu?
EDIT: vidim, zapravo je x_1 + x_2 - 2x_1x_2, hvala!

Rene Da sori išao sam napamet i zbunio sam se, znao sam da je tako nešto otprilike.

tomekbeli420 Hoćeš reći da prostor hipoteza obuhvaća sve krivulje drugog reda? To je validno, ali treba obrazložiti zašto postoji krivulja drugog reda koja odvaja XOR, što je ekvivalentno originalnom problemu osim ako se to smatra opće poznatim…
Ali u svakom slučaju za drugu jezgru se mora naći ručno (hipoteza je isto krivulja drugog reda ali nije općenita), a pošto su za binarne značaje x i x^2 ista stvar, vidi se da je rješenje za jedno ujedno i rješenje za drugu.

Rene ja sam rekao da jest linearno odvojivi i to sam argumentirao logikom da granica
h \left(\mathbf{x} ; \mathbf{w}, w_0 \right) = \mathbf{w}^{\mathrm{T}} \boldsymbol{\phi} \left(\mathbf{x}\right) + w_0 = 0
Je krivulja drugog reda (najopćenitija bez ograničenja). Takva krivulja drugog reda je sposobna odvojiti primjere kod XOR problema.

Kod jezgrene funkcije \kappa \left(\mathbf{x}, \mathbf{z}\right) = \left(\mathbf{x}^{\mathrm{T}} \mathbf{z}\right)^2 sam pak preslikao u 3D prostor značajki sa pripadnon funkcijom preslikavanja, dobio sam
\boldsymbol{\phi} \left(\mathbf{x}\right) = \left(x_1^2 , \sqrt{2} x_1 x_2 , x_2^2\right)
I tu sam našao (naprosto sam nacrtao preslikane primjere i gledao koju ravninu povući) ravninu koja razdvaja
\mathbf{w} = \left(2, -2, 2\right) \qquad w_0 = -1.5

Ako baš hoćeš, iste težine bi se mogle iskoristiti za naći hiperravninu kod prve jezgrene funkcije

Evo nadam se da mi sve štima i da nisam neš sjebo

viliml da to sam mislio
Zašto postoji krivulja? Vizualno je trivijalno konstruirati primjer takve krivulje xD

Da mi se da zajebavati sa rotacijama čak bi i složio težine koje čine elipsu oko pozitivnih primjera, al mi se ne da (a i može se napamet nešto nabosti)

viliml otkud ti da je w0 otprilike 0.95?

Rene hipoteze potpornih vektora moraju biti +-1

moze neko objasniti? koristimo 50 znacajki ak sam dobro pobrojao

netko_tamo Izbacuješ prosjek ocjena jer ti je savršeno koreliran sa prosjecima svake godine i onda imaš 6 linearnih i 6 kvadratnih + 1 i još za interakcijske imaš 6 povrh 2 = 15 i 6 povrh 3 = 20 i onda ispadne 6+6+1+15+20=48

Prof tenks 😃

L2 norma je sqrt(wTw), dobivam 2.96, ocito nekaj kardinalno krivo radim pa ne vidim hahah

netko_tamo Norma gradijenta gubitka, ne norma težina.
Hipoteza je mrvicu veća od 0 dakle greška je mrvicu manja od 1 dakle gradijent je mrvicu manji od vektora značajki koji ima normu 2.5

netko_tamo možeš slikati postupak ako si riješio?

viliml ne moraju ako je rijec o mekoj margini?

Rene Nigdje ne piše da je meka.

Može li neko dati neki hack kako razlikovati induktivnu pristranost jezikom od induktivne pristranosti preferencijom?

Banananjeros

Pristranosti jezikom biras model, dakle skup svih hipoteza koje dolaze u obzir. Iz tog skupa moraš nekako odabrati jednu hipotezu. To činiš funkcijom pogreške, i to je upravo pristranost preferencijom. Dodatno, ako prostor inačica ima više hipoteza (2, 3, inf), opet moraš izabrati jednu, (kod SVM-a recimo onu s najvecom marginom), to je isto pristranost preferencijom.

Prostor inačica je skup svih hipoteza nekog modela koje ispravno klasificiraju (tj predviđaju kod regresije) sve primjere.

Dragi prijatelj strojnog učenja Je li pristranost preference isključivo traženje neke hipoteze u prostoru inačica ili traženje neke hipoteze u prostoru hipoteza općenito?

Banananjeros Po definiciji to bi trebalo biti u prostoru inačica, ALI…
Mi zapravo skoro nikad ne radimo baš s prostorom inačica.
Često je ili prostor inačica prazan, ili mi možda odaberemo hipotezu izvan prostora inačica jer ona bolje generalizira.
Prisutnost šuma i mogućnosti krivo klasificiranih primjera za treniranje čine koncept prostora inačica besmislenim.
Jedini slučaj kad uistinu radimo direktno s prostorom inačica je SVM s tvrdom marginom.
Ali funkciju pogreške ipak često neprecizno nazivaju pristranost preferencije, i ako dođe takvo pitanje u ispitu trebao bi ne razmišljati preduboko o tome jer oni sigurno nisu.

Imam pitanje za težinski k-NN. Zašto gledamo sve primjere (i za sve primjere računamo k(x_i, x)) kad koristimo k-NN.
Tu gubimo “k” iz k-NN. Zar ne bi smo trebali gledati najbliže primjere i onda na temelju njih i rezultatata funkcije k(x_i, x) zaključiti kojoj klasi pripada x?

gladiator mislim da se moze i jedno i drugo, na predavanju je snajder napisao da se uobicajeno koristi N ali da suma moze ic i samo za k najblizih