Hus
Prvi zadatak:
Ako si skiciras problem, vidit ces da je najbolji pravac koji dijeli ove dvije tocke zapravo pravac y=x odnosno u implicitnom obliku -ax+ay=0 gdje je a neka konstanta, jer je implicitni oblik pravca invarijantnan na mnozenje skalarom (ekvivalent toga su homogene koordinate iz IRG-a ako se sjecas; ako ne jebiga).
Druga informacija koju bi trebao znati je naci udaljenost od pravca do tocke: jedna lijepa slatka formula d=h(x) / |w|, gdje je h(x) izlaz hipoteze, a |w| norma vektora tezina. Udaljenost tocke od pravca znamo (ja znam da je sqrt(2) / 2 a od tebe zahtjevam da ako ne znas napamet da izvedes iz geometrije) i lijepo u jednadzbu gore uvrstis neku tocku, recimo (0, 1): sqrt(2) / 2 = (-a*0+a*1) / (sqrt((-a)**2 + (a**2)) i malo se poigras algebarski da dobis a. To ce ti bit jednako w2.
Naravno ista stvar bi trebala doc kao rezultat i ako stavis drugu tocku, to je zato jer (a) matematika tako funkcionira (b) maksimizacija udaljenosti hiperravnine eksplicitno enkodira u nas problem da ce granica prepolavljat udaljenost te dve tocke, odnosno s lijeve i desne strane pravca ce bit ista udaljenost.
Drugi zadatak:
Nadam se da si rjesavao drugi labos koji se ticao logisticke regresije, gdje si uzeo wTx i omotao to oko sigmoide. E sad, sigmoida je poprilicno nelinearna, ali granica koju si (trebao) dobiti je linearna. Zasto je tome tako? Zato jer su ti podaci unutar sigmoide linearni. Dakle, ako ti je funkcija PHI linearna, dobit ces linearnu granicu. Ako je nelinerna, i granica ce bit (perhaps surprisingly) nelinearna. Also, ako ti je PHI nelinearna, a aktivacija f linearna, ponovo granica nije linearna. Podaci su kljuc!
Treci:
Vrlo mehanicki i brainless zadatak. Pomnozis W sa x i dobijes Wx ciji izlaz nazivamo “logiti” (nebitno). Od tih logita racuna se softmax tako da izracunas exp() za svaki element vektora, i onda skupa podijelis sa sumom. Softmax bi ti trebo ispast, ako nisam nesto sjebo, (0.999, 1.026e-10, 1.67e-5). I sad treba samo uzet nas softmax vektor i vektor koji trebamo dobit i s njim u multiclass logistic loss ciju formulu imas u skriptama, labosima ili internetu. Jedino je eto problem sto ja dobijem broj 23 kao rjesenje koji nije ponuden tako da ne znam kj se desilo no postupak je okej haha
Cetvrti zadatak:
adaptivne bazne funkcije == neuronska mreza s jednim skrivenim slojem. ulazni parametri imaju 10 varijabli, svaka adaptivna bazna funkcij ima dakle 10 tezina + 1 bias. Takvih adaptvnih baznih funkcija ima 4, dakle sve skupa 4(10+1) = 44. Zavrsili smo prvi sloj, ai time smo samo iz podataka izvadili znacajke, sto znaci da tek sad idemo u softmax. Znaci sad se pravimo da su ovih 4 “pravi podaci”, dakle trebat ce nam jos 4 tezine i 1 bias. Sve skupa 44+5=49. Puno je lakse ako gledas slikicu i pratis sta se dogada nego ovak napamet rjesavat
