[DUBUCE1] 1. laboratorijska vježba - 2021/2022

neksi

Meni ovako nešto ispada 2. zadatak, ne znam jel treba izgledat slično ko njima na slici ili je i ovo dobro?

angello2

filip ovo nije isti dataset koji su oni koristili (ako hoces isti trebas np.random.seed(100)) tak da je dobro, bitno da dobro klasificira

neksi

angello2 kad stavim np.random.seed(100) ne ispada mi ko njima, možda jer nemam regularizaciju

Lyras

moramo li predavati .py datoteke ili mozemo jupyter? Dosta mi je nepraktično predavati py datoteke

ppooww

Matt Sta je tocno za 3. pitanje?

Sulejman

pp Pa msm vjerojatno “biblioteka sa matričnim {množenjem, zbrajanjem}”

matt

Sulejman E samo napomena, 2 su različita ponuđena odgovora, zbrajanje i množenje. Točno je množenje (unless 👀)

yabk

Pepper
Ne moze. Mora se predati nesto na ferko.
Source: imao labos prije 20min

Sulejman

yabk bez zadataka nemreš ni blic?

indythedog

Sulejman U mom terminu labosa je bilo par ljudi koji su samo pisali blic i odmah nakon se ustali i otišli, čisto sumnjam da su išta riješili da ne bi bar probali odgovarati. Moguće da treba bar nešto predati, makar prazan zip. Možeš poslat mail Šegviću i pitati ga, on jako brzo odgovori

yabk

Sulejman

indythedog

Ja sam pisao blic u svom terminu i nakon sto sam ga rijesio sam rekao da nisam vjezbu rijesio i jel mogu ici.
Na sto mi je asistentica odgovorila da mi se onda ova vjezba (i blic takoder) ne racuna i da moram doci na nadoknadu koja ce biti na kraju semestra.
Asistentica je bila Petra Bevandić.

neksi

zašto u 4. zadatku loss vraća kao NaN?

indythedog

filip Probaj si prilagoditi hiperparametre modela, povećaj broj epoha i smanji broj učenja (npr. 10 000 epoha i stopa učenja 0.01 ili čak i manje ako to ne uspije). Ako i uz to ne radi, onda ti je možda problem u arhitekturi ili u implementaciji funkcije gubitka

tomekbeli420

filip zvuči kao problem kad uzmeš log od softmaxa kad ti softmax pljune jako male brojeve
pri računanju gubitka, napraviš unaprijedni prolaz ali prije softmaxa, i onda iskoristiš
torch.nn.functional.log_softmax
(staviš argument dim=1 da ti izračuna log softmakse po retcima)

neksi

tomekbeli420 nisam te baš skuzia, ako bi moga opet pojasnit 😅

Ducky

filip što ti je veći x, to ti je manji softmax(x). Nekad broj bude toliko mali da se aproksimira u 0. U tom slučaju je log(softmax(x))=log(0)=-inf, a to ti je nan

ja to riješavam tako da dodam malu konstatnu; torch.log(x+0.000001)

Sulejman

Matt Aha nisam tako shvatio al da svejedno bi to odgovorio

Emma63194

indythedog 5) imamo funkciju koja rotira 2D točke za 35 stupnjeva. Koje su dimenzije njezine matrice parcijalnih derivacija?

6) a = f(x), b = f(x - gradijent od a (zapisan kao formula))
pitanje - što će vrijediti (a > b, b < a, a = b itd)

7) ako sve piksele u MNIST train i test setu nasumično i konzistentno izmiješamo i pokrenemo treniranje/test, hoćemo li dobiti
iste rezultate kao da nismo to napravili (pod isti rezultati mislim na preciznost/točnost na train i test/skup), ako
je odgovor ne ima ponuđeno par razloga zašto ne

5) 2 × 2?

Koji je odgovor na 6) i 7)?

indythedog

Emma63194

5) 2 × 2 mislim da da, tako sam i ja stavio

Za 6 sam stavio b <= a, jer mi se to cini kao spust po gradijentu od a, koji bi nas trebao dovesti do minimuma funkcije f(x)

Za 7 nisam bas siguran, ja sam stavio da ce bit isto jer sam pretpostavio da ako normalizacija ne utjece na konacne rezultate, da onda nece ni ovo, ali nisam siguran jer su cudno to napisali i nisam bas skuzio jel to jedna nasumicna trasformacija koju onda primijenjujemo na sve slike ili za svaku sliku imamo novu slucajnu transformaciju

Moguce da je nes od ovog krivo, pa nek me netko slobodno ispravi

tomekbeli420

Emma63194
pod 6 je ništa od toga, jer ovisi i o funkciji i o tome koja točka je u pitanju
Npr a = b će biti ako se gleda u stacionarnoj točki (tamo gdje je gradijent nula).
Još jedan primjer kad će se to uvijek desiti i kad se ne gleda stacionarna točka bi bila za skalarnu funkciju jedne varijable f (x) = x^2 čiji je gradijent \nabla f (x) = f ' (x) = 2x
Vrijedi za svaku točku x \in \mathbb{R} :
f \left(x - \nabla f (x)\right) = f \left(x - f^{\prime} (x)\right) = \left(x - 2x\right)^2 = (-x)^2 = x^2 = f(x)

E a ako se uzme npr f(x) = 2x^2 onda će vrijediti f \left(x - \nabla f (x)\right) \geq f(x) a ako se uzme f (x) = \frac{1}{2} x^2 onda će biti manje ili jednako

micho

indythedog 7 je da ako je miješanje konstantno, tj. svaki uzorak ima ispremiješane piksele na isti način.

Razlog tome je što linearni slojevi ne mogu detektirati prostorne značajke, pa je svejedno u kojem redoslijedu su podatci. Mreži je [1, 2, 3] isto krc ko i [2, 1, 3] ako su i druge značajne permutirane na iste pozicije, sam će težine biti različito razmještene po retcima/stupcima.

Potencijalno bi radilo i da se sve stalno nasumično promiješa al to je zato što je MNIST toliko lagan zadatak da je moguće dobiti ljudske performanse mrežom koja gleda samo jedan piksel. Trebalo bi probati.

Emma63194

tomekbeli420 pod 6 je ništa od toga

“Ništa od navedenog” nije bilo ponuđeno kao odgovor.

« Prethodna stranica