[DUBUCE] Gradivo

MJ3

tonkec meni ovo i dalje znači da se srednja vrijednost i stdev za eksploataciju trebaju računat pomoću srednjih vrijednosti svih pojedinih batcheva i njihovih stdev-a (izračunatih prilikom učenja)

narval13068

Jel ima itko link na ispit MI 2019 s konzultacija

Yasuke

Dima
http://www.zemris.fer.hr/_ssegvic/du/exams/mi19.pdf

peaceko

Bono

Nisam mogao bit na tim konzultacijama gdje se rjesavao MI 2019, ima li itko mozda rjesenja tog ispita?

Yasuke

peaceko Ima u temi o predmetu link na snimku auditornih.

member

Jel bi mogao netko pokazat kako doć do p jer ne razumijem zašto je WA = [[-1,1]] tako prikazana? Zašto W nije dimenzija 2xhidden?

micho

member Mislim parametri su ti doslovno napisani, samo ih pobrojiš na papiru 😅

Yasuke

Iz MI 2016, jel izracunao neko dimenzije slike? Meni ispadne 8×12, al nisam baš siguran da je dobro?

micho

Bono
Po meni:

spljošteni tenzor ima 8 značajki, vidljivo iz W
2×2 max pool reducira 4 značajke u jednu, dakle prije maxpoola je bilo 8*4 = 32 značajke
2 jezgre znači 2 kanala, što znači da su 32 značajke zapravo 16 + 16 značajki, tj. da jedna jezgra obavlja 16 operacija hadamardovog množenja
e sad, tu je problem, 16 operacija hadamardovog množenja može biti 1×16, 2×8, 4×4, 8×2 ili 16×1, tak da ima 5 rješenja:
- 3 x (3 + 15) = 3 × 18
- (3 + 1) x (3 + 7) = 4 × 10
- (3 + 3) x (3 + 3) = 6 × 6
- (3 + 7) x (3 + 1) = 10 × 4
- (3 + 15) x 3 = 18 × 3

Iz ovog b) dijela bi se dalo zaključiti da je riješenje 2., 3., ili 4. ponuđeno, jer 1. i 5. ne može biti zbog dimenzija.

antesha

M̵̧̩͑̀͝î̶͍̉ć̴̝̾́̀o̶̺̟̣͂̽
Napisano je da su jezgre 3×3 dimenzija, i kako su ih dvije to znači da je svaka od njih proizvela mapu 4×4
što bi dalje značilo da je je izvorna slika bila 6×6 dimenzije

micho

antesha Ne mora biti nužno 4×4 feature mapa, spljošćivanje ti je ubilo informaciju o omjerima visine i širine, može konvolucija proizvesti i 1×16, 2×8, 8×2 i 1×16 feature mape

Iako vidim da sam sjebao, 1×16 i 16×1 ne može biti zbog 2×2 maxpoola, al opet, to su ti 3 rješenja.

EDIT: S tim da ak je ovaj max pool s pomakom 1, onda bi dobio da je slika bila sačinjena od 8 značajki po jezgri pa bi praktički moralo biti 2×4 ili 4×2 množenje, tj. 4×6 ili 6×4 slika. Tak da ima puno pitanja za šetače u ovom zadatku.

BigD

Što radi konvolucijski sloj ako ima više kanala izlaza nego ulaza? Konkretno MI 2017 zad 4 drugi conv ima 2 ulazna kanala i 1 izlazni i ima 2 jezgre. Ako konvoluira jednu jezgru s jednim ulazom onda nam još uvijek preostaju 2 izlaza. Kako ih pretvoriti u 1 kanal?

micho

BigD Niš posebno, obično matrično množenje

Težine su ti oblika (out_channels, in_channels, kernel_size, kernel_size)

Ak misliš kak se dogodi in_channels -> out_channels transformacija, pa za svaki out_channel se feature mape in_channela sumiraju.

Znači u slučaju gdje ti imaš Conv2D(2 in, 1 out, 3×3), imat ćeš 2 jezgre (tj. imat ćeš 1 grupu koja ima 2 kernela). Svaka ta jezgra ide na zaseban kanal ulaza i daje zasebnu mapu značajki. I onda se te mape značajki sumiraju i dobiješ mapu istih dimenzija samo s 1 kanalom, i to ide na izlaz.

EDIT: Tu ti je to malo slikovitije opisano

Koalalica

MI 2017./2018. 3. e) zna netko?

micho

zaba Micanje softmaxa jedino ne utječe na kapacitet po meni, i to samo zato što je klasifikacijski zadatak.

ako makneš ReLU, ubila si jedan sloj kapaciteta jer sad imaš ekspresivnost jednog linearnog sloja
ako zamijeniš ReLU s npr. tanh, povećat ćeš kapacitet modela
ako makneš ijednu matricu ili pomak smanjila si ekspresivnost modela
- micanjem matrice si praktički ubila sloj jer se ne može preslikati u (jako) različiti hiperprostor
- micanjem pomaka si se pobrinula da ti je sad sve centrirano oko nule u tom sloju

Kad zadatak ne bi bio klasifikacijski, onda bi ti i micanje softmaxa utjecalo na kapacitet, povećalo bi ga. To jest, točnije bi bilo reći da bi ga potencijalno povećalo, a potencijalno smanjilo, ovisno o tome nad kakvim brojkama radiš regresiju. Kapacitet bi ostao isti jedino ako bi radila mapiranje \vec{x} \in R^n \rightarrow \vec{y} \in R^m gdje \sum{\vec{y}} = 1, jer je to upravo ono što softmax radi, pa bi ti se težine samo namještale da se prilagode eksponencijalnoj funkciji.

[obrisani korisnik]

zaba Slažem se s kolegom M̵̧̩͑̀͝î̶͍̉ć̴̝̾́̀o̶̺̟̣͂̽ . Micanjem softmax-a ćeš na izlazu dobiti nenormalizirane vjerojatnosti, odnosno klasifikacijske mjere. Primjeti, to si imala u prvoj laboratorijskoj vježbi gdje se na ulaz u CELoss očekuje upravo nenormalizirane klasifikacijske mjere. Softmax nam samo omogućava da to interpretiramo kao vjerojatnosti i da, budući da imamo one-hot encodirane ispravne klase, iskoristimo cross entropy kao usporedbu dobivene i očekivane distribucije.

InCogNiTo124

M̵̧̩͑̀͝î̶͍̉ć̴̝̾́̀o̶̺̟̣͂̽ ako zamijeniš ReLU s npr. tanh, povećat ćeš kapacitet modela

Otkud ovo? Po meni je isti kapacitet s obje

micho

InCogNiTo124 ReLU ubija informaciju u negativnim značajkama, tanh ne

U praksi ćeš imati slične performanse mreže, tanh obično bolje (ali sporiji trening i inference), ali kod tanh jednostavno nemaš mrtve neurone koji ti smanjuju ekspresivnost, sam trebaš paziti na numeričku stabilnost i nestajuće gradijente, što nije vezano uz ekspresivnost.

Ovo nije slučaj kod samoregujućih relu varijanti, koje ne uništavaju info u negativi, one su čak po nekim eksperimentima veće ekspresivnosti, al iskreno znam premalo matematike da bih mogao reći jel to istina il ne.

[obrisani korisnik]

InCogNiTo124 Možda zato što ReLU ima problem dying neurona pa služi kao regularizator. Čime efektirvno smanjuješ kapacitet modela

« Prethodna stranica Sljedeća stranica »