[DUBUCE1] Gradivo

ppooww

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁
Zbrajaš i oduzimaš ReLU funkcije. Npr. za h10, u izrazu 1*(x-0), 1 označava nagib linearnog dijela ReLU funkcije, a 0 označava pregib ReLU funkcije. Potrebno je onoliko ReLU funkcija koliko ima ovih pregiba.

Primjer u Desmos-u za 1. zadatak iz MI 2017/2018 za prva 2 pregiba:

Cijelo rješenje: max(0, 2(x-0)) - max(0, 2(x-1)) + max(0, 4(x-2)) - max(0, 8(x-2.5)) + max(0, 4(x-3)) - max(0, 2(x-4)) + max(0, 2(x-5))

Tompa007

pp hvala ti, kako najefikasnije naci te funkcije? intuitivno bez desmosa mi je tesko graspati to

jel se mozda moze preko pravaca nekako pa transformirati u max funkcije, ili neki postupak koji bi mogao pratiti ?

ppooww

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁
Kad sam rješavao prvi put nacrtao bi prva dva ReLU-a i onda vidio kako im izgleda kombinacija. I onda bi dodao sljedeći ReLU i opet vidio kako izgleda kombinacija itd. Uglavnom je sve namještanje nagiba pravca.

matt

Može li netko objasniti kako da dođem do ovog izraza iz rješenja? Sve ostale gradijente sam uspio izraziti.
Zadatak 3 http://www.zemris.fer.hr/~ssegvic/du/exams/du21lab1.pdf

Ekvivaletni izraz iz http://www.zemris.fer.hr/~ssegvic/du/lab1.shtml:

edit rj:

neksi

jel ovo moramo znati? ne sicam se da sam viđa ovo po prezentacijama

Emma63194

filip Čini mi se da je profesor rekao da ćemo te mini-grupe obraditi kasnije i da to sada ne trebamo znati.

Tompa007

Emma63194 dakle prezentacija o optimizaciji ne ulazi u meduispit ?

Emma63194

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁 Ne, nismo to radili.

[obrisani korisnik]

Ima neko riješeno da si usporedim? Dala bih svoje rezultate ali me sram 😛.

Tompa007

[obrisani korisnik] mos pod a) podjelit ? 😃

Rene

[obrisani korisnik]

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁
Rjesio je cijeli taj ispit segvic na onoj snimci par postova gore

Tompa007

Rene da skuzio nakon sto sam poslo 😃

sta nije ovdje tu ovo krivo ?

I kaj nebi trebalo krenuti od kraja da se dode do ovog?
dL / dS2 = dL / dP * dP / dS2
sto je onda 1 / 1 - P * sigma(S2) * (1 - sigma(S2) i to je 0.66

Rene

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁

Tompa007

https://github.com/studosi-fer/DUBUCE/blob/master/ispiti/mi/2017-18/DUBUCE_2017-18_mi.pdf

ima neko ovaj meduispit rijesen mozda ?

lovro

Ima li neko rješenje 2. zadatka s meduispita 2017/2018?

kingD00

l123

sheriffHorsey

Nije mi jasno kod zadnjeg zadatka iz auditornih zadnji podzatadak, da je profesor isao po formuli pad(\mathbf{\frac{\partial L}{\partial \mathbf{q}}}, \lfloor k/2 \rfloor) * flip(\mathbf{w}) dimenzije od prvog dijela bi bile 5×1, a od drugog 3×1 pa bi rezultat konvolucije bio 3×1, a trebao bi biti 5×1. Jel meni nešto tu promaklo?

sheriffHorsey

sheriffHorsey skuzio sam u meduvremenu, ako nema paddanja kod unaprijednog prolaza onda se u unatražnom stavlja k-1 nula pa onda sve ima smisla

neksi

jel ima iko ovo riješeno?

indythedog

Zna li netko kako djeluje konvolucija kad iz npr. 2 ulazna kanala dobiva 1 izlazni kanal? Konkretno, radi se o 4. zad iz MI-2017, konvolucijski sloj 2 na ulazu prima 2 kanala, dakle 2 matrice, a na izlazu ima 1 kanal, dakle 1 matricu. Za obradu svakog ulaznog kanala ima po 1 matricu, to nije problem, međutim, kako se te matrice nakon obrade spoje? Je li se samo zbroje ili nešto drugo? Nisam našao nigdje drugdje primjer takvog rješenog zadatka

Konkretno,ovo je moje rješenje, nemam pojma je li dobro, pretpostavio sam da se rezultati konvolucija nad svakim kanalom zbrajaju:

micho

indythedog Isto se događa kao i kad radiš linearnu kombinaciju iz 2 dimenziju u 1; svaki umnožak filtera s uzorkom ti iz X ulaznih kanala daje Y izlaznih kanala kroz neku agregacijsku funkciju. Najčešće je to suma, ali teoretski može biti bilo koja agregacijska funkcija. Mislim da se na predmetu podrazumijeva suma, ali ne sjećam se da to igdje eksplicitno piše. U PyTorchu je to tako ako nisu nešto u međuvremenu mijenjali.

Da ne krenem filozofirati, evo ti link na kojem je to animirano: https://towardsdatascience.com/conv2d-to-finally-understand-what-happens-in-the-forward-pass-1bbaafb0b148

neksi

indythedog jel možeš slikat taj zadatak kad riješiš?

« Prethodna stranica Sljedeća stranica »