[DUBUCE1] Gradivo

ErnestHemingway

debeli gmaz Piše da je višeslojni RNN

Tompa007

zna neko zasto se u c) podzadatku mnozi za 0.5 tezine ?

ppooww

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁 S obzirom na to da smo koristili dropout tijekom ucenja, trebamo to nekako uzet u obzir i prilikom testiranja tj. eksploatacije. Dropout u fazi testiranja se može aproksimirati skaliranjem tezina, u ovom slucaju sa 0.5 jer su s tom vjerojatnoscu dropoutani i podaci tijekom ucenja. Neka me netko ispravi ako sam u krivu.

Tompa007

pp A recimo da su razlicite vjerojatnosti po dimenzijama X kako bi onda rijesili to ?

ppooww

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁 Onda bi mnozio matricu s vektorom vjerojatnosti (npr. [0.5 0.8]) pretpostavljam. Al uzmi sve sto ja kazem sa zrnom soli, ne znam bas dobro sve to.

Tompa007

pp u pravu si

at5611

ZI 19/20 jel rjesenje 5.) [0.7454, 0.558] ?

ppooww

at5611 Meni je isto tako ispalo

Tompa007

Nisam skroz razumio ovaj zadatak,
imamo sigurno (h * h) + (x * h) + (y * h)
Kolege kazu da je x == y, jel zna neko zasto?
Onda vrijedi (hh) + 2(x*h)
e sad sta je nama X, jer X nije velicina vokabulara, odnosno x moze bit > ili < od V sta ne ?

Rene

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁 Ni meni nije jasno. Koliko kužim, izlaz (y) je 10-dimenzionalni jer je izlaz softmaksa pa zapravo daje vjerojatnosti za sve riječi u vokabularu, kojih je 10. Ne znam kako su odredili veličinu ulaza jer nigdje ne piše, moguće da se u tom labosu koji se spominje definirala veličina reprezentacija ali to mi je onda retardirano.

ppooww

Rene

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁 Mislim da je tu “trik” sto u pytorchu izlazni sloj nije dio RNN celije, pa se y ne ubraja u ukupne parametre.

Tompa007

Rene Sta mi uopce ovdje radimo, predvidamo sljedece slovo ? ako da onda je velicina izlaza = 1 isto, dost cudno zadan zadatak

indythedog

Inače, u vezi tih zadataka sa brojanjem parametara, ni meni nije bilo jasno jel se broji izlazni sloj ili ne, i ako se broji odakle nam dimenzija izlaza pa sam pitao Tuteka i rekao je da će u takvim zadacima, ako ih bude, uvijek biti napisano broji li se izlazni sloj ili ne, te ako se broji kolika je dimenzionalnost izlaza. Tako da u ZI ne bi trebalo biti problema oko toga

Rene

indythedog a dimenzionalnost ulaza? Hahaha ta je problematicna u ovom slucaju
Ne kuzim jel se moze nekako zakljucit iz ovoga sto pise ili treba i to pisat

indythedog

Rene Ja mislim da se njima taj zadatak nadovezivao na labos, pa su valjda trebali znati kolika je bila dimenzionalnost ulaza u labosu

Ne vidim što drugo bi moglo biti 🤔

Rene

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁 ne pa pise da je na izlazu softmaks, znaci dobijes distribuciju preko svih mogucih slova a velicina vokabulara je 10 pa valjda 10 slova
Al ulaz u onom dokumentu samo uzmu da je 10-dimenzionalni sto mi nikako nije jasno jer mogli smo koristit embedding proizvoljne dimenzije

Tompa007

ima neko ovog ?

InCogNiTo124

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁

za 1. je nesto tipa ovo:
\begin{align*} h_1 &= relu(w_1x_1 + x_2+x_3 + 1)\\ h_2 &= relu(x_1 + x_2+x_3 + 1)\\ y &= relu(w_2h_1+h_2+1)\\ L &= (y-y_t)^2\\ \frac{dL}{dh_1}&=2(y-y_t)\cdot \frac{\mathrm{d} relu(w_2h_1+h_2+1)}{\mathrm{d}h_1}=2(y-y_t)\cdot[[w_2h_1+h_2+1\gt 0]]w_2\\ \frac{dL}{dh_2}&=2(y-y_t)\cdot \frac{\mathrm{d} relu(w_1h_1+h_2+1)}{\mathrm{d}h_2}=2(y-y_t)\cdot[[w_2h_1+h_2+1\gt 0]] \end{align*}

\frac{d}{d w_2} sad je sad trivijalno iz predzadnjeg reda
\frac{d}{dx} te \frac{d}{dw_1} mislim da mozes sad i sam 🙃 ne da mi se vise

viliml

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁 InCogNiTo124 Čudno mi je što kažu “pragovi” umjesto (pretpostavljam) biasi. Bi li se to trebalo oduzeti umjesto zbrojiti? Ako se kao gleda kao “prag ReLU-a je 1”.
Je li se igdje drugdje koristila takva terminologija?

Tompa007

InCogNiTo124 Nice hvala ti sefe 🙂

Nez jel neko ovog mozda rjesavo,
Nije mi jasno kako ht je inicijalno [0 ,0, 0] a dolje imamo da nam je ht uvijek 1 ili manje, kako ce to ikada dati zbroj da su sva trojica dosla odnosno 3 - 2 = 1

InCogNiTo124

viliml dobro si to primjetio

Ja sam to vidio na par mjesta jer mi je segvic bio mentor pa znam da je prag == bias, i iako si tehnicki u pravu da bi se trebalo oduzet, konvencija je da se biasi samo zbrajaju

Daeyarn

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁 svaki clan ht moze biti ili 0 ili 1; ako tog ucenika nema onda ce na njegovom mjestu u skrivenom stanju biti 0, ako ga ima biti ce 1, a ako pokusa prevariti uciteljicu da ga pobroji vise puta onda ce nelinearnost min(ht, 1) osigurati da se on pobroji najvise jedanput, kada su sva tri ucenika prisutna, skriveno stanje je na kraju [1 1 1] i konacni izlaz mreze je o = Wyh * ht + by = [1 1 1] * [ 1 1 1] - 2 sto je 3 - 2 = 1

edit: spelling i to

« Prethodna stranica Sljedeća stranica »