[PUS] Gradivo

tito

Zbog nedostatka ispita kreirat ću sebi neka svoja pitanja pa ću ih tu objavit. Ako možda još netko to želi radit neka slobodno objavi. To radim jer mi je zapravo teško odredit koliko zapravo znam samo ponavljajući po slidovima.

Zabe

tito imas mozda odgovore?

tito

prez 1 - distributed_file_systems
vjerojatno će mi motivacija s vremenom padat jer sam čovjek od krvi i mesa, pa ću se manje trudit. Osim toga moguće da su mi neka pitanja malo nejasna jer nisam pročitao šta sam napisao, ali uglavnom išao sam po prezentaciji pa će te se snać.

koja je glavna prednost distribuiranih sustava?
kako se može umanjiti problem kvarova čvorova?
navedi karakteristike dfs-a?
nabroji implementacije dfs-a?
s kojim se karakteristikama u umu izgradio GFS (Google file system)?
koje su pretpostavke čitanja i pisanja u umu imali tijekom izgradnje GFS-a?
za koje odluke u designu su se odlučili kod GFS-a?
na koji način i gdje se spremaju chunkovi (i koje su veličine)?
nacrtaj arhitekturu gfs-a.
kako umanjiti utjecaj uskog grla kod master noda i pada master noda?
koji podaci se spremaju na metadatu?
što je zapisano na master nodu?
za što se koriste logovi na masteru i što se radi s njima kada ih bude puno (i to što nastane u kojoj je strukturi podataka 🙂 )?
koje još operacije radi master s chunkovima osim spremanja njihovih lokacija u metadata?
kako se brišu chunkovi (garbage collection)?
objasni ili nacrtaj algoritam čitanja chunkova kod GFS-a
objasni ili nacrtaj algoritam pisanja chunkova kod GFS-a
što je prednost kod atomic record appenda?
opiši algoritam atomic record appenda.
razlika između consistent i defined regiona?
hoće li pisanje (write) biti defined i consistent u slučaju serijskog pisanja, a kakvo će biti kod konkurentnog pisanja?
kako može doći do nekonzistentnih regija prilikom record appenda (kod zapisivanja na replikama)?
zašto nisu neka područja zapisa defined na replikama kod concurent write-a?
kako se može postići dobar fault tolerance?
od kojih koponenti se hadoop file system sastoji?
koje su specifičnosti kod hadoop-a (razlike u odnosu na GFS)?
opiši ili nacrtaj postupak read-a kod hadoop-a?
opiši ili nacrtaj postupak write-a kod hadoop-a?

tito

prez 2 - map reduce 1

stay tuned (danas ću vjerojatno navečer samo još map reduce 2, a po nekom planu sutra do 15 bi trebao napravit i 4 i 5 prezu)

nactraj cluster architecture te što je rack?
kakva je brzina unutar rack-a, a kolika između rackova?
što je map reduce?
koji je storage infrastructure - File system kod map reduca?
koji je programming model kod map reduca 🙂 ?
čemu služi map u map reducu?
čemu služi reduce u map reducu?
što se dešava između map-a i reduc-a?
napiši programski map reduce za brojanje riječi koje imaju isti broj znakova.
koje su sve odgovornnosti radnog okvira map reduce?
tko i kako dodjeljuje inpute map-u?
tko dodjeljuje taskove workerima i koje vrste workera postoje?
gdje se zapisuju podaci nakon što su obrađeni s map-om i što se onda odvija s podacima?
kako reduce worker dođe do podataka?
koje podatke master ima kako bi mogao upravljat workerima?
kako master provjerava status workera?
što se radi u slučaju kvara za:
a) worker ne daje response
b) završeni map task (zašto se radi išta s njim kad je gotov? (to je pitanje, nije da ja ne znam))
c) worker u progresu
što se desi u slučaju da master fail-a?
što je to svojstvo lokalnosti (gdje se smještaju map taskovi na koje lokacije)?

tito

prez 3 - map reduce 2

tip: ako ponavljate već po ovim pitanjima, možda bi bilo dobro da u tipa drugoj rundi izbacite pitanja koja ste već sa sigurnošću dobro odgovorili
tip2: google je nekad jasniji od prezentacija 🙂

kakav omjer map i reduce taskova treba biti u odnosu na worker-e (i zašto treba biti takav omjer)?
što je “straggler”?
što mapreduce poduzme kada task traje dugo?
kako se odredi broj reduce taskova?
što je partitioning function i koja mu je defaultna vrijednost?
kako mapreduce postupa s zapisima koji izazivaju greške?
čemu služi combiner funkcija?
kako pomnožiti vektor s matricom, ako vektor stane u memoriju?
kako pomnožiti vektor s matricom, ako vektor ne stane u memoriju?
napiši map reduce (ili opiši) za množenje 2 matrica.
prilikom iterative message passing-a kako se updata stanje (state) kod svakog čvora u grafu?
kakvi tipovi zadataka se mogu spretno riješavati s mapreducom?
kako se povezuju dvije tablice s natural joinom?
za kakve zadatke map reduce nije stvoren?

tito

Zabe
ne, a to bi mi uzimalo više vremena, a mislim da možeš sve nać u prezama donekle brzo i na taj način ćeš više naučit

tito

prez 4 - reliable distributed applications

što je pouzdanost (reliability)?
zašto se moramo osigurati od fault toleranca?
nacrtaj i opiši single-version fault tolerance model.
kako se postiže redudancija kod multi-version fault tolerance modela?
koje se strategije koriste kod multi version -||-?
kolika je pouzdanost kod recovery block strategije?
kako se odlučuje o instanci komponente u n-version programming strategiji?
kada se može postići kocenzus?
što je opasno kod bizantskog ispada?
objasni kako se može osigurati od bizantskog ispada.
što je to FPL imposibility?
kakvo je to bivalentno stanje?
kroz primjer objasni zašto se ne može postići koncenzus kod asinkronog procesa koji uvijek terminira.
što paxos algoritam/protokol mora žrtvovati kako bi mogao postići asinkroni koncenzus?
koliko se procesa treba slagat oko dogovora vrijednosti da bi se postigao koncenzus?
koliko paxos treba procesa da se opravi od F failure procesa?
nabroji faze u paxos protokolu.
opiši postupak odabira vođe u paxos-u.
kako se sinkronizira tijekom procesa propozicije vrijednosti?
što se dešava u fazi čitanja?
u kojem trenutku je zapravo koncenzus donesen?
što se dešava u slučaju kvara
a) običnog procesa
b) vođe
c) ispada poruka
koji programi / frameworci koriste paxos?
je li znate slične algoritme paxos-u ili neke druge pristupe raspodijeljenim koncenzusima?

vuk172

Evo postoji i nekakav docs https://docs.google.com/document/d/1ePzhHYvwooawGXjVcfnvR6ODdwN1EaHN/edit

tito

Emma63194

vuk172 ovdje neki zapisuju odgovore na pitanja🙂

tito

prez 5 - service selection alghoritm

a nisu ova pitanja savršena, kao ni prezentacije 😆

kakva je to SOA arhistektura?
nabroji neka ne funkcionalna svojstva i navedi drugi naziv za to?
o čemu sve ovisi QoS?
što se treba napraviti kako bi se efektivno prikazao plan izvođenja zadataka?
kojim postupcima se može odlučiti koje servise se treba pozvati?
kako se predviđa kvaliteta usluge?
nabroji algoritme za odabir sevisa s ograničenjima.
koji je problem s greedy algoritmom kod odabira servisa?
kako se može ubrzati postupak mixed integer programming?
kojim algoritmom se rješava assignment problem i u kakvom se grafu postavi problem?
koje su limitacije dosadašnjih algoritama za odabir servisa s ograničenjem?
koji algoritam rješava neke od prethodnih problema?
koji su neki od važnijih problema koje rješava SS-TSM algoritam?
što su EI© i QoS© i kako izgleda formula ukoliko dolazi do grananja?
opiši otprilike postupak za rješavanje transportacijskog problema sa SS-TSM-om.
kako poboljšat ne zadovoljenu kvalitetu usluge s SS-TSM-om?

Emma63194

tito Jesi zapisao možda odgovore na ta pitanja? Prošla sam prezu, ali ne mogu naći odgovore na sva pitanja.

Emma63194

tito Ma vidim, da, ali čini mi se da je većini dosta nejasan taj dio.

tito

Emma63194
koliko sam vidio možda je većinu zbunilo ovo pitanje, možda sam malo lošije sročijo pitanje

kroz primjer objasni zašto se ne može postići koncenzus kod asinkronog procesa koji uvijek terminira.

trebao sam dodat u pitanje i da u sustavu postoji jedan faulty proces. Ali uglavno želio sam dokaz za FPL imposibility što ima na 30 i 31 slajdu.
Osim toga nije nešto bilo puno upitnika

tito

Neznam koliko ću imati motivacije za završni ispit, ali opet ću probat slagat neka pitanja.

apache spark

što je big data (koja ga svojstva opisuju)?
na čemu je sagrađen apache spark, tj. koju tehnologiju apache spark koristi?
za kakve zadatke je spark namjenjen?
što iskorištava apache spark od hadoop-a?
kako se mogu deployat-i spark programi
koje su komponente spark-a?
što je rdd?
glavna svojstva rdd-a? (crvene riječi na slidovima)
kako su rdd-ovi fault-tolerantni
što je to spark lazy evaluation?
kako directed acyclic graph schedueler izvodi akcije?
nacrtaj iterativne i interaktivne operacije na mapreducu te označi čitanje i pisanje na hdfs-u
koliko ima čitanja i pisanja sa HDFS-a kada se koristi spark rdd i koja je prednost kada se koristi spark rdd?
što je Dstream?
za što se može koristit graphx?

tito

keras i flask

što je keras?
koje resurse može koristiti keras?
koja su glavna svojstva keras-a?
koje neuronske mreže se koriste?
u kojem filu se mogu pronaći konfiguracije za keras?
koja dva glavna api-a postoje u kerasu?
što su inicijalizatori (initializer)?
Nabroji neke aktivacijske funkcije.
nabroji neke optimizatore (optimizers).
čemu služi funkcija gubitka (loss function)?
što je regularizacija?
što je metrika?
što su callback functioni i zašto ih koristimo?
za što koristimo konvolucijske mreže i što konvolucijske operacije detektiraju?
za što se koriste sekvencijski modeli?
što definira model?
kako model može biti trajan, tj. persistant?
što je flask?

tito

devops

što je devops?
kada koristit devops?
što radi verzija kontrole?
kakve vrste verzije kontrole postoje?
nabroji neke verzijje kontrole.
što je git?
koje lokacije potoje u git-u?
s kojom naredbom ćeš povući ppromjene s remote reposzitorija u lokalni repozitorij?
objasni pojmove continous delivery i continous deployment?
nabroji neke cdd sisteme.
u čemu možemo definirati pipelineove?
koje su prednosti virtualizacijje software-a, tj. software virtualization?
koje vrste virtualizacije programa postoje?
što je docker, a što je kontejner?
koja je razlika između docker kontejnera i virtualnih mašina?
koja je razlika između docker slike i docker kontejnera?
kojom naredbom se može uništiti docker kontejner?
čemu služi docker repozitorij?
što je docker file, a što je docker compose?
čemu služi kubernetes?
koje su prednosti kubernetes-a?
od kojih čvorova se kuberenetes sastoji?
čemu služi api-server, a čemu controller manager kod kuberenetes master-a?
čemu služi kubelet, a što cAdvisor kod kuberenetes minion noda?

tito

bigtable

nabroji neka svojstva tablice u bigtablu.
kako se organiziraju (sortiraju) zapisi (row-ovi) u bigtablu?
koja je razlika između table-a i tablet-a?
gdje su spremljeni tableti, tj. u kojem spremištu ili usluzi?
što je column family, a što column qualifier?
je li može biti više vrijednosti u presjeku reda i stupca i ako da kako se označuju?
kako cloud bigtable node pristupa tablet-u?
koja je razlika između SSTabla i memtabla?
s čega se prvo čitaju podaci s SSTabla ili memtabla?
što je instanca u bigtablu?
koje su odgovornosti node-a?
ako korisnici znaju row podatka, kako klijenti saznaju lokaciju podatka?
čemu služi lock service chubby?
objasni malo proces membership managment-a od strane master-a.
što master čvor radi kada se upali?
koji su zadaci master server-a?
za što se može koristiti bigtable?

tito

graph database

kakva je to baza podataka temeljena na grafovima?
kakvi tip grafa je najčešće korišten za graph database?
koja su svojstva labeled property graph-a?
što je to OLTP system?
kakav je native graph storage, a kakav native processing engine?
što znači index-free adjacency?
na koji način se mogu procesirati algoritmi (type of graph compute engine)?
što su tripleti?
kakvi su graph storage i processing engine kod triple store-a?
što je hyperedge i za kakve vrste veza je pogodan (veza u er diagramu)?
za kakve slučajeve je dobro koristiti relational database, noSQL i graph database?
zašto graph databasi imaju prednost kod performanca, flexibilitya i agility-a?
za koje vrste aplikacija je dobro koristiti graph database?

tito

kafka stream

koje su prednosti kafke?
za što se kafka može koristiti?
nacrtaj event-driven architecture.
u kojim programskim jezicima se mogu iskoristiti funkcionalnosti apache kafke?
što je topic?
kako se poruka dodijeli particiji kada ima ključa i kada nema ključa?
što predstavlja offset broj?

8-15. Tko od navedenih: broker, zookeeper node, producer, consumer

odlučuje koja poruka se dodjeljuje kojoj particiji unutar topic-a
je posrednik između producer-a i consumer-a
koordinira consumere kako bi uravnotežili opterečenje konzumiranja poruka
je repozitorij konfiguracije
je izvor podataka
sprema metadatu broker-a
sprema poruke na disk
čita podatke s topic-a

koja je prednost consumer grupe?
čemu služi kafka connect?
koje su odlike log-based arhitekture kod kafke?

Ellie

Jel netko krenuo možda u neki docs odgovarati na pitanja da ne pravimo duplo?

chuuya

Ellie https://docs.google.com/document/d/1Pi9c9mEcz8csq1-GvSi_OYfFNLzoRN3Yr_Ly7emDV1g/edit?usp=sharing evo somewhat odgovorena pitanja, i did my best, ali ne garantiram da je sve točno

Sljedeća stranica »