Par stvarčica koje vam se mogu dogodit (meni su se dogodile i izgubio sam par sati na njima).
Prva stvar:
Nažalost morate imati barem 10% diska na kojem vam se vrti hadoop slobodno. To su već ljudi spomenuli ovdje, ali ja sam malo kasno primjetil. Znači ako nakon što pokrenete naredbu hadoop jar VideoCount.jar VideoCount input/ output/ vam se pojavi sljedeće:
A nikako vam se nakon toga (trebalo bi unutar 10-20 sekundi) ne pojavi ovo (tj. program cijelo vrijeme stoji na istom, ne završava):
Onda krenite s brisanjem bloatwera kojeg ste skupili tijekom svog školovanja na feru (sve dok ne dođete do barem 10% slobodne ukupne memorije diska na kojem vam se vrti hadoop).
Druga stvar:
Pazite što vam se događa s datanode prozorčićem koji vam iskoči kada pokrenete start-dfs.cmd! Meni bi se pokrenulo, i ond bi se nakon nekih 20ak sekundi dogodio shutdown nodea. To nisam ni primjetio dok nisam otišao malo gore i vidio da imam java.io.IOException: Incompatible clusterIDs error. Znači izgleda vam otprilike ovak:
java.io.IOException: Incompatible clusterIDs in /Users/…/hadoop/yarn_data/hdfs/datanode: namenode clusterID = CID-XXX; datanode clusterID = CID-YYY
(umjesto XXX-a i YYY-a će te imati dugačke id-jeve)
onda samo umjesto funkcije
hadoop namenode -format
koristite funkciju
hadoop namenode -format -clusterID CID-YYY
(znači id ovog drugog navedenog u erroru)
