cajaznun Znaci polunaivan bayesov klasifikator je slican kao naivan Bayesov klasifikator. Znaci rastavlja P(x_1, x_2, x_3, y) = P(y) P(x_1 \mid y) P(x_2 \mid y) P(x_3 \mid y) ako su sve varijable uvjetno nezavisne. Ako nisu, onda te zdruzi, npr recimo da su x_2 i x_3 uvjetno zavisne onda bi zajednicka vjerojatnost bila: P(x_1, x_2, x_3, y) = P(y) P(x_1 \mid y) P(x_2, x_3 \mid y)
Problem koji se dogadja je da je tesko odrediti koje su varijable uvjetno zavisne i onda postoje razliciti postupci objasnjeni u skripti da sad ne ulazim u detalje. U zadatku kaze da su varijable uvjetno zavisne ako je I(x_i, x_j) > 0.01 tj. uzajamna informacija veca od 0.01. Sad samo treba izracunati I za svaki par i vidjeti koji su parovi zavisni. Njih cemo zdruziti u faktorizaciji P(x_1, x_2, x_3, y) poslije.
I(X, Y) se računa kao \sum{P(X, Y) ln \frac{P(X, Y)}{P(X)P(Y)}} za svaku vrijednost X i Y.
Primjerice:
I(x_1, x_2) = P(x_1=0, x_2=0) ln \frac{P(x_1=0, x_2=0)}{P(x_1=0)P(x_2=0)} +P(x_1=0, x_2=1) ln \frac{P(x_1=0, x_2=1)}{P(x_1=0)P(x_2=1)} +P(x_1=1, x_2=0) ln \frac{P(x_1=1, x_2=0)}{P(x_1=1)P(x_2=0)}+P(x_1=1, x_2=1) ln \frac{P(x_1=1, x_2=1)}{P(x_1=1)P(x_2=1)}
Ne da mi se sad raspisivat dalje detaljno, al iz tablice se mogu odrediti P(x_1, x_2) za svaki par vrijednosti. Npr za (0, 0) samo zbroji kad su x_1, x_2 = 0 za svaki x_3. Slicno i za P(x_1), samo se zbroje sve vrijednosti za svaki x_2 i x_3
Ako je ovo isti zadatak kao u zadacima za vjezbu, dobije se:
I(x_1, x_2)=0.00513164
I(x_1, x_3)=0.03
I(x_2, x_3)=0.00513
iz cega slijeda da su varijable x_1 i x_3 zavisne i faktorizacija je P(x_1, x_2, x_3, y) = P(y) P(x_2 \mid y) P(x_1, x_3 \mid y)
