Geralt of Rivia Kapacitet kanala ja maksimalna transinformacija kanala. Kad ti je zadana ta matrica prijelaznih vjerojatnosti, onda da bi izračunao transnformaciju, trebaju ti ulazne vjerjatnosti [P(x_i)]. I onda tražiš kada će biti, u ovisnosti o tim ulaznim vjerojatnostima, transifnormacija biti najveća. I najveća vrijednost koju dopiješ ti je kapacitet kanala C.
To ti upravo znači ova formula:
C = \text{max}_{P(x_i)} I(X,Y)
E sada u jednom tipu takvih zadataka imaš obično binarni kanal, i onda ulaznu distribuciju možeš zadati s jedim parametrom p. (P(x_1) = p, P(x_2) = 1-p). I onda kad to uvrstiš dalje i dođeš do izraza za I(X;Y), dobiješ da je I(X;Y) funkcija jedne varijable koja ovisi o p .
I onda tražiš maksimum na na standardni način kao u Matematici (Matematičkoj analizi) 1, tražiš prvu derivaciju da odrediš stacionarne točke, pa se onda s drugom uvjeriš da je to maksimum. Pazi naravno da ti p mora tada biti u intervalu [0,1] jer je to vjerojatnost.
U ovom zadatku imaš sada kanal s 5 ulaznih simbola, i ovaj gornji način neće baš proći (dobio bi funkciju s 4 varijable, i analiza toga nije baš jednostavna). No u ovom tvom rješenju se implicitno pretpostavlja da se maksimalna transinformacija postiže kada je ulazna entropoija najveća, odnosno kada je distribucija ulaznih simbola uniformna (dakle svi imaju jednaku vjerojatnost). Pa se izračuna transiformacija za te ulazne vjerojatnosti i jednostavno se kaže da je to najveća transinformacija tj. kapacitet kanala.
E sada, zašto se točno to tako može u ovom slučaju, ne znam (tj. ne znam kako opravdati taj račun). Sjećam da je, kad sam ja slušao TINF, Ilić rješavao tako neke zadatke i nije mi ni tada bilo jasno zašto je to tako.
