Kapacita kanálů

Kapacita kanálu je množství diskrétních informací, které lze spolehlivě přenášet kanálem. Dle věty o kódování šumových kanálů je kapacita kanálu daného kanálu limitující rychlostí přenosu informací (v jednotkách informace za jednotku času), které lze dosáhnout s mizivě malou pravděpodobností chyby.

Teorie informace, kterou vyvinul Claude E. Shannon v roce 1948, definuje pojem kapacity kanálu a poskytuje matematický model, pomocí kterého lze vypočítat maximální množství informací, které může kanál přenášet. Klíčový výsledek uvádí, že kapacita kanálu, jak je definována výše, je dána maximem vzájemné informace mezi vstupem a výstupem kanálu, kde je maximalizace vzhledem ke vstupnímu rozdělení.

Zde X představuje prostor přenášených zpráv, a Y prostor zpráv přijatých během jednotky času přes náš kanál. Dovolit je podmíněná funkce rozdělení pravděpodobnosti X dané Y. Budeme považovat za vlastní pevnou vlastnost našeho komunikačního kanálu (představující povahu šumu našeho kanálu). Pak společné rozdělení X a Y je zcela určena náš kanál a naší volbou , mezní rozdělení zpráv jsme se rozhodli poslat přes kanál. Za těchto omezení, bychom chtěli maximalizovat množství informací, nebo signál, můžeme komunikovat přes kanál. Vhodným opatřením pro to je vzájemná informace, a tato maximální vzájemná informace se nazývá kapacita kanálu a je dána:

Noisy channel coding theorem

Věta o kódování kanálů říká, že pro jakoukoli a pro jakoukoli rychlost menší než kapacita kanálu existuje kódovací a dekódovací schéma, které lze použít k zajištění toho, aby pravděpodobnost chyby bloku byla menší než pro dostatečně dlouhý blok zpráv . Také pro jakoukoli rychlost větší než kapacita kanálu, pravděpodobnost chyby bloku na přijímači jde k jedničce, protože délka bloku jde k nekonečnu.