Claude Elwood Shannon (30. dubna 1916 – 24. února 2001) byl americký matematik, teoretik komunikace a kryptograf známý jako „otec teorie informace“.
Shannon je známý tím, že založil teorii informace jedním přelomovým papírem publikovaným v roce 1948. Je mu ale také připisováno založení jak teorie digitálního počítače, tak teorie návrhu digitálních obvodů v roce 1937, kdy jako 21letý student magisterského studia na MIT napsal diplomovou práci prokazující, že elektrická aplikace Booleovy algebry by mohla konstruovat a řešit jakýkoli logický, numerický vztah. Tvrdí se, že to byla nejdůležitější diplomová práce všech dob. Shannon přispěl do oblasti kryptoanalýzy během druhé světové války a poté, včetně základní práce o luštění kódů.
Shannon se narodil v Petoskey v Michiganu. Jeho otec Claude Sr (1862-1934), potomek raných osadníků z New Jersey, byl samorostlý podnikatel a po nějakou dobu i soudce pro pozůstalosti. Jeho matka Mabel Wolf Shannon (1890-1945), dcera německých přistěhovalců, byla učitelkou jazyků a řadu let ředitelkou Gaylord High School v Michiganu. Prvních 16 let Shannonova života strávil v Gaylordu v Michiganu, kde navštěvoval veřejnou školu, kterou absolvoval na Gaylord High School v roce 1932. Shannon projevoval sklon k mechanickým věcem. Jeho nejlepšími předměty byly věda a matematika a doma zkonstruoval taková zařízení jako modely letadel, rádiem řízený model lodi a bezdrátový telegrafní systém do domu přítele vzdáleného půl míle. Během dospívání pracoval jako poslíček pro Western Union. Jeho dětským hrdinou byl Thomas Edison, o kterém se později dozvěděl, že je vzdálený bratranec. Oba byli potomci Johna Ogdena, koloniálního vůdce a předka mnoha význačných lidí.
V roce 1932 nastoupil na Michiganskou univerzitu, kde absolvoval kurz, který ho seznámil s pracemi George Boolea. Absolvoval v roce 1936 se dvěma bakalářskými tituly, jedním z elektrotechniky a jedním z matematiky. Později začal svá postgraduální studia na Massachusettském technologickém institutu (MIT), kde pracoval na Vannevarově Bushově diferenciálním analyzátoru, analogovém počítači.
Při studiu složitých ad hoc obvodů diferenciálního analyzátoru Shannon viděl, že Booleovy koncepty mohou být využity k velkému užitku. Papír čerpaný z jeho diplomové práce z roku 1937, A Symbolic Analysis of Relay and Switching Circuits (Symbolická analýza relé a spínacích obvodů), byl publikován v roce 1938 v časopise Transakce Amerického institutu elektroinženýrů. Shannonovi také vynesl v roce 1940 cenu Alfreda Nobla Amerického institutu amerických inženýrů. Howard Gardner z Harvardovy univerzity Shannonovu diplomovou práci označil za „možná nejdůležitější a také nejslavnější diplomovou práci století“.
V této práci Shannon prokázal, že Booleova algebra a binární aritmetika by mohly být použity ke zjednodušení uspořádání elektromechanických relé pak používá v telefonních směrovacích přepínačích, pak rozšířil pojem a také prokázal, že by mělo být možné použít uspořádání relé k řešení problémů Booleova algebra. Využití této vlastnosti elektrických přepínačů k tomu, aby logika je základní pojem, který je základem všech elektronických digitálních počítačů. Shannon práce se stala základem praktického návrhu digitálních obvodů, když se stal široce známý mezi elektrotechniky komunity během a po druhé světové válce. Teoretická přísnost Shannon práce zcela nahradila ad hoc metody, které byly dříve převládaly.
Vannevar Bush navrhl, aby Shannon, zrudlý tímto úspěchem, pracoval na své disertační práci v Cold Spring Harbor Laboratory, financované Carnegie Institution v čele s Bushem, aby rozvíjel podobné matematické vztahy pro Mendelovu genetiku, což vyústilo v Shannonovu disertační práci z roku 1940 na MIT, An Algebra for Theoretical Genetics.
V roce 1940 se Shannon stal národním výzkumným pracovníkem v Institutu pro pokročilá studia v Princetonu v New Jersey. V Princetonu měl Shannon příležitost diskutovat o svých myšlenkách s vlivnými vědci a matematiky, jako byli Hermann Weyl a John von Neumann, a dokonce se občas setkal s Albertem Einsteinem. Shannon pracoval volně napříč disciplínami a začal formovat myšlenky, které by se staly teorií informací.
Shannon se pak připojil k Bell Labs, aby pracoval na systémech řízení palby a kryptografii během druhé světové války, na základě smlouvy se sekcí D-2 (sekce řídicích systémů) Výboru pro výzkum národní obrany.
Se svou ženou Betty se seznámil, když pracovala jako numerická analytička v Bellových laboratořích. Vzali se v roce 1949.
Na dva měsíce počátkem roku 1943 se Shannon dostal do kontaktu s předním britským kryptoanalytikem a matematikem Alanem Turingem. Turing byl vyslán do Washingtonu, aby se s kryptoanalytickou službou amerického námořnictva podělil o metody používané britskou vládní kódovací a šifrovací školou v Bletchley Parku k rozluštění šifer používaných německými ponorkami v severním Atlantiku. Zajímal se také o šifrování řeči a za tímto účelem trávil čas v Bellových laboratořích. Shannon a Turing se setkali při čaji v jídelně. Turing ukázal Shannonovi svůj zásadní dokument z roku 1936, který definoval to, co je dnes známé jako „univerzální Turingův stroj“, což na něj udělalo dojem, protože mnoho jeho myšlenek se doplňovalo s jeho vlastními.
V roce 1945, když se válka chýlila ke konci, vydávala NDRC jako poslední krok před svým případným uzavřením shrnutí technických zpráv. Uvnitř svazku o řízení palby se speciální esej s názvem Data Smoothing and Prediction in Fire-Control Systems, kterou společně vypracovali Shannon, Ralph Beebe Blackman a Hendrik Wade Bode, formálně zabývala problémem vyhlazení dat v řízení palby analogicky s „problémem oddělení signálu od rušivého šumu v komunikačních systémech“. Jinými slovy modelovala problém z hlediska zpracování dat a signálu a tím předznamenala příchod informačního věku.
Jeho práce o kryptografii byla ještě těsněji spjata s jeho pozdějšími publikacemi o teorii komunikace. Na konci války připravil pro Bell Telephone Labs utajované memorandum s názvem „Matematická teorie kryptografie“ ze září 1945. Odtajněná verze této práce byla následně publikována v roce 1949 jako „Teorie komunikace tajných systémů“ v Bell System Technical Journal. Tato práce obsahovala mnoho pojmů a matematických formulací, které se objevily i v jeho A Matematická teorie komunikace. Shannon řekl, že jeho válečné poznatky o teorii komunikace a kryptografii se rozvíjely současně a „byly tak blízko sebe, že je nešlo oddělit“. V poznámce pod čarou poblíž začátku utajované zprávy Shannon oznámil svůj záměr „rozvíjet tyto výsledky … v připravovaném memorandu o přenosu informací“.
V roce 1948 se slibované memorandum objevilo jako „Matematická teorie komunikace“, článek ve dvou částech v červencových a říjnových číslech Bell System Technical Journal. Tato práce se zaměřuje na problém, jak nejlépe zakódovat informace, které chce odesílatel přenášet. V této základní práci použil nástroje v teorii pravděpodobnosti, vyvinuté Norbertem Wienerem, které byly ve svých rodících se fázích, kdy byly aplikovány na teorii komunikace v té době. Shannon vyvinul informační entropii jako opatření pro nejistotu ve zprávě a zároveň v podstatě vynalezl oblast teorie informace.
Kniha, jejímž spoluautorem je Warren Weaver, Matematická teorie komunikace, přetiskuje Shannonův článek z roku 1948 a Weaverovu popularizaci, která je přístupná i neodborníkům. To byl první model komunikace a je známý jako Shannonův–Weaverův model
Shannonovy koncepty byly také zpopularizovány, s výhradou jeho vlastní korektury, v knize Johna Robinsona Pierce Symbols, Signals, and Noise (Symboly, signály a šum).
Zásadní přínos teorie informace pro zpracování přirozeného jazyka a výpočetní lingvistiku byl dále prokázán v roce 1951 v jeho článku „Prediction and Entropy of Printed English“, který dokazuje, že pojímání bílého prostoru jako 27. písmene abecedy ve skutečnosti snižuje nejistotu v psaném jazyce a poskytuje jasnou kvantifikovatelnou vazbu mezi kulturní praxí a pravděpodobnostním poznáním.
Další významnou prací publikovanou v roce 1949 je „Communication Theory of Secrecy Systems“, odtajněná verze jeho válečné práce o matematické teorii kryptografie, ve které dokázal, že všechny teoreticky nerozluštitelné šifry musí mít stejné požadavky jako jednorázová šifra. Je mu také připisováno zavedení teorie vzorkování, která se zabývá představováním spojitého signálu z (jednotné) diskrétní množiny vzorků. Tato teorie byla zásadní pro umožnění přechodu telekomunikací od analogových k digitálním přenosovým systémům v 60. letech a později.
Vrátil se na MIT držet dotované židle v roce 1956.
Mimo své akademické aktivity se Shannon zajímal o žonglování, unicycling a šachy. Vynalezl také mnoho zařízení, včetně raketových létajících disků, motorizované pogo tyče a plamenometné trumpety pro vědeckou výstavu[citace nutná]. Jedním z jeho humornějších zařízení byla krabice, kterou měl na stole a která se jmenovala „Ultimate Machine“ podle nápadu Marvina Minskyho. Jinak byla krabice bez tvaru, ale na boku měla jediný vypínač. Když byl vypínač přepnut, víko krabice se otevřelo a natáhla se mechanická ruka, vypínač vypnula a pak se stáhla zpět dovnitř krabice. Kromě toho sestrojil zařízení, které dokázalo vyřešit hádanku s Rubikovou kostkou.
Je také považován za spoluvynálezce prvního nositelného počítače spolu s Edwardem O. Thorpem. Zařízení bylo použito ke zlepšení šancí při hraní rulety.
Shannon přišel na MIT v roce 1956, aby se připojil k její fakultě a vykonával práci ve Výzkumné laboratoři elektroniky (RLE). Na fakultě MIT působil až do roku 1978. Na památku jeho úspěchů se konaly oslavy jeho práce v roce 2001 a v současnosti existuje šest Shannonových soch, které vytvořil Eugene L. Daub: jedna na Michiganské univerzitě; jedna na MIT v Laboratoři pro informační a rozhodovací systémy; jedna v Gaylordu v Michiganu; jedna na Kalifornské univerzitě v San Diegu; jedna v Bellových laboratořích; a další v AT&T Shannon Labs. Po rozpadu Bellova systému byla část Bellových laboratoří, která zůstala v AT&T, na jeho počest pojmenována Shannon Labs.
Robert Gallager označil Shannona za největšího vědce 20. století. Podle Neila Sloana, spolupracovníka AT&T, který v roce 1993 spolueditoval Shannonovu rozsáhlou sbírku prací, je perspektiva zavedená Shannonovou teorií komunikace (nyní nazývanou teorie informace) základem digitální revoluce a každé zařízení obsahující mikroprocesor nebo mikrořadič je koncepčním potomkem Shannonovy publikace z roku 1948: „Je to jeden z velkých mužů století. Bez něj by neexistovala žádná z věcí, které známe dnes. Celá digitální revoluce začala s ním.“
U Shannona se rozvinula Alzheimerova choroba a posledních pár let strávil v Massachusettském pečovatelském domě. Přežila ho jeho manželka Mary Elizabeth Moore Shannonová, syn Andrew Moore Shannon, dcera Margarita Shannonová, sestra Catherine S. Kayová a dvě vnučky.
Shannon byl nevšímavý k zázrakům digitální revoluce, protože jeho mysl byla zpustošena Alzheimerovou chorobou. Jeho manželka se v jeho nekrologu zmínila, že nebýt Alzheimerovy choroby, „byl by tím vším zmaten“.
Shannon a jeho slavná elektromechanická myš Theseus (pojmenovaná po Theseovi z řecké mytologie), kterou se snažil rozluštit bludiště v jednom z prvních experimentů s umělou inteligencí
Theseus, vytvořený v roce 1950, byla magnetická myš ovládaná reléovým obvodem, který jí umožňoval pohybovat se v bludišti o 25 čtvercích. Její rozměry byly stejné jako u průměrné myši. Uspořádání bludiště bylo flexibilní a dalo se libovolně upravovat. Myš byla navržena tak, aby hledala v chodbách, dokud nenajde cíl. Poté, co myš bludištěm prošla, byla umístěna tam, kde byla předtím, a díky svým předchozím zkušenostem mohla jít přímo k cíli. Pokud byla umístěna na neznámé území, byla naprogramována tak, aby hledala, dokud nedosáhne známého místa, a pak pokračovala k cíli a přidala nové poznatky do své paměti, čímž se učila. Shannonina myš byla zřejmě prvním umělým učebním zařízením svého druhu.
Shannonin počítačový šachový program
V roce 1950 Shannon publikoval práci o počítačovém šachu nazvanou Programování počítače pro hraní šachů. Popisuje, jak by mohl být stroj nebo počítač donucen hrát rozumnou šachovou partii. Jeho proces, kdy počítač rozhoduje o tom, který tah provede, je procedurou minimax, založenou na vyhodnocovací funkci dané šachové pozice. Shannon uvedl hrubý příklad vyhodnocovací funkce, ve které byla hodnota černé pozice odečtena od hodnoty bílé pozice. Materiál byl počítán podle obvyklé relativní šachové figurky relativní hodnoty (1 bod za pěšce, 3 body za rytíře nebo střelce, 5 bodů za věž a 9 bodů za královnu). Zvažoval některé poziční faktory, odečítal ½ bodu za každého zdvojeného pěšce, pěšce vzad a izolovaného pěšce. Dalším pozičním faktorem v vyhodnocovací funkci byla mobilita, přidával 0,1 bodu za každý dostupný legální tah. Nakonec považoval mat za zajetí krále a dal králi umělou hodnotu 200 bodů. Citace z papíru:
Hodnotící funkce je jasně pro ilustraci, jak uvedl Shannon. Například podle funkce by pěšci, kteří jsou zdvojení i izolovaní, neměli vůbec žádnou hodnotu, což je zjevně nereálné.
Spojení s Las Vegas: teorie informací a její aplikace pro teorii her
Shannon a jeho žena Betty také jezdívali o víkendech do Las Vegas s matematikem z M.I.T. Edem Thorpem a prováděli velmi úspěšné výpady v blackjacku pomocí typových metod teorie her, které společně vyvinuli s kolegou z Bellových laboratoří, fyzikem Johnem L. Kellym Jr. na základě principů teorie informace. Vydělali jmění, jak je podrobně popsáno v knize Fortune’s Formula od Williama Poundstona a potvrzeno spisy Elwyna Berlekampa, Kellyho výzkumného asistenta v letech 1960 a 1962. Shannon a Thorp také aplikovali stejnou teorii, později známou jako Kellyho kritérium, na akciový trh s ještě lepšími výsledky. Během desetiletí se Kellyho vědecká formule stala součástí běžné investiční teorie a nejvýznamnější uživatelé, známí a úspěšní miliardářští investoři Warren Buffett, Bill Gross a Jim Simons používají Kellyho metody. Warren Buffett se s Thorpem setkal poprvé v roce 1968. Říká se, že Buffett používá určitou formu Kellyho kritéria při rozhodování, kolik peněz vložit do různých podílů. Také Elwyn Berlekamp použil stejný logický algoritmus pro Axcom Trading Advisors, alternativní společnost pro správu investic, kterou založil. Berlekampovu společnost získal Jim Simons a jeho hedgeový fond Renaissance Technologies Corp v roce 1992, kde byly jeho investiční nástroje buď začleněny do (nebo v podstatě přejmenovány na) vlajkové lodi Renesance Medallion Fund.
Ale jak Kellyho původní dokument ukazuje, kritérium je platné pouze tehdy, když se investice nebo „hra“ hraje mnohokrát, se stejnou pravděpodobností výhry nebo prohry pokaždé a stejným výplatním poměrem.
Teorii využil také slavný MIT Blackjack Team, což byla skupina studentů a bývalých studentů z Massachusetts Institute of Technology, Harvard Business School, Harvard University a dalších předních vysokých škol, kteří používali techniky počítání karet a další sofistikované strategie, aby porazili kasina v blackjacku po celém světě. Tým a jeho nástupci úspěšně fungovali od roku 1979 do začátku 21. století. Mnoho dalších blackjackových týmů vzniklo po celém světě s cílem porazit kasina.
Techniky počítání karet Clauda Shannona byly vysvětleny v knize Bringing Down the House, nejprodávanější knize o Blackjack týmu MIT, kterou vydal v roce 2003 Ben Mezrich. V roce 2008 byla kniha adaptována do dramatického filmu s názvem 21.
Shannon zformuloval verzi Kerckhoffova principu jako „nepřítel zná systém“. V této podobě je znám jako „Shannonova maxim“.