Connekcionismus je přístup v oblastech umělé inteligence, kognitivních věd, neurověd, psychologie a filozofie mysli. Connekcionismus modeluje duševní nebo behaviorální jevy jako vznikající procesy propojených sítí jednoduchých jednotek. Vycházel z předpokladu, že veškeré učení a chování odráží paradigma podnět-reakce a právě tato spojení tvoří základ větších jednotek.
Existuje mnoho různých forem konektonismu, ale nejčastější formy využívají modely neuronových sítí.
Ústředním konektionistickým principem je, že mentální jevy mohou být popsány propojenými sítěmi jednoduchých jednotek. Forma spojení a jednotek se může lišit model od modelu. Například jednotky v síti mohou představovat neurony a spojení mohou představovat synapse. Jiný model může udělat z každé jednotky v síti slovo a z každého spojení označení sémantické podobnosti.
Většina konektionistických modelů zahrnuje čas, tzn. že se síť mění v čase. Úzce příbuzným a extrémně častým aspektem konektionistických modelů je aktivace. Kdykoliv má jednotka v síti aktivaci, což je číselná hodnota, která má reprezentovat nějaký aspekt jednotky. Například pokud jsou jednotky v modelu neurony, aktivace by mohla reprezentovat pravděpodobnost, že neuron vygeneruje špičku akčního potenciálu. Pokud je model šířícím se aktivačním modelem, pak se v průběhu času aktivace jednotky rozšíří na všechny ostatní jednotky, které jsou k ní připojeny. Šíření aktivace je vždy rysem neuronových síťových modelů a je velmi časté v konektionistických modelech, které používají kognitivní psychologové.
Hlavní článek: Nervové sítě
Neurální sítě jsou dnes zdaleka dominantní formou konektionistického modelu. Mnoho výzkumů využívajících neuronové sítě se provádí pod obecnějším názvem „konektionista“. Tyto konektionistické modely se drží dvou hlavních principů týkajících se mysli:
I když existuje velké množství modelů neuronových sítí, velmi zřídka se odchylují od těchto dvou základních principů. Většina rozmanitosti pochází z:
Spojovatelé se shodují v tom, že rekurentní neuronové sítě (sítě, v nichž mohou spojení sítě tvořit řízený cyklus) jsou lepším modelem mozku než napajedlové neuronové sítě (sítě bez řízených cyklů). Spousta rekurentních konektionistických modelů zahrnuje i teorii dynamických systémů. Mnoho výzkumníků, například konektionista Paul Smolensky, argumentovalo, že směr konektionistických modelů bude směřovat k plně kontinuálním, vysokodimenzionálním, nelineárním, dynamickým systémovým přístupům.
Spojovatelé obecně zdůrazňují důležitost učení ve svých modelech. Výsledkem je, že spojovatelé vyvinuli mnoho sofistikovaných učebních postupů pro neuronové sítě. Učení vždy zahrnuje modifikaci spojovacích vah. Ty obvykle zahrnují matematické vzorce pro určení změny vah při dané množině dat skládající se z aktivačních vektorů pro nějakou podskupinu neuronových jednotek.
Formalizací učení takovým způsobem mají konektionisté k dispozici mnoho nástrojů. Velmi častou taktikou v konektionistických metodách učení je začlenění sestupu gradientu přes chybovou plochu v prostoru definovaném váhovou maticí. Veškeré učení sestupu gradientu v konektionistických modelech zahrnuje změnu každé váhy částečnou derivací chybové plochy vzhledem k váze. Zpětné šíření, které se poprvé stalo populárním v 80. letech, je dnes pravděpodobně nejznámějším konektionistickým sestupovým algoritmem.
Konekcionismus lze vysledovat až k myšlenkám starým více než sto let. Nicméně konektionistické myšlenky byly až do poloviny 20. století jen o málo více než spekulace. Až v 80. letech se konektionismus stal populární perspektivou mezi vědci.
Paralelní distribuované zpracování
Komplexní programy paralelního distribuovaného zpracování, jako je PDP++ zde, mohou mít za následek výkonné simulace
Převládající konektionistický přístup byl původně znám jako paralelní distribuované zpracování (PDP). PDP byl přístup neuronové sítě, který zdůrazňoval paralelní povahu neuronového zpracování a distribuovanou povahu neuronových reprezentací.
PDP poskytla výzkumným pracovníkům obecný matematický rámec, v němž mohli působit. Rámec zahrnoval osm hlavních aspektů:
Těchto osm aspektů je dnes základem téměř všech konektionistických modelů.
Mnoho výzkumů, které vedly k vývoji PDP, bylo provedeno v sedmdesátých letech, ale PDP se stalo populárním v osmdesátých letech vydáním knihy Parallel Distributed Processing: Explorations in the Microstructure of Cognition – Volume 1 (foundations) & Volume 2 (Psychological and Biological Models) od Jamese L. McClellanda, Davida E. Rumelharta a výzkumné skupiny PDP. Ačkoli jsou dnes knihy považovány za zásadní konektionistická díla, termín „konektionismus“ nebyl v té době autory použit k popisu jejich rámce. Nicméně je dnes běžné plně srovnávat PDP a konektonismus.
Přímými kořeny PDP byly teorie perceptronu badatelů, jako byl Frank Rosenblatt z 50. a 60. let. Nicméně modely perceptronu byly velmi nepopulární vydáním knihy Perceptrons Marvina Minskyho a Seymoura Paperta v roce 1969. Minsky a Papert elegantně demonstrovali limity na druhy funkcí, které perceptrony mohou vypočítat, a ukázali, že ani jednoduché funkce jako výlučná disjunkce nemohou být správně zpracovány. Knihy PDP překonaly toto dřívější omezení tím, že ukázaly, že víceúrovňové, nelineární neuronové sítě jsou mnohem robustnější a mohou být použity pro obrovské množství funkcí.
Nicméně mimo teorie perceptronu existovalo mnoho badatelů, kteří obhajovali modely konektionistického stylu před 80. lety.
Ve čtyřicátých a padesátých letech badatelé jako Warren McCulloch, Walter Pitts, Donald Hebb a Karl Lashley obhajovali teorie konektionistického stylu. McCullough a Pitts ukázali, jak může být logika prvního řádu implementována nervovými systémy: jejich klasická práce „A Logical Calculus of Ideas Immanent in Nervous Activity“ (1943) je důležitá v tomto vývoji (byli ovlivněni důležitou prací Nicolase Rashevského ve třicátých letech). Hebb výrazně přispěl ke spekulacím o nervovém fungování, a dokonce navrhl princip učení, který se používá dodnes, známý jako Hebbovo učení. Lashley argumentoval distribuovanými reprezentacemi v důsledku toho, že se mu nepodařilo najít něco jako lokalizovaný engram v letech experimentů s lézemi.
Connekcionismus na rozdíl od PDP
Ačkoli PDP je dominantní formou konektionismu, práce jiných teoretiků by měla být klasifikována jako konektionismus.
Mnoho konektionistických principů lze vysledovat až k raným pracím v psychologii, jako je práce Williama Jamese, i když je třeba zdůraznit, že psychologické teorie založené na tom, co bylo tehdy známo o lidském mozku, byly na konci 19. století docela módní. Již v roce 1869 neurolog John Hughlings Jackson argumentoval pro víceúrovňové, distribuované systémy. Z tohoto vodítka pak vycházely Herbert Spencerovy Principy psychologie, 3. vydání (1872) a Projekt vědecké psychologie Sigmunda Freuda (složený 1895) s návrhy konektionistických nebo proto-konektionistických teorií. Nicméně tyto teorie měly tendenci být spekulativními teoriemi. Ale na začátku 20. století Edward Thorndike prováděl experimenty s učením, které předpokládaly konektionistickou typovou síť.
V 50. letech badatel Friedrich Hayek vyslovil myšlenku spontánního řádu v mozku vznikajícího z decentralizovaných sítí jednoduchých jednotek, ale Hayekova práce nebyla v literatuře PDP až donedávna citována.
Další formou konektionistického modelu byl relační síťový rámec vyvinutý lingvistou Sydney Lambem v 60. letech. Relační sítě byly vždy používány pouze lingvisty a nikdy nebyly sjednoceny s přístupem PDP. V důsledku toho relační sítě dnes používá jen velmi málo výzkumníků.
Diskuse o konektionismu vs. computationalismu
Jak se konektionismus stával na konci 80. let stále populárnějším, objevila se reakce proti konektionismu ze strany některých badatelů, včetně Jerryho Fodora, Stevena Pinkera a mnoha dalších. Tito teoretici tvrdili, že konektonismu, tak jak byl v té době vyvíjen, hrozilo nebezpečí, že klasickým přístupem computationalismu bude vymazán pokrok dosažený v oblasti kognitivní vědy a psychologie. Computacionalismus je specifická forma kognitivismu, která tvrdí, že duševní činnost je výpočetní, tj. že mysl je v podstatě Turingův stroj. Mnoho badatelů tvrdilo, že trend v konektonismu směřuje k návratu ke asociacionismu a opuštění myšlenky myšlenkového jazyka, což považovali za omyl. Na druhé straně to byly právě tyto tendence, které činily konektonismus atraktivním pro ostatní badatele.
Spojitost a výpočetní technika nemusí být samy o sobě v rozporu, ale debata, jak byla formulována na přelomu 80. a 90. let, jistě vedla k nesouhlasu mezi oběma přístupy. Nicméně v průběhu debaty někteří badatelé tvrdili, že konektionismus a výpočetní technika jsou plně kompatibilní, ačkoli nikdy nebylo dosaženo shody. Rozdíly mezi oběma přístupy, které jsou obvykle uváděny, jsou následující:
I když tyto rozdíly existují, nemusí být nutné. Je například dobře známo, že konektionistické modely mohou ve skutečnosti implementovat systémy manipulace se symboly, jaké se používají ve výpočetních modelech. Rozdíly tedy mohou být otázkou osobních voleb, které někteří konektionističtí badatelé činí na rozdíl od čehokoliv zásadního pro konektionismus.
Aby to bylo ještě složitější, nedávná popularita dynamických systémů ve filozofii mysli (díky pracím autorů, jako je Tim Van Gelder) přidala nový pohled na debatu. Někteří autoři nyní tvrdí, že jakýkoli rozkol mezi konektionismem a výpočetní technikou je ve skutečnosti jen rozkol mezi výpočetní technikou a dynamickými systémy, což naznačuje, že původní debata byla zcela pomýlená.
Všechny tyto protichůdné názory vedly mezi výzkumníky ke značné diskusi na toto téma a je pravděpodobné, že diskuse budou pokračovat.
Johnson, M (1993) (Ed.), Brain Development and Cognition: A Reader. Oxford: Blackwell Publishers.
Bates, E A & Elman, JL (1993) Connectionism and the Study of Change. In Johnson, M (Ed.), Brain Development and Cognition: A Reader. Oxford: Blackwell Publishers. Pp. 623-642.Plný text