Teorii dvojího kódování, teorii poznávání a model zpracování informací, vyslovil v roce 1971 hypotézu Allan Paivio z University of Western Ontario. Paivio při rozvíjení této teorie použil myšlenku, že tvorba mentálních obrazů napomáhá učení (Reed, 2010). Podle Paivia existují dva způsoby, jak by člověk mohl rozšiřovat naučený materiál: slovní asociace a vizuální zobrazení. Teorie dvojího kódování předpokládá, že vizuální i verbální informace jsou používány k reprezentaci informací (Sternberg, 2003). Vizuální a verbální informace jsou zpracovávány odlišně a odlišnými kanály v lidské mysli, což vytváří oddělené reprezentace pro informace zpracovávané v každém kanálu. Mentální kódy odpovídající těmto reprezentacím jsou používány k organizování příchozích informací, na které lze působit, ukládat je a získávat je pro následné použití. Vizuální i verbální kódy mohou být použity při vybavování informací (Sternberg, 2003). Například řekněme, že si člověk uložil pojem podnětu, „pes“ jako slovo „pes“ i jako obraz psa. Když je požádán, aby si podnět vybavil, může si člověk vybavit buď slovo, nebo obraz jednotlivě, nebo obojí současně. Pokud se slovo vybaví, obraz psa se neztratí a může být stále získán v pozdějším čase. Schopnost kódovat podnět dvěma různými způsoby zvyšuje šanci zapamatovat si tuto položku ve srovnání s tím, pokud byl podnět kódován pouze jedním způsobem.
Teorie dvojího kódování má svá omezení. Teorie dvojího kódování nebere v úvahu možnost poznávání zprostředkovaného něčím jiným než slovy a obrazy. Nebyl proveden dostatečný výzkum, který by určil, zda slova a obrazy jsou jediným způsobem, jak si předměty pamatujeme, a teorie by neplatila, pokud by byla objevena jiná forma kódů (Phylyshyn, 1973). Další omezení teorie dvojího kódování spočívá v tom, že platí pouze pro testy, na které jsou lidé požádáni, aby se zaměřili na identifikaci toho, jak spolu pojmy souvisejí (Reed, 2010). Pokud nelze vytvořit asociace mezi slovem a obrazem, je mnohem těžší si slovo zapamatovat a vzpomenout si na něj později. To sice omezuje účinnost teorie dvojího kódování, ale je stále platná za celé řady okolností a lze ji použít ke zlepšení paměti (Reed, 2010).
Analogové kódy se používají k mentální reprezentaci obrazů. Analogové kódy si uchovávají hlavní percepční rysy toho, co je reprezentováno, takže obrazy, které si vytváříme v mysli, jsou velmi podobné fyzickým podnětům. Jsou téměř přesnou reprezentací fyzických podnětů, které pozorujeme v našem prostředí, jako jsou stromy a řeky (Sternberg, 2003).
Symbolické kódy se používají pro mentální reprezentaci slov. Reprezentují něco pojmově a někdy i libovolně, na rozdíl od vnímání. Podobně jako hodinky reprezentují informace ve formě čísel pro zobrazení času, symbolické kódy reprezentují informace v naší mysli ve formě libovolných symbolů, jako jsou slova a kombinace slov, které reprezentují několik myšlenek. Každý symbol (x, y, 1, 2, atd.) může libovolně reprezentovat něco jiného než sám sebe. Například písmeno x je často používáno pro reprezentaci více než jen pojmu x, 24. písmene abecedy. Může být používáno pro reprezentaci proměnné x v matematice, nebo násobícího symbolu v rovnici. Pojmy jako násobení mohou být symbolicky reprezentovány „x“, protože mu libovolně přiřazujeme hlubší pojem. Pouze pokud jej použijeme pro reprezentaci tohoto hlubšího pojmu, nese písmeno „x“ tento typ významu.
Mnoho badatelů se dnes shodlo na tom, že v mentální reprezentaci se používají pouze slova a obrázky (Phylyshyn, 1973). Podpůrné důkazy ukazují, že paměť pro některé slovní informace je posílena, pokud je prezentován také relevantní vizuální obraz nebo pokud si student dokáže představit vizuální obraz, který by se hodil k slovní informaci. Stejně tak vizuální informace mohou být často posíleny, pokud jsou spárovány s relevantními slovními informacemi, ať už reálnými nebo imaginárními (Anderson & Bower, 1973). Tato teorie byla aplikována na použití multimediálních prezentací. Protože multimediální prezentace vyžadují jak prostorovou, tak slovní pracovní paměť, jednotlivci prezentované informace kódují dvojím způsobem a je pravděpodobnější, že si informace vybaví při pozdějším testování (Brunye, Taylor, & Rapp, 2008).
Paivio zjistil, že účastníci, když jim byla ukázána rychlá sekvence obrázků stejně jako rychlá sekvence slov a později byli požádáni, aby si vybavili slova a obrázky v jakémkoli pořadí, si lépe vybavili obrázky. Účastníci si však snadněji vybavili sekvenční pořadí slov, spíše než sekvenci obrázků. Tyto výsledky podpořily Paiviovu hypotézu, že slovní informace jsou zpracovávány jinak než vizuální informace a že slovní informace jsou nadřazeny vizuální informaci, když sekvenční pořadí je vyžadováno také pro paměťový úkol (Paivio, 1969). Lee Brooks provedl experiment, který poskytl dodatečnou podporu pro dva systémy pro paměť. Nechal účastníky provést buď vizuální úkol, kdy museli zobrazit obrázek a odpovědět na otázky týkající se obrázku, nebo verbální úkol, kdy naslouchali větě a poté byli požádáni, aby odpověděli na otázky týkající se dané věty. K odpovědi na otázky byli účastníci požádáni, aby odpověděli buď verbálně, vizuálně, nebo manuálně. Díky tomuto experimentu Brooks zjistil, že k interferenci došlo, když se vizuální vnímání smíchalo s manipulací vizuálního úkolu, a verbální reakce zasahovaly do úlohy zahrnující verbální prohlášení, které mělo být manuálně manipulováno. To podpořilo myšlenku dvou kódů používaných k mentálnímu znázornění informace (Sternberg 2003).
Pracovní paměť, jak ji navrhl Alan Baddeley, zahrnuje dvoudílný systém zpracování s vizuoprostorovým skicákem a fonologickou smyčkou, která v podstatě mapuje Paiviovu teorii.
Teorie dvojího kódování doplňuje teorii čtení dvojí cestou. Když lidé čtou psané informace, teorie dvojí cesty tvrdí, že čtenáři mají přístup k ortografickým a fonologickým informacím, aby rozpoznali slova v písmu.
Paiviova práce má dopady mimo jiné na gramotnost, vizuální mnemoniku, generování myšlenek, HPT, lidské faktory, design rozhraní a také na vývoj vzdělávacích materiálů. Má také dopady na kognitivní vědy a výpočetní kognitivní modelování (ve formě duálních kognitivních modelů a tak dále; např. Anderson, 2005; Just et al., 2004, Sun, 2002). Má také dopady na kognitivní robotiku.
Podpora kognitivních neurověd
K identifikaci oblastí zapojených do vizuálního vnímání a vizuálních snímků byly použity dvě různé metody. Průtok krve mozkem umožňuje výzkumníkům určit množství krve a kyslíku putujícího do určité části mozku, přičemž zvýšení průtoku krve poskytuje měřítko mozkové aktivity. Potenciál související s událostmi lze použít k zobrazení množství elektrické mozkové aktivity, ke které dochází v důsledku konkrétního podnětu. Výzkumníci použili obě metody k určení, které oblasti mozku jsou aktivní s různými podněty, a výsledky podpořily teorii dvojího kódování. Další výzkum byl proveden pomocí snímků pozitronové emisní tomografie (PET) a funkční magnetické rezonance (fMRI), aby se ukázalo, že účastníci měli lepší paměť pro mluvená slova a věty, když byli spárováni s obrazem, imaginárním nebo reálným, a ukázali zvýšenou aktivaci mozku ke zpracování abstraktních slov, která nebyla snadno spárována s obrazem.
Teorii dvojího kódování nepřijímá každý. John Anderson a Gordon Bower navrhli alternativní metodu- výrokovou teorii- toho, jak je vědomost mentálně reprezentována, výrokovou teorii. Teorie výroku stavová mentální reprezentace je uložena spíše jako výrok než jako obrazy. Zde je výrok definován jako význam, který je základem vztahu mezi pojmy (Sternberg, 2003). Tato teorie uvádí, že obrazy vznikají jako výsledek jiných kognitivních procesů, protože vědomosti nejsou reprezentovány ve formě obrazů, slov nebo symbolů.
Společná teorie kódování byla také navržena jako alternativa k teorii dvojího kódování. Společná teorie kódování se zabývá tím, jak jsou věci, které vidíme a slyšíme, spojeny s naším motorickým působením. Tvrdí, že existuje společný kód, který je sdílen mezi vnímáním něčeho a příslušným motorickým působením.