Následné hodnocení
Projekt Follow Through byl největším a nejdražším federálně financovaným experimentem v oblasti vzdělávání, který byl kdy proveden. Nejrozsáhlejší vyhodnocení dat Follow Through zahrnuje roky 1968-1977; program však dostával finanční prostředky od vlády až do roku 1995 (Egbert, 1981, str. 7). Follow Through měl být původně prodloužením vládního programu Head Start, který poskytoval důležité vzdělávací, zdravotní a sociální služby typicky znevýhodněným předškolním dětem a jejich rodinám. Funkcí Follow Through proto bylo poskytovat pokračování těchto služeb studentům v raném základním věku.
V projevu prezidenta Lyndona Johnsona o stavu unie v roce 1967 navrhl 120 milionů dolarů na program (který má sloužit přibližně 200 tisícům dětí ze znevýhodněného prostředí). Když však Kongres schválil financování projektu, byl schválen zlomek této částky – pouhých 15 milionů dolarů. To si vyžádalo změnu strategie Úřadu ekonomických příležitostí (OEO), vládní agentury pověřené dohledem nad programem (Egbert, 1981, str. 3-4; Stebbins, et al, 1977, str. 2; Watkins, 1997, str. 4). Místo toho administrátoři programu učinili „geniální rozhodnutí… (převést Follow Through ze servisního programu na výzkumný a vývojový program (Evans, 1981, str. 5).
Plánovači Follow Through měli pocit, že reagují na důležitou výzvu ve vzdělávání znevýhodněných studentů. Obecně se předpokládalo, že pouhé poskytování specifických podpor ve formě federálních kompenzačních programů – jako je Head Start a Hlava I – by vedlo ke zvýšení akademických výsledků pro znevýhodněné děti, pokud by je věrně prováděli angažovaní učitelé. Studie však ukázaly, že navzdory úspěchům se obecně veškeré zisky, které děti z programu Head Start (v měřítcích akademických úspěchů) získaly, „vytratily“ během prvních několika let základní školy (Maccoby & Zellner, 1970, str. 4; Stebbins, et al., 1977, str. 1). Tvůrcům politik a dalším nebylo jasné, zda tento jev způsobuje samotná zkušenost se základní školou, nebo zda jsou problémem specifické přístupy k výuce ve školách. Follow Through měl tento problém vyřešit doslovným určením toho, jaké celoškolní přístupy k osnovám a výuce fungují, a jaké nikoli. Následně měly být vládou vyhlášeny účinné modely jako příklady inovativních a osvědčených metod zvyšování akademických úspěchů historicky znevýhodněných studentů.
Sociopolitický kontext Follow Through
Follow Through, který byl koncipován a realizován uprostřed kampaně prezidenta Johnsona Válka proti chudobě v 60. letech, „vzešel z rozsáhlejšího plánu, který se pokusil na systémovém základě vyložit příčiny a léčby chudoby v americké společnosti“ (Evans, 1981, str. 2). Kromě přelomového zákona o základním a středoškolském vzdělávání z roku 1965 zahrnovaly další iniciativy hospodářskou politiku, jejímž cílem bylo zachovat úroveň vysoké zaměstnanosti a federálně dotovanou pracovní přípravu specificky zaměřenou na lidi ze znevýhodněného prostředí. Tyto programy byly realizovány uprostřed turbulentní éry 60. a 70. let; vyznačovaly se bojem a konečným získáním volebního práva řady dříve vyloučených volebních obvodů „včetně Afroameričanů, feministek, Hispánců, domorodých Američanů a rodičů handicapovaných dětí“ (Tyack & Cuban, 1995, str. 26; Rhine, 1981, str. 293).
Follow Through byl, stejně jako Head Start, svým rozsahem ohromný a měl napravit skutečnost, že „chudé děti mají ve škole sklon ke špatným výsledkům“ (Stebbins, et al., 1977, p. xxxiii). I přes škrty ve financování nicméně sloužil podstatnému počtu studentů. V době svého vrcholu se program rozrostl tak, že zahrnoval dvacet různých sponzorovaných zásahů a přibližně 352 000 Follow Through a porovnával děti ve 178 projektech celostátně (Egbert, 1981, p. 7; Stebbins, et al., 1977, s. xix, 19). Vezmeme-li v úvahu, že financování posledních Follow Through stránek skončilo v roce 1995, byl projekt skutečně obsáhlý jak do hloubky, tak do šíře.
Kromě identifikace nejúčinnějších výukových postupů a jejich šíření do škol a okresů se také doufalo, že Follow Through pomůže snížit počet potenciálně protichůdných federálních intervenčních programů ve školách, které byly některými považovány za kontraproduktivní a nákladné (Hill, 1981, str. – 12, 20). Pokud by se navíc podařilo identifikovat modely, které by byly účinné u potřebných dětí, mohly by se tyto zásahy inscenovat i v běžných vzdělávacích třídách (Hill, 1981, str. 20).
Vzhledem k tomu, že Follow Through vznikl díky exekutivě, a nikoli legislativním krokům, celková kontrola nad programem spočívala v Úřadu pro ekonomické příležitosti (OEO) prezidenta Lyndona Johnsona, který stál v čele Johnsonovy politiky Války proti chudobě. Významnou složkou politiky bylo zapojení komunity. Akční program Společenství (CAP) byl pověřen plněním této funkce prostřednictvím zřízení místních agentur a programů, které prováděly různé federálně podporované iniciativy pro znevýhodněné obyvatelstvo. SZP (a do jisté míry OEO) však upadla v nemilost mezi zákonodárci a dalšími, protože „vyústila v politickou mobilizaci chudých a podkopání místních vládních agentur“ (Watkins, 1997, s. 4-5). Follow Through mělo být rozšířením komunitního akčního programu Head Start. Vzhledem k tomu, že Head Start byl politicky populární, program spojený s Head Start by OEO „vrátil do přízně Kongresu“ (str. 5). Ačkoli Follow Through, stejně jako Head Start, bylo původně zamýšleno jako sociální akční program, rozhodnutí transformovat Follow Through ze sociálního akčního programu na sociální experiment nebylo odpovídajícím způsobem změněno v kongresové legislativě (Evans, 1981, str. 4-5).
Pracovníci Head Start zůstali zapojeni do návrhu a realizace Follow Through, i když se zdálo, že pracují na oddělených koncích od plánovací skupiny OEO, která Follow Through považovala za empirický průzkum (Egbert, 1981, str. 8). Velká část toho, co se událo během plánovací fáze – kterou Egbert (1981) popisuje „jako dobu spěchu a zmatku“ – byla pokusem uspokojit voliče obou pohledů (str. 9).
Z velké části kvůli sociokulturnímu kontextu, v němž se Follow Through zrodilo, plánovači záměrně strukturovali program tak, aby minimalizovali zapojení federálních úředníků do implementačního úsilí (Watkins, 1997, str. 16; Elmore, 1977, str. 191). Čím více by Follow Through mohl být vnímán jako lokálně řízené úsilí, tím lépe. OEO „idealisticky“ doufal, že Follow Through by mohl uspokojit empirické i společenské akční účely (Egbert, 1981, str. 4; Hill, 1981, str. 8, 10).
Zdá se pochybné, že by jakákoliv forma experimentu mohla realisticky a věrně sloužit oběma cílům. Podle Hilla (1981) by skuteční hodnotitelé programů měli být „spíše techničtí než političtí nebo programoví a jejich postoje skeptické a nezaujaté“ (str. 8-9). Plánovací skupina OEO chtěla pravdivý empirický průzkum, který by určil nejúčinnější modely. Naopak pracovníci CAP a Head Start, kteří radili plánovačům Follow Through, na něj pohlíželi jako na sociální program. Tudíž „ani jedna skupina konstitučních skupin nebyla s tímto řešením plně spokojena“ (Egbert, 1981, str. 4-5).
Jestliže plánovači Follow Through měli protichůdné názory na skutečný účel programu, výběr sponzorů byl stejně nepřesný. Sponzoři Follow Through byli eklektickou směsicí jednotlivců nebo skupin provádějících výzkum instruktážních metod. Někteří pocházeli z univerzit, včetně vzdělávacích škol. Jiní byli zapojeni do soukromého nebo grantového výzkumného úsilí (Watkins, 1997, str. 16). Metoda výběru byla nejasná. Podle Watkinse (1997) „byly pozvánky zjevně rozšířeny na jakoukoli skupinu provádějící výzkum instruktážních metod“ (str. 16).
Někteří ze sponzorů měli poměrně dobře vyvinuté intervence založené na teoriích výuky. Jiní měli pouze nápady, co by mohlo představovat efektivní intervence. Sponzoři se také značně lišili v tom, jaké výsledky očekávali v důsledku svých programů. Někteří sponzoři měli velmi specifické cíle, o kterých se domnívali, že povedou k velmi specifickým výsledkům, jako je zlepšení gramotnosti u měřítek úspěšnosti čtení. Jiní měli obecnější cíle, jako je zvýšení sebevědomí nebo vyšší zapojení rodičů do školní docházky. Většina programů byla ve velmi rané fázi vývoje a nebyla rozsáhle (nebo dokonce mírně) testována v terénu nebo pilotována. Některé programy byly tak nejednoznačné, že Elmore (1977) napsal, že „většině vývojářů programů jednoduše nebylo jasné, jak by jejich programy ve skutečnosti vypadaly v plně funkční podobě“ (str. 199). Mnoho sponzorů nedokázalo přesně vysvětlit, které aspekty jejich modelů by vedly k uvedeným výsledkovým cílům modelu.
Navzdory nejednoznačnostem mezi mnoha modely (a drobným odstínům rozlišení mezi některými modely) klasifikovala literatura Follow Through modely podle stupně struktury, kterou nabízely, a podle toho, kde kladou důraz na učení.
„Stupeň struktury“ (např. „nízká“, „střední“ nebo „vysoká“) nabízený konkrétním modelem je doložen tím, jak podrobně byli učitelé instruováni, aby dodržovali konkrétní postupy, včetně: způsobů uspořádání třídy a poskytování výuky, stupně interakce mezi dospělými a dětmi, míry zapojení rodičů a tak dále. Níže jsou uvedeny stručné příklady dvou modelů, které představují extrémy spektra.
Model přímé výuky. Vyvinuli jej Siegfried Engelmann a Wesley Becker z University of Oregon, Přímá výuka je skriptovaná a přesně specifikuje, co učitel říká a jaké by měly být reakce studentů. Tvůrci programu navíc pečlivě seřadili výuku tak, aby studenti nepostupovali k dovednostem vyššího řádu, pokud nezvládnou základní předpoklady. Mezi učiteli a studenty existuje vysoký stupeň interakce, takže učitel může dostávat nepřetržitou zpětnou vazbu o tom, jak si studenti vedou, a podle toho upravuje výuku. Program konkrétně rozlišuje mezi chováním při plnění úkolu a mimo něj: výuka je uspořádána tak, aby studenti byli po většinu času plně zapojeni do učení (prostřednictvím časté kontroly porozumění a pochval ze strany učitele). Podle sponzorů programu musí vše, co se předpokládá, že se studenti učí, nejprve učit učitel (Maccoby & Zellner, 1970, str. 8).
Model Bank Street. Model Bank Street byl vyvinut Elizabeth Gilkersonovou a Herbertem Zimilesem z Bank Street College of Education v New Yorku. V tomto modelu studenti sami řídí výuku: vybírají si, jaké úkoly si přejí plnit, sami nebo s vrstevníky. Učitel zařizuje třídu tak, jak sponzoři věří, že vytvoří podmínky pro úspěšné učení: pro děti jsou k dispozici různé předměty a média, s nimiž mohou komunikovat, a učitel působí jako zprostředkovatel, který studenty vede aktivitami. Podle sponzorů programu studenti využívají dříve naučené znalosti k vytváření nových znalostí. Podle sponzorů, vzhledem k bezpečnému a stabilnímu prostředí, je učení proces, který probíhá přirozeně, (Maccoby & Zellner, 1970, s. 10-11).
Programové modely byly také klasifikovány podle toho, kde kladou důraz na učení, podle tří vzdělávacích směrů: základní dovednosti, kognitivní konceptuální dovednosti a afektivní/kognitivní chování (viz také Příloha A).
Navzdory rozdílům se všichni sponzoři shodli. Sponzoři se shodli na tom, že jejich intervence by měly být vývojově vhodné – to znamená, že modely berou v úvahu, kde se studenti ve svém vývoji jako studující nacházejí. Za druhé, všichni se shodli na tom, že výuka a učení by měly reagovat na potřeby jednotlivých studujících. Za třetí, shodli se na tom, že všichni studenti – i ti z nejvíce znevýhodněného prostředí – by se mohli učit na úroveň svých šťastnějších vrstevníků. Za čtvrté, měly by být zdůrazněny postupy řízení tříd, které vytvářejí vhodné učební prostředí. Za páté, škola by měla být místem, kde studenti zažívají jak vysoké sebevědomí, tak akademický úspěch. Ironií je, že posledním bodem shody – pokud jde o Maccoby a Zellnera (1970, s. 23-25) – bylo, že všechny intervence by měly mít velmi jasné cíle ohledně obsahu a dovedností, které by studenti měli znát a být schopni vykonávat. Tento poslední detail stojí za zmínku ze dvou důvodů. Za prvé, cílové výsledky programu, které poskytli sponzoři, se zdály být poměrně široké. Například sponzoři Tucsonského modelu raného vzdělávání vysvětlují, že „je zde relativně menší důraz na to, které předměty se vyučují a na přenos konkrétního obsahu, a větší důraz na „učení se učit“ (Maccoby & Zellner, 1970, s. 15-16). Stejně tak učitelé kognitivních učebních osnov navrhují své vlastní přístupy k výuce (včetně specifikace vzdělávacích cílů), za asistence sponzorů a spolužáků (Maccoby & Zellner, 1970, s. 20-21). Zatímco cílové výsledky by se daly běžně popsat jako vysoká úroveň akademických úspěchů nebo zvládnutí základních a vyšších myšlenkových dovedností, v literatuře Follow Through chybí přesně to, jak studenti tyto dovednosti prokazují. Během setkání sponzorů došlo mezi některými sponzory k několika vášnivým hádkám o stupni specifičnosti, s jakou by měli propojit aspekty svých modelů s výsledky nebo chováním studentů (Watkins, 1997, str. 17). Administrátoři Follow Through nemohli zkoumat modely důkladněji kvůli omezenému času; skutečně jen osm měsíců dělilo výběr sponzorovaného modelového přístupu od zahájení experimentu. Protože Kongres již snížil rozpočet programu, existovaly mezi plánovači oprávněné obavy, že zpoždění v realizaci by mohlo být pro program katastrofální (Elmore, 1977, str. 174). Jinou realitou byl prostě nedostatek alternativních intervencí. Protože tak rozsáhlý experiment ve vzdělávání nebyl nikdy předtím proveden, neměl Úřad pro vzdělávání žádný arzenál intervencí, které by mohl vyzkoušet (Elmore, 1977, str. 186).
Výběr obcí Follow Through
Výběr realizačních míst Follow Through probíhal v souladu s výběrem modelů. Za pomoci různých státních a federálních vzdělávacích agentur bylo na základě kritérií stanovených OEO vyzváno 100 obcí, aby se do programu přihlásily. Podle Egberta (1981) se přihlásilo 90 okrsků, z nichž 30 bylo vybráno pro účast ve Follow Through. Kvůli tlaku vlivných politiků však byly později přidány další lokality. Ne náhodou se zdá, že zařazení několika dalších okrsků bylo pokusem uspokojit řadu místních politických osobností tím, že jejich obce byly do programu zahrnuty (Egbert, 1981, str. 9).
Zatímco Elmore (1977) naříká, že lokality mohly být vybrány s větší mírou vědecké přísnosti (např. stratifikované náhodné vzorkování), bylo zřejmé, že by to bylo nemožné, a to nejméně ze dvou důvodů. Za prvé, administrátoři Follow Through měli povinnost vybrat minimální počet míst s programy Head Start, protože zdánlivým účelem Follow Through bylo doplnit Head Start. Za druhé – kromě politických tlaků – komunity musely být ochotnými účastníky procesu (zdánlivě), aby byla zachována věrnost implementací. V tomto bodě Elmore (1977, str. 215) spíše souhlasí.
Měřicí přístroje a analytické metody
Vzhledem k škále modelů byla vybrána široká škála nástrojů, aby bylo možné měřit cílené výsledky základních dovedností, afektivního chování a kognitivního chování. Adams a Engelmann (1996) píší, „zatímco kritici si stěžovali na výběr testů a obvykle navrhovali více testování, úsilí při hodnocení v této studii výrazně přesahovalo jakoukoliv jinou vzdělávací studii provedenou dříve nebo poté“ (s. 71). Celkem bylo vybráno a v různých časech během celé účasti studenta ve Follow Through podáváno 14 nástrojů. Tři skupiny studentů, známé jako Cohorts (tj. Cohorts I, II a III) byly sledovány podélně od okamžiku, kdy vstoupili do Follow Through (např. Kindergarten nebo Grade 1), až do doby, kdy z programu vystoupili (Grade 3). Zatímco Stebbins, et al. hodnotí nástroje vysoko, pokud jde o spolehlivost, někteří sponzoři zpochybňovali platnost nástrojů při měření různorodé orientace modelů. Jiní kritici (např. House, et al. (1978) nástroje také kritizovali. Hodnotitelé se však domnívali, že baterie přístrojů představuje „nejlepší kompromis“ vzhledem k škále modelů (Stebbins, et al., 1977, s. 35, 43). Navzdory relativně velkému počtu studentů, kteří se účastnili Follow Through, hodnotitelé uvalili přísná omezení na vzorek, který byl skutečně ve statistické analýze. Srovnávací skupina – studenti z komunity, která byla identifikována jako neúčastnící se Follow Through – nepodléhala přesně stejným omezením jako kontrolní skupina, pokud vstupovali a opouštěli školu ve stejných okresech a ve stejnou dobu jako studenti Follow Through.
Vzhledem k počtu zásahových míst a škále nástrojů byla analýza složitá a rozsáhlá. Podle Watkinse (1997, str. 32) existovalo jen mezi skupinami Follow Through a Non-Follow Through více než 2000 srovnání. V roce 1968 získal zakázku na hodnocení Follow Through Stanford Research Institute (SRI). Avšak kvůli celé řadě faktorů – včetně třeba podcenění komplexnosti SRI při tak komplexní analýze – Abt Associates, Inc. později v létě 1972 zdědila hodnotící povinnosti. Shrnutí výsledků s názvem Education as Experimentation: A Planned Variation Model (Stebbins, St. Pierre, Proper, Anderson, & Cerva) bylo zveřejněno v roce 1977.
Empirickým cílem Follow Through evaluace bylo určit, které modely jsou efektivní při zvyšování studentských úspěchů ve třech oblastech, což dokládají pozitivní efekty při použití vybraných nástrojů. V rámci modelů hodnotitelé porovnávali výkon na různých nástrojích mezi skupinami Follow Through (FT) a non-Follow Through (NFT) v jednotlivých lokalitách. V rámci skupin hodnotitelé zprůměrovali skóre studentů podle jednotlivých ukazatelů (nebo výsledné proměnné), aby získali skóre „skupiny“. Skupinové skóre studentů FT tak bylo porovnáno se skupinovým skóre studentů NFT. Tato skóre byla poté upravena pomocí statistické techniky zvané analýza kovariance (ANCOVA; vysvětleno níže). Rozdíl mezi studenty FT a NFT byl pak použit k měření efektů daného modelu (Watkins, 1997, s. 32-33). Místem, kde modely splňovaly kritérium „vzdělávací efektivity“, byla přiřazena hodnota 1; negativním efektům byla přiřazena hodnota -1; a nulovým efektům – „nevýznamným pedagogicky, statisticky nebo obojím“ (Wisler, et al., 1978, str. 176) —byla jim přiřazena nula.
Hodnotitelé použili důležitou – a později kontroverzní – statistickou techniku, aby zlepšili integritu výsledků. Protože existovaly rozdíly mezi léčebnými a srovnávacími skupinami (např. průměrné skóre na výsledném ukazateli pro NFT skupinu mohlo být vyšší než odpovídající průměrné skóre pro FT skupinu), použili hodnotitelé metodu známou jako Analýza kovariance (ANCOVA), aby se přizpůsobili těmto a dalším rozdílům. Podle Elmorea (1977, s. 329-330) by upravené výsledky pomocí ANCOVA techniky měly být interpretovány opatrně ze dvou důvodů. Za prvé, ANCOVA „není náhražkou náhodného přiřazení, ale stala se konvenčně uznávanou technikou pro zpracování počátečních skupinových rozdílů v kvazi-experimentálních datech“ (s. 329). Za druhé, čím větší jsou počáteční rozdíly mezi léčebnými a kontrolními skupinami, tím slabší je síla výsledků (s. 329).
Výsledky Follow Through neukázaly, jak by se daly vylepšit modely, které vykazovaly malé nebo žádné účinky. Ukázaly však, které modely – i za méně ideálních podmínek experimentu – vykazovaly určité náznaky úspěchu. Nejvýznamnější kritika Follow Through (podrobně popsaná níže) kritizuje skutečnost, že modely, které vykazovaly pozitivní účinky, byly z velké části modely základních dovedností. Stebbins, et al. (1977, pp. xxiv-xxviii) referoval o hlavních empirických zjištěních experimentu takto:
Wisler, et al. (1978), ve své recenzi zkušenosti Follow Through, řekl, že je pravděpodobné, že žádná jiná vzdělávací data nebyla zkoumána obsáhleji, s výjimkou přelomového průzkumu Rovnost vzdělávacích příležitostí (s. 177). V literatuře Follow Through existují nejméně tři hlavní přehodnocení dat Follow Through: House, et al. (1978), Bereiter & Kurland (1981) a Kennedy (1981). Všechny do značné míry potvrzují původní statistickou analýzu provedenou Abt Associates. Obecně panuje shoda mezi většinou výzkumníků, že strukturované modely měly tendenci podávat lepší výkon než nestrukturované (Evans, 1981, s. 13-14) a že modely přímé instrukce a analýzy chování si vedly lépe na použitých přístrojích než ostatní modely (Rhine, 1981, s. 302, Wisler, et al., 1978, s. 180, Adams & Engelmann, 1996, s. 72). Většina kritiků experimentu Follow Through se zaměřovala na provozní a konstrukční problémy, které experiment trápily (např. Elmore, 1977). Tyto kritiky upozorňují zejména na to, že v rámci konkrétního modelu existovalo více odchylek, než kolik jich existovalo mezi jednotlivými modely. Tento problém byl do značné míry přisuzován problému, jak měřit účinnost konkrétního provedení; použitá opatření byla do značné míry kvalitativní a neoficiální (Stebbins, et al., 1977). V některých případech byly do analýzy zahrnuty weby, které přestaly implementovat konkrétní modely, nebo měli sponzoři modelů vážné výhrady ke způsobu implementace konkrétních modelů (Engelmann, 1992; Adams & Engelmann, 1996).
Nejhlasitější kritikou byla House, et al. (1978) reanalýza. Článek – spolu s několika vyvráceními od původního hodnotícího týmu a dalších badatelů – byl publikován Harvard Educational Review v roce 1978. Autoři byli krajně nespokojeni s prohlášením hodnotitelů, že modely základních dovedností předčily ostatní modely. Autoři přistupují ke kritice na základě předpokladu, že základní dovednosti jsou rozhodně jen to – základní. Autoři naznačují, že základní dovednosti jsou vyučovány pouze prostřednictvím „rotačních metod“ – což je jednoznačně negativní konotace (str. 137).
Pokud jde o zjištění, že „modely, které kladou důraz na základní dovednosti, přinesly lepší výsledky v testech sebepojetí než jiné modely“ (Stebbins, et al., 1977, str. xxvi), autoři zpochybňují účinnost měřítek sebeúcty; z čehož mimo jiné vyplývá, že mladí studenti nemohou mít v žádném případě konkrétní pochopení sebepojetí (str. 138-139). Zatímco článek měl za cíl přezkoumat operační koncepci hodnocení Follow Through, místo toho se zdá, že (1) vyvrací zjištění, že kognitivně-koncepční a afektivně-kognitivní modely byly z velké části neúspěchy, a (2) jednostranně odsuzuje modely, které zdůrazňují základní dovednosti. Z toho plyne, že cílem vzdělávání by nemělo být zvýšení studentských výsledků v pouze základních dovednostech a že by se Follow Through lépe využilo k zjištění, jak by se dala dosáhnout úspěšnosti opatření všech tří směrů. V kritice chybí zjištění, že u třeťáků prokázal pozitivní účinky ve všech třech oblastech pouze model přímé výuky a že jeden ze zbývajících dvou modelů (Behavior Analysis; druhým byl model rodičovského vzdělávání), který měl pozitivní účinky alespoň ve dvou oblastech, byl také svérázným „modelem základních dovedností“ (Adams & Engelmann, 1996, str. 72).
V roce 1972 OE vytvořila Joint Dissemination Review Panel (JDRP) a National Diffusion Network (NDN), aby šířily informace o efektivních modelech do škol a okresů po celé zemi (Watkins, 1997, str. Rýn, 1981, s. 47. 307). JDRP přezkoumala programy z hlediska efektivity podle směsi empirických a holistických kritérií. Za šíření výsledků na základě doporučení JDRP odpovídalo NDN. Watkins (1997) kritizuje kritéria šíření ze dvou důvodů. Za prvé, organizace identifikovaly programy pro šíření, které nebyly součástí experimentu Follow Through bez empirické validace. Za druhé, JDRP a NDN podpořily programy, které ukázaly zlepšení v oblastech „jako sebepojetí, postoj a duševní nebo fyzické zdraví (studentů) …(nebo) pokud to má pozitivní dopad na jiné jednotlivce než studenty, například pokud to vede ke zlepšení výukového chování učitelů“ (str. 47), ale nezvýšil akademické výsledky studentů. Tedy programy, „které nebyly schopny prokázat zlepšené akademické výsledky v hodnocení Follow Through“, byly doporučeny k přijetí školami a okresy. Watkins cituje bývalého komisaře pro vzdělávání Ernesta Boyera, který se zděšením napsal, že „Vzhledem k tomu, že pouze u jednoho ze sponzorů (přímá výuka) bylo zjištěno, že vykazuje pozitivní výsledky důsledněji než kterýkoli z ostatních, bylo by nevhodné a nezodpovědné šířit informace o všech modelech“ (Watkins, 1997, str. 48).
Provozní a konstrukční otázky
Nedostatek systematického výběru intervencí a nedostatek specifičnosti léčebných účinků.
Vzhledem k řadě okolností podrobně popsaných dříve nebyly programy Follow Through systematicky rozvíjeny nebo vybírány podle jakéhokoli typu jednotných kritérií (Evans, 1981, str. 6, 15). Časem mohli sponzoři lépe identifikovat typy léčebných účinků, které by pozorovatel mohl očekávat za kontrolovaných podmínek. Ještě důležitější je, že sponzoři programů mohli být také požádáni, aby ukázali ty specifické aspekty svých intervencí (např. konkrétní pedagogické techniky), které by přinesly zamýšlené účinky. Navzdory těmto nedostatkům se sponzoři shodli na tom, že budou podléhat stejným hodnotícím nástrojům. Naneštěstí tyto nástroje vrhaly jen málo světla na to, co z neúčinných programů způsobilo, že byly tak neúspěšné. Platí to i obráceně. Jelikož strukturované programy měly tendenci vykazovat lepší efekty než nestrukturované, jistě mohlo být vynaloženo úsilí k identifikaci společných rysů mezi efektivními strukturovanými programy. S dalším financováním mohly tyto sdílené rysy ovlivnit vývoj dalších efektivních programů nebo zlepšit neúčinné přístupy. Financování bylo bohužel ve skutečnosti sníženo u těch programů, které byly ve Follow Through označeny za úspěšné, možná na základě předpokladu, že financování bude lépe přesměrováno na vyšetřování neúspěšných programů (Watkins, 1997). Programy, které neměly vůbec žádnou empirickou validaci, byly doporučeny k šíření spolu s úspěšnými modely.
Absence náhodného přiřazení. Náhodné zařazování subjektů do léčebných a kontrolních skupin je ideální metodou, jak přisoudit změnu vzorku zásahu a ne nějakému jinému efektu (včetně již existujících schopností studentů, učitelů nebo školních systémů) (Evans, 1981, str. 15). Z řady praktických důvodů však tento postup nebyl proveden v knize Follow Through (Stebbins, et al., 1977, str. 11). Místo toho byly lokality vybrány „oportunisticky“ (Watkins, 1997, str. 19) o jejich připravenosti podílet se na hodnocení a o jejich jedinečných okolnostech potřeby. Jak upozorňuje Stebbins, et al. (1977), léčebné skupiny byly často nejpotřebnějšími dětmi. Náhodný výběr některých nejvíce znevýhodněných dětí (z nichž mnohé se zúčastnily programu Head Start před Follow Through) z hodnocení by byl určitě negativně vnímán členy komunity (str. 61). Stebbins, et al. (1977) poukazují na to, že existovaly „značné rozdíly v rozsahu dětí, kterým sloužily“; přesto navzdory přítomnosti „mnoha problémů spojených s terénním sociálním výzkumem…hodnocení těchto plánovaných odchylek nám poskytuje příležitost zkoumat vzdělávací strategie v reálných životních podmínkách na rozdíl od vykonstruovaných a přísně kontrolovaných laboratorních podmínek“ (str. 12-13).
Úzkost nástrojů. Adams a Engelmann (1996, str. 71) poznamenávají, že mnoho kritiků navrhovalo použití více nástrojů v hodnocení Follow Through. Egbert (1981, str. 7) souhlasí s Adamsem a Engelmannem (1996), že úsilí o sběr dat bylo rozsáhlé. Navzdory dohodě mezi sponzory modelů na jednotném souboru nástrojů pro hodnocení účinnosti jejich modelů – že sponzoři modelů věřili, že jejich programy dosahují zisků na více vnitřních, méně měřitelných ukazatelích výkonnosti, jako je zvýšená sebehodnota nebo větší zapojení rodičů. Do té míry, do jaké tyto žádoucí výsledky nastaly a prospěly životu studentů způsoby, které by nikdy nemusely být měřitelné kvantitativními prostředky, byly tyto aspekty mnoha modelů úspěšné. Jak Sněmovna, et al. critique (1978), tak i další (citované ve Wislerovi, et al., 1978) vyjadřují obavy z nedostatečnosti nástrojů používaných k měření sebevědomí při hodnocení Follow Through (tj. Intellectual Achievement Responsibility Scale (IARS) a Coopersmith Self-Esteem Inventory). Podle mnoha badatelů však bylo lepší měřit výsledky nedokonale, než je neměřit vůbec (Wisler, et al., 1978, p. 173). Tudíž zatímco „dokonalá“ měřítka žádoucích výsledků by nikdy nemusela existovat, člověk by neměl dopustit, aby dokonalý byl nepřítelem dobra – jinými slovy, člověk by mohl zpochybnit účinnost provádění jakéhokoli experimentu na základě toho, že existuje nějaká předpojatost nebo nedokonalost.
Politické a filozofické otázky
Byl Follow Through sociální nebo vědecký program? Nevyhnutelný konflikt nastává, když se někdo pokouší operacionalizovat federální program ve vzdělávání, který má jak cíle v oblasti poskytování služeb, tak cíle v oblasti výzkumu a vývoje (Egbert, 1981, s. 8-9). Rivlin, et al. (1975) poukazuje na to, že „byzantská složitost procesu tvorby veřejné politiky nesmírně ztěžuje provádění sociálních experimentů“ (s. 24). Vzhledem k omezení financování se rozhodnutí zapojit se do úsilí o vyhodnocení účinnosti různých zásahů do empirického experimentu jeví jako vhodné a přímočaré. Pokud se však změna neodráží v legislativě Kongresu nebo není jasně sdělována na místní úrovni, nevyhnutelně z toho plynou otázky implementace a konfliktu s hluboce zakořeněnými hodnotami (Rivlin, et al., 1975, s. 24-25; Watkins, 1997, s. 13-15). Existuje mnoho důkazů, které naznačují zmatek ohledně záměru hodnocení Follow Through na administrativní úrovni (Maccoby & Zellner, 1970, p. 4; Elmore, 1977, pp. 182, 255; Egbert, 1981, pp. 4-5; Evans, 1981, pp. 5-6; House, 1981, pp. 14-15).
Otázky místní kontroly. Plánovaný variační aspekt Follow Through byl považován za prospěšný – možná nadřazený – jiným formám experimentování (např. výběru lokalit na základě randomizovaného zadání), protože by dal místním komunitám a školám prvek vlastnictví, který je nedílnou součástí úspěšné implementace modelů (Watkins, 1997, str. 16; Elmore, 1977, s. 190-191). Navzdory plánovanému návrhu variací byly místní komunity na mnoha místech k programu přesto hluboce kritické. Kritice Follow Through v některých ohledech předcházela přímo od Head Start. Zdánlivě byl účel a cíle sociální služby programu Head Start jasnější než v hodnocení Follow Through. Nicméně představitelé komunity měli pocit, že Head Start nedává dostatečnou rozhodovací odpovědnost rodičům a členům komunity (Egbert, 1981, str. 1-3). Místní zájmy chtěly činit osnovní rozhodnutí, včetně změny faset některých programových modelů (Watkins, 1997, str. 25). Evans (1981, str. 16) upozornila, že „vzdělávací komunity a kontexty se liší“, což může mít přímý vliv na realizaci modelu. Problematičtější je však Elmorův (1977, str. Zvl. vyd. 17/01, s. 381) a Hill’s (1981, s. 381). 16) tvrzení, že modely Follow Through zasahují do místních výukových metod a postupů. Jak píše Elmore (1977), „pro Follow Through byl problém v tom, jak implementovat variace programů do systému, kde se většina každodenních rozhodnutí o obsahu programů činí na úrovni školy nebo třídy“ (str. 381). Rhine, et al. (1981) naznačuje, že je obtížné přimět učitele, aby upravili své chování. A pokud se cíle změny chování dosáhne, učitelé pociťují malé vlastnictví modelu – což je rozhodně pochybná investice. Nevyhnutelně se zdá, že učitelé programy rovnou odmítají, zatímco jiní se programu „poddávají“ (str. 62).