Na rozdíl od testovací validity posouzení validity výzkumného záměru zpravidla nezahrnuje sběr dat nebo statistickou analýzu, ale spíše vyhodnocení záměru ve vztahu k požadovanému závěru na základě převažujících standardů a teorie výzkumného záměru.
Raná definice platnosti testu ji ztotožňovala se stupněm korelace mezi testem a kritériem. Podle této definice lze prokázat, že spolehlivost testu a kritéria klade horní hranici možné korelace mezi nimi (tzv. koeficient platnosti). Intuitivně to odráží skutečnost, že spolehlivost zahrnuje oproštění od náhodné chyby a náhodné chyby spolu nekorelují. Čím méně náhodné chyby v proměnných, tím vyšší je možná korelace mezi nimi. Podle těchto definic nemůže mít test vysokou platnost, pokud nemá také vysokou spolehlivost. Pojem platnosti se však podstatně rozšířil nad rámec této rané definice a klasický vztah mezi spolehlivostí a platností nemusí platit pro alternativní pojetí spolehlivosti a platnosti.
V rámci klasické teorie testu nemůže prediktivní nebo souběžná platnost (korelace mezi prediktorem a predikovaným) přesáhnout druhou odmocninu korelace mezi dvěma verzemi stejného taktu – tedy spolehlivost omezuje platnost.
Platnost testů lze hodnotit mnoha způsoby a důkladné validace testů obvykle zahrnuje více než jednu řadu důkazů na podporu platnosti hodnotící metody (např. strukturovaný pohovor, osobnostní průzkum atd.). Současné Standardy pro vzdělávací a psychologické testování navazují na Samuela Messicka v diskusi o různých typech důkazů platnosti pro jeden souhrnný rozsudek o platnosti. Patří mezi ně důkazy související s konstrukcí, důkazy související s obsahem a důkazy související s kritérii, které se podle načasování sběru dat člení na dva podtypy (souběžné a prediktivní).
Důkaz platnosti konstrukce zahrnuje empirickou a teoretickou oporu pro interpretaci konstruktu. Mezi takové průkazné linie patří statistické analýzy vnitřní struktury testu včetně vztahů mezi odezvami na různé zkušební položky. Zahrnují také vztahy mezi testem a mírami jiných konstruktů. Jak je v současnosti chápáno, platnost konstrukce se neliší od opory pro hmotnou teorii konstrukce, kterou má test měřit. K důkazu platnosti konstrukce jako takové přispívají také experimenty, které mají odhalit aspekty příčinné role konstrukce.
Důkaz o platnosti obsahu zahrnuje míru, do jaké obsah testu odpovídá doméně obsahu spojené s konstruktem. Například test schopnosti sčítat dvoumístná čísla by měl pokrývat celou škálu kombinací číslic. Test pouze s jednomístnými čísly nebo jen se sudými čísly by neměl dobré pokrytí domény obsahu. Důkaz související s obsahem obvykle zahrnuje odborníky na předměty (malé a střední podniky), kteří hodnotí testovací položky podle specifikací testu.
Důkaz o platnosti kritérií zahrnuje korelaci mezi testem a proměnnou kritéria (nebo proměnnými) považovanou za reprezentativní pro daný konstrukt. Například testy výběru zaměstnanců jsou často ověřovány na základě měření pracovních výkonů. Míry rizika recidivy u osob odsouzených za trestný čin mohou být ověřovány na základě měření recidivy. Pokud jsou údaje z testů a údaje z kritérií shromažďovány současně, označuje se to jako souběžný důkaz platnosti. Pokud jsou údaje z testů shromažďovány nejdříve za účelem předpovědi údajů z kritérií shromážděných později, označuje se to jako prediktivní důkaz platnosti.
Platnost konstrukce se týká souhrnu důkazů o tom, zda konkrétní operacionalizace konstrukce adekvátně reprezentuje to, co je zamýšleno teoretickým popisem měřeného konstruktu. (Prokázání prvku je platné jeho vztahováním k jinému prvku, který je údajně platný.)
Existují dva přístupy ke konstrukci platnosti – někdy označované jako „konvergentní platnost“ a „divergentní platnost“ (nebo discriminantní platnost).
Konvergenční platnost se vztahuje k míře, do jaké je určitý ukazatel korelován s jinými ukazateli, u nichž se teoreticky předpokládá, že s nimi koreluje.
Diskriminantní platnost popisuje míru, do jaké operacionalizace nekoreluje s jinými operacionalizacemi, se kterými by teoreticky korelovat neměla.
Platnost obsahu je nestatistický typ platnosti, který zahrnuje „systematické zkoumání obsahu testu s cílem určit, zda zahrnuje reprezentativní vzorek domény chování, která má být měřena“ (Anastasi & Urbina, 1997 str. 114).
Test má v sobě zabudovanou platnost obsahu pečlivým výběrem, které položky zahrnout (Anastasi & Urbina, 1997). Položky jsou vybírány tak, aby byly v souladu se specifikací testu, která je vypracována na základě důkladného prozkoumání předmětné domény. Foxcraft et al. (2004, s. 49). konstatuje, že využitím odborné komise k přezkoumání specifikací testu a výběru položek lze zlepšit platnost obsahu testu. Odborníci budou moci přezkoumat položky a vyjádřit se k tomu, zda položky pokrývají reprezentativní vzorek domény chování.
Platnost reprezentace je také známá jako platnost překladu.
Face validity je odhad, zda se zdá, že test měří určité kritérium; nezaručuje, že test skutečně měří jevy v této oblasti. Je-li totiž test předmětem falšování (simulace), nízká face validity by mohla test učinit platnějším.
Obličejová platnost velmi úzce souvisí s obsahovou platností. Zatímco obsahová platnost závisí na teoretickém základě pro předpoklad, zda test hodnotí všechny oblasti určitého kritéria (např. přináší hodnocení sčítacích dovedností dobré měřítko pro matematické dovednosti? – Pro odpověď musíte vědět, jaké různé druhy aritmetických dovedností matematické dovednosti zahrnují ) Obličejová platnost se týká toho, zda se test jeví jako dobré měřítko nebo ne. Tento úsudek se provádí na „tváři“ testu, tedy může být posuzován i amatérem.
Platnost související s kritérii odráží úspěšnost opatření používaných pro predikci nebo odhad. Existují dva typy platnosti související s kritérii: souběžná a prediktivní platnost. Dobrým příkladem platnosti související s kritérii je validace výběrových testů zaměstnanců; v tomto případě skóre v testu nebo baterii testů koreluje s výkonnostním skóre zaměstnanců.
Souběžná platnost se týká míry, do jaké operacionalizace koreluje s jinými měřeními téhož konstruktu, která se měří ve stejnou dobu. Vrátíme-li se k příkladu výběrového testu, znamenalo by to, že testy jsou podávány současným zaměstnancům a následně korelovány s jejich výsledky v hodnocení výkonnosti.
Prediktivní platnost se vztahuje k míře, do jaké může operacionalizace předpovídat (nebo korelovat) s jinými mírami téhož konstruktu, které se měří někdy v budoucnosti. Opět, u příkladu s výběrovým testem by to znamenalo, že testy jsou podávány uchazečům, všichni uchazeči jsou najati, jejich výkonnost je později přezkoumána a jejich skóre z obou opatření jsou pak korelována.
Platnost statistického závěru
Campbell a Stanley (1963) definují vnitřní platnost jako základní požadavky na to, aby byl experiment interpretovatelný – měl experiment v tomto případě nějaký význam? Vnější platnost řeší otázku zobecnitelnosti – na koho můžeme zobecnit zjištění tohoto experimentu?
Vnitřní validita je induktivní odhad míry, do jaké budou pravděpodobně pravdivé závěry o příčinách vztahů, s ohledem na použitá opatření, výzkumné prostředí a celou výzkumnou koncepci. Dobré experimentální techniky, při nichž je vliv nezávislé proměnné na závislou proměnnou studován za vysoce kontrolovaných podmínek, obvykle umožňují vyšší stupeň vnitřní validity než například u návrhů v jednom případě.
Do vnitřní platnosti může zasahovat osm cizích proměnných:
Do jaké míry vybrané konstrukty a opatření dostatečně posoudily, co má studie studovat?
Otázka externí platnosti se týká otázky, do jaké míry lze bezpečně zobecnit (interně platnou) kauzální dedukci (a) ze zkoumaného vzorku na definovanou cílovou populaci a (b) na ostatní populace (tj. napříč časem a prostorem).
Čtyři faktory ohrožující vnější platnost nebo reprezentativnost jsou:
Ekologická validita spočívá v tom, zda lze výsledky aplikovat na reálné životní situace. Tato problematika úzce souvisí s externí validitou a pokrývá otázku, do jaké míry vaše experimentální poznatky odrážejí to, co můžete pozorovat v reálném světě (ekologie= věda o interakci mezi organismem a jeho prostředím).
Typicky ve vědě existují dvě oblasti výzkumu: pasivně-pozorovací a aktivně-experimentální. Účelem experimentálních návrhů je otestovat kauzalitu, takže můžete odvodit A příčiny B nebo B příčiny A.
Ale někdy vám etická a/nebo methologická omezení brání v provedení experimentu (např. jak izolace ovlivňuje kognitivní funkce dítěte?) Pak ještě můžete provádět výzkum, ale není to kauzální, je to korelační, A se vyskytuje společně s B.
Obě techniky mají své silné a slabé stránky. Abyste získali experimentální návrh, musíte ovládat všechny interferující proměnné. Proto provádíte svůj experiment v laboratorním prostředí. Zatímco získáváte vnitřní validitu (vylučujete interferující proměnné tím, že je udržujete konstantní), ztrácíte ekologickou validitu, protože vytvoříte umělé laboratorní prostředí.
Na druhou stranu u observačního výzkumu nelze kontrolovat interferující proměnné (nízká vnitřní validita), ale lze měřit v přirozeném (ekologickém) prostředí, tedy v místě, kde dochází k chování.