V zásadě platí, že pokud má měření rozlišení
, pak pokud experimentátor průměry
nezávislé měření průměr bude mít rozlišení
(to je ústřední limitní věta statistiky). To je důležitá experimentální technika používaná ke snížení vlivu náhodnosti na výsledek experimentu. Ale všimněte si, že to vyžaduje, aby měření byla statisticky nezávislá, a existuje několik důvodů, proč tato nezávislost může selhat. Pokud se tak stane, pak průměr nemusí být ve skutečnosti lepším měřením, ale může pouze odrážet korelace mezi jednotlivými měřeními a jejich ne-nezávislou povahu.
Nejčastější příčinou nesamostatnosti jsou systematické chyby (chyby ovlivňující všechna měření stejně, což způsobuje vysokou korelaci různých měření, takže průměr není o nic lepší než každé jednotlivé měření). Jiná příčina však může být způsobena neschopností lidského pozorovatele zaokrouhlit měření skutečně náhodným způsobem. Pokud experiment hledá hvězdnou odchylku nějakého měření a pokud je měření zaokrouhleno člověkem, který zná hvězdný čas měření, a pokud se zprůměrují stovky měření, aby se extrahoval „signál“, který je menší než skutečné rozlišení přístroje, pak by mělo být jasné, že tento „signál“ může pocházet z náhodného zaokrouhlení, a nikoli ze samotného přístroje. V takových případech se vyžaduje jednoslepý experimentální protokol; pokud lidský pozorovatel nezná hvězdný čas měření, pak i když zaokrouhlení není náhodné, nemůže zavést falešnou hvězdnou odchylku.
Všimněte si, že moderní elektronické nebo počítačové techniky sběru dat značně snížily pravděpodobnost takového zkreslení, ale stále může být zavedeno špatně navrženou analytickou technikou. Experimentorovo zkreslení nebylo dobře rozpoznáno až do 50. a 60. let a pak bylo především v lékařských experimentech a studiích. Jeho účinky na experimenty ve fyzikálních vědách nebyly vždy plně rozpoznány.
V experimentální vědě je zaujatost experimentátora zaujatostí vůči výsledku očekávanému lidským experimentátorem. David Sackett v užitečném přehledu zaujatostí v klinických studiích uvádí, že zaujatost se může objevit v kterékoli ze sedmi fází výzkumu:
Klasifikace předsudků experimentátora
Moderní elektronické nebo počítačové techniky sběru dat značně snížily pravděpodobnost takového zkreslení, ale stále může být zavedeno špatně navrženou analytickou technikou. Experimentovo zkreslení nebylo dobře rozpoznáno až do 50. a 60. let a pak bylo především v lékařských experimentech a studiích. Sackett (1979) katalogizoval 56 zkreslení, která mohou vzniknout při odběru vzorků a měření v klinickém výzkumu, mezi výše uvedenými prvními šesti stupni výzkumu. Jedná se o následující:
Vliv zkreslení na experimenty ve fyzikálních vědách nebyl vždy plně rozpoznán.
V zásadě platí, že pokud má měření rozlišení
, pak pokud experimentátor průměry
nezávislé měření průměr bude mít rozlišení
(to je ústřední limitní věta statistiky). To je důležitá experimentální technika používaná ke snížení vlivu náhodnosti na výsledek experimentu. To vyžaduje, aby měření byla statisticky nezávislá; existuje několik důvodů, proč nemusí být. Není-li nezávislost splněna, pak průměr nemusí být ve skutečnosti lepší statistikou, ale může pouze odrážet korelace mezi jednotlivými měřeními a jejich nesamostatnou povahu.
Nejčastější příčinou nesamostatnosti jsou systematické chyby (chyby ovlivňující všechna měření stejně, což způsobuje vysokou korelaci různých měření, takže průměr není o nic lepší než každé jednotlivé měření). Další možnou příčinou nesamostatnosti je zkreslení experimentátora.
Biologické a lékařské vědy
Pokud je měřený signál ve skutečnosti menší než chyba zaokrouhlení a údaje jsou nadprůměrné, pozitivní výsledek měření lze nalézt v údajích, kde žádný neexistuje (tj. přesnější experimentální přístroj by takový signál nezvratně nevykazoval). Pokud experiment hledá hvězdnou odchylku nějakého měření a pokud měření zaokrouhluje člověk, který zná hvězdný čas měření, a pokud se zprůměrují stovky měření, aby se získal „signál“, který je menší než skutečné rozlišení přístroje, pak by mělo být jasné, že tento „signál“ může pocházet z nenáhodného zaokrouhlení, a nikoli ze samotného přístroje. V takových případech se vyžaduje jednoslepý experimentální protokol; pokud lidský pozorovatel nezná hvězdný čas měření, pak i když zaokrouhlení není náhodné, nemůže zavést falešnou hvězdnou odchylku.
Experimentátor může zavést kognitivní zkreslení do studie několika způsoby. Za prvé, při jevu, který se nazývá efekt pozorovatelské očekávatelnosti, může experimentátor nenápadně sdělit účastníkům svá očekávání ohledně výsledku studie, což způsobí, že změní své chování tak, aby byla v souladu s těmito očekáváními. Poté, co jsou data shromážděna, může být zkreslení zavedeno během interpretace a analýzy dat.
Pozorovatelské efekty mají kořeny v univerzální lidské tendenci interpretovat data způsobem, který je v souladu s jejich očekáváním . Tato tendence může výsledky vědeckého testu zkreslit zejména tehdy, když jsou podkladová data nejednoznačná a vědec je vystaven doménově irelevantním informacím, které zapojují emoce nebo touhy. Navzdory dojmům o opaku musí forenzní DNA analytici nejednoznačnosti často řešit, zejména při interpretaci obtížných důkazních vzorků, jako jsou ty, které obsahují směsi DNA od dvou nebo více jedinců, degradovanou nebo inhibovanou DNA nebo omezené množství šablony DNA. Plný potenciál forenzního DNA testování lze realizovat pouze tehdy, pokud jsou minimalizovány pozorovatelské efekty.