Posouzení založené na konsenzu (CBA)
Peter Legree a Joseph Psotka navrhli, že psychometrické g by mohlo být měřeno nenápadně pomocí průzkumných stupnic vyžadujících úsudek. Měření by mohlo být provedeno buď použitím odchylného skóre pro každou osobu ze skupiny nebo odborným průměrem; nebo použitím Pearsonovy korelace mezi jejich úsudky a skupinovým průměrem. Obě techniky spolu dokonale korelují.
Následně vytvořili stupnice, které vyžadovaly, aby jednotlivci odhadli četnost slov; posoudili binární pravděpodobnosti dobrého pokračování; identifikovali důsledky znalostí a přibližné rozdělení zaměstnanosti. Položky byly pečlivě identifikovány, aby postrádaly objektivní odkazy, a proto stupnice vyžadovaly, aby respondenti poskytli úsudky, které byly bodovány proti široce rozvinutým, konsensuálním standardům.
„Posouzení založené na konsenzu (CBA)“ rozšiřuje teoretický postřeh, že odbornost lze úzce přiblížit velkému počtu nováčků nebo tovaryšů; a sdílené znalosti, které tvoří kulturní konsensus, lze interpretovat podobně jako odbornost. Podle tohoto názoru, pokud vzorky jedinců s odlišnými schopnostmi (např. expertů a učňů) hodnotí relevantní scénář, pak by poskytly podobné průměrné hodnocení pro každou položku. Z pohledu rámce CBA tak lze kulturní standardy pro vyhodnocování klíčů odvodit od stejné populace, která je posuzována.
Jedním ze způsobů, jak toto očekávání pochopit, je vzít v úvahu, že u mnoha výkonnostních oblastí odborné znalosti do značné míry odrážejí znalosti odvozené ze zkušeností. Protože nováčci budou mít tendenci mít méně zkušeností, jejich názory mohou chybovat v různých směrech a tyto chyby nebudou příliš konzistentní. Nicméně, jak budou získávány zkušenosti, názory odborníků a dokonce i tovaryšů budou konzistentnější. Podle tohoto názoru jsou chyby náhodné a údaje o hodnocení shromážděné od velkých vzorků respondentů, jejichž znalosti a dovednosti pokrývají širokou škálu odborných znalostí, mohou být použity k přiblížení hodnotících prostředků, které by byly shromážděny od podstatného počtu odborníků, pokud by byly k dispozici. Protože směrodatná odchylka průměru se bude blížit nule, 0, protože počet pozorování, N, se stane velmi velkým, odhady založené na skupinách s různou schopností poskytnou konvergentní odhady maximálního výkonu. Prostředky odpovědí těchto skupin mohou být použity k vytvoření efektivních skórovacích rubrik pro hodnocení výkonu. Tento přístup je zvláště relevantní pro skórování subjektivních oblastí znalostí, které jsou škálovány pomocí Likertových škál odezvy, a přístup byl použit k vytvoření skórovacích standardů pro několik oblastí, ve kterých chyběli odborníci.
V praxi analýzy prokázaly vysokou úroveň konvergence mezi expertními a CBA standardy s hodnotami kvantifikujícími tyto standardy vysoce korelovanými (Rs-e,s-c v rozmezí od 0,72 do 0,95) a se skóre založenými na těchto standardech rovněž vysoce korelovanými (Re,c v rozmezí od 0,88 do 0,99) za předpokladu, že velikost vzorku obou skupin je velká (Legree, Psotka, Tremble & Bourne, 2005). Pro těchto pět oblastí a pro další tři oblasti, které bylo možné hodnotit pouze pomocí měření založeného na konsenzu, skóre založená na expertních a CBA standardech korelovala s příslušnými kritérii. Tato konvergence mezi CBA a expertními referenčními skóre a souvisejícími údaji o platnosti ukazuje, že CBA a expertní bodování konzistentně hodnotí možnosti pro položky za předpokladu, že ratingové údaje jsou shromažďovány pomocí velkých vzorků expertů a zkoušejících pro konstrukci bodovacích rubrik.
CBA se často vypočítává pomocí Pearsonovy R korelace úsudků každé osoby podle Likertovy stupnice napříč souborem položek proti průměru úsudků všech lidí o stejných položkách. Korelace je pak měřítkem blízkosti dané osoby ke konsensu. Někdy se také vypočítává jako standardizované odchylné skóre od konsensuálních prostředků skupin. Tyto dva postupy jsou matematicky izomorfní. Je-li kultura považována za sdílené poznání; a průměr hodnocení skupiny na soustředěné oblasti poznání je považován za měřítko kulturního konsensu v této oblasti; pak oba postupy posuzují CBA jako měřítko kulturního porozumění jednotlivé osoby.
Může se však stát, že konsenzus není rovnoměrně rozložen mezi všechny podřízené položky týkající se tématu. Znalostní obsah položek je možná rozložen mezi domény s odlišným konsenzem. Například konzervativci, kteří jsou libertariáni, mohou mít jiný názor na narušování soukromí než konzervativci, kteří mají silný názor na právo a pořádek. Standardní faktorová analýza ve skutečnosti tuto otázku staví do popředí.
V analýze faktoru podle centroidů nebo principiálních komponent (PCA) se první skóre faktoru vytvoří vynásobením každého hodnocení korelací faktoru (obvykle průměr všech standardizovaných hodnocení pro každou osobu) s hodnocením každé položky. Toto násobení váží každou položku korelací vzoru individuálních rozdílů u každé položky (skóre komponent). Pokud je shoda nad těmito položkami rozložena nerovnoměrně, mohou být některé položky více zaměřeny na celkové otázky společného faktoru. Pokud položka vysoce koreluje se vzorem celkových individuálních rozdílů, pak je v celkovém skóre faktoru vážena silněji. Toto vážení implicitně také váží skóre CBA, protože právě ty položky, které sdílejí společný vzorec shody podle CBA, jsou v analýze faktoru váženy více.
Transponovaná nebo Q technika faktorová analýza ( tento vztah explicitně uvádí. CBA skóre jsou statisticky izomorfní ke skóre komponent v PCA pro analýzu Q techniky. Jsou načtením odpovědí každého člověka na průměr odpovědí všech lidí. Q faktor analýza tedy může poskytnout lepší CBA měřítko, pokud může být použito jako první pro výběr lidí, kteří představují dominantní dimenzi, přes položky, které nejlépe reprezentují podřízenou atributovou dimenzi domény (jako je liberalismus v politické doméně) a pak faktorová analýza může poskytnout CBA jednotlivců podél této konkrétní osy domény.
Z toho vyplývá, že pokud nejsou položky snadno vytvořeny a uspořádány tak, aby poskytovaly vysoce spolehlivou škálu, měla by být nejprve provedena analýza faktoru Q, aby se vytvořily faktory pro Likertovy ratingy každé osoby; a pak lze vybrat ty faktory, jejichž skóre složek nejlépe vystihuje atributovou dimenzi jako škálu CBA. Takže například v škále položek pro politické postoje se položky mohou ptát na postoje k velké vládě, právo a pořádek, ekonomické otázky, pracovní otázky nebo libertariánské otázky. Která z těchto položek nejvíce ovlivňuje politické postoje dotázaných skupin, může být obtížné a priori určit a požadovat nejprve analýzu faktoru Q, aby se vybrali lidé s největším konsensem, jejichž hodnocení nejlépe koreluje s různými skupinami politických názorů. Jakmile je tento faktor vybrán, určuje skóre CBA (složek).
Legree, P. J., Psotka J., Tremble, T. R. & Bourne, D. (2005). Using Consensus Based Measurement to Assess Emotional Intelligence. In R. Schulze & R. Roberts (Eds.), International Handbook of Emotional Intelligence. (pp 99-123). Berlin, Germany: Hogrefe & Huber.