Fleissova kappa je zobecněním Scottovy pi statistiky, statistického měřítka spolehlivosti inter-raterů. Souvisí také s Cohenovou kappa statistikou. Zatímco Scottova pi a Cohenova kappa fungují pouze pro dva ratery, Fleissova kappa funguje pro libovolný počet raterů, které udávají kategorické hodnocení (viz nominální údaje), k pevnému počtu položek. Lze ji interpretovat tak, že vyjadřuje míru, do jaké pozorovaná míra shody mezi ratery převyšuje to, co by se očekávalo, kdyby všichni rateři dělali své hodnocení zcela náhodně.
Dohodu lze považovat za následující, pokud pevný počet lidí přiřazuje číselné hodnocení k několika položkám, pak kappa udává měřítko, jak jsou tato hodnocení konzistentní. Kappa, , lze definovat jako
Faktor udává stupeň shody, který je dosažitelný nad náhodu, a, udává stupeň shody skutečně dosažený nad náhodu. Rozsah bodového hodnocení je mezi 0 a 1. Hodnota 1 znamená úplnou shodu. Příklad použití Fleissovy kappy může být následující: Vezměme si čtrnáct psychiatrů, kteří jsou požádáni, aby se podívali na deset pacientů. Každý psychiatr udává každému pacientovi jednu z možných pěti diagnóz. Fleissova kappa může být vypočítána z této matice (viz příklad níže), aby ukázala stupeň shody mezi psychiatry nad úrovní shody očekávané náhodou.
Nechť N je celkový počet předmětů, nechť n je počet hodnocení jednotlivých předmětů a nechť k je počet kategorií, do kterých se přiřazují úkoly. Předměty jsou indexovány i = 1, … N a kategorie jsou indexovány j = 1, … k. Nechť nij, představuje počet hodnotitelů, kteří přiřadili i-tý předmět k j-té kategorii.
Nejprve spočítejte pj, podíl všech přiřazení, která byla do j-té kategorie:
Nyní spočítejte , Do jaké míry se na i-tém předmětu dohodnou hodnotitelé:
Nyní vypočítat , Průměr z ‚s, a které jdou do vzorce pro :
V následujícím příkladu přiřadí čtrnáct hodnotitelů () deset „předmětů“ () do celkem pěti kategorií (). Kategorie jsou uvedeny ve sloupcích, zatímco předměty jsou uvedeny v řádcích.
Součet všech buněk = 140
Součet = 3.780
Například, přičemž první sloupec,
A když vezmu druhou řadu,
Za účelem výpočtu , Musíme znát součet ,
Landis a Koch uvedli následující tabulku pro interpretaci hodnot. Tato tabulka však není v žádném případě všeobecně přijímána; Landis a Koch nepředložili žádný důkaz na její podporu a místo toho ji založili na osobním názoru. Bylo poznamenáno, že tyto pokyny mohou být spíše škodlivé než užitečné, protože počet kategorií a předmětů ovlivní velikost hodnoty. Kappa bude vyšší, když bude méně kategorií.