Sada testů Versant jsou počítačové testy mluveného jazyka, které jsou k dispozici od společnosti Pearson. Testy Versant byly první plně automatizované testy mluveného jazyka, které využívaly pokročilou technologii zpracování řeči (včetně rozpoznávání řeči) k posouzení dovedností mluveného jazyka nerodilých mluvčích. Jazyková sada Versant zahrnuje testy angličtiny, španělštiny a arabštiny. Technologie Versant byla také použita při hodnocení letecké angličtiny, hodnocení ústní četby dětí a hodnocení gramotnosti dospělých.
V roce 1996 založili Jared Bernstein a Brent Townsend společnost Ordinate Corporation s cílem vyvinout systém, který by využíval technologii zpracování řeči a jazykovou a testovací teorii k zajištění automaticky dodávaného a automaticky hodnoceného testu z mluveného jazyka. První test z angličtiny se jmenoval PhonePass. Byl to první plně počítačový test mluveného jazyka využívající technologii rozpoznávání řeči. V roce 2002 byl název PhonePass změněn na PhonePass SET-10 (Spoken English Test) nebo jednoduše SET-10. V roce 2003 získala Ordinate společnost Harcourt Assessment a později v roce 2005 se název testu změnil na současný název Versant. V lednu 2008 získala Harcourt Assessment (včetně Ordinate Corporation) společnost Pearson PLC a Ordinate Corporation se stala součástí skupiny Knowledge Technologies společnosti Pearson.
Testy Versant jsou typicky patnáctiminutové testy mluvení a poslechu pro dospělé studenty jazyků. (Délka testu se mírně liší v závislosti na testu). Test se provádí po telefonu nebo na počítači a je vyhodnocován počítačem pomocí předem určených algoritmů řízených daty (viz 3.2). Během testu systém předkládá sérii zaznamenaných výzev v konverzačním tempu a vyvolává ústní odpovědi testovaného. Testy Versant jsou k dispozici v několika produktech:
Kromě toho bylo vytvořeno několik testů specifických pro jednotlivé domény, které využívají rámec Versant ve spolupráci s dalšími organizacemi. Tyto testy zahrnují Versant Aviation English Test (pro letecký personál), Versant Junior English Test (pro studenty angličtiny ve věku 5 až 12 let) a nizozemský imigrační test (dostupný výhradně prostřednictvím nizozemských ambasád). Bodovací systém Versant rovněž zajišťuje automatizované bodování mluvené části čtyřdovednostního testu, Pearson Test of English, který je k dispozici koncem roku 2009.
Testy Versant měří „schopnost v mluveném jazyce“, definovanou jako schopnost porozumět mluvenému jazyku v každodenních tématech a přiměřeně reagovat v konverzačním tempu jako rodilý mluvčí. Při sledování konverzačního tempa musí člověk sledovat, co je řečeno, získávat význam v průběhu řeči a formulovat a vytvářet relevantní a srozumitelnou odpověď. Testy Versant jsou navrženy tak, aby měřily tyto psycholingvistické aspekty mluveného výkonu v reálném čase v druhém jazyce.
Testy Versantu mají obvykle šest úloh: Čtení, Opakování, Krátké otázky odpovědí, Tvorba vět, Retelling příběhů a Otevřené otázky.
Testy Versant mohou být prováděny po telefonu nebo na počítači. Testující osoby mohou přistupovat k testům a provádět je z jakéhokoli místa, kde je telefon pevné linky nebo připojení k internetu.
Účastníci testu obdrží identifikační číslo testu a poslechnou si zaznamenaný hlas zkoušejícího, který obsahuje pokyny, které jsou také doslovně vytištěny na papíru nebo obrazovce počítače. Po celou dobu testu účastníci testu poslouchají zaznamenané výzvy k položkám, které čtou různí rodilí mluvčí angličtiny (nebo rodilí mluvčí španělštiny nebo arabštiny v ostatních testech). Vzhledem k tomu, že je test automatizovaný, lze velmi rychle provádět a hodnotit velké množství testů.
Automatizovaná bodovací technologie
Technologie automatizovaného bodování je optimalizována pomocí velkého počtu vzorků řeči od rodilých i nerodilých mluvčích. Obvykle se provádí rozsáhlý sběr dat, aby se shromáždilo dostatečné množství takových vzorků řeči. Tyto mluvené odpovědi jsou pak přepsány, aby se vytrénoval systém automatického rozpoznávání řeči.
Každá příchozí odpověď je pak automaticky zpracována rozpoznávačem řeči, který byl optimalizován pro nepůvodní řeč. Slova, pauzy, slabiky a telefony jsou umístěny v zaznamenaném signálu. Obsah odpovědi je ohodnocen podle přítomnosti nebo nepřítomnosti očekávaných správných slov ve správných sekvencích a také podle tempa, plynulosti a výslovnosti těchto slov ve frázích a větách. Základní míry jsou pak odvozeny ze segmentů, slabik a slov založených na statistických modelech rodilých a nerodilých mluvčích. Bylo vytvořeno mnoho dokumentace týkající se přesnosti automatizovaného bodovacího systému Versant (např. viz oddíl 4).
Testy Versant v současné době používají akademické instituce, korporace a vládní agentury po celém světě. Testy Versant poskytují informace, které mohou být použity k určení, zda zaměstnanci nebo studenti mají potřebné znalosti mluvené angličtiny pro efektivní interakci. Například test Versant English Test byl použit na mistrovství světa v Koreji/Japonsku v roce 2002 k měření znalostí angličtiny více než 15 000 dobrovolníků a přidělení příslušných pracovníků k úkolům s nejintenzivnější angličtinou. Test Versant Spanish Test byl použit ve studii společnosti Blake, et al. (2008) k vyhodnocení, zda kurzy distančního vzdělávání jsou stejně platným způsobem, jak začít učit cizí jazyk, jako tradiční osobní kurzy, které se setkávají pětkrát týdně s ohledem na ústní znalosti.
Vztah k jiným testům
Skóre testů Versant bylo sladěno se Společným evropským referenčním rámcem (CEFR). Níže jsou mapování skóre Versant a skóre dalších testů do společného evropského referenčního rámce (CEFR). Celkové skóre Versant English lze použít k predikci úrovní CEFR na stupnici CEFR pro dovednosti ústní interakce s přiměřenou přesností.
Řada validačních studií zjistila, že test Versant English Test přiměřeně koreluje s jinými měřítky dovedností mluvené angličtiny. Například korelace mezi testem Versant English Test a testem TOEFL iBT Speaking je r=0,75 a korelace mezi testem Versant English Test a testem IELTS Speaking je r=0,77.
Jedním z častých nepochopení testů Versant je, že stroj nedokáže vyhodnotit mluvicí schopnosti stejně dobře jako člověk. Řada validačních studií ukázala, že strojově generované skóre testu Versant English je prakticky nerozeznatelné od skóre udávaného opakovanými nezávislými lidskými hodnotiteli na celkové úrovni. Korelace mezi těmito dvěma hodnotami je 0,97.
Dalším nepochopením je, že testy Versant neměří komunikativní schopnosti, protože mezi živými účastníky nedochází k výměnám interakcí. Downey a kol. (2008) vysvětlují, že psycholingvistické schopnosti, které jsou hodnoceny v testech Versant, jsou základem pro větší výkon v mluveném jazyce. Toto tvrzení je podpořeno souběžnými údaji o platnosti, že výsledky testů Versant vysoce korelují s jinými známými testy ústních dovedností, jako jsou ACTFL OPI nebo ILR OPI.