Carroll se narodil v Hartfordu v Connecticutu 5. června 1916. Na začátku svého života se Carroll začal zajímat o hudbu a jazyk. Jeho zájem o jazyk byl dále rozdmýchán tím, že se ve třinácti letech spřátelil s Benjaminem Lee Whorfem a rozebíral Whorfovy myšlenky o úzkém propojení kultury a jazyka. Carroll také pomáhal editovat a publikovat Whorfův jazyk, myšlení a skutečnost v roce 1956.
Carroll studoval na Wesleyan University, obor Classics a absolvoval summa cum laude v roce 1937. Navštěvoval University of Minnesota, aby získal doktorát z psychologie. Na University of Minnesota začal Carroll studovat pod vedením B. F. Skinnera, ale brzy zjistil, že ho více zajímá práce s velkým množstvím předmětů než Skinnerův přístup k jednotlivým předmětům. Skinner Carrolla nasměroval k L. L. Thurstoneovi na University of Chicago, kde se mohl věnovat svému zájmu o psychometriku. Během této doby se zaměřil na verbální schopnosti a v roce 1941 dokončil disertační práci „Analýza faktoru verbálních schopností“.
Po ukončení svého vzdělání Carroll pokračoval v bohaté kariéře v psychologii. Carrollova první pozice byla na Mount Holyoke College (1940-42). Mary Searle, která získala titul B.A. z psychologie na Mount Holyoke v roce 1941, si Carrolla vzala po ukončení studia.
Po Mount Holyoke Carroll učil na Indiana University (1942-43), University of Chicago (1943-44), Harvard Graduate School of Education (Roy E. Larsen Professor of Education, 1949-67) a University of North Carolina (William R. Kenan, Jr., Professor of Psychology 1974-82, Ředitel L. L. Thurstone Psychometric Laboratory, 1974-79).
Byl také psycholog u amerického námořnictva, (1944-46), ministerstvo armády, (1946-49) a vzdělávací zkušební služby (1967-74).
John Carroll během své přibližně padesátileté kariéry mnohokrát přispěl do oblasti psychologie, vzdělávací lingvistiky a psychometriky.
Jeden z Carrollových raných projektů v 50. letech zahrnoval vývoj testu jazykových schopností (Modern Language Aptitude Test (1953-58), neboli MLAT). Projekt vyrostl z potřeby americké armády vybrat lidi, kteří by se mohli snadno učit cizí jazyky, aby vláda mohla věnovat čas a finanční prostředky těm, kteří by měli největší prospěch z výuky cizích jazyků. Zpočátku vláda poskytla financování projektu profesorovi na univerzitě blíže k Defense Language School v Monterey v Kalifornii, ale jeho výzkum byl neúspěšný a neposkytl užitečný hodnotící nástroj. Carroll pak získal grant na výzkum schopností výuky cizích jazyků prostřednictvím Carnegie Corporation a spolupracoval se Stanleym Saponem a US Army-Air Force na vývoji testu dovedností v moderních jazycích. MLAT byl publikován v roce 1959 Psychological Corporation a je dodnes používán mnoha vládními organizacemi v USA i v zahraničí k měření schopností učit se cizím jazykům a výběru kandidátů na jazykové vzdělávací programy.
Dalším příspěvkem Johna Carrolla byla jeho práce „Fundamental considerations in testing for English language proficiency of foreign students“, publikovaná v roce 1961. Carroll v ní zpochybnil spoléhání testovacího oboru na diskrétní bodový návrh testu. Diskrétní bodový test je analytický přístup k jazykovému testování, v němž má každá testovací otázka měřit jeden odlišný obsahový bod. Carroll podporoval použití integrativního testovacího návrhu, v němž každá otázka vyžaduje, aby testovaný použil více než jednu dovednost nebo část znalosti najednou a může být přirozenější reprezentací znalostí testovaného jazyka. Carrollova práce ovlivnila návrh Test of English as a Foreign Language, neboli TOEFL, který pro hodnocení kombinoval jak diskrétní bodové, tak integrační metody.
V roce 1994 byl jedním z 52 signatářů „Mainstream Science on Intelligence“, úvodníku napsaného Lindou Gottfredsonovou a publikovaného ve Wall Street Journal, který obhajoval závěry o rase a inteligenci v The Bell Curve.
Podle Davida Lubinského, výzkumníka psychologie na Vanderbiltově univerzitě, byl Carroll známý nejen svými příspěvky akademické obci, ale také svými „hlubokými intelektuálními dary, zvídavostí, optimismem, vtipem a neochvějnou integritou a upřímností“.
Následuje jen malý výběr z více než 400 knih a článků, které napsal John Carroll.