Carroll se narodil v Hartfordu v Connecticutu. Na začátku svého života se Carroll začal zajímat o hudbu a jazyk. Jeho zájem o jazyk byl dále rozdmýchán tím, že se ve třinácti letech spřátelil s Benjaminem Lee Whorfem a rozebíral Whorfovy myšlenky o úzkém spojení mezi kulturou a jazykem. Carroll také pomáhal editovat a publikovat Whorfův jazyk, myšlení a skutečnost v roce 1956.
Carroll studoval na Wesleyan University, obor Classics a absolvoval summa cum laude v roce 1937. Navštěvoval University of Minnesota, aby získal doktorát z psychologie. Na University of Minnesota začal Carroll studovat pod vedením B. F. Skinnera, ale brzy zjistil, že ho více zajímá práce s velkým množstvím předmětů než Skinnerův přístup k jednotlivým předmětům. Skinner Carrolla nasměroval k L. L. Thurstoneovi na University of Chicago, kde se mohl věnovat svému zájmu o psychometriku. Během této doby se zaměřil na verbální schopnosti a v roce 1941 dokončil disertační práci „Analýza faktoru verbálních schopností“.
Po ukončení studia byla Carrollova první pozice na Mount Holyoke College (1940-42). Mary Searle, která v roce 1941 získala titul B.A. z psychologie na Mount Holyoke, si Carrolla po ukončení studia vzala.
Po Mount Holyoke Carroll učil na Indiana University (1942-43), University of Chicago (1943-44), Harvard Graduate School of Education (Roy E. Larsen Professor of Education, 1949-67) a University of North Carolina (William R. Kenan, Jr., Professor of Psychology 1974-82, Ředitel L. L. Thurstone Psychometric Laboratory, 1974-79).
Byl také psycholog u námořnictva Spojených států (1944-46), ministerstvo armády (1946-49) a vzdělávací zkušební služby (1967-74).
Jeden z Carrollových raných projektů v 50. letech zahrnoval vývoj testu jazykových schopností (Modern Language Aptitude Test (1953-58), neboli MLAT). Projekt vyrostl z potřeby americké armády vybrat lidi, kteří by se mohli snadno učit cizí jazyky, aby vláda mohla věnovat čas a finanční prostředky těm, kteří by měli největší prospěch z výuky cizích jazyků. Zpočátku vláda poskytla financování projektu profesorovi na univerzitě blíže k Defense Language School v Monterey v Kalifornii, ale jeho výzkum byl neúspěšný a neposkytl užitečný hodnotící nástroj. Carroll pak získal grant na výzkum schopností výuky cizích jazyků prostřednictvím Carnegie Corporation a spolupracoval se Stanleym Saponem a US Army-Air Force na vývoji testu dovedností v moderních jazycích. MLAT byl publikován v roce 1959 Psychological Corporation a je dodnes používán mnoha vládními organizacemi v USA i v zahraničí k měření schopností učit se cizím jazykům a výběru kandidátů na jazykové vzdělávací programy.
Ve své studii „Fundamental considerations in testing for English language proficiency of foreign students“, publikované v roce 1961, Carroll zpochybnil spoléhání oboru jazykového testování na diskrétní bodový návrh testu. Diskrétní bodový test je analytický přístup k jazykovému testování, ve kterém má každá testovací otázka měřit jeden odlišný obsahový bod. Carroll podporoval použití integrativního testovacího návrhu, ve kterém každá otázka vyžaduje, aby testovaný použil více než jednu dovednost nebo kus znalosti najednou a může být přirozenější reprezentací znalosti jazyka testovaného. Carrollova práce ovlivnila návrh Test of English as a Foreign Language, neboli TOEFL, který kombinoval diskrétní bod i integrativní metody pro hodnocení.
V roce 1994 byl jedním z 52 signatářů „Mainstream Science on Intelligence“, úvodníku napsaného Lindou Gottfredsonovou a publikovaného ve Wall Street Journal, který obhajoval závěry o rase a inteligenci v The Bell Curve.
Podle Davida Lubinského, výzkumníka psychologie na Vanderbiltově univerzitě, byl Carroll známý nejen svými příspěvky akademické obci, ale také svými „hlubokými intelektuálními dary, zvídavostí, optimismem, vtipem a neochvějnou integritou a upřímností“.
Vybráno z více než 400 knih a článků.