Jako syn Jamese a Maurina Colemanových strávil rané dětství v Bedfordu v Indianě a pak se přestěhoval do Louisville v Kentucky. Po absolvování v roce 1944 se zapsal na malou školu ve Virginii, ale během druhé světové války odešel narukovat do amerického námořnictva. Po propuštění přešel na Purdueovu univerzitu. Coleman získal bakalářský titul v oboru chemické inženýrství na Purdueově univerzitě v roce 1949 a doktorát získal na Columbijské univerzitě v roce 1955, kde se dostal pod vliv Paula Lazarsfelda.
Coleman dosáhl věhlasu dvěma studiemi o řešení problémů: Úvod do matematické sociologie (1964) a matematiky kolektivní akce (1973). Učil na Stanfordově univerzitě a poté na univerzitě v Chicagu. V roce 1959 se přestěhoval na Johns Hopkins University, kde učil až do roku 1973, než se vrátil do Chicaga, kde pak řídil Národní názor Výzkumné centrum. V roce 1991 Coleman byl zvolen prezidentem ASA.
Coleman zjistil, že v průměru byly černošské školy do šedesátých let financovány na téměř stejném základě. Tento výzkum také naznačil, že sociálně znevýhodnění černošští studenti profitovali ze školní docházky v rasově smíšených třídách (toto zjištění následně potvrdil další výzkum). To byl katalyzátor pro zavádění desegregačních autobusových systémů, převážejících černošské studenty do integrovaných škol. V návaznosti na to Coleman v roce 1975 zveřejnil výsledky dalšího výzkumu, tentokrát o účincích školních autobusových systémů, které měly přivést černošské studenty z nižších tříd do vyšších tříd smíšených škol. Jeho závěr byl, že bělošští rodiče stěhovali své děti z takových škol ve velkém počtu; to je známo jako „bílý let“. Jeho článek z roku 1966 vysvětlil, že černošští studenti by měli prospěch z integrované školní docházky pouze tehdy, pokud by ve třídě byla většina bělošských studentů; systém hromadné autobusové dopravy selhal.
Colemanova zjištění týkající se „bílého letu“ nebyla v některých kruzích dobře přijata, zejména mezi některými členy Americké sociologické asociace. V reakci na to se během poloviny 70. let objevily snahy o zrušení jeho členství v ASA. Coleman zůstal členem a paradoxně se o dvacet let později stal prezidentem ASA.
„Tyto testy neměří inteligenci, postoje ani charakterové vlastnosti. Navíc nejsou ani nejsou určeny k tomu, aby byly ‚kulturně svobodné‘. Právě naopak: jsou kulturně vázané. Měří schopnosti, které patří v naší společnosti k nejdůležitějším pro získání dobrého zaměstnání a pro přechod k lepšímu a pro plnou účast ve stále techničtějším světě.“
Coleman byl průkopníkem v konstrukci matematických modelů v sociologii se svou knihou,
Úvod do matematické sociologie (1964). Jeho pozdější pojednání, Základy sociální teorie (1990), učinil významné příspěvky k důslednější formě teoretizování v sociologii na základě racionální volby. [citace nutná]
Coleman napsal více než třicet knih a publikoval řadu článků. Vytvořil také vzdělávací korporaci, která vyvíjela a uváděla na trh „mentální hry“ zaměřené na zlepšení schopností znevýhodněných studentů. Coleman zavedl praxi, že své nejkontroverznější výsledky výzkumu posílal „svým nejhorším kritikům“ ještě před jejich vydáním a označil to za „nejlepší způsob, jak zajistit platnost“.
V době své smrti se věnoval dlouhodobé studii nazvané „The High School and Beyond“, která zkoumala životy a kariéru 75 000 lidí, kteří byli v roce 1980 středoškolskými juniory a seniory.