Fyzická antropologie se vyvinula v 19. století, před vznikem teorie přírodního výběru Charlese Darwina, známé také jako teorie evoluce, a teorie genetiky Gregora Mendela. Fyzická antropologie se tak nazývala proto, že všechna její data byla fyzikální (fosilie, zejména lidské kosti). Se vznikem darwinovské teorie a moderní syntézy měli antropologové přístup k novým formám dat a mnozí se začali nazývat „biologickými antropology“.
Některé z raných oborů fyzikální antropologie, jako je raná antropometrie, jsou nyní odmítány jako pseudověda. Metriky jako cefalický index byly použity k odvození behaviorálních charakteristik. Dva z prvních zakladatelů vědecké fyzikální antropologie byli Paul Pierre Broca a Franz Boas.
Studium lidské evoluce často zahrnuje další specializace: