Cai se narodil ve vesnici Shānyīn v podprefektuře Shaoxing v provincii Zhejiang a ve svých 26 letech byl jmenován členem císařské akademie Hanlin. V roce 1898 se zapojil do správy ústavů a stal se:
Po studiu filozofie, psychologie a dějin umění na univerzitě v Lipsku se v roce 1907 stal v lednu 1912 prozatímním ministrem školství, ale později, za vlády Jüan Šikaje, rezignoval. Poté se vrátil do Německa a následně odešel do Francie.
V roce 1916 se Cchaj vrátil do Číny a v následujícím roce se stal rektorem Pekingské univerzity.
V roce 1918 otevřel první psychologickou laboratoř v Číně.
Během svého působení na Pekingské univerzitě získal na školu takové slavné myslitele (a budoucí vůdce ČKS), jako byli Chen Duxiu a Li Dazhao. V roce 1927 spoluzaložil Národní hudební školu, která se později stala Šanghajskou hudební konzervatoří. V dubnu 1928 se stal prvním prezidentem Čínské akademie věd.
Cai navrhl stejnou důležitost pěti způsobů života – „Ctnost, Moudrost, Zdraví, Kolektiv a Krása“ (德、智、體、群、美) – které se dodnes na Tchaj-wanu učí jako heslo. Byl také odpůrcem svazování nohou a konkubinátu, stejně jako zastáncem práva žen na rozvod a nový sňatek.
Cai Yuanpei zemřel ve věku 76 let v Hongkongu.