Klerman se narodil v New Yorku. V roce 1950 absolvoval Cornellovu univerzitu a v roce 1954 New York University School of Medicine. Po roční lékařské stáži v nemocnici Bellevue Hospital Center v New Yorku dokončil rezidenturu psychiatrie v Massachusetts Mental Health Center v Bostonu.
Klermanova odbornost zahrnovala deprese, schizofrenii a úzkostné poruchy. V letech 1966 až 1970 působil na fakultě Yaleovy univerzity, kde zastával také pozici ředitele univerzitního centra duševního zdraví. Následně pracoval na Harvardu.
V letech 1977 až 1980 byl šéfem Úřadu pro alkohol, drogy a duševní zdraví (Alcohol, Drug Abuse and Mental Health Administration), kterého jmenoval prezident Jimmy Carter.
Klermanova druhá manželka Myrna Weissmanová byla jeho spolupracovnicí při práci v interpersonální psychoterapii. Po dlouhé anamnéze cukrovky Klerman zemřel 3. dubna 1992 v New Yorku na onemocnění ledvin.