Už v raném věku dával přednost matematice, ale ta byla postupně překonána zájmem o přírodní vědy, což ho nakonec přivedlo ke studiu medicíny. Po studiích v Berlíně, Vídni, Praze, Paříži, Londýně, Dublinu a Edinburghu a poté, co věnoval zvláštní pozornost oftalmologii, začal v roce 1850 vykonávat praxi očního lékaře v Berlíně. Založil tam soukromou instituci pro léčbu očí, která se stala vzorem mnoha podobných klinik v Německu a Švýcarsku.
V roce 1853 byl jmenován učitelem oftalmologie na univerzitě v Berlíně; v roce 1858 se stal mimořádným profesorem a v roce 1866 řádným profesorem. Graefe významně přispěl k oftalmologické vědě, zejména založením svého Archiv für Oftalmologie v roce 1855, na němž spolupracovali Carl Ferdinand von Arlt a Franciscus Donders. V roce 1870 byl zvolen zahraničním členem Královské švédské akademie věd.
Památník Rudolfa Siemeringa na Charité Berlin
Zřejmě jeho dvěma nejvýznamnějšími objevy byla metoda léčby zeleného zákalu a nová operace šedého zákalu. Byl také považován za autoritu v nemocech nervového systému a mozku. Zemřel v Berlíně na tuberkulózu 20. července 1870. Jeho hrob je zachován v protestantském Friedhof II der Jerusalems- und Neuen Kirchengemeinde (hřbitov č. II kongregací jeruzalémské církve a nové církve) v Berlíně-Kreuzbergu, jižně od Hallesches Tor.
Stejnojmenné „Gräfe’s sign“ je spojováno s Graves-Basedowovou chorobou.