De Graaf was lid van de Anti-Revolutionaire Jongerenstudieclubs en het CNV. Op verzoek van Wil Albeda trad hij in 1977 toe tot het kabinet-Van Agt I als staatssecretaris van Sociale Zaken en Werkgelegenheid. Na een korte periode in de Kamer was hij van 29 mei 1982 tot 4 november 1982 minister van Sociale Zaken en Werkgelegenheid. Van 5 november 1982 tot 3 februari 1987 was hij opnieuw staatssecretaris van Sociale Zaken. Van 3 februari 1987 tot 5 mei 1987 verving hij tijdelijk Jan de Koning als minister. Daarna was hij tot 1 oktober 1989 weer staatssecretaris. De Graaf was onder andere speciaal belast met de portefeuille sociale zekerheid.
Als staatssecretaris herzag hij de kinderbijslagregelingen. In de kabinetten-Lubbers I en II voerde hij, in weerwil van zijn vakbondsverleden, een stringent bezuinigingsbeleid, waardoor de sociale zekerheid drastisch werd versoberd. Hij bracht samen met minister De Koning in 1987 de stelselherziening sociale zekerheid tot stand. Hij schafte met minister Elco Brinkman de BKR (Beeldende Kunstenaarsregeling 1949-1987/1992) af.
Na zijn aftreden in 1989 werd hij voorzitter van de Ziekenfondsraad en van het College van Zorgverzekeraars (CVZ). De Graaf behoort tot de Gereformeerde Kerken in Nederland, die in 2004 zijn opgegaan in de Protestantse Kerk in Nederland.
De Graaf overleed op 90-jarige leeftijd
