Представник християнських демократів був обраний на посаду федерального президента 1 липня 1994 року і пробув на ньому до 1999 року.
З ініціативи Р.Герцога в 1996 році в Німеччині був введений День пам'яті жертв Голокосту. Ним стало 27 січня - день визволення Червоною армією концентраційного табору Освенцим. "Пам'ять не повинна закінчуватися. Вона повинна нагадувати майбутнім поколінням про необхідність бути пильними", - заявив президент.
З Р.Герцогом пов'язаний початок нової президентської традиції - звернення до громадян країни із щорічною "берлінською промовою", в якій торкаються важливі суспільно-політичні теми. У своїй першій промові в 1997 році "Прорив в 21-е століття" Р.Герцог закликав націю не застрягати в минулому, не стагнувати в сьогоденні, а кинутися в майбутнє.
Після того, як Р.Герцог пішов з політики, він продовжував брати активну участь у суспільному житті Німеччини.