Представитель христианских демократов был избран на должность федерального президента 1 июля 1994 г. и пробыл на нем до 1999 года.
По инициативе Р.Герцога в 1996 году в Германии был введен День памяти жертв Холокоста. Им стало 27 января - день освобождения Красной армией концентрационного лагеря Освенцим. "Память не должна заканчиваться. Она должна напоминать будущим поколениям о необходимости быть бдительными", - заявил президент.
С Р.Герцогом связано начало новой президентской традиции - обращение к гражданам страны с ежегодной "берлинской речью", в которой поднимаются важные общественно-политические темы. В своей первой речи в 1997 году "Прорыв в двадцать первом века" Р.Герцог призвал нацию не застревать в прошлому, не стагнировать в настоящем, а броситься в будущее.
После того, как Р.Герцог ушел из политики, он продолжал активно участвовать в общественной жизни Германии.