В этом случае важно место выдачи свидетельства и место его предъявления, то есть легализацию нужно проводить в РФ для Германии. Обе страны - участницы Гаагской конвенции 1961 года, поэтому для документов применяется упрощенная форма легализации - апостилирование. По логике, вам достаточно будет поставить штамп-апостиль. Но это мое субъективное мнение. Наилучшим вариантом будет проконсультироваться в любой организации, которая занимается оформлением подобных документов, например многие бюро переводов занимаются подготовкой документов для предъявления за рубежом. Как вариант, сходите сюда http://apostil-info.ru/advice/, это бесплатная консультация по вопросам легализации и апостилирования. Перезванивают обычно в течение 30-40 минут, денег не берут.