В 1999 году напротив мемориала советских воинов было открыто немецкое воинское кладбище. Появление подобного кладбища на сталинградской земле стало возможным после подписания Россией и Германией межправительственного соглашения об уходе за военными могилами. Основная идея, которую призван нести Россошинский военный мемориал, – необходимость примирения народов во имя памяти павших на страшной войне.
Во время Сталинградской битвы на этом месте располагалось кладбище немецких военнослужащих. Сейчас оно называется старое кладбище. В 2000 году здесь также были захоронены останки 625-ти румынских военнослужащих, воевавших на стороне Германии, найденные в Серафимовичском районе.