Sein älterer Bruder, Werner Ilberg, war ebenfalls Stadtschüler an der Samsonschule.
Der Vater war als Textilkaufmann in Wolfenbüttel tätig und Mitglied der Jüdischen Gemeinde.