Er wechselte nach der III. Klasse einer Realschule in Köln auf die Samsonschule. Sein Vater war Kaufmann und zum Schulabschluss von Ernst Hirsch bereits Rentier in Lechenich bei Köln am Rhein.