1902 heiratete Ernst Cassirer seine Cousine Antonielle (Toni) Bondy und hatten drei Kinder zusammen: Heinrich Walter (1903–1979; Professor für Philosophie), Georg Eugen (1904–1958; Angestellter und Fotograf) und Anna Elisabeth (1908–1998; Geigerin und Psychologin). Die Familie Cassirer war jüdisch assimiliert und wohnte in Berlin und Hamburg, wo Ernst Cassirer als Professor für Philosophie tätig war. 1933 wurde ihm der Lehrstuhl entzogen und im selben Jahr verließen alle das nationalsozialistische Deutschland. Zunächst gingen sie nach Großbritannien ins Exil, wenig später nach Schweden, 1941 schließlich in die USA.