Irmgard Wüst wurde als Tochter einer schwäbischen Gelehrtenfamilie geboren. Ihr Vater Albert Wüst lehrte an der Martin-Luther-Universität Halle-Wittenberg als Professor für landwirtschaftliche Maschinenkunde und Meliorationswesen. In Halle lernte sie auch ihren Ehemann kennen, den sechs Jahre älteren Fritz Litten.

Kurz nachdem er sein Assessor-Examen als Jurist abgelegt hatte, heirateten beide im September 1900. Ihre drei Söhne Hans, Heinz und Rainer kamen innerhalb von sechs Jahren auf die Welt. Bis 1933 interessierte sie sich nicht für Politik, dafür aber umso mehr für die Studien historischer Kunst.

Von 1928 bis 1933 trat ihr ältester Sohn Hans Litten in Berlin als linker Strafverteidiger groß in Erscheinung. In dem bekannten Berliner Edenpalast-Prozess von 1931 blamierte er in einer Zeugenvernehmung Adolf Hitler als Führer der NSDAP. Drei Jahre später revanchierte sich dieser. Nach dem Reichstagsbrand am 28. Februar 1933 wurde Hans Litten früh morgens verhaftet und über fünf Jahre lang in verschiedenen Konzentrationslagern schwer gefoltert und schikaniert.
Auch in der Familie und dessen Umfeld wurde das politische Wirken von Hans Litten heftig diskutiert.

Bei den unterschiedlichsten Gesprächen, in deren Verlauf Irmgard Litten sich wiederholt für ihren Sohn eingesetzt hat, sammelte sie im Laufe der Zeit die Erfahrungen, die sie später dazu befähigt haben, sich für sein Wohlergehen einsetzen zu können. Nach seiner Verhaftung führte sie einen auch im Ausland anerkannten und viel beachteten Kampf um die Freilassung ihres Sohnes aus der KZ-Haft.

Nach dem Selbstmord von Hans Litten im Konzentrationslager Dachau ging sie über die Schweiz und Paris in die Emigration nach Großbritannien. Dort schrieb sie ihren Bericht über das Schicksal ihres Sohnes und die Zustände in den deutschen Konzentrationslagern. Er wurde 1940 kurz vor der Niederlage Frankreichs unter dem Titel „Die Hölle sieht dich an“ zum ersten Mal auf Deutsch in Paris veröffentlicht. Im gleichen Jahr erschien er unter dem Titel „A mother fights Hitler“ in England und kurz darauf unter dem Titel „Beyond tears“ in den Vereinigten Staaten von Amerika. Im Jahr darauf wurde er zum ersten Mal in Spanisch als „Una madre contra Hitler“ publiziert. In Deutschland wurde ihr Bericht seit 1947 auch unter dem Titel „Eine Mutter kämpft gegen Hitler“ mehrfach veröffentlicht.

Ihren Lebensunterhalt bestritt sie hauptsächlich als Mitarbeiterin des Ministry of Information und als Sprecherin der British Broadcasting Corporation (BBC). Sie wurde Mitglied im „P.E.N. Club in London“. Seit Sommer 1943 war sie Mitglied im „Initiativausschusses für die Einheit der deutschen Emigration“ und der „Freien Deutschen Bewegung“ (FDB). Anfang 1944 trat sie aus der FDB aus, als Protest gegen die Deutschlandpolitik der KPD. 1943 war sie an der Publikation „Der Weg zu einem neuen Deutschland“ („Germany's road to democracy“) beteiligt. Gegen Ende des Krieges bemühte sie sich vor allem um Kriegsgefangene. 1945 erschien ihre Broschüre „All the Germans – are they really guilty?“ bei Victor Gollancz, wo sie sich gegen eine Kollektivschuldthese aussprach und sich für einen antifaschistischen Neuaufbau Deutschlands eingesetzt hat.

1950 kehrte sie nach Deutschland zurück. Sie lebte vorübergehend in der so genannten Intelligenzsiedlung in Berlin-Schönholz und anschließend bis zu ihrem Tode in Berlin-Köpenick.