Geboren als Tochter des k.u.k. Oberbaurats Victor Gessner. Nach der Scheidung der Eltern wuchs sie bei ihrer Großmutter mütterlicherseits in Wien auf. Sie studierte Klavier an der Musikakademie und nahm Gesangsunterricht. Später übte sie sich in Skulptur- und Metallarbeiten und beschäftigte sich intensiv mit Fotografie und Schneidere. Nach dem Tod ihres Vaters begann sie ein Studium der Psychologie, Anatomie und Medizin.

Ab 1935 war sie mit Viktor von Klarwill verheiratet. Beide wanderten nach Afrika aus, in Hinblick auf den bereits drohenden Nationalsozialismus. Nach einer Fehlgeburt im Jahr 1937 fuhr sie alleine zur Erholung nach Mombasa und hatte vor, Kenia als mögliches Exil zu begutachten. Auf der Überfahrt verliebte sie sich in den Schweizer Botaniker und Forschungsreisenden Peter Bally, den sie nach ihrer Scheidung 1938 heiratete. Er weckte das Interesse an Botanik in ihr. Bereits nach vier Jahren wurde die Ehe geschieden und Joy heiratete 1944 George Adamson in Nairobi, einen in Indien geborenen Briten irischer Abstammung, den sie 1941 kennengelernt hatte und der einem Tierreservat als Wildheger vorstand. An seiner Seite begann sie mit dem Sammeln und Porträtieren von Fossilien, Reptilien und Insekten. Adamson zeichnete und fotografierte die Tiere und Pflanzen Afrikas, aber auch die einheimische Bevölkerung und deren Lebensumstände.

Am 3. Januar 1980 brach Adamson zu einer Abendwanderung von ihrem Camp in Shaba aus auf, kehrte aber davon nicht mehr zurück. Ihr dritter Ehemann, George Adamson, der sie um neun Jahre überlebte, starb ebenfalls gewaltsam.