Родилась в многодетной дворянской семье. Детство и юность провела в
Екатеринославе. По материнской линии принадлежала к роду князей
Долгоруковых, её родителями были
Андрей Михайлович Фадеев (
1789—
1867),
тайный советник,
губернатор Саратова, и княжна Елена Павловна Долгорукая (в девичестве). Родная сестра Елены, Екатерина, была замужем за Юлием Федоровичем Витте (
1814—
1867), от брака с которым родился будущий российский государственный деятель, министр финансов
России Сергей Юльевич Витте (
1849—
1915).
Елена Ган приходилась двоюродной сестрой поэтессе
Евдокии Ростопчиной и
мемуаристке Екатерине Сушковой, приятельнице
Лермонтова, с которым Ган общалась в её доме. «Его я знаю лично… Умная голова! Поэт, красноречив», — писала она родным (см. Лермонтовскую энциклопедию). Её родственником по матери был известный поэт того времени
Иван Михайлович Долгоруков, внук автора «Своеручных записок» Натальи Долгорукой и первый их издатель, а также поэт
Ф. И. Тютчев.
Замуж Елена вышла в 16-летнем возрасте за капитана Петра Алексеевича Гана (Peter von Hahn;
1798—
1873), человека военного, почти вдвое старше её, происходившего из немецкого рода, переселившегося в Россию в середине 18-го века.
В
1831 году у Ганов родилась первая дочь
Елена (Елена Блаватская), а в
1835 — вторая дочь
Вера — будущая писательница
Желиховская. Елена Ган вместе с маленькими детьми и мужем все это время путешествовала по
Украине, побывала в
Курске и в
Туле. Весной
1836 года семья прибыла в
Петербург, где проживет по май
1837 года, здесь Елена Ган увидела на выставке
Пушкина, о чём написала родным: «Я узнала — Пушкина! Я воображала его чёрным брюнетом, а его волосы не темнее моих, длинные, взъерошенные… Маленький ростом, с заросшим лицом, он был не красив, если бы не глаза. Глаза блестят, как угли, и в беспрерывном движении. Я, разумеется, забыла картины, чтобы смотреть на него. И он, кажется, это заметил: несколько раз, взглядывая на меня, улыбался… Видно, на лице моем изображались мои восторженные чувства». Известно, что Пушкин во время южной ссылки бывал в кишиневском и одесском домах Фадеева.