В августе 1741 года, Елизавета купила эту землю у лесоторговца (Д.Д.Лукьянова) и приказала приступить к строительству дворца архитектору Земцову. Это должно было стать подарком для А.Г.Разумовского. Со стороны Фонтанки, находилась гавань, для причаливания судов и небольшой сад. Б.Ф.Растрелли принял участие в отделке интерьеров этого дворца. Гавань была прямоугольного вида, к ней от Фонтанки походил небольшой канал, по которому на шлюпке, можно было добраться прямо к ступеням парадного входа. По обе стороны, симметрично, располагались двухэтажные колоннады - галереи. Невский проспект, при Елизавете, совсем не был парадной магистралью: по нему возили в Адмиралтейство всякие грузы, а улицей он стал только при Екатерине Второй - в 1783 году. Поэтому, на Невский, по плану первоначального дворца выходила глухая стена, на которой располагался обширный висячий сад. На месте современного здания Александринки, стоял павильон, в котором располагалась картинная галерея Разумовского, Здесь же, проходили  различные праздники - балы, маскарады...
Между самим дворцом и Невским проспектом, находился небольшой пруд, с довольно отвесными берегами. Неподалеку от этого, были теплицы и оранжереи. А в здании, на месте которого сейчас стоит РНБ, жили слуги.