В 1751 г. около дворца начали высаживать березовую рощу. Она должна была носить характер регулярного парка. Работы велись под руководством садовника Филиппа Пермякова — уважаемого мастера, имя которого еще не заняло должного места в истории русского садового искусства. Ф. Пермяков разбил сад в Покровском (“саду рисует землю”), у Новослободского дворца, у двора троицкого архимандрита в Москве и в Измайлове 30. Сохранившийся план Покровского сада вокруг церкви Воскресения говорит о мастерстве Пермякова, умевшего разбивать лучевые ровные аллеи, вписывая их в геометрические формы овала или прямоугольника. Подобная “геометрия” была модной в эпоху барокко.
План Воробьевской рощи состоял как бы из трех смыкавшихся друг с другом частей, во многом копируя Покровский сад. Аллеи разбивались “першпектно”: под прямым углом и наискось, по сторонам света и полусторонам. В месте их слияния оставлена круглая в плане площадка, с которой просматривались все направления. Этот принцип был одним из основных в регулярной разбивке садов в Версале, Анненгофе и ряде других всемирно известных памятников. Смычки частей рощи оказались малоудачны, т. к. в результате не получилось правильной геометрической формы. Очевидно, что к этому привели местные реалии — направления дорог, расположение крестьянских владений и пр. К тому же работы в Воробьеве воспринимались в то время как нечто второстепенное, в виду того что дворец не был главной подмосковной резиденцией императрицы Елизаветы. Геометрически правильные части рощи в совокупности образовывали неправильную фигуру; среди прямых аллей виднелись и изогнутые дугообразные обходы. Под эту затею были выделены земли крестьянской, десятинной и церковной пашни, а также территория небольшой липовой рощи.
Обновление Воробьева затянулось до конца 1750-х гг., но оно так и не смогло возродить пустовавшую резиденцию. В 1775 г. Екатерина II во время посещения Москвы побывала и в Воробьеве. По этому поводу в камер-фурьерском журнале записано: “После стола в 3 часа ее императорское величество соизволила с дежурными фрейлинами и кавалерами предпринять шествие в каретах на Воробьевы горы, куда по прибытии ее высочество соизволила выдти и гулять по лугу с полчаса времени, по сем отбыв во дворец” 31.
Во время второго визита в Воробьево 24 мая 1775 г. у императрицы родилась идея перенести сюда деревянный корпус Пречистенского дворца с Волхонки 32. Его выстроил к приезду императрицы в Москву М.Ф. Казаков, расширив усадьбу князя Голицына. Распоряжение было исполнено в 1777 г. Корпус установили на каменный подклет “с прибавкою двух покоев”, которые были отделаны под стать центральной части. Строение было выдержано в духе классицизма последней трети XVIII столетия. Выдержанное почти без украшений, сооружение было выстроено традиционно симметрично. Центральный ризолит украшали восемь колонн, поставленных по четыре справа и слева. Между ними располагался парадный вход, к которому вела отделанная парапетами лестница. Два яруса окон различались размерами (окна нижнего яруса были больше в высоту, чем окна верхнего), что несколько смягчало сухое архитектурное решение. Переходы вели от главного корпуса к боковым крыльям, одной высоты с центральным ризолитом, выделявшимся лишь более высокой крышей. Таков был облик Воробьевского дворца, запечатленный на одной из гравюр Ф. Кампорези.
Высокий старорусский подклет явно не вязался с новым верхом, а получившееся сооружение не стало выдающимся архитектурным памятником. Оно оставалось бесхозным. М.Ф. Казаков в 1787 г. нашел необходимым сделать во дворце лишь небольшой ремонт на 5 тыс. руб., что и было исполнено. В следующем году буря сорвала с крыши множество железных листов и выбила стекла. В целом, к 1795 г. дворцовые ветхости оставались непочиненными, а само здание находилось в печальном состоянии.
Расходы на содержание дворца тяготили казну, и в сентябре 1797 г. он был разобран. Через три года от бывшего деревянного дворца сохранился лишь каменный подклет. В 1802 г. нижний этаж с фундаментом был продан на слом московскому купцу Ивану Шелапутину за 9,5 тыс. руб. Однако наследники скончавшегося вскоре купца вместо разборки оборудовали первый этаж под постоялый двор, отданный внаем дворянину Ивану Веригину. Здесь появились кухонный очаг и ледяной погреб, где содержали “весь съестной припас и всякие вины для герберга”. На соседнем Потешном лугу разместились две палатки и платный бильярдный стол 33.
В 1808 г. дворец еще видели в руинах. На плане 1820-х гг. он уже не значился. Территорию его западного крыла и части сада занимала строительная площадка возводимого А. Витбергом храма Христа Спасителя.
Со сносом дворца Воробьевы горы надолго утратили свою доминанту. Выстроенная в 1811 г. небольшая каменная Троицкая церковь не смогла заменить величавую архитектуру хором. Храм Христа Спасителя на Воробьевых горах так и не был возведен, а находившиеся поблизости бараки для рабочих были неудачно приспособлены под нужды пересыльной тюрьмы.
XVIII в. стал периодом угасания и гибели Воробьевской усадьбы. Причины этого кроются и в привязанности монархов к другим резиденциям, и в определенной старомодности Воробьева. Сказалось, конечно, и его удаленность от дворянских гнезд и прияузских предместий. Бросается в глаза и общая тенденция упадка старинных царских усадеб в ближайшем Подмосковье — Коломенского, Преображенского, Покровского, Алексеевского.