Дворцовый комплекс для графа М. И. Воронцова возводили в течение восьми лет. Комплекс расположен на участке между Садовой улицей и рекой Фонтанкой. Парадный фасад главного корпуса выходит на Садовую, в отличие от других дворцов, которые строили ориентируясь на каналы и реки.
Это объяснялось тем, что прокладывались новые улицы и проспекты, которые обеспечивали передвижение по суше. Садовая утица становилась оживленной магистралью: она соединяла новые районы города с торговыми центрами на Невском проспекте.
Растрелли расположил дворцовый комплекс, состоящий из четырех корпусов, в глубине квартала, устроив перед дворцом парадный двор. Комплекс и двор отделены от улицы кованой кружевной решеткой, с четырехгранными столбами. В ограде устроены ворота. За корпусом, находящимся ближе к реке Фонтанке, раньше огромное пространство занимал сад с прудом, от которого расходились прямые аллеи.
В 1798-1800 годах по проекту архитектора Д. Кваренги во дворце были сооружены православная церковь и католическая капелла Ордена мальтийских рыцарей.
Главный фасад дворца состоит из трех ризалитов — центрального и двух боковых. Центральный ризалит шире и выше на полуэтаж, богато декорирован, окна обрамлены наличниками со сложным рисунком. Простенки украшены пилястрами, лопатками и сдвоенными колоннами. Боковые ризалиты выделены только колоннами; декоративная обработка в боковых ризалитах намного проще.
Внутренняя отделка дворцовых помещений выполнена на уровне царских покоев. Каждая архитектурная деталь, даже самая малая, являлась подлинным произведением искусства или, выражаясь современным языком, «дизайн был на высоком уровне».
К сожалению, роскошная отделка была уничтожена в начале XIX века при переделке помещений для Пажеского корпуса — привилегированного военного учебного заведения России. Сегодня в стенах дворца располагается Суворовское военное училище.
