Со временем Воронцов продал свой дворец в государственную казну. Взятый в 1763 г. в казну дворец в конце 1790-х годов император Павел I пожаловал Мальтийскому ордену, в нем разместили капитал российских орденов, казну Мальтийского ордена В апартаментах дворца стали собираться его члены, по воле Павла I дворец стали называть замком мальтийских рыцарей. Тогда во дворе по проекту «орденского архитектора» Д. Кваренги соорудили «Мальтийскую капеллу» (католическую капеллу), а в левом крыле здания создали православную домовую церковь во имя Рождества Святого Иоанна Предтечи. В 1810 г. во дворце разместили Пажеский корпус, в котором учились будущие декабристы П.И. Пестель, В.П. Ивашев, П.Е. Свистунов и теоретик анархизма ПА. Кропоткин. Пажеский корпус размещался в дворцовом комплексе почти 108 лет (1810—1918). В советский период дворец был национализирован. В 1958 г. в нем разместили Суворовское военное училище. Но комплекс в людской памяти остается как Воронцовский дворец, что является своего рода данью уважения знатному вельможе елизаветинского времени графу М.И. Воронцову. Напоминает дворец и о мальтийских рыцарях, пагубных действиях масонских лож и их членов в царской России.
Михаил Илларионович Воронцов (1714— 1767) был с 14 лет пажом цесаревны Елизаветы Петровны, видел ее легкомысленную жизнь. В возрасте 27 лет М.И. Воронцов участвовал в дворцовом перевороте, в возведении 32-летней Елизаветы на престол (1741), за что был пожалован в камергеры, генерал-поручики, получил Александровскую звезду. В 30-летнем возрасте он был возведен в графское достоинство, назначен вице-канцлером с чином действительного тайного советника. Являясь помощником (с 1744 г.) канг^лера А.П. Бестужева-Рюмина, он не разделял его многие взгляды, между ними, по сути, шла тайная борьба. Воронцов считал, что России не следует активно вмешиваться в распри европейских государств. В возрасте 44 лет он был назначен канцлером. В период краткого правления императора Петра III он был вынужден выполнять принятые Петром III решения. Во время дворцового переворота 1762 г. Воронцов был при Петре III, вызвался поехать и «усовестить» его жену императрицу Екатерину Алексеевну. Ничего ему сделать не удалось, он написал Петру III письмо, в котором сообщил, что подчинился воле народа и присягнул императрице Екатерине II. Хотя он еще 3 года был канцлером, Екатерина II ему не доверяла, не давала возможности влиять на дела в государстве. Отзывы современников о Воронцове были противоречивыми. Одни считали его в политике принципиальным и осторожным, другие верили в его двуличность, получение денег от иностранных дворов за передачу информации о делах в России. Хотя еще императрица Елизавета Петровна пожаловала ему деревни, земли, заводы, он при его непрактичности в быту постоянно ощущал нехватку средств, просил субсидии и об уплате долгов, выпрашивал новые монаршие щедрости и даже пытался заниматься коммерческими сделками (в которых чаще всего терпел неудачи). Воронцов считался в родстве с Романовыми. Он с 28 лет был женат на двоюродной сестре императрицы Елизаветы Петровны — А.К. Скавронской (женился на ней ровно через год как Елизавета стала императрицей), имел дочь Анну, очень страдал из-за ее неудачного брака с графом А.С. Строгановым.
М.И. Воронцов яркими талантами государственного мужа не обладал, был человеком, подверженным чужому влиянию. Но он был хорошо образован, искренне интересовался развитием отечественной науки, проявлял истинный интерес к работам М.В. Ломоносова, которому покровительствовал и помогал. У него в его домах были большие и хорошие библиотеки. Когда у его брата графа Р. И. Воронцова умерла жена (1746) и легкомысленный Роман, большой любитель развлечений и лишних трат, стал вдовцом с пятью детьми, самую младшую его дочь, Екатерину, М.И. Воронцов взял к себе на воспитание. Он ее воспитывал, как и свою дочь. Екатерина Романовна Воронцова стала жить в его доме с двух лет, всегда чувствовала к себе любовь дяди (став со временем знаменитой и даже уникальной княгиней Дашковой, она всегда с благодарностью вспоминала годы, проведенные в семье дяди М. И. Воронцова).
На Английской набережной (д. 44) сохранился еще один роскошный особняк; раньше он был известен как дом-дворец графа Николая Петровича Румянцева- Задунайского. Н.П. Румянцев-Задунайский завещал этот особняк и хранившуюся в нем богатейшую коллекцию Петербургу; в особняке был открыт Румянцевский музей, находившийся в ведении Министерства народного образования. Со временем коллекцию Н.П. Румянцева-Задунайского перевезли в Москву и разместили в доме Пашковых. А в Петербурге, точнее тогда уже Ленинграде, в 1938 г. в особняке Н.П. Румянцева-Задунайского разместили Музей истории и развития города.
