Княгиня Зинаида Ивановна Юсупова (урожденная Нарышкина, 1797—1897), жена князя Б.Н. Юсупова, переселилась сюда из их родового дома-дворца на Мойке, который она отдала после свадьбы ее сыну Николаю Борисовичу Юсупову-младшему и его жене Т. А. Юсуповой (урожденной графине де Рибопьер). Зинаида Ивановна Юсупова знала о краткости земной жизни, поэтому поставила себе правилом — радоваться каждому дню, не расстраиваться по мелочам, помнить, что «на все воля Божия», что огш при ее знатности и богатствах в любой ситуации должна не расстраиваться, а действовать решительно и умно, помня о том, что она — женщина, причем красивая и обязанная не лишать себя земных удовольствий, тем более во второй половине жизни. Она была на 3 года моложе своего мужа, прожившего всего 55 лет; она пережила его на 48 лет. Став вдовой в 52 года, она влюблялась снова, вышла второй раз замуж, всегда была предметом внимания мужчин и всегда сама решала свою судьбу. Благодаря оптимистическому настрою она прожила 100 лет.
О Зинаиде Ивановне Юсуповой ходили легенды, для этого были серьезные основания. Как-то она, уже в зрелом возрасте, сильно увлеклась молодым революционером, а его посадили в финляндскую Свеаборгскую крепость; она поехала в Финляндию, купила дом напротив крепости и какое-то время мучительно смотрела на окошко его каземата, надеясь увидеть его, а потом вернулась к более веселой жизни. Ф.Ф. Юсупов-младший в своих «Мемуарах» предполагает, что она устроила ему побег из тюрьмы (что было не слишком трудно осуществить при ее деньгах), потом тайно перевезла его в Россию и держала тайно у себя дома в Петербурге. Возлюбленный жил при ней в «золотой клетке»; их любовь постепенно померкла; без свободы, деятельности, взаимной любви он вскоре умер. После смерти Зинаиды Ивановны в ее спальне, как писали газеты, нашли потайные дверь и помещение, где находился обернутый в ткань мужской скелет, скорее всего это был ее возлюбленный революционер.
Когда любовь к нему прошла, Зинаида Ивановна все-таки поддерживала его, но быть жертвой ушедшего чувства не хотела. Она считала глупостью расстраиваться из-за мужчин, тем более — долго. Она развлекалась также романом и с красавцем императором Николаем I, почти ее ровесником, считавшимся в Европе эталоном мужской красоты и, как сейчас говорят, сексуальности. Как-то он в письме сообщил ей, что дарит ей домик «Эрмитаж» в Царском Селе, предлагает ей пожить в нем летом и принимать его в нем. Княгиня поблагодарила за подарок, но его не приняла и дала понять, что привыкла жить, где хочет, и принимать, кого и когда сама захочет. А потом купила около царского дворца в Царском Селе небольшой участок, построила домик, как «Эрмитаж», и, когда хотела, жила в нем и принимала, кого считала нужным, в том числе и царских особ. Когда роман с императором ей надоел, она уехала в Париж, где купила особняк и продолжала весело жить, позволила какое-то время Наполеону III увлечься ею. Затем, уже в солидном возрасте, она без памяти влюбилась в красивого, очень молодого, но бедного французского офицера Шово, отважилась выйти за него замуж, купила ему замок и титул графа, а себе титул маркизы де Серр.
Зинаиду Ивановну стали называть графиней де Шово и маркизой де Серр. При почтенных лет богатой жене, да и еще неутомимой любительнице любовных утех, ее молодой муж (корыстно ждавший ее кончины) быстро умер. При этом он завещал подаренный ему женой замок не ей, а своей молодой любовнице. Зинаида Ивановна выкупила замок втридорога у молодой соперницы и подарила его местной французской администрации для открытия в нем музея. Она не слишком расстраивалась и переживала, ведь было ясно: ей денег хватит, чтобы обеспечить себе новые радости в такой короткой земной жизни. Она умела до самой глубокой старости радоваться жизни, следила за собой, прекрасно одевалась, хорошо выглядела, не растеряла оптимизм и бодрость духа. Все свои бесценные украшения она завещала внучке — Зинаиде Николаевне Юсуповой, дома во Франции и в России (в Петербурге и Москве) завещала правнукам Николаю и Феликсу Феликсовичам Юсуповым (первый из них был убит на дуэли и все досталось Ф.Ф. Юсупову-младшему).
В годы Первой мировой войны Ф.Ф. Юсупов-младший устроил в этом дворце на Литейной улице первый из созданных им госпиталей для тяжелораненых.
У южной границы Летнего сада находится Михайловский (Инженерный с 1822 г.) замок (Садовая ул, д. 2). Он был построен (1797—1800) по приказу императора Павла I, «русского Гамлета», не желавшего жить в Зимнем дворце, где он не чувствовал себя в безопасности. Павел решил обзавестись дворцом, неприступным для его недругов. Он требовал, чтобы его новый дворец-резиденция был создан по образцу средневекового замка-крепости. Дворец со всех сторон был окружен водой (реками Мойкой и Фонтанкой, а также глубокими рвами), только по подъемному мосту через ров можно было попасть к воротам, которые вели во внутренний двор к парадному подъезду.
