При всей красоте и богатстве убранства Мраморного дворца судьбы его владельцев — потенциальных и реальных — в царский период были главным образом грустными. Этому способствовали их жизнь, полная ошибок, и склонность к совершению грехов; за все прегрешения им и их потомкам пришлось мучительно расплачиваться.
Мраморный дворец, как бы сказали сейчас, имел плохую ауру. Все, для кого он создавался или кому был подарен либо перешел по наследству, все его владельцы и большинство жильцов, обитателей стабильно благополучными, счастливыми не были. Каким-то невероятным образом жизнь владельцев и большинства обитателей Мраморного дворца была несчастливой. Дворец строили по приказу Екатерины II для ее фаворита (в 1760—1773 гг.) графа Г.Г. Орлова, но он сошел с ума и скончался за 2 года до завершения его строительства Затем дворец предоставили для жилья экс-короля Польши Станислава Августа Понятовскош (1732—1798), который короткое время был фаворитом великой княгини Екатерины Алексеевны, а когда она взошла на российский престол, то содействовала его избранию королем Польским Понятовский не мог чувствовать себя комфортно во дворце, который был построен для Г.Г. Орлова, вытеснившего его из сердца Екатерины Алексеевны и для которого во дворце был создан художественный намек — плафон работы С. Торелли (1712—1780) «Свадьба Амура и Психеи». Позже во дворце содержался под стражей пленный лидер польского восстания 1794 г. Тадеуш Костюшко (1743—1817), для которого надпись на фасаде этого дворца казалась циничной (надпись гласила «Здание благодарности», имелась в виду благодарность Екатерины II Г.Г. Орлову).
Мраморный дворец каким-то образом связал судьбы ряда его обитателей с Польшей, поляками. Мраморный дворец обладал какой-то необъяснимой силой сбивать воинствующую и политическую спесь с тех, кто хотел в свое время в Польше верховодить и управлять ею; об этом свидетельствуют события в жизни Станислава Понятовского, Т. Костюшко, а также великих князей Константина Павловича и Константина Николаевича. Великий князь Константин Павлович 17 лет (1814—1831) пытался навести порядок в Царстве Польском, командовал в нем армией, был полным светским владыкой, его любовницей, а со временем и женой стала полька графиня Жанетта Грудзинская. Но дельно руководить он не умел, разразилось восстание поляков (1830), его едва не убили. Его племянник и тоже владелец Мраморного дворца великий князь Константин Николаевич был в 1862—1863 гг. Наместником в Царстве Польском Он также не смог навести в нем порядок, допустил мятеж (1863), был ранен злоумышленником, также отбыл в Петербург. Два великих князя без ощутимых успехов в течение 18 лет безуспешно руководили Царством Польским.