У Орловых была надежда, что Григорий Григорьевич Орлов со временем станет официальным мужем императрицы Екатерины II, но этого им не удалось добиться. Приручить Григория, полностью подчинить его себе Екатерина так и не смогла, не смогла простить и его многочисленные любовные измены ей, отказалась от него как от своего фаворита. В 1777 г. в возрасте 43 лет Григорий Григорьевич Орлов женился на своей 19-летней двоюродной сестре Екатерине Николаевне Зиновьевой (1758—1781), которую еще 13-летней девушкой он изнасиловал и в которую был давно влюблен, но она через 4 года умерла, детей у них не было. После смерти жены Григорий Григорьевич Орлов чуть ли не потерял рассудок, серьезно заболел и через 6 лет в возрасте 49 лет умер.
Станислав Август Понятовский (1732— 1798), бывший недлительное время любовником великой княгини Екатерины Алексеевны (о чем знал ее муж Петр, наследник русского престола, не возражавший против этой связи), стал по воле императрицы Екатерины II польским королем (1764—1795), вынужденно ориентировался на Россию, не смог отстаивать истинные интересы Польши; был последним королем Речи Посполи- той. Умер и был похоронен в Петербурге в костеле Святой Екатерины, в 1938 г. его прах перезахоронили в Польше.
В 1796 г. Мраморный дворец в качестве подарка к свадьбе был преподнесен Павлом I его сыну великому князю Константину Павловичу (1779—1831), когда он в возрасте 17 лет женился на 15-летней принцессе Юлиане Саксен-Кобургской (1781—1860). Но перенявший подозрительный, мнительный, взбалмошный характер отца Константин Павлович грубо вел себя с женой, допускал безобразные выходки в отношении нее (оскорблял и мог даже ударить), грубую брань, непристойные проделки с гостями, другие сомнительного рода развлечения. Его жена, принявшая в России Православие и имя Анна Федоровна, выдержала семейную жизнь с ним менее 5 лет ив 1801 г. уехала от него за границу; в 1820 г. их брак был расторгнут. В возрасте 36 лет Константин Павлович влюбился в 20-летнюю польку, дочь графа Антона Грудзинского Жанетту (1795—1831), она была его любовницей много лет, он после развода женился на ней (1820), она получила титул княгини Лович (Ловиц- кой). Вторая жена сумела подчинить своему благотворному влиянию необузданный характер этого великого князя, но детей у них не было. Константин Павлович стал (с 1814 г.) начальником польской армии, сосредоточил (с 1819 г.) в своих руках все управление Царством Польским, но его правление (1814—1831) закончилось восстанием поляков в 1830 г., сам он едва не был убит. Он был подавлен этими событиями и вскоре умер, ему было 52 года.
Владельцем Мраморного дворца относительно недолго был младший сын Павла I, великий князь Михаил Павлович (1798—1849 гг.), женатый с 1824 г. на Вюртембергской принцессе Каролине, принявшей Православие и ставшей в России Еленой Павловной (1806—1873). У них за 25 лет супружества родились 5 дочерей, но не было сыновей; их 3 дочери умерли в детстве и юности, 2 вышли замуж, из них одна через год после свадьбы в возрасте 19 лет умерла, а вторая, Екатерина (1827—1894), прожила 67 лет, была с 1851 г. женой герцога Георга Мекленбург-Стрелицкого (1823—1876).
После кончины не имевшего сыновей Михаила Павловича Мраморный дворец перешел по наследству к великому князю Константину Николаевичу, переехавшему в него в 1849 г. Константин Николаевич (дядя Коко, 1827—1892 гг.) был важной личностью. Он был генерал-адмиралом, с 1855 г. управлял флотом и Морским ведомством, был в 1860 г. — председателем Главного Комитета по крестьянскому делу, в 1862—1863 гг. — наместником Царства Польского, в 1865—1881 гг. — председателем Государственного совета, возглавлял Императорское Русское географическое общество (с 1845 г.) и Русское музыкальное общество (с 1873 г.). Константин Николаевич слыл заядлым либералом, он чуть ли не ратовал за конституцию в России.
Вероятно, в прошлом лучшие дни в истории Мраморного дворца были именно при великом князе Константине Николаевиче, причем до 1870-х годов (т.е. до его ухода от жены). При Константине Николаевиче в Мраморном дворце повсюду были роскошь и великолепие. Дворец украшали живописные панно на лестницах и в залах, мраморные статуи и скульптурные работы М.И. Козловского и Ф.И. Шубина, был декор из бронзы, хрусталя, ценнейшего фарфора, многочисленные зеркала немецкой работы. Во дворце было много ценных художественных полотен — работы знаменитых иностранных художников. Константин Николаевич превратил свой дом в своего рода филиал возглавляемых им учреждений и обществ. Здесь у него был рабочий кабинет, зал для деловых заседаний. Устраивал он в Мраморном дворце и роскошные балы, для них очень подходил великолепный главный мраморный зал этого дворца. А по пятницам в Белом зале Мраморного дворца при нем устраивались небольшие концерты, где рядом с профессиональными музыкантами иногда выступал сам Константин Николаевич, который великолепно играл на виолончели. Уже без гостей он любил сесть за фортепиано, чтобы сыграть что-либо для своих детей или вместе с кем-либо из них в четыре руки. Главным образом из-за пятничных музыкальных концертов в Мраморном дворце и статуса Константина Николаевича как главы Императорского Русского музыкального общества (с 1878 г.) этот дворец стал одним из главных центров культурной жизни Петербурга в конце XIX в.