Не был сполна счастлив в семейной жизниу хотя он женился (1848) по любви и более двух десятилетий сохранялось внешнее благополучие его брака. Поначалу он особенно гордился красотой своей жены, но со временем понял, что ее личные интересы и ее немецкое прошлое значат для нее слишком много. Дрла, интересы мужа ее не интересовали. Его жена, великая княгиня Александра Иосифовна (1830—1911 гг., в девичестве принцесса Саксен-Алътенбургская), славилась своей любовью к балам, развлечениям, интересом к придворным сплетням, а главное — она была рьяной поклонницей мистицизма, спиритических опытов, магнетизма, столоверчения, вызывания духов. Но она была верной женой, добросовестно выполняла все супружеские обязанности, родила 4 сыновей и 2 дочерей, пережила один выкидыш, однако истинным другом и единомышленницей мужа так и не стала, по духу они оставались чужими.
Внешне брак Константина Николаевича выглядел счастливым, но в действительности в Мраморном дворце не жила семья единомышленников, дети были обделены вниманием родителей, каждый из которых жил в основном своими интересами. Неудивительно, что через 20—22 года семейной жизни, когда ее возраст стал 38—40 лет и наметилось увядание ее красоты, влюбленность мужа к ней прошла. В начале 1870-х годов он в возрасте 40—43 лет увлекся молодой балериной Анной Васильевной Кузнецовой (1847—1922), моложе его на 20 лет, родившей ему 5 детей, из них трое умерли в младенчестве, с которой он стал в открытую жить, ушел от законной жены, с новой избранницей стал открыто везде появляться. Раздор между ним и его увлеченной мистицизмом законной женой привел к очень серьезному нервному срыву их старшего сына Николая и временной, но глубокой травме психики сына Дмитрия.
Нервный срыв и нарушение психики Николая форсировали развитие у него на какое-то время клептомании — непреодолимого стремления к воровству. Утверждали, что в Мраморном дворце пропажа изумрудных серег его матери, старинных крестов из дворцовой церкви, драгоценных камней с оклада свадебной иконы его родителей — дело рук именно Николая. Их сын /Дмитрий стал женоненавистником, любил только лошадей (поскольку они не способны на ложь, обман и любят свое потомство), остался холостяком, нашел родную стихию только в лейб- гвардии Конном полку. Их отец Константин Николаевич жил отдельно с новой незаконной семьей, только иногда появлялся в Мраморном дворце. Так тянулось почти 19 лет.
В 1889 г. у 62-летнего Константина Николаевича случился инсульт, начались припадки эпилепсии, он стал полным инвалидом. Александра Иосифовна простила мужа, взяла его под свой полный контроль, руководила уходом за ним, держала его в их доме в Павловске, не допускала к нему его любимую женщину — гражданскую жену и их двоих дочек,, по которым беспомощный, неизлечимо больной, но еще не потерявший рассудок Константин Николаевич очень скучал. Он, физически беспомощный, полностью зависел от решений законной жены. Так что последние годы жизни Константина Николаевича были исключительно тяжелыми для него. Он у мер в их дворце в Павловске в возрасте 65 лет. Его жена Александра Иосифовна в возрасте 81 года умерла в их Мраморном дворце.
За проступки родителей расплачивались их дети и внуки, все они сполна счастливыми не были. Аюбовные развлечения Константина Николаевича и мистицизм Александры Иосифовны негативно сказались на физическом и психическом здоровье их детей, судьбе их внуков. Сын Вячеслав (1862— 1879) умер совсем молодым от туберкулеза (когда его хоронили, его гроб застрял в дверях Мраморного дворца). Сын Николай был выслан из Петербурга, построить нормальную семейную жизнь не смог. Не решившегося создать семью Дмитрия (1860—1919) расстреляли большевики. Были серьезные проблемы, непоправимые потери в семьях их обеих дочерей. Относительно удачно сложилась жизнь только их сына Константина (1858—1915), ставшего толковым государственным деятелем и талантливым поэтом, но он страдал оттого, что его жена осталась лютеранкой, на фронте погиб его любимый сын Олег (1892—1914), а после его кончины большевики расстреляли троих его сыновей; в семьях его дочерей проблемы не переводились.
