Река Фонтанка с заставой на Аничковом мосту долгое время оставалась границей города. На ее лесистых берегах столичная знать возводила роскошные усадьбы с огромными парками. Участок, расположенный между Аничковым и Симеоновским мостами, на изгибе реки Фонтанки, в 1712 году был отведен фельдмаршалу Борису Петровичу Шереметеву, сподвижнику Петра I.
Первое здание, построенное на участке, было небольшим, деревянным. В середине 1730-х годов на месте деревянного дома архитектором Г. Д. Дмитриевым был сооружен каменный одноэтажный дом на невысоком цокольном этаже.
В 1750-1755 годах Савва Иванович Чевакинский и Федор Семенович Аргунов (1732-1768), архитектор, крепостной графа Б. П. Шереметева, выполнявший работы только для графа, приступили к перестройке здания.
Дворец расположен в глубине участка и главным фасадом обращен к Фонтанке. За корпусами находился парк, доходивший до Литейного проспекта. Главный фасад выполнен в стиле, характерном для дворцово-усадебных сооружений середины XVIII века.
Центральная часть фасада выделена шестью пилястрами коринфского ордера, устроен аттиковый этаж с лучковым фронтоном и гербом рода Шереметевых на тимпане. По всей длине центральной части проходит широкий балкон.
Боковые ризалиты украшены пилястрами и завершены треугольными фронтонами с лепниной на тимпане.
В архитектуре Шереметевского дворца просматривалась характерная черта русского барокко — украшение фасадов лепниной: головки в фигурных наличниках, маски львов в капителях, лучковые сандрики, создающие волнистую линию.
В русской архитектуре первой половины XVIII века первому этажу дворцово-усадебных строений отводилась второстепенная роль: здесь находились служебные помещения. Второй этаж был выше первого, здесь помещались парадные помещения. Они образовывали длинные сквозные ряды комнат — анфилады: одна анфилада шла вдоль главного фасада, другая — вдоль садового фасада.
К центральному корпусу примыкали боковые корпуса — крылья, где размещались жилые покои и домовая церковь.
Отделка внутренних помещений Шереметевского дворца была выполнена по чертежам Ф. С. Аргунова. В период с 1760-х годов до середины 30-х годов XIX века интерьеры (внутренние помещения, художественное оформление) дворца часто переделывались по проектам выдающихся архитекторов Д. Кваренги, А. Н. Воронихина, И. Е. Старова (1745-1808), И. Д. Корсини (1808-1878).
В 1844 году по проекту Корсини была выполнена нарядная чугунная ограда. На арке ворот изображен герб Шереметевых.
В первые десятилетия XX века ворота и садово-парковая архитектура со стороны Литейного проспекта были уничтожены. На их месте были построены доходные дома с магазинами.
В Фонтанном доме (так еще называли Шереметевский дворец, расположенный на набережной реки Фонтанки) в начале XIX века жила талантливейшая актриса, бывшая крепостная Прасковья Ивановна Ковалева-Жемчугова, впоследствии ставшая женой Н. П. Шереметева.
Дворец связан с именем А. С. Пушкина. В 1827 году во дворце поэт позировал художнику Оресту Адамовичу Кипренскому.
В одном из флигелей Фонтанного дома в 1930-е годы жила известная поэтесса Анна Андреевна Ахматова.
