Автором первоначального проекта всего усадебного ансамбля без каких бы то ни было надёжных доказательств называется петербургский архитекторСавва Чевакинский. Строительство относится к 1756—1761 годам.
Первоначальный архитектурный облик сохранили лишь высокие каменные ворота с коваными створами и часть правого флигеля. В 1774 году здания усадьбы были перестроены и расширены по проекту Матвея Казакова. Часть усадьбы была в это время интегрирована в Пречистенский дворец Екатерины II.
Князь Сергей Голицын-младший в 1865 году открыл на Волхонке, 18 Голицынский музей, где были выставлены произведения искусства, привезённые из Италии его отцом Михаилом и дедомАлександром Голицыными. Через 20 лет музей пришлось закрыть из-за финансовых затруднений князя.
В 1890—1892 годах по желанию владельца левый флигель был достроен и приспособлен архитекторомВасилием Загорским под меблированные комнаты, которые получили название «Княжий двор». Архитектурный облик сооружения оказался достаточно прозаичным — став доходным домом, оно утратило конструктивную и стилистическую связь с основным комплексом усадьбы.
В 1928—1929 годах главный дом усадьбы надстроили двумя этажами, в результате чего оказался утраченным фронтон.
В 1986—1988 годах правый флигель, построенный при участии архитектораМатвея Казакова во 2-й половине XVIII века, реставрировался.
Центральный корпус усадьбы занимаетИнститут философии РАН, флигели занимает Музей изобразительных искусств имени А. С. Пушкина. В левом флигеле усадьбы (ул. Волхонка, д. 14) находится Галерея искусства стран Европы и Америки XIX—XX веков, в правом флигеле (ул. Волхонка, д. 14/1, стр. 8) — архив музея.
В 2013 году был объявлен конкурс на выполнение проектно-изыскательских работ по объекту: «Комплексная реконструкция, реставрация и приспособление зданий городской усадьбы Голицыных (г. Москва, ул. Волхонка, д. 14, строения 3, 4, 5 и 8) подГалерею искусства стран Европы и Америки XIX-XXI вв.»[1].