Здание Пенсионерской конюшни расположено на территории бывшего Зверинца, недалеко от северной границы Александровского парка.
В январе 1826 император Николай I повелел перевести 8 верховых лошадей «Собственного седла императора Александра Павловича», доживавших свой век «на пенсионе» в конюшне Санкт-Петербурга, в Царское Село, где им было отведено помещение. Летом предполагалось приготовить для них конюшню на Ферме, однако из-за недостатка места на ее территории, в 1827 - 1829 годах, по проекту архитектора А. Менеласа было выстроено особое здание для отслуживших свой век лошадей, названное «Пенсионерская конюшня».
Двухэтажный павильон с круглой лестничной башней-бельведером, двумя трехгранными эркерами и одноэтажной пристройкой возведен из кирпича с ориентацией на английскую готику. Внизу находилась конюшня на 8 стойл и небольшое помещение для хранения конских уборов, за которым закрепилось название музея. В верхнем этаже располагались квартиры смотрителя и конюхов. Закрытый двор был образован деревянными хозяйственными постройками, недошедшими до наших дней. Часть луга к западу от здания конюшни была превращена в клеверное поле для выпаса лошадей.
