Павильон был построен в 1820 - 1822 годах А. Менеласом специально для содержания лам, присланных в подарок императору Александру I из Южной Америки. Кроме конюшни и манежа для животных, здесь были устроены склад фуража и квартиры для присмотрщика.
Все здания этого комплекса были связаны между собой и образовывали каре с замкнутым внутренним двором.
Доминантой ансамбля служила высокая трехъярусная башня с рустованными углами и характерным зубчатым парапетом, в которой располагались парадные покои. Башня примыкала к двухэтажному зданию, соединенному глухой стеной с Фотографическим павильоном на противоположном углу каре. Этот павильон был построен архитектором И. Монигетти в 1860 году и долгое время использовался как фотографическая лаборатория.
При императоре Николае II в манеже для лам содержались ламы, привезенные в 1907 году из южной Монголии. В помещении для присмотрщика были устроены квартиры для парковых сторожей.
