Павильон Эрмитаж является первым павильоном такого типа, построенным в России при Петре I. Он представляет собой двухэтажную постройку: первый этаж был отдан слугам, которые готовили кушанья, а на втором этаже происходили важные личные приемы. Все блюда оказывались на втором этаже с помощью специального подъемного механизма, который сохранился до наших дней. До 1797 года на второй этаж здания можно было попасть только с помощью специального лифта, но после того, как неожиданно оборвался один трос, было решено установить лестницу. Сейчас в павильоне выставлена коллекция картин европейских живописцев 17-18 веков.