A kastély, amely az 1760-es évek második felében épült 1945-ig az Esterházy család birtokában volt. A város a tata-gesztesi uradalom birtokközpontjaként a tulajdonosok számára kiemelt jelentőséggel bírt. HungaryCarddal 50% kedvezmény jár maximum 2 fő részére a teljes árú felnőtt belépőjegy árából.
A kastélyt folyamatosan lakták, sőt uralkodói vendégeket is fogadtak itt. Falai között nem egyszer országos események zajlottak és olyan uralkodók látogattak ide, mint I. Ferenc császár és király, I. Ferenc József császár és király, II. Vilmos német császár és IV. Károly császár és király. Katonák százai vonultak el falai előtt, míg a hadvezérek (pl. a szabadságharc idején Görgey Artúr) a kastélyban tartottak haditanácsot.
Az épületegyüttes szerkezete összetett volt, a díszudvar körüli lakószárnyakon kívül kocsiszín és istállók tartoztak hozzá. Saját színházzal rendelkezett, amelyet ugyanaz a Fellner és Helmer cég tervezett, amely a budapesti Vígszínház, a kecskeméti és a kolozsvári színház vagy a bécsi Konzerthaus épületét.
A kastélyépület egy nagyszabású kompozíció része, amelybe a tatai várat, sőt az Öreg-tavat is belekomponálta az épület tervezője, Felner Jakab.
A kastély kertjében Schweiger Antal szökőkútszobra, a vízköpő delfin mellett Amphitrité, a szépséges nimfa alakját mutatja (1785). Ez a romjaiból újjászülető szobor lett a hosszú idő után újjászülető kastély szimbóluma, valamint az épületben látható „Béke szigete” címet viselő kiállítás jelképe.