El xalet de Panach era la residència d'estiu de la família Gil Panach, de la qual pren el nom. Els seus primers propietaris van ser Manuel Panach i Francisca Pastor, els quals tenien una coneguda òptica a València. Construït en el segle XIX, l'edifici principal estava rodejat per un jardí i un hort de tarongers, a més de comptar amb altres construccions hui desaparegudes, com eren les cavallerisses i la casa dels guardes. 

Del xalet només queda l'edifici principal, l'interior del qual estava decorat amb taulellets de Nolla i amb llums que imitaven les de l'Hotel Alfons XIII de Sevilla.

El Jardí del Xalet de Panach recupera l'antic hort existent al costat del xalet per mitjà de la creació d'un jardí dividit en tres zones clarament diferenciades, en el qual el motiu central és el mateix xalet, rehabilitat com a biblioteca pública (Biblioteca Pública Teodor Llorente).

El jardí compta actualment amb una superfície de 6.066 metres quadrats, i va ser obert al públic en 2003, encara que posteriorment va ser ampliat en 2010.