Erden Zuu comenzó su construcción por orden de Abtai Sain Khan en 1585 tras la introducción del budismo tibetano en Mongolia. No sería hasta casi tres siglos después que la obra se considerara completa con el levantamiento de un muro que rodease el monasterio. Sobre los bordes de esos muros, de unos 400 metros de largo cada uno, se alzan 108 estupas de color blanco (108 es un número sagrado en el budismo).
El monasterio fue seriamente dañado en 1688 durante una de las muchas guerras entre clanes mongoles. Fue reconstruido en el siglo XVIII y para el año 1872 contaba con 62 templos completos y albergaba hasta 1000 monjes.
En el año 1939, el líder comunista Khorloggiin Choibalsan ordenó la destrucción del monasterio como parte de una purga en la que destruyó cientos de monasterios en Mongolia, matando a más de diez mil monjes. La pared exterior quedó intacta junto a tres templos que se convirtieron en museos en 1947. A pesar de este desastre, una cantidad sorprendente de estatuas, máscaras tsam y pinturas en pergamino pudieron ser salvadas al ser enterradas en las montañas cercanas o escondidas en las casas de los vecinos del lugar.
Tras la caída del comunismo en Mongolia en 1990, el monasterio fue devuelto a los lamas y Erden Zuu volvió a convertirse en lugar de culto.