Inauguré en 1934, le zoo est construit sur le modèle innovant de celui de Hambourg.
Il fut construit selon le modèle architectural proposé par Carl Hagenbeck, un modèle révolutionnaire pour l'époque, qui visait à présenter les animaux sur des plateaux, dans des fossés et des enrochements sans que le public en soit séparé par des barreaux. Les loges intérieures de nombreux animaux pouvaient aussi être visitées par le public.
Très vite, il connut un grand succès auprès des Parisiens, qui pouvaient y admirer une faune spectaculaire, dans un cadre plus « naturel » que dans les anciennes ménageries telles que celle du Jardin des plantes.
Ses installations lui ont permis d'héberger de nombreux animaux, surtout des grands mammifères. Le zoo a obtenu de grands succès dans la reproduction de l'éléphant d'Asie, de la girafe du Niger et de l'okapi, tous trois menacés d'extinction dans la nature, ainsi que d'une multitude de félins, d'ours, d'antilopes et de cervidés. Il a également présenté des espèces très rares en captivité, telles le kouprey (un spécimen de 1936 à 1940, seul à avoir été élevé en Europe), l'éléphant de mer (un spécimen y a vécu une trentaine d'années), le rhinocéros indien et le panda géant (un mâle de cette espèce nommé Yen-Yen, offert le cadre des relations diplomatiques entre la Chine à la France, y a vécu de 1973 à 2000, ce qui représente une des plus longues durées de vie pour cette espèce en captivité).
Toutefois, il n'a jamais présenté beaucoup d'espèces animales de petite taille, faute d'installations adaptées, et ce malgré la construction de quelques volières et l'ouverture d'une maison des lémuriens en 1986, où des groupes de lémuriens nocturnes, souvent rares, évoluaient dans une obscurité artificielle. Cette installation n'a jamais eu d'équivalent en France, et n'en a pas eu beaucoup ailleurs dans le monde.
A partir des années 1980, les installations du zoo se sont fortement dégradées, de par le vieillissement des enclos et des rochers en béton armé (qui avaient été conçus pour une durée de 50 ans dans les années 1930), sans qu'il n'y ait eu de plan de rénovation d'ensemble. Si le Grand Rocher, figure emblématique, avait été rénové dans les années 1990, cela n'a pas été le cas de beaucoup d'autres installations, qui ont dû être fermées au public au début des années 2000, et certains animaux (éléphants, félins, rhinocéros, ours) ont dû être déplacés hors du zoo.
Depuis le dimanche 30 novembre 2008, le zoo a fermé officiellement ses portes pour travaux. La réouverture est normalement prévue pour dans 3 ans.
