Osada Zwierzyniec zapadała w sercach i wspomnieniach wszystkich, którzy odwiedzali ją pod koniec XIX wieku, m.in. Elizy Orzeszkowej, Zygmunta Glogera, Henryka Sienkiewicza, Wacława Sieroszewskiego, Eugeniusza Wiszniakowa. 

Przyrodnika Karola Karpowicza, który odwiedził Puszczę Białowieską w 1899 roku, urzekł – podobnie jak Newerlego – pałacyk: 

Ujechawszy kilkadziesiąt kroków znowu się zatrzymujemy, by rzucić okiem na śliczny, myśliwski domek. W stylu jakimś staro-germańskim, cały z niemalowanego drzewa, z łamanym dachem, weneckimi oknami. Masą balkoników na piętrze i werand na dole, robi nadzwyczaj miłe wrażenie. Szczyty dachu i okna, upiększone jeleniemi rogami, takież rogi nad bramką, wiodącą do tego domku.

22 czerwca 1915 roku osadę Zwierzyniec odwiedził na krótko car Mikołaj II. Był to jego szósty i ostatni już pobyt w Puszczy Białowieskiej.

Po I wojnie światowej, w 1929 roku w pałacyku umieszczono siedzibę Nadleśnictwa Zwierzynieckiego. Pierwszym nadleśniczym był Jerzy Woyno. W 1934 roku zamieszkał tutaj z rodziną nowy nadleśniczy, Wiktor Jasiński. W tym samym roku przyszedł na świat kolejny literat „zwierzyniecki” – poeta i publicysta Jerzy Wiktor Jasiński. 

Niestety, żywot pałacyka wkrótce dobiegł końca. Stanął on w płomieniach 17 kwietnia 1935 roku. Przyczyny pożaru nie udało się ustalić. Siedziba nadleśnictwa została przeniesiona do Białowieży, na Krzyże. Wprawdzie niedługo po pożarze na miejscu pałacyku wzniesiono nowy obiekt, lecz już znacznie skromniejszy, o uboższej architekturze. Budynek ten przetrwał do naszych czasów.

W czasie okupacji niemieckiej w Zwierzyńcu umieszczono posterunek straży leśnej „Forstschutzu”, liczący 10 strażników. W czasie wyzwalania Puszczy Białowieskiej spod okupacji w lipcu 1944 roku w pobliżu osady zginął żołnierz Armii Czerwonej – Paweł Wysiagin. Miejsce to po wojnie zostało upamiętnione tablicą pamiątkową.

Wiosną 1945 roku drużyny V Brygady Wileńskiej AK przeprowadziły w pobliżu Zwierzyńca dwie akcje. 24 kwietnia 1945 roku major „Łupaszka” zorganizował zasadzkę na szosie. Zatrzymano ciężarówkę wiozącą grupę działaczy z koła młodzieżowego PPR w Hajnówce, udających się na zabawę do Białowieży. Młodych działaczy rozbrojono i ukarano chłostą. Natomiast 27 maja 1945 roku porucznik „Zygmunt” zorganizował zasadzkę na radziecką kolumnę samochodową z zaopatrzeniem. Po krótkim oporze Rosjanie uciekli, porzucając trzy samochody i jednego zabitego. W rękach partyzantów, oprócz samochodów, znalazło się sporo żywności i dziewięć krów.

Po wojnie w osadzie Zwierzyniec zamieszkał leśniczy Stefan Twerdochlib, któremu powierzono pieczę nad zwierzyńcem żubrowym. W 1955 roku utworzono Ośrodek Hodowli Rzadkich Zwierząt Białowieskiego Parku Narodowego (zamieniony później na Ośrodek Hodowli Żubrów BPN), który objął również osadę Zwierzyniec. Z początkiem kwietnia 1959 roku w Zwierzyńcu umieszczono siedzibę Ośrodka. Zamieszkał tutaj kierownik OHŻ – inż. Julian Ścibor, zajmujący to stanowisko od 1956 oku. 

Pod koniec 1962 roku kierownikiem OHŻ został Włodzimierz Pirożników – kolejna barwna postać zwierzyniecka, utrwalona na łamach licznych pism, książek, a także w wielu reportażach telewizyjnych i audycjach radiowych. Pirożnikowa odwiedzali w Zwierzyńcu znani filmowcy, literaci, aktorzy – m.in. Włodzimierz Puchalski, Igor Newerly, Jarosław Abramow-Newerly, Jan Żabiński, Alina Janowska, Wojciech Siemion. Osada stanowiła także bazę wypadową dla licznych naukowców, prowadzących badania nad żubrem.

W latach sześćdziesiątych XX wieku w osadzie, oprócz kierownika OHŻ, mieszkali trzej strażnicy z rodzinami. Także teraz mieszka tutaj kilka osób.

Zarówno osada, jak i jej okolice są bardzo malownicze. Nic więc dziwnego, że przyciągają uwagę filmowców. W połowie lutego 1975 roku w pobliżu Zwierzyńca Ewa i Czesław Petelscy zrealizowali sceny z polowania króla Łokietka i jego syna Kazimierza do filmu fabularnego „Kazimierz Wielki”. Natomiast dziesięć lat później Grzegorz Skurski wykorzystał osadę do realizacji kolejnego filmu fabularnego „Rykowisko”. W filmie statystowali także liczni strażnicy żubrowi. Natomiast w sierpniu 1993 roku realizujący w Puszczy Białowieskiej 5-odcinkowy serial przyrodniczy „Tętno pierwotnej puszczy” Bożena i Jan Walencikowie zrealizowali w pobliżu Zwierzyńca sceny fabularyzowane z udziałem około dziesięciu mieszkańców Białowieży.

W czerwcu 1974 roku nieopodal osady Zwierzyniec oddano do użytku parking o tej samej nazwie. Parking został zamknięty po pożarze, który 9 grudnia 2004 roku wybuchł w znajdującym się na nim Zajeździe Myśliwskim. Pod koniec czerwca 2011 roku parking ponownie został oddany do użytku.

Piotr Bajko