Pojęcie pomnika przyrody wywodzi się z kultu, jaki ludzie żywili do starych i ogromnych drzew. W Chinach już w drugim tysiącleciu p.n.e. pojawiły się pierwsze przepisy mające na celu ochronę zabytkowych drzew. W V wieku p.n.e. w Rzymie wydano prawo chroniące lasy. Kult ten rozpowszechniony był również wśród Celtów, Germanów, Skandynawów, Słowian oraz Bałtów.
Szczególne znaczenie przypisywano dębom, lipom, klonom, jesionom, gruszom, jarzębinom, kalinom, czarnym bzom, wierzbom i osikom. Sądzono, że posiadają one tajemne moce, dlatego też uznawano je za nietykalne.
Jednak największym szacunkiem otaczane były dąb i lipa. Uznawano je za symbole lub świątynie bóstw, ołtarze służące do składania bogom ofiar oraz siedziby duchów opiekuńczych.
Słowianie pod lipą składali objaty, czyli ofiary w postaci pokarmów. Na cześć tego drzewa nazwali nawet siódmy miesiąc słowem pochodzącym od jej imienia – lipcem.
Lipa odgrywała dużą rolę w kulturze. Świadczą o tym liczne pieśni i przysłowia. Polskie podania głoszą, iż diabła tylko łykiem lipowym można związać, a kijem lipowym go odpędzić oraz, ze pod lipą piorun nie zabije człowieka. W okresie renesansu bardzo modne było posiadanie na dworze szlacheckim pięknej i okazałej lipy.
Chrześcijanie lipę poświecili Matce Boskiej, przykładem może być Święta Lipka rosnąca na Mazurach.
Dąb uważano za najstarszy gatunek drzewa na Ziemi i wierzono, że łączy w sobie trzy światy: niebiański, ziemski i podziemny. Liście jego uchodziły za znakomity środek przeciwko czarom. Wedle przekazów, z szelestu liści dębu w Dodonie, najstarszej wyroczni greckiej, kapłani czytali wolę Zeusa. W różnych kulturach dąb poświęcony był bogom nieba i piorunów. Litwini natomiast wierzyli, że Baublis – bożek miodu i pszczelarzy ma swoje siedziby w starych dębach zwanych na Żmudzi Baublisami.
W Polsce jesion był drzewem świętym, dlatego też spotkać go można po dziś dzień w okolicach kościołów. Ponadto wierzono, że ma on moc odstraszającą węże. Podkreślał to w swej kronice Marcin z Urzędowa pisząc, że węże wolą iść w ogień niż w liście jesionu.
Sam termin pomnik przyrody do nauki został wprowadzony przez wybitnego geografa i podróżnika Aleksandra Humboldta na początku XIX wieku. W sprawozdaniu z podróży do Wenezueli opisał najstarsze i najpotężniejsze drzewo w tamtym kraju zwane Zamangiem. Porównał je do drzewa smoczego – monstrum świata roślinnego występującego na Wyspach Kanaryjskich i nazwał pomnikiem przyrody.
W literaturze polskiej wyraz ten po raz pierwszy został użyty przez Adama Mickiewicza w „Panu Tadeuszu”. Poeta słowo pomnik odniósł do cennych drzew o dużych walorach historycznych. Dostrzegał także potrzebę ich ochrony przed człowiekiem.
Przed I wojną światową ochroną cennych drzew zajmował się Hugo Conwentz, przyrodnik i wybitny aktywista w dziedzinie ochrony przyrody. To właśnie dzięki niemu na terenie Pomorza Gdańskiego po raz pierwszy uznano wiele interesujących obiektów za pomniki przyrody. Miał on również wpływ na rozpoczęcie przez Namiestnictwo we Lwowie inwentaryzacji pomników przyrody na ziemiach polskich pod zaborem austriackim.
Po II wojnie światowej pojęcie pomników przyrody uzyskało zupełnie inny charakter od tego, jaki nadawano mu wcześniej. Współcześnie pojęcie pomników przyrody określa znowelizowana w 2000 roku ustawa o ochronie przyrody z 1991 roku.