A Zagyva és a Tarján-patak találkozásánál fekvô Kisterenye ma már Bátonyterenye város része.
A kastélyt az 1800-as években gróf Gyürky Pál építtette, majd tôle báró Solymossy Jenô nagybirtokos vásárolta meg. A kastélyhoz tartozó tájképi parkban többnyire a környékben honos fafajokat telepítettek.
Az egykori park hírmondói a megmaradt hatalmas koronájú kocsányos tölgyek, magas kôrisek, szilek. Solymossy báró a park kis tavában egyidôben fókákat tartott és a park vasút felôli részén a vízszintet alagcsövezéssel szabályozták. (A csöveket Solymossy mátranováki téglagyárában készítették). A park fái közül a második világháborút követôen sokat kitermeltek. Különösen a fenyôk sínylették meg a pusztítást. Az ötvenes évek elején nemesnyárakat telepítettek a parkba. Késôbb az ingyenes fásítási anyagból tervszerûtlenül betelepített, többnyire fasorokat képezô sokféle fafaj, díszcserje és sövény inkább rontott a park képén. A gondozás nélkül maradt széleken megindult a beerdôsülés folyamata, ezt az erdôszerûen telepített lucfenyôfoltok nagymértékben elôsegítették. Összesen létezô mintegy 120 fafaj példányai közül említést érdemlô fafajok:

• a fehéres-sárgás levelû korai juhar,
• a tavasszal vörös levelû korai juhar,
• a tavasszal-ôsszel piros levelû juhar,
• a vörös levelû, sárga levelû és a bronzlevelû hegyi juhar,
• a csüngôágú nyír,
• a szelídlevelû bükk,
• a rózsaszín szegélyes levelû bükk,
• a kanadai vasfa,
• a páfrányfenyô,
• a magyal,
• a dúsvirágú díszalma,
• a vérszilva,
• a vöröslô tûztövis,
• a jezsámen,
• a piramis alakú kocsányos tölgy,
• az ecetszömörce vagy ecetfa,
• a szomorú fûz,
• a spanyol jegenyefenyô,
• az aranyos és kékes álciprus,
• a páfrányfenyô,
• a kínai borókafenyô.

A parkot és területét a sok károsítás és tervszerûtlen ültetés ellenére 1975-ben védetté nyilvánították. Ezt követôen a betelepített nemesnyárak kitermelésével kezdôdött a park rekonstrukciója. A közel 400 köbméter nyárfa kitermelésekor le kellett zárni a park bejáratait. A fakitermelést a lakosság nem nézte jó szemmel, különösen azok ellenezték, akik részt vettek az ültetési munkákban.
Néhány év alatt közel 470 taxon telepítésével egy új park körvonalai bontakoztak ki. A teljes rekonstrukciót máig nem sikerült befejezni, tájképi park jellegét csak késôbb lehet visszaállítani. Az eddigi gondos munka alapján már ma is kedvelt pihenôpark.
A felújított kastélyépületnek nincs igazi gazdája. Rendeltetése sem tisztázott. Szerencsés megoldás lenne, ha egy tulajdonosa lenne a kastélynak és a parknak. Az utóbbi években szinte megszûnt a több mint negyvenéves pávaállomány és a park egyes részei kezdenek újra elvadulni.
A védetté nyilvánítást követôen helyreállított tó medre kezd feltöltôdni, ôrzés hiányában a mederben és környékén gyakori a rongálás, pusztítás.