A török ellenes harcok idején a gyarmati vár sorsa a város sorsa is. 1663-ban, mikor a Köprili vezette török sereg elfoglalta és felégette a várat, nem maradt kô kövön a városban sem.
Ezekben a századokban két költô élete találkozik a helység sorsával. A kékkôi várúr fia, gyarmathi Balassi Bálint - a török megszállás ellenére is - bizonyára többször megfordult az Ipoly menti "megerôsített mezôváros" falai között, végrendelkezik is gyarmati birtokairól.A török kiûzése után ugyancsak egy költô, Koháry István lesz a város egyik újjáépítôje.

Ez a település adta az elsô nagy magyar költônek a gyarmathy elônevet, s az ô családja adta Gyarmatnak a Balassa elôtagot. A török által lerombolt, elpusztított városnak egy költô az újjászervezôje. Ettôl kezdve Balassa-Gyarmat élete mintha teljesen összefonódott volna az irodalommal. Íróemberek egész sora utazott át a városon, költôk és írók születtek itt, vagy töltöttek hosszabb-rövidebb idôt a falai között, jelentôs események színhelye volt; olyan eseményeké, amelyek méltóak arra, hogy életrajzokba, regényekbe, novellákba kerüljenek.