A Balassagyarmati Fegyház és Börtön 1842 és 1845 között épült az Építési Igazgatóság, valószínűleg Novák Dániel királyi főépítészeti tiszt tervei alapján. A fegyház klasszicista jellegű műemlék épület, amely a volt megyeháza U alakú udvarának tengelyében áll és azzal egy építészeti kompozíciót alkot. A kör alaprajzú épület a négy főtengely irányában falsávok szegélyezte háromszögű rizalitokkal tagolt, míg a vízszintes tagolást egyedül a földszint és az öt emelet ablaksorai adják.
Az eredeti tervek szerint a körépületben körfolyosókról nyíló 168 cellán kívül két munkaterem és egy imaház is elhelyezést nyert. A hasonló korú és rendeltetésű börtönépületek kis száma miatt nemcsak építészetileg, de történetileg is nagy jelentőséggel bír, ugyanis hazánkban ez a legkorábban épült börtön, amely magáncella-rendszer elve szerint építettek. Az országosan is ismertek közül a szegedi 1854-ben, a váci 1855-ben, a márianosztrai 1858-ban, a soproni 1886-ban, a budapesti gyűjtő pedig 1896-ban épült fel. Ha a történelmi Magyarország ismertebb nagy börtöneit nézzük, úgy azok is csak később, mint pl. az illavai 1855-ben, a lipótvárosi és munkácsi 1856-ban, a nagyenyedi és szamosújvári pedig 1860-ban épült. Forrásanyagokból ismert, hogy a balassagyarmati börtönt felépítése utáni években több magas rangú személyiség, tábornok meglátogatta és úgy nyilatkozott, hogy ennek párja az egész ausztriai birodalomban nincs. A Balassagyarmati Fegyház és Börtön kápolnáját 1857-es években a királyi rendeletre adott parancs alapján szentelték fel. A plébános vagy káplán hetenként egyszer tartott itt szentmisét szlovák, latin vagy német nyelven. Ezután mintegy 90 éven keresztül tartottak itt szertartásokat, majd 1949-től egészen a rendszerváltásig nem volt lehetőség a fogvatartottak vallásgyakorlására. Ezt követően visszaállították a börtönlelkészi szolgálatot, és a fogvatartottak vallásgyakorlására vonatkozó szabályzók is megjelentek. A kápolna helyreállítására 2009-ben nyílt lehetőség, amikor a pályázati forrásból megújult több funkciós helyiség felszentelésére is sor került. és ma már a szakrális célok mellett könyvtárként és közösségi teremként is funkcionál.