Magyarországon a szabadságvesztés büntetés, mint büntetési nem, a fejlett európai államokhoz hasonlítva viszonylag későn, a XIX. század derekán vált általánossá. Az 1870-es éveket követően európai mértékkel is korszerűnek mondható jogalkotás, és ennek megfelelő intézményrendszer kialakítása kezdődött Magyarországon, amelynek eredményeként a XX. század első évtizedeire lényegében kialakult a napjainkig meglévő és működő magyar börtönök rendszere, szervezete.
E rendszer egyik meghatározó eleme volt és ma is annak tekinthető a 160 éve létesített Váci Fegyház és Börtön.
„Mária Teréz Magyarország királya rendeletéből magyar katonai intézet (Theresiánum) számára Váczon a régi temető-telken 1777. évben épített, I. Ferenc király által pedig 1808. évben a Ludovica királyné nevét viselő katonai akadémiának ajándékozott, ettől gróf Nádasdy Ferenc váczi püspök által megvett, és az 1836. évi országgyűlésen országos tébolydának felajánlott, s a tébolydai alapból ismét megvásárolt épület (átalakítás és pótépítkezés után) 1855. év végén országos fegyintézetté rendeztetett be.” (Karcsu Antal Arzén)
Migazzi Kristóf bécsi érsek, váci püspök nevéhez fűződik - Pázmány Péter útmutatása alapján -, hogy az el-szegényedett köznemesség fiainak nevelését szolgáló intézetet hozzon létre a városban. A fiatalok nevelését a piarista rendre bízta. A piaristák 1714 október végétől - Kollonich Zsigmond gróf, bíboros püspök jóvoltából - a városban munkálkodtak. 1717-től gimnáziumot működtettek, de tanítottak az egyházmegyei papnevelő intézetben és a püspöki líceumban is. 1725-ben Berkes András nagyprépost segíti a piarista atyák tevékenységét, két telket is a piaristáknak ajándékozott, sőt fölajánlja saját házát is a tanítás céljára.
1765-ben kezdődött meg az építkezés a Diadalív mellett, a fegyház jelenlegi helyén, a régi temető telken, az irgalmas rendiek székháza és a kiérdemült papok otthona összekapcsolásával.
Az intézetet végül Mária Terézia gondoskodásából (1767) a bécsi Theresianum mintájára, Theresianum néven a gimnáziumi és az akadémiai elveknek megfelelően alakítatták ki, s határozták meg a nevelési elveket és a tananyagot. Ez a tanulmányi rend lesz az alapja az első Ratio Educationisnak.
Az építkezés befejezését követően az 1777/78. iskolai tanévet már az új épületben kezdte meg a Theresianum 75 növendéke. Volt az iskolának könyvtára. A leltár fél-ezernél több munkát sorol fel. 1784 szeptemberében II. József a Theresianumot megszüntette, pazar felszerelését elárvereztette. 1806-ban, a franciákkal vívott háborúk idején az épületet katonai kórházként működtették.
1808-ban az országgyűlés, a váciak kérelmét figyelembe véve, itt alapította meg a Ludovika Katonai Akadémiát, melynek megnyitása végül elmaradt. A Ludovika Akadémia célja az volt, hogy az itt nevelkedett magyar nemes és polgári családból származó ifjak a hadseregben, a haza szolgálatára alkalmasak legyenek. Az intézményt 1825-ben Pestre helyezték, Vác város akarata ellenére.
Az Akadémia áthelyezést követően az épületegyüttes egyes részeit haszonbérbe adták, de használták átvonuló katonai csapatok elszállásolására is, állapota ezáltal igen megromlott, szóba került a lebontása is. 1834-ben Nádasdy Ferenc váci püspök vásárolta meg az épületet és felajánlotta az országos tébolydai alapba. Ekkor megkezdődött az épület átalakítása Kasselik Ferenc és Zittenbach Mátyás tervei szerint, viszont befejezésre nem került sor.
Az 1848-as szabadságharc elbukását követően, 1852-ben léptették életbe az osztrák birodalmi büntető törvénykönyvet Magyarországon. A törvénykönyv lényegében a szabadságvesztés büntetést tette a fő büntetési nemmé. Ahhoz, hogy a törvénykönyvben megfogalmazottakat végre tudják hajtani, olcsón és gyorsan börtönöket kellett létrehozni. E cél érdekében 1854 és 1858 között fegyintézetté alakítottak át várakat és más középületeket. Így vált fegyintézetté a korábban katonai erődítményként működő Nyitra megyei Lipótvár, a Trencsén megyei Illava (Léva), illetve a beregi Munkács vára. A Pest megyei fegyintézetet Vácra telepítették az egykor Mária Terézia és Migazzi Kristóf által nemes ifjak nevelőintézetének építtetett intézet falai közé. Az első fegyencet 1855. november 20-án fogadták be a 600 férőhelyes börtönnek nevezett, valójában fegyházként működő intézetbe. Az 1885-ös átalakítás és építkezés terveit Sontheitl Ferenc készítette el 1878-ban, viszont a Váci Országos Fegyintézet épületének bővítését és átalakítását végül a szegedi csillagbörtön, a nagyenyedi fegyintézet és a gyűjtőfogház megálmodója, Wagner Gyula építész végezte. Ekkor építették meg az elítéltek munkáltatását szolgáló Duna-parti épületet, együttes tömböt alkotva az elhelyezési körletekkel.
