A Budapesti Fegyház és Börtön építési munkálatait 1894-ben kezdték meg Wagner Gyula építész tervei alapján, akinek ugyancsak a nevéhez fűződnek a szombathelyi, szabadkai, szekszárdi, debreceni, máramarossztigeti, szatmári, gyulai, aradi, lugosi, szegedi és egri törvényszéki paloták és a hozzájuk tartozó börtönök is.
A 800 fő befogadására alkalmas, 6,85 hektárnyi területen fekvő történelmi épületegyüttest (mai nevén „A” objektum – 1108 Bp., Kozma u. 13.) 1896. október 27-én adták át Királyi Országos Gyűjtőfogház néven. Mellette elmebeteg-megfigyelő osztályt is felállítottak, amely utóbb - mint Igazságügyi Országos Megfigyelő és Elmegyógyító Intézet (mai nevén Igazságügyi Megfigyelő és Elmegyógyító Intézet) - önálló intézményként működött.
A történelmi épületegyüttes egyedi jellemzője a két teljesen azonos külső és belső elrendezésű, alaprajzában háromágú, egyenlő szárnyú csillagot formázó építészeti megoldás. Sokáig Európa legmodernebb börtönei között tartották számon, építése során a nyugat-európai és az észak-amerikai börtönépítészeti tapasztalatokat, illetve a kor számos technikai újítását is figyelembe vették. Az intézetben a kor fővárosi viszonyait messze meghaladva központi fűtés, villanyvilágítás (saját áramfejlesztő telepről), illetve két úszómedence is volt.
A panoptikus (csillag) rendszerben épített intézet eredeti rendeltetése a Budapesti és Pestvidéki Törvényszék által fogház, valamint öt évnél rövidebb tartamú fegyház- és börtönbüntetésre ítéltek befogadása volt, de alapításától 1918-ig, majd 1959-1963 között itt helyezték el a fiatalkorú elítélteket is.
A Budapesti Fegyház és Börtönnek alapítása óta speciális funkciója a bv. intézetek közötti fogvatartotti szállítások, mozgatások biztosítása, ebből ered köznyelvi elnevezése is. A „Gyűjtő” napjainkban is az országos körszállítások helyszínéül szolgál.
Az intézet már működése kezdetén három fokozatban (fegyház, börtön, fogház) foganatosította a szabadságvesztés büntetés végrehajtását, a fő hangsúlyt az egyszemélyes elhelyezésre fektették. A fegyház és börtön körletek 600 magánzárkát, a fogház részleg (ún. Kisfogház) 68 magánzárkát és 156 közös zárkát foglalt magába.
Az intézet vezetését 1901-1919 között ellátó Vajna Károly dinamikus tevékenységének köszönhetően az intézet 1913-ra már 25 épületből állt, illetve létrejött egy elkülönített TBC osztály is, ahol az ország összes börtönéből beutalt tüdőbeteg elítélteket helyezték el. 1920-ig az intézmény falai között működött az ország első börtönmúzeuma (Országos Börtönügyi Múzeum), valamint az 1913-ban létesült Bűnügyi Embertani Laboratórium, ahol többek közt a kivégzett elítéltek koponyáját is tudományos kutatás alá vonták.
A két világháború közötti időszakban felduzzadt a politikai elítéltek száma, őket a jogerős ítélet kihirdetéséig - az eredetileg fogházas elítéltek elhelyezésére létrehozott, különálló épületben működtetett - ún. kisfogházba helyezték át. Akinek az ítélete két év alatt maradt, az a bal csillagba került, akié fölötte, azt a szegedi intézetbe szállították át. Számos politikai fogoly esetében a kisfogház udvarán került sor a halálos ítélet végrehajtására is. Az 1956-os forradalom és szabadságharc itt fogva tartott és kivégzett hőseinek emlékét napjainkban a Kozma utcai épület földszinti részén és udvarán kialakított Kisfogház Emlékhely őrzi.
Az intézet 1947-től 1951-ig Budapesti Országos Büntetőintézet, 1951-től 1972-ig Budapesti Országos Börtön, 1972-től 1978-ig Budapesti Fegyház és Szigorított Börtön néven működött. Jelenlegi nevét - Budapesti Fegyház és Börtön - 1978 óta viseli.
A történelmi épületegyüttes mellett fekvő „Palikert” elnevezésű területen 1989-ben adták át a paneltechnológiával épült másik elhelyezési körletet, a „B” objektumot (1108 Bp., Maglódi út 139.), mely további 746 elítélt elhelyezésére adott lehetőséget.
A jobb csillag körszállítási helyszínt biztosító két szárnya 2002-2005 között teljes körű felújításon esett át, így az európai elvárásoknak megfelelő körülmények között biztosított a hetente kb. 1200 fogvatartott mozgatásával járó büntetés-végrehajtási szakfeladat végrehajtása.
A jobb csillag harmadik szárnyának átalakítására a férőhelybővítési kormányzati program keretében 2015-ben került sor. A 44 fő befogadására alkalmas, az uniós követelményeknek minden tekintetben megfelelő elhelyezést biztosító épületrészben kapott helyet a Hosszúidős Speciális Részleg (HSR) is.
Az intézet mellett 1954 óta működik az elítéltek foglalkoztatására létrehozott vállalat, melynek jelenlegi neve „BUFA” Budapesti Faipari Termelő és Kereskedelmi Kft. Az állami tulajdonban álló gazdasági társaság – mely 1993 óta egyszemélyes Kft.-ként tevékenykedik – a Budapesti Fegyház és Börtönben elhelyezett fogvatartotti munkaerő hasznosításával faipari termékek gyártásával, tömörfa megmunkálással, lapszabászattal, valamint egyedi megrendelés alapján lakossági és közületi bútorgyártással, illetve egyéb bérmunkák végzésével foglalkozik.
