Het Podium Azijnfabriek is gevestigd in een deel van de voormalige Sint-Jacobskerk aan de Bethaniëstraat. Na de inname van 's-Hertogenbosch door Frederik Hendrik in 1629 werd ze geconfisqueerd en achtereenvolgens gebruikt als paardenstal voor de cavalerie, als arsenaal en als infanteriekazerne.

In 1925 werd dit gebouw de zetel van het Provinciaal Genootschap voor Kunsten en Wetenschappen in Noord-Brabant met zijn vermaard geworden bibliotheek en het uit dit genootschap voortgekomen Noordbrabants Museum. Zestig jaar later werd de bibliotheek verkocht aan de Universiteit van Tilburg en verhuisde het museum naar het voormalige 17e-eeuwse Gouvernementscomplex aan de Verwersstraat in Den Bosch. In het vrijgekomen gebouw vond de gemeentelijke archeologische en bouwhistorische dienst onderdak. In het 'koor', het achterste gedeelte van de kerk, houdt sinds 1990 De Azijnfabriek domicilie.

De Azijnfabriek is opgericht in ’s-Hertogenbosch als ‘Coöperatieve vereniging culturele evenementen De Voormalige Azijnfabriek’. Dit instituut vond en kreeg onderdak in een voormalige azijntonnenfabriek op het adres Achter het Azijntonnetje. De officiële opening werd verricht door burgemeester Van Zwieten op 22 maart 1981. Aanvankelijk werden er twee lunchconcerten per maand gegeven. Op 20 april 1982 sloot het bestuur een overeenkomst met Go Jansen, waarin hem het recht werd verleend de activiteiten voort te zetten met alle lusten en lasten aan organisatie en coördinatie verbonden. Hij ging als zelfstandig ondernemer verder. Er waren een twintigtal vrienden die ieder f 100 per maand betaalden, dat gaf hen gratis toegang tot de concerten, die inmiddels elke donderdag tijdens de lunchpauze en later ook op zaterdagmiddag werden gegeven. Begin januari 1989 verhuisde De Azijnfabriek tijdelijk naar de Muzerije, om in augustus 1989 definitief neer te strijken op de huidige locatie: het koorgedeelte van de oude Sint-Jacobskerk. 1 Februari 2004 nam Jan Rijnaarts de Azijnfabriek over van Go Jansen en werd de naam gewijzigd in Podium Azijnfabriek. Tot die datum waren de concerten het meest kenmerkend voor de activiteiten van de Azijnfabriek. Het is nu een podium met een wat bredere programmering waar voor meerdere leeftijdscategorieën iets te halen valt.