Witte Kerkje
In 1866 bleken echter dusdanige reparaties nodig aan de raadkamer, gevestigd in het ’Witte Kerkje’, dat het gemeentebestuur besloot een nieuw raadhuis te bouwen. Het feit dat een overwegend katholieke gemeenteraad vergaderde in een protestantse kerkelijke uitbouw zal hierbij vermoedelijk ook een rol hebben gespeeld.
De Heer van Besoijen, Gabriël Frederic Jules de May de Huningue, bezat een kasteel met landerijen. In februari 1868 schonk hij een deel van een weiland in het midden van het dorp naast de kerk aan de gemeente. Gedeputeerde Staten gaven toestemming de grond te aanvaarden en er een nieuw raadhuis te bouwen. Als blijk van dank werd in de nieuwe raadzaal een afbeelding van het wapen van de gulle ambachtsheer opgehangen. Burgemeester Johannes Verwiel betrok eind 1868 het nieuwe raadhuis. De oude raadkamer kwam in bezit van de N.H. kerk, de ruimte deed tot 1973 dienst als consistorie en catechisatiekamer. De deuren die vanuit deze oude grafkapel toegang gaven tot de kerk waren er altijd al. Later werd de uitbouw ook van buitenaf, toegankelijk gemaakt via een portaal dat werd vastgemaakt aan de noordelijke muur. Ter hoogte van het raadhuis was ook een tramhalte.
Gedenkstenen
In 1906 werd aan het raadhuis een veldwachterswoning met mansardekap (gebroken dak) toegevoegd. In de voortuin bevinden zich twee gedenkstenen: de één toont het oude gemeentewapen, afgeleid van het familiewapen van het ’Geslacht van Besoijen’ (blauw veld met goudgele dwarsbalk met daarin vier azuurblauwe turven en drie goudgele andreaskruisen). De andere toont de Nederlandse driekleur en ’1290 Besoijen 1921’.
Na de samenvoeging van de gemeenten Baardwijk, Besoijen en Waalwijk op 1 januari 1922 werd het raadhuis verbouwd tot woonhuis. In het jaar voorafgaand aan de gemeentelijke herindeling had het gemeentebestuur nog een aantal luxe openbare werken laten verrichten. Zo werd voor het raadhuis een parkje aangelegd en een ’elektrische straatklok’ geplaatst. De kosten hiervoor zouden later mede gedragen gaan worden door Waalwijk en Baardwijk oftewel de nieuwe gemeente Waalwijk.