Punžionių dvaro savininkai Ignas Balinskis ir Elžbieta Balinskienė 1827 m. pastatė dabartinę mūrinę bažnyčią. Ji buvo Karkažiškių parapijos filija. Vietovę, vadintą Bageliškėmis, dvarininkai pavadino Balingradu. Rusijos valdžia bažnyčią 1870 m. uždarė. 1928 m. vėl įkurta parapija, suremontuota bažnyčia. Ją 1928 m. rugsėjo 30 d. konsekravo arkivyskupas Romualdas Jalbžikovskis. Bažnyčioje pamaldos laikomos tik lenkų kalba. Bažnyčia stačiakampio plano, vienabokštė, vienanavė, be apsidės. Bažnyčios rūsyje palaidotas jos fundatorius Ignas Balinskis. Šventoriaus tvora akmenų mūro.

Vitas Povilaitis