Деревня Жирмуны на протяжении 15в. была собственностью Бутримов и Кучуков. С 1513г. перешла Юрию Радзивиллу. В 17в. собственность Завишей, а в 18в. вновь принадлежит Радзивиллам.

В 1788-1789гг. по фундации Каролины Радзивилл в центре деревни на месте прежнего храма был построен деревянный костел – памятник архитектуры классицизма. Сохранился в своем первозданном виде. Возведен по проекту отца известного архитектора-классициста Карла Подчашинского – Яна Подчашинского, ученика знаменитого профессора архитектуры Виленского университета Л.Гуцевича. Архитектор стремился воплотить в дереве формы каменной архитектуры. Это проявилось в непривычной для деревянного зодчества арочной форме окон, имитации пилястр. Главный фасад украшают каменные элементы – две колонны, поддерживающие фронтон. Такая же стилевая ориентация прослеживается и в интерьере храма. Главный алтарь имеет черты классицизма, как и все строение.