Jonas Narbutas Kaltanėnų pranciškonams 1633 m. paskyrė 14 valakų žemės. Apie tuos metus pastatyta bažnyčia ir vienuolynas. 1740 m. pastatyta nauja medinė bažnyčia ir aštuoniakampė varpinė. 1772 m. pastatytas dviaukštis vienuolynas.1796 m. įsteigta pranciškonų mokykla, nuo 1806 m. parapinė. 1820 m. pastatyta medinė kapinių koplyčia.