Pasakojama tokia šios koplyčios kilmės istorija. 1702 m. tarp Dusios ir Metelio ežerų buvo apsistojusi etmono Mykolo Servaco Višnioveckio vadovaujama Lietuvos kariuomenė, pasiryžusi užkirsti kelią į Gardiną žygiuojančiai švedų kariuomenei. Belaukiantys priešo lietuviai pastatė tris kryžius toje vietoje, kur kariuomenės kapelionas aukojo šv. Mišias. Ant vieno iš jų buvo pakabinta kopija Barūnų Dievo Motinos paveikslo, kurios globa labai pasitikėjo kariuomenės vadas. Žinia apie prisiartinusią švedų kariuomenę pasiekė apaštalų Petro ir Pauliaus dieną, besibaigiant Mišioms. Po mūšio vietovė atiteko švedams, o Dievo Motinos paveikslą paslėpė vietiniai gyventojai. Prabėgus keliems metams, toje vietoje staiga atgavo regėjimą vienas grįžtantis šio mūšio veteranas. Pasklidus žiniai apie stebuklą, žmonės pradėjo čia rinktis ir melstis.

Vėliau prūsų valdžios, kuriai tada priklausė Sūduva, nurodymu Dievo Motinos paveikslas ir kryžiai buvo perkelti į Metelių bažnyčią, tačiau žmonės ir toliau rinkdavosi įprastoje vietoje. 1807 m. pasibaigus prūsų valdymui, kryžiai buvo sugrąžinti į senąją vietą. Vyskupui leidus, Metelių klebonas kun. Ignas Žibanavičius čia pastatė koplyčią. 1816 m. gegužės 25 d. Seinų vyskupijos oficiolas Augustinas Polikarpas Marciejevskis čia atlaikė pirmąsias šv. Mišias, o popiežius Pijus VII maldininkams suteikė atlaidus.

Koplyčią beveik po šimtmečio perstatė Metelių klebonas kan. Vincas Jurgilas. Ji paskirta švč. Mergelės Marijos Angelų Karalienės garbei. Nors prie koplyčios nuolat gyveno tik sargas, atlaidų dienomis – per Sekmines ir Petrines – suvažiuodavo tūkstančiai maldininkų.

1963 m. sovietinės valdžios nurodymu koplyčia buvo nugriauta, tačiau jos atstatymu dar sovietmečiu pradėjo rūpintis išeivijos lietuviai. JAV gyvenęs kun. Jonas Buikus drauge su 2002 m. Romoje mirusiu prel. Ladu Tulaba įsteigė Kryžių šventovės atstatymo fondą. Jo užsakymu italų skulptorius Gregor Vincenzo Mussner pagal Kryžių Dievo Motinos pavyzdį sukūrė medinę švč. Mergelės Marijos statulą, kurią po nepriklausomybės atgavimo Šventos Šeimos seserys iš Romos parvežė į Lietuvą. Statula buvo laikoma Metelių parapijos bažnyčioje, kol šios parapijos klebono kan. Vytauto Prajaros pastangomis ant Dusios ežero kranto pastatyta mūrinė Kryžių koplyčia.
Naująją koplyčią suprojektavo architektas Juozas Žakauskas. Ji stovi šiek tiek toliau nuo senosios koplyčios vietos, ant kalnelio, ištęsto stačiakampio su nusklembtais kampais formos šventoriuje. Pastatas vienbokštis, vienanavis, su šoninėmis koplyčiomis. Planas netaisyklingo kryžiaus formos, su siaurėjančia apsidės link laiptuota presbiterija, už kurios pristatytos pagalbinės patalpos ir zakristija. Kryžiaus pavidalas imituotas ir pagrindiniame fasade, kur dominuoja 41 metro aukščio bokštas, užsibaigiantis kūginiu stogeliu ir kryžiumi. Abipus bokšto glaudžiasi žemesni prieangio tūriai. Toliau esančios šoninės koplyčios taip pat užbaigtos kūginėmis viršūnėmis ir nuožulniais stogais, kurie jungiasi su prieangiais. Bokšto vidurinė plokštuma bei šoninių koplyčių ir prieangio sandūra akcentuotos langų juostomis. Šoninių fasadų tūris laiptuotas, žemėja į apsidos pusę. Juose taip pat suvokiama kryžiaus forma, kurios centre yra apskritas langas.

2000 m. birželio 11 d. naująją koplyčią konsekravo daug dėl jos atstatymo rūpinęsis vysk. Juozas Žemaitis MIC, tuometinis Vilkaviškio ordinaras. Senosios koplyčios vietoje tikintieji stato kryžius, ateina pasimelsti.

2009 m. birželio 26 d. Vilkaviškio vyskupo Rimanto Norvilos dekretu Kryžių koplyčia paskelbta diecezine šventove.