Barokowe kolegium jezuitów powstało w latach 1665-90 wg projektu Carlo Lurago. Budynek połączony jest krytym pasażem z zakrystią kościoła. Podczas przebudowy ul. Wojska Polskiego, powstały podcienia wzdłuż budynku. Kolegium mieści obecnie kancelarię parafialną, klasztor jezuitów i liceum ogólnokształcące. W pobliżu stoi barokowy konwikt (internat dla wychowanków kolegium jezuickiego) powstały w latach 1663-96. Dalszej modernizacji budynku dokonano w latach 1753-54. Od 1986 r. w konwikcie mieści się Muzeum Ziemi Kłodzkiej. Można tu zobaczyć ekspozycję na temat historii miasta i regionu, jego przyrody i sztuki. Szczególnie cenne są zbiory numizmatów, zegarów śląskich oraz szkła artystycznego. Na dziedzińcu znajduje się lapidarium detali i rzeźb z całej Ziemi Kłodzkiej.