À l’été 1803, plusieurs incendies suspects éclatent à Montréal. Vers trois heures de l’après-midi, le 6 juin 1803, un premier incendie se déclare dans le faubourg Saint-Laurent. À peine cet incendie contrôlé, voilà que, sur la rue Notre-Dame, un deuxième brasier détruit les églises des Jésuites et des protestants, la prison de la Place Vauquelin, le Collège Saint-Raphaël et une vingtaine de maisons.
Logeant temporairement dans l’ancien couvent des Récollets, les 150 pensionnaires reprennent les cours, dont certains sont donnés au Séminaire des sulpiciens près de l’église Notre-Dame. Une nouvelle école est bientôt construite, il s’agit du « Petit Séminaire », au coin des rues Saint-Paul (alors appelée du Collège) et Saint-Henri.