Après six ans à Longue-Pointe, les élèves et leur professeur Curatteau quittent enfin l’étroit presbytère pour un château. Sur l’actuelle place Jacques-Cartier, le gouverneur Philippe de Vaudreuil (1643 -1725) détient un hôtel particulier dès 1723. Par la suite, aménagé en petit château, l’endroit accueille les gouverneurs de Montréal, dont le quatrième fils de Philippe de Vaudreuil, Pierre (1689-1778), dernier gouverneur de la Nouvelle-France. Acheté par la paroisse Notre-Dame en 1773, le château devient le Collège Saint-Raphaël, nommé en l’honneur de l’archange Saint-Raphaël, et est alors fréquenté par plus d’une centaine de pensionnaires. Le Collège est doté d’une bibliothèque de 1 200 livres, de salles d’étude et de classes, d’une chapelle, de dortoirs et d’un vaste jardin entouré de murailles.
(M1642) C003/B04.04 : Collège Saint-Raphaël ou Château Vaudeuil
Plan de la propriété du Marquis de Vaudreuil à Montréal, 1726, Musée McCord