L’edificio fu costruito all’inizio del XVIII secolo su richiesta di Papa Clemente XI per ospitare i Padri Scolopi, con un progetto affidato ad Alessandro Specchi. I lavori, rallentati da difficoltà economiche, ripresero dopo una pausa sotto la guida di Giovan Battista Bartoli e furono completati negli anni quaranta. I Padri Scolopi gestirono il Collegio fino alla fine del XIX secolo, nonostante varie interruzioni, fino alla sua regificazione. L’edificio ospitò il Liceo-Convitto fino agli anni settanta del XX secolo, quando fu chiuso e il Liceo trasferito altrove. Attualmente, l’edificio è sede di uffici comunali, universitari, commerciali e culturali.
Attualmente, il Collegio Raffaello è un centro polifunzionale che ospita eventi culturali, conferenze e mostre. È anche un importante punto di riferimento per i turisti che visitano Urbino, grazie alla sua posizione centrale e alla sua ricca storia. Alcuni spazi del collegio sono aperti al pubblico e utilizzati per esposizioni d’arte, eventi letterari e incontri accademici.