Ideato dal Bramante, che nel 1509 ne approntò il disegno, fu attuato sotto la direzione di Andrea Sansovino (1513-27), di Ranieri Nerucci e di Antonio da Sangallo il Giovane. In seguito furono collocate nelle nicchie le statue delle Sibille e dei Profeti.
L'attuale rivestimento marmoreo, che ha sostituito il muro dei recanatesi, fu voluto da Giulio II ed è stato realizzato su disegno del sommo architetto Donato Bramante. I recanatesi agli inizi del sec. XIV eressero intorno alla S. Casa un muro di contenimento 'bono et grosso', individuato negli ultimi scavi archeologici. Gli stessi scavi hanno messo in luce anche altri precedenti interventi edilizi a difesa della S. Casa. Tutto ciò attesta una particolarissima attenzione verso un minuscolo edificio rurale che non si spiegherebbe al di fuori della tradizione loretana.

I lavori iniziarono nel 1511, sotto la direzione di Giovan Cristoforo Romano, dopo che il fiorentino Antonio Pellegrini, su disegno del Bramante, aveva approntato il modello ligneo in scala. Dal 1513 al 1527 diresse l'impresa Andrea Contucci, detto il Sansovino. I lavori ripresero nel 1531 sotto la direzione di Rinieri Nerucci. Nella fase finale, essi passarono alla direzione di Antonio da Sangallo il Giovane. L'opera fu conclusa nel 1538. Successivamente furono collocate nelle nicchie le statue delle Sibille e dei Profeti.