La chiesetta accanto alla grotta fu costruita tra il 1625 ed il 1630. Nel 1683, per interessamento del principe Gaetano Ventimiglia, fu edificata una chiesa più grande con a fianco poche celle cui, in seguito, ne furono aggiunte altre. Molti indossarono il saio e vi andarono a vivere. Francesco Scassi, un ricco genovese, con il contributo del principe, ampliò il caseggiato, migliorandone l'aspetto. Il Comune di Santo Stefano contribuì al sostentamento degli eremiti. Dal 1727 la chiesa dipese dalla Parrocchia del paese.

 Nel 1772 il geniale Fra' Ignazio Traina, grazie all'aiuto dei Ventimiglia, vide realizzato il suo ambizioso progetto: un nuovo e più ampio convento. Al nobile frate Boccolari si deve il pittoresco sentiero che, salendo da Contrada Castagna, serpeggia tra i boschi, oltrepassa il convento, fino alla maestosa "cerza 'ranni".