La posizione del paese tra le due grandi strade romane della Futa e della Porrettana rimase sempre la naturale scorciatoia tra Bologna e Firenze per la via che saliva alla Badia di Sparvo, alle Crocicchie, a Rasora e, per il passo di Montepiano, a Vernio. Per la posizione strategica e per il diritto di asilo di cui godeva come feudo imperiale, fu anche naturale rifugio a perseguitati politici, disertori, e purtroppo briganti di ogni genere.

Castiglione non ha più nessuna vestigia dei secoli XIII-XIV se non i ruderi ormai interrati della "Citerna". Rimangono alcuni casolari tipici della montagna del 1600-1700 come i Poggiali, le Crocicchie, il Castellaccio, i Bagucci. Casolari dalla tipica pietra arenaria impastata con terra di castagno e poca calce, dai tetti a lastre pesanti , sostenute da travi poderose e ancora intatte.

Ma adattamenti mal riusciti han rovinato la splendida semplicità e architettura del tempo negli architravi e stipiti che dovrebbero essere salvate a tutti i costi.