Nella relazione della visita pastorale del vescovo Agostino Valier (1565-1606) alla parrocchia di Isola l'anno 1582 si legge che il giorno 22 novembre si recò a Caselle e il giorno successivo visitò l'oratorio edificato dal nobile Lodovico Fumanelli presso la sua dimora e dedicato all'Immacolata Concezione di Maria. E' questo il primo riferimento all'esistenza di un edificio sacro in Caselle. Nel 1838, come attesta l'iscrizione posta all'interno, ottenne il fonte battesimale; acquistò la completa autonomia rispetto alla chiesa matrice di S. Stefano di Isola Della Scala nel 1868 con la costruzione del cimitero. Nel 1907 il giuspatronato (cioè il diritto di eleggere il cappellano) passò dai Fumanelli ai Perbellini che lo detennero assieme all'abate di Isola fino al 1966. L'edificio ha una facciata sobria, sul fastigio posano due putti.
