La chiesa è ad aula unica con una piccola sagrestia. Il pavimento messo in opera nel XIX sec., è in maioliche quadrate a motivi geometrici, proveniente dalla Colleggiata di Santa Maria Maddalena. La chiesa è chiamata così perché la leggenda tramanda che la Vergine concesse la grazia ad un uomo, bandito ingiustamente condannato all’impiccagione. L’episodio è ritratto nell’affresco quattrocentesco che sormonta l’altare, dove sono raffigurati la Madonna col Bambino e, sul lato sinistro, un uomo in procinto di essere impiccato. Secondo un’altra versione, il nome deriva dal fatto che da quell’altera rupe, grazie ad un’acustica particolare, venivano banditi al popolo i nomi degli eletti al ducato. All’ interno dell’edificio è conservata un’urna cineraria di marmo bianco, risalente agli anni della dinastia Giulio–Claudia, appartenuta ad un liberto di Claudio o di Nerone. L’epigrafe dell’urna testimonia l’affrancamento che un liberto imperiale concedeva ad una donna che, di conseguenza, assumeva il gentilizio della casa regnante divenendo, spesso, moglie del suo padrone (usanza particolarmente frequente nel periodo tra Augusto e Marco Aurelio).
