Il primo documento storico che testimonia l’esistenza del Santuario e della grande devozione alla Vergine risale al 1305. Affidato per tutto il medioevo al clero secolare, il santuario del Summano conobbe il massimo splendore tra il secolo XV° ed il XVIII° quando, per interessamento del cardinale Pietro Barbo, vescovo di Vicenza, fu ceduto alla congregazione dei Poveri Eremiti di San Girolamo, detti Girolimini.

La chiesa venne in questo periodo ampliata a tre navate, fu eretto il campanile e fu ingrandito il convento. Questo stato glorioso durò sino al 1774 quando un decreto dei Senato della Repubblica Veneta costrinse i benefici Padri Girolimini ad uscire dal territorio della Repubblica.

L'edificio subì successivamente abbandoni e crolli. Nel 1892 il Santuario venne parzialmente ricostruito, fedele alle forme settecentesche, su iniziativa del parroco di Santorso e grazie ai generosi finanziamenti del Senatore Rossi.