Nel 1450, in seguito a una epidemia di lebbra manifestatasi nelle podesterie di Rapallo e Recco, Giacomo d’Aste, facoltoso cittadino rapallese, donò alla comunità un appezzamento di terreno situato in località Bana, tra le frazioni di San Massimo e Santa Maria del Campo, dove venne edificato l’edificio destinato ad accogliere i malati locali. La gestione del ricovero, dedicato a San Lazzaro di Betania, e per questo definito “Lazzaretto”, venne affidata ai Protettori dell’Ospedale di Pammatone di Genova, secondo l’ordinanza di Papa Sisto IV in una bolla del 1471. L’edificio quattro anni dopo accolse gli appestati (fra i quali anche il figlio di Giacomo d’Aste) ammalatisi nell’epidemia che nel 1475 flagellò Genova e le Riviere.
Nel 1505 il Lazzaretto, che versava in precarie condizioni, fu oggetto di un primo restauro; e anche nel 1582 monsignor Francesco Bossi, visitatore apostolico e vescovo di Novara, doveva lamentare il cattivo stato dell’edificio, chiedendo ai responsabili di Pammatone di porvi rimedio. Ma questi considerarono eccessiva la spesa per i restauri e così non se ne fece nulla.
Il dipinto quattrocentesco che appare sulla parete esterna dell’edificio raffigura, oltre la Madonna con Bambino, i Santi taumaturgi Lazzaro, Giacomo e Biagio.