Il Palazzo venne fatto costruire dal suo illustre proprietario, Bartolomeo Pendaglia, alla fine del XV secolo. Pendaglia era un uomo ricchissimo, immobiliarista ante litteram, vicino alla casa d’Este e grande amante dell’arte. La sua domus urbana era costruita per allietare non solo se stesso e la sua famiglia, ma i numerosi ospiti che vi affluivano.
L’edificio originario era più grande di quello che vediamo oggi, che pur conserva una certa imponenza. Si è preservata solo una parte dell’apparato decorativo che ornava l’intero complesso: un ciclo di affreschi con le storie di Ercole nel salone sopra la loggia è quella più importante e meglio conservata.
Il palazzo è da molti anni la sede prestigiosa del rinomato istituto alberghiero Orio Vergani, che periodicamente vi organizza eventi in cui i propri studenti mettono alla prova le proprie capacità.