Dopo la metà del XV secolo Borso d’Este ospitò diversi nobili fiorentini che avevano dei dissidi con la famiglia dei Medici. Uno di questi, Diotisalvi Neroni, si fece costruire un palazzo con torretta nella strada del Follo, vicino a Palazzo Schifanoia. Il primo significativo ampliamento fu ordinato da Gurone d’Este, che ne divenne proprietario nel 1533.
Nel 1572 Francesco d’Este lo fece unire alla palazzina costruita vent’anni prima per le figlie Marfisa e Bradamante: l’intervento portò alla costruzione del loggiato sul cortile e della Loggia del Cenacolo. Si formò quindi un sistema urbano e scenografico che arrivava fino alla Giovecca e che venne interrotto, nel ’900, con la realizzazione del Tennis Club Marfisa.
Oggi il Palazzo è sede della Fototeca, di una Biblioteca specializzata in Storia dell’Arte e degli uffici dei Musei Civici di Arte Antica; custodisce un’amplissima collezione di litografie; ospita mostre temporanee e conferenze.