Il palazzo fu costruito per la Compagnia di Santa Maria della Misericordia fra il 1352 e il 1358 dove un tempo esisteva una casa-torre degli Adimari distrutta dopo la cacciata dalla città della famiglia per via del suo credo guelfo (1248). La nuova loggia in antico serviva ad esporre al pubblico i fanciulli smarriti o abbandonati affinché fossero rintracciati, riconosciuti o adottati.