Probabilmente di origini umili, riuscirono a raggiungere posizioni di rilievo grazie alle attività di prestito. Secondo la tradizione, capostipite sarebbe stato un Rinaldo Pota di Scrova, musicante e poi usuraio, oppure un maniscalco di Brugine. In ogni caso, la prima notizia sul loro conto risale al 1081, quando compaiono già tra le famiglie ascritte al Consiglio nobile di Padova.

Al 1146 risale la prima attestazione di una loro abitazione, localizzata lungo la via Maggiore, vicino al Duomo. L'edificio pervenne agli Scrovegni dopo che essi avevano arbitrato una vertenza tra i canonici della cattedrale e alcuni abitanti di Monselice; sin da questo episodio si notano i buoni rapporti che la famiglia sempre intrattenne con il clero.

È tuttavia a partire da Rinaldo di Ugolino che gli Scrovegni assumono importanza dal punto di vista sociale, economico e politico. Dopo aver sposato Capellina Malcapelli di Vicenza (il che gli permise di creare solidi legami anche al di fuori di Padova) si dedicò al consolidamento del proprio patrimonio, acquisendo proprietà e feudi. Passerà alla storia a causa della sua spregiudicata attività di usuraio che avrebbe rovinato numerosi acquirenti di tutte le classi sociali; morì nel 1288-90 e, a detta di Pietro Selvatico, alla sua morte la sua casa venne presa d'assalto dalla folla inferocita. Dante assurge Rinaldo ad emblema della classe degli usurai, collocandolo nel settimo cerchio dell'Inferno (canto XVII).

Manfredo e Enrico, figli di Rinaldo, e Pietro di Bellotto, suo nipote, furono eredi delle attività finanziarie del padre sin dal 1290. In quest'ambito furono coinvolte anche le figlie di Rinaldo, Leonora e Adelaide, e la nipote Agnola di Bellotto, andate in sposa a esponenti di importanti casate della nobiltà padovana, rispettivamente un Patario, un Papafava e un Capodivacca. Gli Scrovegni attuarono infatti strategie matrimoniali mirate a consolidarne sia la posizione sociale, sia la solidità economica.

Enrico di Rinaldo († 1336) fu senza dubbio il membro più illustre della casata. Si dedicò infatti a potenziare l'attività monetaria avviata dal padre, utilizzandola come strumento per l'ascesa politica. L'erezione della nota Cappella degli Scrovegni, nella zona dell'Arena, gli permise di rafforzare l'amicizia con la Chiesa, e consolidò i legami con la nobiltà sposando la sorella di Ubertino da Carrara e, in seconde nozze, la figlia di Francesco d'Este. Enrico fu inizialmente fautore dell'ascesa della signoria carrarese a Padova (tanto che sposò la sorella di Ubertino da Carrara); successivamente, non condividendo le scelte di Jacopo da Carrara nei confronti di Cangrande della Scala, decise di lasciare la città per stabilirsi con la famiglia a Venezia. Tornò a Padova solo per un breve periodo, nel 1328, quando lo Scaligero la occupò; ma l'ascesa di Marsilio da Carrara lo riportò in laguna, dove avviò una nuova organizzazione di prestito.

I figli Bartolomeo e Ugolino, invece, tornarono a Padova verso la metà del Trecento, partecipando alla vita politica sotto Francesco il Vecchio da Carrara.

Ugolino, in particolare, fu podestà di Belluno (1361-62 e 1369-71) e Capitano del Popolo di Firenze (1374-75 e 1376-90). Si ribellò a Francesco Novello da Carrara, successore di Francesco il Vecchio, e dovette riparare con i figli nel castello di Padova.

Giacomo e Enrico di Ugolino si distinsero come uomini d'arme: al servizio di Francesco il Vecchio, nel 1373 erano alla guardia delle Brentelle ed essendosi distinti nel corso della battaglia di Piove di Sacco, vennero creati cavalieri; nel 1379 furono al seguito del Carrarese mentre questi occupò Chioggia e parteciparono alle operazioni militari contro Treviso.

Incerte le sorti della famiglia: l'ultima attestazione a Padova risale al 1444, ma si ha notizia di un loro trasferimento in Francia, dove fiorivano ancora nella metà del Cinquecento.