La famiglia Stibbert, originaria del Norfolk, si trasferì in Italia col padre di Frederick, Thomas Stibbert che, giuntovi dopo le campagne antinapoleoniche, decise in seguito di stabilirsi prima a Roma e poi a Firenze, sposando una giovane toscana, Giulia Cafaggi. La nascita di Frederick, nel 1838 a Firenze, costituì il nodo delle tre tradizioni familiare britannica, anglo-indiana e italiana che influenzeranno la formazione di Stibbert e le sue scelte culturali. Cittadino inglese educato a Cambridge ma insofferente alle rigidità dei college, rimase sempre legato alla sua residenza fiorentina e alla casa di Montughi, acquistata dalla madre e sede della famiglia.
Partecipe delle vicende italiane si arruolò nelle Guide di Garibaldi per la campagna del Trentino del ’66, ottenendo una medaglia d’argento al valore; fu questo l’unico contributo diretto alla tradizione militare della famiglia. Col raggiungimento della maggiore età, nel 1859, Frederick entrò in possesso di un enorme patrimonio del quale continuò sempre ad occuparsi con estremo impegno e grande intuito, incrementandolo con abili operazioni finanziarie, favorite dalle contingenze storiche legate all’unificazione italiana e ai conseguenti nuovi fermenti economici nati dalla richiesta di capitali da investire in un paese che si andava formando. Approfittò della sua molteplice natura di finanziere internazionale, viaggiatore abituale e collezionista appassionato per controllare le offerte del mercato antiquario di tutta Europa per quasi cinquanta anni, e realizzare il grande progetto della sua vita: trasformare la villa di Montughi nel “suo Museo”.