Napoleon si často vybíral mladší partnerky, než byl on sám. V době, kdy působil na postu prvního konzula, udržoval poměr s patnáctiletou hvězdou divadelního plátna. Další mladší dívku, osmnáctiletou habsburskou princeznu Marii Luisu, si Napoleon vzal v roce 1810 za ženu. Vojevůdce měl nepřeberné množství milenek a také se scházel s prostitutkami. Údajně však ženami opovrhoval, nevážil si jich a měl je jen jako nástroj k plození dětí.

O všechny slasti císařského života však přišel v roce 1815, po prohrané bitvě u Waterloo. Britové Napoleona poslali do vyhnanství. Dopravili ho na nezáviděníhodné místo vzdálené několik tisíc kilometrů od Evropy. Na ostrov Svatá Helena s ním jeli jeho přátelé, bývalý císař se i přesto cítil osamělý. Na ostrově pro něj nebylo přichystáno ani žádné obydlí. Nakonec se ubytoval v usedlosti obchodníka Williama Balcombea. Jeho děti se mu staly blízké, obzvláště 14letá Betsy. Ta se stala poslední ženou, do které se Napoleon zamiloval. Betsy se ho nejprve kvůli pověstem, které o něm kolovaly, obávala. Později v sobě našli oba zalíbení. Betsina rozpustilá povaha Napoleona nadchla a v její přítomnosti zapomínal na své problémy. Začínala se v něm mísit láska k dítěti se zalíbením v mladších děvčatech.

Zanedlouho byl pro Napoleona zařízen dům v Longwoodu, kam se musel přestěhovat. S Betsy se vídal několikrát týdně. Na ostrov však dorazil guvernér sir Hudson Lowe, který vojevůdci omezil svobodu pohybu, stejně jako výdaje na jeho domácnost. Zpřísnil také jeho ostrahu, a tak se Napoleon cítil jako v opravdovém vězení. Poznamenalo to také jeho vztah k Betsy. Neskutečně na ni žárlil a sám ji tak zraňoval. Pod vlivem emocí se dokonce obrátil proti svému dlouholetému kamarádovi, který s ním na ostrov přijel. Osudová rána ale měla teprve přijít.

Guvernér Lowe Napoleona opravdu nešetřil, jakmile se dozvěděl, že přes rodinu Balcombeových posílá dopisy do Evropy, ihned zakročil. Téměř okamžitě nařídil vyhoštění rodiny z ostrova. Při loučení dostala mladá dívka na památku vůdcův kapesník a pramen jeho vlasů. Ztráta Betsy vzala Napoleonovi chuť žít. Navíc ani jeho dům už nebyl místem hodným císaře. Na tapetách se tvořila plíseň a uvnitř byla zima. Mnohokrát žádal Napoleon guvernéra o polínko dřeva, kterým by si mohl zatopit, avšak marně. Dokonce se musel smířit i s přítomností krys. Nelidské podmínky přitížily Napoleonovu zdravotnímu stavu. V květnu roku 1821 zemřel pravděpodobně na rakovinu žaludku.

Betsy žila nějakou dobu v Anglii, kde se vdala a narodila se jí dcera. Později vydala knihu Vzpomínky na císaře Napoleona, ve které se rozepisuje o zážitcích na Svaté Heleně. Po celý život zůstala v kontaktu s rodinou Bonapartových a synovec vojevůdce ji dokonce v Alžírsku přenechal 500 hektarů půdy. Betsy si je však nikdy nepřevzala. Napoleonova poslední láska zemřela v roce 1871.