První manželství Dvořákovi vydrželo jen krátce. Druhá žena Zuzana sice byla odhodlaná vytrvat, ale herec se ve svých 28 letech zamiloval do mladičké studentky Alenky, která byla o deset let mladší než on a doslova mu popletla hlavu. Také druhý manželský svazek proto skončil rozvodem, když vtom nečekaně došlo k tragédii: Alenka v den svých narozenin přecházela silnici a srazilo ji auto. Jeho řidič z neznámého důvodu vjel do nesprávného pruhu a neštěstí bylo na světě během zlomku vteřiny. Dívka pak ležela několik dní v kómatu v nemocnici, ale lékaři ji už nezachránili.
Josefa Dvořáka tato událost hluboce zasáhla. Stáhl se do sebe a žal utápěl v alkoholu. Když se pak vypravil s československou delegací na Kubu, rozhodl se, že svůj život rovněž ukončí. Plaval daleko do oceánu a nehodlal se vrátit. Kolegové ho naštěstí na poslední chvíli našli a přitáhli ho zpátky ke břehu.
Zpět do života přivedlo Josefa divadlo a také jeho bývalá manželka Zuzana. Dali se znovu dohromady, a dokonce spolu podruhé zamířili k oltáři. Vztah nicméně nevyšel ani tentokrát. "Stále jsem byl v práci. Z domu jsem odcházel před svítáním a vracel jsem se za svítání. Nepamatuji se, že bych někdy doma snídal, obědval nebo večeřel,“ vysvětlil po letech herec důvod, proč partnerství nemohlo fungovat.
V roce 1983 pak během natáčení pořadu Rozpaky kuchaře Svatopluka poznal produkční Jarmilu, které nikdo neřekne jinak než Jája. Právě tato žena se stala jeho životní láskou a věrně stojí po jeho boku až dodnes. Díky ní také poznal rodinný život a na stará kolena si ho prý užívá. Od čtyř dcer se s manželkou dočkali sedmi vnoučat a letos na jaře se jim narodilo první pravnouče, holčička Dominika. "Když jsem zjistil, že jsem pradědeček, zůstal jsem chvíli stát. Protože jsem si myslel, že se tenhle termín vyskytuje jenom v pohádkách," přiznal Dvořák pro deník Aha. Nová role však podle něj nic nezměnila, novinkou je snad jen fakt, že má na rodinu více času a hrdě kráčí Prahou s kočárkem.