Do koncentračního tábora Mauthausen nastoupil Heim v říjnu roku 1941 coby čerstvě vystudovaný lékař na šestitýdenní stáž. Během svého krátkého pobytu stačil zabít několik set zdravých lidí: bez umrtvení jim vyřezával orgány z těla nebo jim píchal do srdce různé substance včetně benzínu a vody. Očitý svědek popsal, jak k Heimovi jednou přišel mladý muž se zánětem v noze. Lékař ho přivázal ke stolu, odřízl mu genitálie a vyoperoval ledvinu. A protože se mu zalíbil mladíkův zdravý chrup, uřízl mu i hlavu, aby si pak jeho lebku vystavil na pracovním stole.

Po několika měsících byl Heim převelen k jednotkám SS působícím v severním Finsku a v Mauthausenu se na něj pozapomnělo. Většina vězňů, kteří přišli do tábora už v roce 1941, neměla šanci vydržet naživu až do konce války, což Heimovi nahrálo do karet během poválečných procesů. Nikdo proti němu nesvědčil, a tak se "řezník z Mauhausenu" po krátkém věznění dostal na svobodu a otevřel si gynekologickou praxi v Baden-Badenu.

Prestiž lékařského povolání zapůsobila na místní dívku z velmi bohaté rodiny. Heim se oženil a s manželkou zplodil dva syny.

Teprve počátkem 60. let začalo Rakousko hledat sadistického lékaře, který se v Mauthausenu dopouštěl ohavných zločinů. Netrvalo dlouho, a anonymní telefonát připomněl Heimovi jeho temnou minulost. Doktor zpanikařil a matka jeho manželky se zhroutila. Hrozila se, že hanba padne na celou váženou rodinu. Heim si na to konto vypůjčil od švagra mercedes a odjel neznámo kam. Naštvaný švagr našel svůj vůz až na samém jihu Španělska, odkud se Heim nalodil na trajekt do severní Afriky.

Právě tady jeho stopa končí. Lovcům nacistů se zrůdného doktora nikdy nepodařilo najít. V roce 2008 požádal jeden z Heimových synů německé úřady, aby otce prohlásily za mrtvého; chtěl se tak domoci dědictví a přispět jím na humanitární projekty dokumentující zvěrstva holocaustu.

O čtyři roky později vydal soud v Baden-Badenu prohlášení, že Aribert Heim zemřel roku 1992 v Káhiře. Podle svědků zde žil v rodině jistého Tareka Husseina Farida, který o jeho nacistické minulosti neměl tušení. Heim konvertoval k islámu a Farid ho přijal za člena rodiny. Heimovy ostatky se však nepodařilo najít a identifikovat, protože skončily v masovém hrobě pro chudé.