Rauff se narodil 19. června 1906 v Köthenu v Německu. Jako mladík vstoupil do námořnictva, kde se seznámil s Reinhardem Heydrichem. Po opuštění námořnictva v roce 1937 se stal členem Reinhardovy bezpečnostní služby Sicherheitsdienst, a odtud pokračoval do řad SS.

Se svým blízkým přítelem sdílel stejnou vidinu jedné čisté rasy bez menšin a duševně nemocných a hendikepovaných lidí, a začal se tomuto cíli plně věnovat. Po začátku války se ještě na okamžik objevil v námořnictvu, ale nakonec zůstal u vývoje vozů smrti – mobilních plynových komor.

Vozy smrti

Jejich smysl spočíval v rychlém usmrcení osob, naložených do zadní části vozu, výfukovými plyny z motoru. Plynové vozy se hojně používaly před vznikem plynových komor, ve vyhlazovacím táboře Chelmno byly po jeho zrodu hlavním prostředkem zabíjení.

Rauff svou čistku rozšířil i mimo hranice střední Evropy; Židy, Romy a hendikepované v roce 1942 zabíjel v Tunisku v Africe, kam byl převelen, a poté se přesunul do Itálie, kde se ujal vedení gestapa a s Benitem Mussolinim řešil židovskou otázku.

V Itálii zůstal až do konce války. Namísto rychlého útěku, nebo sebevraždy, jak kapitulaci Německa řešili jeho kolegové a nadřízení, se zabarikádoval v milánském hotelu Regina. Nakonec byl zajat a poslán do zajateckého tábora. Z toho se mu ovšem podařilo utéct; spřátelil se s biskupem, který mu pomohl vyváznout zřejmému trestu smrti.

Poklidný život v Chile

V roce 1948 působil v řadách syrské rozvědky a stal se vojenským poradcem prezidenta Husniho al-Za'ima. Rok poté údajně operoval i v izraelských řadách, to ještě než vznikl Mosad, ale svou službu ukončil cestou do Ekvádoru.

Od roku 1958-62 také pracoval jako agent západoněmecké rozvědky BND. V této době už žil v Chile, BND jeho pobyt financovala. Německo, stejně jako USA a Izrael, dobře vědělo, kde se Rauff, tehdy už pod falešným jménem Enrico Gomez, nachází a žádalo po Chile jeho vydání. Země žádostem nevyhověla. Až do své smrti 14. května 1984 pracoval Rauff v krabí konzervárně. Jeho pohřbu se účastnilo mnoho postarších nacistů a obdivovatelů jeho práce.