Měl čtyři manželky a přiznal i řadu přítelkyň, ale rodinu s žádnou nezaložil. Americký herec Robert Duvall známý z filmů Kmotr či Apokalypsa o chybějících potomcích moc nemluvil. Podle svých kolegů se soustředil hlavně na práci. Jen jednou v rozhovoru přiznal, že to, že nemá rodinu, je zřejmě jeho vina. „Myslím, že střílím slepými,“ prozradil.
