James Fox urodził się w Londynie 19 maja 1939 roku. Jest drugim z trójki synów artystycznego małżeństwa Foxów. Jego ojcem był Robin Fox, agent teatralny; matką - aktorka Angela Worthington. Jego bracia: Edward i Robert również pracowali w przemyśle filmowym. James zaczął grać już jako dziecko. Skończył Central School of Speech and Drama.
W latach 1970-1979 zostawił aktorstwo dla pracy charytatywnej. Jest oficerem Orderu Imperium Brytyjskiego.
Żoną Foxa jest
Mary Piper, z którą aktor ma piątkę dzieci.
W 1983 roku opublikował swoją książkę
"Comeback: An Actor's Direction".