Casado brevemente com Barbara Lawrence em 1947; ele teve um filho, Robin, de seu casamento com a segunda esposa Corinne Calvet, na década de 1950.
Passou grande parte de sua infância criada no Lar das Crianças dos Soldados e Marinheiros, um orfanato em Knightstown, IN. Seu pai, que ele não conhecia, foi morto em um acidente de carro quando ele era criança. Ele não morou com sua mãe e padrasto até muito mais tarde. O caçula de três meninos, seu irmão mais velho era um fuzileiro naval que foi morto na Segunda Guerra Mundial.
Fingiu sua idade e ingressou na Marinha aos 16 anos e serviu durante a Segunda Guerra Mundial. Recebeu alta médica devido a uma infecção no ouvido que resultou em tímpanos perfurados.
Mudou seu nome em 1954, de John Fontaine para Jeffrey Stone, porque parecia muito com o da atriz Joan Fontaine. Durante os dias em que trabalhavam para o produtor David O. Selznick, eles continuavam recebendo correspondências uns dos outros. Uma vez em uma estréia, ele foi apresentado como Joan Fontaine.
Recusou o papel de Zorro na série de TV da Disney "Zorro" (1957).
Sua carreira de ator terminou no início dos anos 1960 devido a uma conexão infeliz com o gangster Mickey Cohen. Ele deixou Hollywood e mudou-se para Nova York para escrever comerciais e alguns episódios da série, mas não conseguiu representação. Ele co-escreveu o roteiro de Unearthly Stranger (1963), mas acabou deixando a indústria e o país.
Depois de deixar a indústria cinematográfica e os EUA, ele viajou pelo Taiti, Bora Bora, Filipinas, Hong Kong, Cingapura e Malásia. Ele também viajou para a Birmânia, Tailândia, Índia, Vietnã e Japão antes de se estabelecer na Malásia.
Ao mesmo tempo, operava um negócio de perfumes em Cingapura chamado Perfumes of the Orient. Também abriu a primeira churrascaria e lavanderia lá. Também abriu algumas lojas de antiguidades na Malásia.
Em julho de 2007, ele morava na Malásia e estava lá por 40 anos, onde continuou a escrever romances e roteiros.

Filhos: Robin Stone
Cônjuge: Christina Stone (de 1965 a 1972), Corinne Calvet (de 1955 a 1960), Barbara Lawrence (de 1947 a 1948)