Elmo Williams nasceu James Elmo Williams em Lone Wolf, Oklahoma. Órfão aos 16 anos, frequentou escolas em Oklahoma e Novo México antes de se mudar para Los Angeles. Em 1933, iniciou um relacionamento com o editor de filmes Merrill G. White, que contratou Williams como seu assistente em uma viagem de negócios à Inglaterra. Ele aprendeu o básico da edição de filmes com White e logo ganhou uma reputação como editor de primeira linha, trabalhando muito na RKO. Em 1947, Williams editou o documentário Design for Death (1947), que ganhou um Oscar como Melhor Documentário, e em 1952 ele recebeu um Oscar por sua edição do clássico ocidental Matar ou Morrer (1952). Logo ele se dedicou à direção, realizando vários esforços de baixo orçamento para Lippert Pictures e Republic Pictures. Williams viajou para a Europa em 1958 para trabalhar como editor e diretor de segunda unidade em Vikings, os Conquistadores (1958) e acabou ficando lá por vários anos, quando foi contratado para produzir e dirigir a série de TV Os Vikings (1959).

Ao retornar aos EUA, Williams foi contratado pela 20th Century-Fox como diretor da segunda unidade. Nessa qualidade, e como produtor associado, ele foi enviado de volta à Europa para trabalhar no épico da Segunda Guerra Mundial O Mais Longo dos Dias (1962), ajudando a encenar as espetaculares cenas de batalha do filme. Ele teve outra estada prolongada na Europa quando recebeu o cargo de diretor administrativo de produção européia da Fox, cargo que ocupou até 1966, quando voltou aos EUA para trabalhar em outro épico da Segunda Guerra Mundial, Tora! Tora! Tora! (1970). Em 1970, Williams foi nomeado vice-presidente encarregado da produção mundial na Fox, um trabalho que ele deixou em 1973 para entrar em produção independente.