Werner Stipetić nasceu em Munique, na Alemanha. Ele adotou o nome artístico Herzog, que significa "duque" em alemão, um pouco mais tarde em sua vida. Seus pais eram Croatas. O seu pai (junto com a mãe) abandonou-o cedo, ainda na infância, quando voltou de um campo de prisioneiros de guerra depois da Segunda Guerra Mundial. Sua família, então, se mudou para uma cidade na Áustria, após uma casa próxima a deles ter sido destruída durante um bombardeio no final da Segunda Guerra. Quando ele fez 12 anos, ele e sua família mudaram-se novamente para Munique, e compartilharam um apartamento com Klaus Kinski no bairro de Elisabethstraße in Munich-Schwabing. Sobre este fato, Herzog declarou: "Eu sabia naquele momento que eu me tornaria um diretor de cinema e que eu iria dirigir Kinski."
Neste mesmo ano Herzog foi aconselhado a cantar em frente a sua classe na escola e ele se recusou vementemente. E por isto ele quase foi expulso do colégio e até os 18 anos ele não ouviu música alguma, não tocou instrumento nenhum e muito menos estudou qualquer instrumento. Depois ele chegou a declarar que daria 10 anos de sua vida para ser capaz de tocar algum instrumento. Aos 14 anos ele se inspirou em um termo de uma enciclopédia sobre cinema, que ele diz que "continha tudo que ele precisava para começar" como cineasta - isto e a câmera 35mm que Herzog roubou da Munich Film School. Ele recebeu seu diploma pós-secundarista na Universidade de Munique e apesar de ter ganhado uma bolsa escolar para a Duquesne University in Pittsburgh, Pennsylvania, ele abandonou a faculdade em poucos dias e viajou até o México onde ele trabalhou em um rodeo.
No início dos anos 60 Herzog trabalhou como metalúrgico em uma fábrica de aço como forma de ajudar a financiar seu primeiro filme.