Belzer nasceu em Bridgeport, Connecticut, numa família judia, filho de Francis e Charles Belzer, um varejista de doces e tabaco. Belzer cresceu com seus pais e seu irmão mais velho, Leonard; como jovem, trabalhou entregando jornais e "foi expulso de toda as escolas que frequentou". Formou-se na Andrew Warde High School, na cidade vizinha de Fairfield. Perdeu ambos os pais ainda jovem; tinha 18 anos quando a mãe morreu de câncer, e 22 quando o pai cometeu suicídio.

Após a escola Belzer trabalhou como repórter para o jornal Bridgeport Post. Frequentou a Dean Junior College, em Franklin, Massachussetts, até ser expulso por liderar muitas demonstrações estudantis. Após abandonar a universidade, Belzer se alistou no exército americano. Por um breve período também estudou e, posteriormente, lecionou ioga; um de seus primeiros quadros de humor incluía um personagem chamado "Yogi Yogi, the Yodeler", participante de um concurso de yodeling.