Bolger era filho de pais irlandeses católicos, mas nasceu nos Estados Unidos. Quando jovem assistiu uma apresentação de Vaudeville e a partir dai sentiu vontade de seguer a carreira artística. E lá mesmo iniciou sua carreia como dançarino.
Em 1926 dançou no New York City's Palace Theatre, o mais importante teatro de Vaudeville do país. A partir de 1930, ganhou muitos papéis importantes na Broadway, devido a seu corpo flexível e sua capacidade de movimentação e improvisação.
Em 1936 assinou contrato com a MGM. Lá estrelou, em 1939, seu papel mais conhecido O Espantalho do Mágico de Oz (1939). Ele havia sido escalado como o homem de lata, Tin Woodsman, mas estava insatisfeito com o papel e conseguiu trocar para o Espantalho.
Logo após terminar o filme, ele mudou de estúdio. Em 1946, gravou um álbum infantil, The Churkendoose. Bolger participou de produções da Disney, teve seu próprio show na TV, além de participações em outros programas e na Broadway. Foi casado por 53 anos (até sua morte) com Gwendolyn Rickard e não teve filhos. O ator morreu em 1987 de câncer na Bexiga aos 83 anos.