Baker começou sua carreira em espetáculos amadores na cidade de Boston, aos 19 anos se juntou com Ben Bernie em um ato de vaudeville, Bernie e Baker. Depois de romper com Bernie logo após a Primeira Guerra Mundial, Baker uniu parceria com Sid Silvers até 1928. Depois passou a seguir carreira solo com sucesso.
Em 1923, apareceu no monólogo musical A Musical Monologue e em uma série de musicais da Broadway: Music Box Revue, Billy Rose's Crazy Quilt, Artists and Models, Greenwich Village Follies, A Night in Spain e Calling All Stars.
No cinema, seu mais famoso filme é The Gang's All Here (1943), estrelado por Carmen Miranda. No rádio, estrelou sua própria série, The Jester Armour na NBC. Na década de 1940, apareceu no Duffy's Tavern (22 de fevereiro de 1944) e foi o apresentador do popular programa de perguntas Take It or Leave It, que mais tarde mudou seu titulo para The $64 Question. Phil Baker teve uma breve carreira na televisão. Em 1951, apresentou o quiz show, Who's Whose, cancelado após um episódio.
Baker morreu em 30 de novembro de 1963, em Copenhague, na Dinamarca. Ele era casado com Ingraad Erik, uma modelo dinamarquesa, com quem teve dois filhos, Felipe e Lisa. Ingraad Erik Baker, morreu em dezembro de 1997.

Cônjuge: Irmgard Erik, Peggy Cartwright (de 1932 a 1941)
Filhos: Philip F Baker, Michael Conway Baker, Lisa Baker