Foi um pianista, ator, comediante e compositor. Ficou mais famoso por seus personagens mordazes no rádio, televisão e cinema, do que por seu trabalho como músico.
Nascido em uma família de Judeus Ortodoxos vindos da Rússia, Levant se mudou para Nova York com a sua mãe, Annie, em 1922, seguido da morte do seu pai, Max. Começou a estudar com Zygmunt Stojowski, um professor de piano bem reconhecido. Em 1924, com 18 anos, apareceu com Ben Bernie em um curta-metragem chamado "Ben Bernie and All the Lads", filmado em Nova York no ''DeForest Phonofilm''.
Em 1928 Levant viajou para Hollywood, onde a sua carreira deu uma virada para melhor. Durante a sua estadia, conheceu e se tornou amigo de George Gershwin. Entre 1929 e 1948 compôs músicas para mais de vinte filmes. Durante este período, também escreveu e co-escreveu várias canções que ficaram populares e alcançaram o Hit Parade. Uma das canções mais conhecidas foi Blame It on My Youth (1934).
Por volta de 1932, Levant começou a compor seriamente. Estudou com Arnold Schoenberg e o impressionou suficientemente para que este o oferecesse um trabalho como seu assistente (que Levant, por vez, recusou, por se considerar sem as qualificações necessárias). Seus estudos formais levaram com que Aaron Copland o convidasse para tocar no Yaddo Festival de música contemporânea americana, em 30 de abril daquele ano. Bem sucedido, Levant começou com um novo trabalho com orquestra, uma sinfonia. Estava casado com a atriz Barbara Woodell, de quem se divorciou em 1932.
Em 1939, Levant se casou pela segunda vez, com a cantora e atriz June Gale. Eles foram casados por quase 33 anos, até que falecesse. Tiveram três filhos: Marcia, Lorna e Amanda.
Nessa época, Levant provavelmente era mais conhecido pela audiência americana como um dos apresentadores fixos do show de rádio em formato de quizz. Originalmente ele era apenas um convidado do programa, mas ficou muito popular e se tornou fixo entre o final dos anos 30 e os 40. Neste tempo ele trabalhou com Franklin P. Adams e John Kieran, e o moderador Clifton Fadiman. "Mr. Levant", como ele sempre era chamado, era sempre desafiado com perguntas sobre música, e ele impressionava a audiência com o seu largo conhecimento e piadas rápidas.
De 1947 a 1949, Levant regularmente aparecia na rádio NBC, no programa ''Kraft Music Hall'', estrelado por Al Jolson. Não somente acompanhava Jolson no piano e tocava solos clássicos e populares, como também fazia piadas e conversava com Jolson e seus convidados durante o show. Os dois, Levant e Jolson, apareceram como eles mesmos em "Gershwin biopic Rhapsody in Blue" (1945). Mais tarde atuaria no bem-sucedido musical, ganhador do Oscar de melhor filme em 1951, An American in Paris, que contaria, também, no elenco com Gene Kelly e Leslie Caron.
Entre 1958 e 1960, Levant apresentou um talk show na KCOP-TV, em Los Angeles, que se chamou The Oscar Levant Show. Ele tocava o seu piano enquanto aconteciam monólogos e entrevistas com convidados famosos, como Fred Astaire e Linus Pauling. Hoje só existem duas gravações completas do show, uma delas do programa com Astaire. Esta fora a única performance de Astaire a ter imperfeições, sendo que era exibido ao vivo e Levant teve que constantemente mudar o tempo entre os versos da música para conseguir acompanhar Astaire enquanto cantava.
O show foi extremamente controverso, eventualmente sendo tirado do ar após um comentário sobre a conversão de Marilyn Monroe ao Judaísmo: "Now that Marilyn Monroe is kosher, Arthur Miller can eat her". Logo depois declarou que não queria que conotasse desta maneira. Alguns meses depois, o show começou a ser exibido em um formato revisado. Isto, no entanto, não foi suficiente para prevenir que Levant fizesse comentários sobre a vida sexual de Mae West, o que fez com que o show fosse cancelado de uma vez por todas. Levant também foi um convidado frequente no talk show de Jack Paar.

Cônjuge: June Gale (de 1939 a 1972), Barbara Woodell (de 1932 a 1933)
Filhas: Amanda Levant, Marcia Levant, Lorna Levant