Peter Michael Falk, filho de Michael Falk e Madeline Hauser Falk e descendente de Miksa Falk, editor de um jornal liberal húngaro chamado Pester Lloyd. Aos três anos de idade perdeu um de seus olhos devido a um tumor maligno, por isso foi obrigado a implantar um olho de cristal, pelo qual também ficou mundialmente famoso. Estudou em Nova Iorque e quando tinha 12 anos subiu pela primeira vez no palco. Depois se graduou e se alistou na marinha dos Estados Unidos como cozinheiro, antes de licenciar-se em ciências políticas em New School for Social Research em 1951 e conseguir um máster em administração pública pela Universidade de Siracusa em 1953. Quando jovem queria trabalhar na CIA antes de se converter em diretor de um escritório em Hartford.

Mais tarde estudou interpretação em White Barn Theatre em Westport, Connecticut em 1956 com a idade de 29 anos e depois se mudou para Greenwich Village. Seu primeiro papel profissional foi em "Off Broadway". Durante os anos seguintes, Falk esteve trabalhando em todos as peças alternativas de Nova Iorque. Em 1960 mudou-se para Hollywood para iniciar sua carreira no cinema. Em 1961 estreou em "Murder, Inc." interpretação que lhe valeu sua primeira indicação como melhor ator coajuvante para o Oscar. Nesse mesmo ano também recebe uma indicação aos prêmios Emmy por seu papel de drogado em "The Law and Mister Jones". Em 1961, novo papel de Peter Falk e nova indicação como melhor ator secundário para o Oscar e também foi indicado ao Emmy por "The Prince of Tomatoes" e desta vez ganhou.

Em 1965, Falk consegue uma grande popularidade por sua interpretação de Daniel O´Brien em "The Trials of O´Brien", mas somente chegaria ao estrelado como o tímido e esquisito detetive Columbo. A primeira aparição de Columbo foi num telefilme chamado "Prescription: Murder" de 20 de fevereiro de 1968, apresentado pela NBC e foi um êxito total. Devido a isso a rede solicitou um segundo telefilme que estreou no dia 1 de março de 1971 com o título de "Ramsom for a Dead Man", que também pode ser considerado como o piloto da série que se seguiu depois. Falk foi alternando seu trabalho como detetive Columbo com outros projetos. Em 1972 ganhou o prêmio Tony por sua interpretação na comédia de Neil Simon "The Prisioner of Second Avenue" que ele fez na Brodway. Além disso, Peter Falk é conhecido pela sua pintura, onde ele é bastante elogiado pelos críticos.

Já mais velho, e quando a saúde lhe permitia, continuou a aparecer no ecrã. Mais recentemente participou em ‘Next - Sem Alternativa', filme de acção de Lee Tamahori, baseado numa história de Philip K. Dick, com Nicolas Cage e Julianne Moore. Em 1996 foi distinguido, por Gérard Depardieu, com o grau de Cavaleiro das Artes e Letras pelo Ministério da Cultura francês.

Morreu numa quinta-feira, Falk sofria de Alzheimer.