Mervyn começou no Teatro de Vaudeville, onde estreou ainda criança ao lado da mãe. Em 1924, por intermédio de um primo, o produtor Jesse Lasky, empregou-se no Famous Players onde trabalhou no laboratório, como assistente de câmara e escritor de gags, até 1927.

Seu sonho era dirigir um filme e ele conseguiu a proeza em 1927 ao realizar No Place to Go (Idílio mal parado). A partir daí, reconhecido pela crítica como uma grande revelação, ele dirigiu 30 filmes de 1930 a 1939.

Dirigiu todos os tipos de filmes mas se destacou por aqueles que abordavam problemas sociais como Little Caesar (Alma no Lodo), Two Seconds (Dois segundos) e I am a fugitive from a chain gang (O Fugitivo).

Suas maiores bilheterias foram com filmes históricos como "A Ponte de Waterloo" de 1940 e "Quo Vadis?" de 1951.

Filhos: Warner LeRoy, Linda LeRoy Janklow
Cônjuge: Katherine 'Kitty' Spiegel LeRoy (de 1946 a 1987), Doris Warner (de 1934 a 1945), Edna Murphy (de 1927 a 1933)