Engenheiro formado pela Universidade de Columbia, Sandrich entrou para o mundo do cinema por acaso: em 1922, ao visitar uma prima nos cenários onde um filme estava sendo rodado, ele resolveu um problema elétrico para o diretor. Com isso, ofereceram-lhe um emprego no departamento técnico. Por fim, em 1927, começou a dirigir comédias de dois rolos.
Após dois longas-metragens, assinou com a RKO em 1930. Aqueles, porém, eram tempos de transição para as complexidades do cinema sonoro, e Sandrich viu-se entregue aos curtas de novo. Para sua sorte, um deles, So This Is Harris, ganhou um Oscar em 1933, o que o credenciou para voos maiores. Depois de algumas produções de rotina, foi escalado para The Gay Divorcee, o primeiro musical de Fred Astaire e Ginger Rogers. Acabou por dirigir os melhores filmes da dupla na década de 1930 - cinco ao todo.
Por volta de 1938, a RKO, em dificuldades financeiras, já não podia mais garantir a qualidade técnica e artística que suas películas exigiam, o que o levou para a Paramount. De 1940 em diante, produziu todos seus filmes. Em meio a outros musicais e também comédias com Jack Benny, Sandrich colheu um novo grande sucesso com Holiday Inn (1942). O filme o reuniu a Astaire mais uma vez e ganhou um Oscar com a canção White Christmas, cantada por Bing Crosby.
Mark Sandrich faleceu prematuramente em 1945, de ataque cardíaco, enquanto preparava Blue Skies, outro musical com Fred Astaire e Bing Crosby. (A produção foi lançada no ano seguinte, com Stuart Heisler no comando). Sandrich era casado com Freda W. Sandrich, com quem teve dois filhos: Jay Sandrich e Mark Sandrich Jr., ambos diretores de séries de TV.

Filhos: Jay Sandrich, Mark Sandrich Jr.