Estudou no Franklin & Marshall College, em Lancaster, na Pensilvânia. Sua carreira no cinema começou em 1964, no filme The Curse of the Living Corpse. A seguir estrelou Star! (1968), Paper Lion (1968), Stiletto (1969) e Puzzle of a Downfall Child (1970).
Foi casado com Cynthia Scheider de 1962 a 1989 e com ela teve uma filha. Desde 1989 era casado com Brenda King, com quem teve um casal de filhos.

Durante os anos 1970, Scheider atuou em diversos filmes famosos. Em 1971 ele chamou a atenção das platéias cinematográficas pelo seu papel no filme policial Klute - O passado condena, com Jane Fonda e Donald Sutherland. A seguir fez Operação França (1971) e O esquadrão implacável (1973). Em 1975 atuou em Tubarão, cujo roteiro foi baseado na novela best-seller de Peter Benchley, e que teve como diretor um iniciante Steven Spielberg, escolhido pela Universal Pictures para dirigir a adaptação do livro para a tela. No filme, Scheider fez o papel do chefe de polícia Brody, e contou com a companhia de Robert Shaw e Richard Dreyfuss. Jaws foi um sucesso e, por muitos anos, manteve o recorde de filme mais rentável de todos os tempos. Em 1978 ele retornou às telas no mesmo papel, em Tubarão 2. Antes de Jaws 2 fez Maratona da morte (1976), que teve Dustin Hoffman no papel principal, e Comboio do medo (1977), baseado no filme clássico francês O salário do medo (1953) e, depois, O abraço da morte (1979) e O show deve continuar (1979). Por este filme, Roy Scheider concorreu aos prêmios Oscar, Globo de Ouro e BAFTA na categoria de melhor ator.

Nos anos 1980, Scheider fez Na calada da noite (1982), com Meryl Streep; um piloto de helicóptero rebelde em Trovão Azul (1983); um cientista em 2010: O ano que faremos contato (1984), a seqüencia de 2001: A Space Odyssey (1968); um marido trapaceiro em A hora da brutalidade (1986); e um homem de sangue-frio em Cohen & Tate (1989).

Em 1990, atuou como um agente da CIA em A casa da Rússia, com Sean Connery e Michelle Pfeiffer. Fez também o capitão de um submarino futurístico na série para televisão SeaQuest DSV (1993), que durou três temporadas.
Inexplicavelmente, entretanto, Scheider não vinha participando de filmes campeões de audiência, embora continuasse representando predominantemente em papéis coadjuvantes, geralmente como presidentes dos Estados Unidos (que fez três vezes) ou oficiais militares, como em The Peacekeeper (1997), Alvo executivo (1997), Chain of Command (2000) e Serpente vermelha (2002).

Em 2004, foi diagnosticado que Scheider sofria de mieloma múltiplo, um câncer de células plasmáticas. Em junho de 2005, ele sofreu um transplante de medula óssea para tratar do câncer, que foi classificado como estando em recuo parcial. Scheider morreu em 10 de fevereiro de 2008, em Little Rock, no Arkansas, no Hospital de Ciências Médicas da Universidade de Arkansas, aos 75 anos de idade. Apesar de a causa da morte não ter sido divulgada imediatamente, a esposa de Scheider atribuiu a morte do marido a uma infecção a estafilococos