Foi goleador e um dos jogadores-símbolo do Rangers, onde dedicou quinze dos 22 anos em que foi jogador profissional. McCoist começara no pequeno St. Johnstone, onde despertou interesse aos 19 anos. Após duas temporadas fracas no inglês Sunderland, chegou em 1983 ao Gers, de onde sairia apenas em 1998.
No clube protestante de Glasgow, McCoist ganhou dez campeonatos escoceses, participando de todos os títulos do eneacampeonato (nove títulos seguidos) entre 1988 e 1997, igualando uma marca que era motivo de orgulho do arqui-rival Celtic.
Duas vezes maior artilheiro europeu, em 1992 e 1993, acabou não recebendo a Chuteira de Ouro da France Football pois desde 1990 a publicação tornara o prêmio oficioso, só reoficializando-o mais tarde. Também foi duas vezes artilheiro da Liga dos Campeões da UEFA, em 1988 e nove anos mais tarde, em 1997, quando já tinha 34 anos.
Maior artilheiro do Rangers, com 251 gols na Liga Escocesa e 355 no total pelo clube, não à toa ganhou o apelido de "Super Ally" pelos fãs.
Saiu do Rangers após a perda do título escocês de 1998, quando o Celtic conseguiu quebrar a série do seu clube. Isso afetou inclusive seu status na seleção, não sendo chamado para a Copa do Mundo da França, mesmo com a alta média de idade dos jogadores convocados. No segundo semestre de 1998, McCoist foi para o Kilmarnock, onde encerrou a carreira em 2001, perto de completar 39 anos.