Hardy foi para a Milledgeville Military Academy e, aos 13 anos, para a Young Harris College, no norte da Geórgia. Desde cedo Hardy mostrava interesse por música e teatro, e participou de um grupo teatral; sua mãe reconheceu seu talento musical, e o enviou para Atlanta, com o objetivo de estudar música e canto com o professor Adolf Dahm Patterson, mas Hardy eventualmente cantava no Alcazar Theater, um cinema, decidindo depois voltar para Milledgeville.

Em 1910, Hardy começou a se apresentar como "Oliver Norvell Hardy", sendo que o primeiro nome era um tributo ao seu pai. Ele aparece com esse nome no censo de 1910, e a partir de então passa a usar o nome Oliver Hardy. No mesmo ano, um cine-teatro foi aberto na cidade de Milledgeville, onde morava Hardy, e ele começou a trabalhar em várias funções: projeção, bilheteria, gerência. Tornou-se obsessivamente interessado na indústria do cinema, e um amigo sugeriu que fosse para Jacksonville, Flórida, onde estavam sendo feitos alguns filmes. Durante o ano de 1913, Hardy cantava em um cabaret à noite, e trabalhava no Lubin Studios durante o dia. Nessa época, casou com sua primeira esposa, a pianista Madelyn Saloshin.

Em 1915, Hardy já fizera 50 filmes curtos para a Lubin Studios. Posteriormente, mudou-se para Nova York e fez filmes para a Pathé, Casino e Edison Studios. Voltou depois a Jacksonville, Flórida e fez filmes para Vim and King Bee Studios. Trabalhou com Charlie Chaplin e com a atriz de comédias Ethel Burton Palmer, durante esse tempo. Em 1917, Oliver Hardy se mudou para Los Angeles, trabalhando de free-lancer para alguns estúdios de Hollywood. Em 1927, Laurel e Hardy apareceram juntos em Slipping Wives, Duck Soup e With Love and Hisses. O diretor supervisor do Roach Studios, Leo McCarey, observou em uma apresentação a reação da platéia, e começou a colocá-los juntos, criando assim a mais famosa dupla de humoristas da história do cinema.

Em maio de 1954, Hardy teve um infarto do miocárdio; em 1955, a dupla foi contratada, juntamente com Hal Roach, Jr., para uma série de TV baseada na fábula da Mother Goose (“Mamãe Ganso”), Laurel and Hardy's Fabulous Fables, mas desta vez foi Laurel, porém, que sofreu um AVC, com uma lenta convalescença. Hardy teve um AVC em 15 de setembro de 1956, ficando paralizado e acamado por vários meses, sem falar e se mover. Em 7 de agosto de 1957, Oliver Hardy morreu, aos 65 anos.

Cônjuge: Virginia Lucille Jones (de 1940 a 1957), Myrtle Reeves (de 1921 a 1937), Madelyn Saloshin (de 1913 a 1921)