Filho segundo de António Bernardo da Silva Garrett, selador-mor da Alfândega do Porto, e Ana Augusta de Almeida Leitão. Passou a sua infância, altura em que alterou o seu nome para João Baptista da Silva Leitão, acrescentando o sobrenome Baptdo Douro (Vila Nova de Gaia)]], pertencente ao seu avô materno José Bento Leitão. Mais tarde viria a escrever a este propósito: "Nasci no Porto, mas criei-me em Gaia". No período de sua adolescência foi viver para os Açores, na ilha Terceira, quando as tropas francesas de Napoleão Bonaparte invadiram Portugal e onde era instruído pelo tio, D. Alexandre, bispo de Angra.
De seguida, em 1816 foi para Lisboa, onde acabou por se matricular no curso de Direito. Em 1821 publicou O Retrato de Vénus, trabalho que fez com que lhe pusessem um processo por ser considerado materialista, ateu e imoral. É também neste ano que ele e sua família passam a usar o apelido de Almeida Garrett.