Charlie Carver nasceu em 31 de julho de 1988 em São Francisco, Califórnia. Seu pai, Robert Martensen, é um médico e escritor, e sua mãe, Anne Carver, uma ativista filantropa. Quando jovem, mudou-se para uma pequena cidade em Condado de Napa, na região vinícola da Califórnia. Foi ali, na escola, que Charlie teve sua primeira exposição como ator. Charlie começou a estudar teatro no ACT San Francisco, a Academia de Artes Interlochen, da Universidade do Sul da Califórnia. Ele fez sua estreia como ator junto a seu irmão gêmeo Max Carver, na série de televisão da ABC, Desperate Housewives, interpretando Porter Scavo.