Egberto Gismonti nasceu em uma família de músicos em Carmo, pequena cidade do interior do Estado do Rio de Janeiro, filho do libanês Camilo Amim e da italiana Ruth Gismonti Amim. Começou a estudar piano aos cinco anos. Durante a infância e adolescência, seus estudos no Conservatório Brasileiro de Música já incluíam flauta, clarinete, violão e piano. Interessou-se pela pesquisa da música popular e folclórica brasileira.
Em 1968, participou de um festival da TV Globo com a canção "O Sonho", defendida pelo grupo Os Três Moraes. Em 1969, partiu para a França, onde estudou música dodecafônica, com Jean Barraqué, e análise musical, com Nadia Boulanger. No mesmo ano, lançou seu primeiro disco, Egberto Gismonti. Também na mesma época, atuava como arranjador e regente da orquestra que acompanhava Marie Laforêt.
Nos anos 1970, Gismonti dedicou-se a pesquisas musicais, voltando-se quase exclusivamente para a música instrumental. Em 1970, no V Festival Internacional da Canção, concorreu com "Mercador de serpentes". A hesitação das gravadoras brasileiras diante do seu estilo inovador levou-o a procurar selos europeus, pelos quais lançou vários álbuns nas décadas seguintes.
O interesse pelo choro levou-o a se dedicar ao violão de oito cordas e à flauta; a curiosidade sobre as possibilidades da tecnologia e a influência da música contemporânea europeia o levaram aos sintetizadores; a curiosidade em relação ao folclore e às raízes do Brasil o levaram a estudar a música dos indígenas do Brasil e a morar, por um breve período, com Iaualapitis do Alto Xingu.
Entre os músicos com os quais colaborou ou que colaboraram com ele, estão Naná Vasconcelos ("Dança das Cabeças", de 1976), Marlui Miranda, Charlie Haden, Jan Garbarek, André Geraissati, Jaques Morelenbaum, Hermeto Paschoal, Airto Moreira e Flora Purim.
Entre 1977 e 1993, gravou quinze discos, para o selo alemão ECM, dos quais dez foram lançados no Brasil pela BMG em 1995. Por meio de seu selo Carmo, recomprou seu repertório inicial e é um dos raros compositores brasileiros que são donos do próprio acervo.
Sua obra passou a ser gravada por outros instrumentistas como Pedro Aznar, Delia Fischer, Esperanza Spalding, Hamilton de Holanda e André Mehmari.
Casou-se com a atriz Rejane Medeiros, com quem teve dois filhos, Alexandre Gismonti e Bianca Gismonti, ambos músicos.

Cônjuge: Rejane Medeiros (1980 a 1999), Dulce Bressane (de 1968 a 1976)
Filhos: Bianca Gismonti, Alexandre Gismonti