É um músico, produtor musical norte-americano e baterista da banda Warpaint. No dia 14 de dezembro de 2009 entrou para o Red Hot Chilli Peppers para substituir o amigo e guitarrista John Frusciante. Era membro do Bicycle Thief, junto com Bob Forrest (Thelonious Monster). Tiveram só um álbum lançado em 1999, "You Come and Go Like a Pop Song."
Josh fez turnes com várias bandas e tocou em vários projetos de várias bandas como Ataxia, Beck, Butthole Surfers, Golden Shoulders, John Frusciante, Jon Brion, Nine Inch Nails, PJ Harvey, Red Hot Chili Peppers, Sparks, that dog., The Bicycle Thief, Thelonious Monster and Vincent Gallo. Em 2010 passou a ser guitarrista oficial dos Red Hot Chilli Peppers no lugar de John Frusciante que deixou a banda no final de 2009.