A história gira em torno de Jason, um jovem recém formado que trabalha em uma agência de talentos. Frequentando a vida noturna de Nova Iorque, álcool e sexo fazem parte de sua rotina. O título (Eu só quero minhas calças de volta) refere-se a uma situação vivida por Jason. Após passar uma noite com ele, Jane, uma completa desconhecida, vai embora usando suas calças favoritas. Assim, ele passa por diversas situações para tentar localizar a mulher por quem se apaixonou e as calças que ele adora. Nesse meio tempo, envolve-se com os problemas pessoais de seus amigos: Tina, sua melhor amiga; o casal Eric e Stacey; Bobby, proprietário de uma bodega; e J.B., o chefe maluco de Jason na agência.