Taking Back Sunday comenzó en noviembre de 1999 tomando como referencia a bandas de hardcore punk como Lifetime y Endpoint y el emo que creó Sunny Day Real Estate. Sin embargo, su primer material no vería la luz hasta 2001, año en que lanzan su primer EP autotitulado Taking Back Sunday, al que le seguiría Lullaby EP. Después, la banda estaría de gira por el país con bandas ya consagradas como At the Drive-In y Alkaline Trio. Durante los comienzos, y en los años siguientes, la banda sufrió cambios en su formación. (Via last.fm)