Taking Back Sunday comenzó en noviembre de 1999 tomando como referencia a bandas de hardcore punk como Lifetime y Endpoint y el emo que creó Sunny Day Real Estate. Sin embargo, su primer material no vería la luz hasta 2001, año en que lanzan su primer EP autotitulado Taking Back Sunday, al que le seguiría Lullaby EP. Después, la banda estaría de gira por el país con bandas ya consagradas como At the Drive-In y Alkaline Trio. Durante los comienzos, y en los años siguientes, la banda sufrió cambios en su formación. Originariamente TBS (Taking Back Sunday) estaba formada por Eddie Reyes en la guitarra, John Nolan también en la guitarra y como cantante secundario, Jesse Lacey en el bajo, Antonio Longo como cantante principal y Stevie D. en la batería. En diciembre de 2000 y con los EP's ya grabados pero aún sin lanzar, la banda pierde al bajista Jesse Lacey (quién formaría después otra importante banda dentro de la nueva oleada punk pop y del rock alternativo, Brand New)...