La banda fue formada en el año 1996 por Kensuke Kita, Takahiro Yamada, y Masafumi Gotō los cuales se conocieron en la universidad, un poco más tarde Kiyoshi Ijichi se uniría a la banda. Sacaron su primer EP de género indie en el 2000, compuesto por seis canciones cover en inglés. Al año siguiente, la banda trató de hacer su primer single japonés, "Kona Yuki" (粉雪) el cual presentaron en un programa de radio en vivo dedicado al género indie. En ese mismo año, la banda sacó su segundo CD indie con canciones en japonés. Luego, en el 2002, la banda sacaría su primer mini-albúm Hōkai Amplifer (崩壊アンプリファー), el cual recibió excelentes críticas, e incluso llegó hasta el número 35 en ventas de Japón según la empresa Oricon.

En el 2003, la banda publicaría sus sencillos "Mirai no Kakera" (未来の破片) y "Kimi to Iu Hana" (君という花), los cuales aumentaron vertiginosamente su fama. Su primer albúm completo, Kimi Tsunagi Five M...