Rabbit Junk comenzó en 2004 después de la separacion de la primera banda, The Shizit. Después de añadir a la vocalista Jeniffer "Sum Grrl" Bernett a la banda, los dos hombres lanzaron su proyecto de su auto-titulado álbum debut llamado Rabbit Junk en 2004. Un año más tarde, la banda firmó a modo de Glitch Recordings y liberado el seguimiento de su álbum debut llamado replantear, que obtuvo la banda más fuerte y más amplia base de aficionados

Se mostró un sonido más pesado y las influencias de diferentes estilos, como el Black y el metal industrial