The Unicorns se formó originalmente en diciembre de 2000 por Nicholas Thorburn (Nick nombre artístico "Neil" Diamonds, así como una serie de otros alias) y Alden Penner (nombre, Ginger Alden). Se les unió posteriormente el baterista Jamie Thompson (nombre artístico J'aime Tambeur).

La banda libre de publicar su álbum debut "The Unicorns Are People Too" en marzo de 2003 a través de su propio sello discográfico Caterpillars of the Community, con una tirada limitada de 500 ejemplares.

En octubre del mismo año en que volvió en el estudio, grabando varios temas nuevos, así como una serie reelaboración de las canciones de su debut. El segundo álbum resultante, Who Will Cut Our Hair When We're Gone?, Fue puesto a la venta en noviembre de 2003 con la etiqueta de Alien8 Recordings, y fue una notable partida de una etiqueta que tradicionalmente ha puesto en libertad álbumes de Avant-Garde y altamente experimental artistas como Acid Mothers Temple y el ruido pionero Merzbow.

El...