Quando começaram, em 2003, os membros do Thermals já eram punks fora do comum. O grupo inicial era formado por músicos consagrados no cenário da cidade norte-americana de Portland. Muito além dos três acordes e vocais gritados, a banda queria criar algo novo. Logo no primeiro ano de existência, eles atraíram a atenção da prestigiada Sub Pop, gravadora de celebridades roqueiras como o Nirvana e, em 2003, lançaram o bem-sucedido More Parts Per Million. Apesar de diversas mudanças no line-up, a banda manteve a qualidade e tocou ao lado de monstros como Mudhoney e Yeah Yeah Yeahs.