Originaires de Minneapolis mais basés à New York, le chanteur Craig Finn et le guitariste Tad Kubler fondent The Hold Steady sur les ruines de leur précédent groupe Lifter Puller. Leur rock tire ses références de Bruce Springsteen, Tom Petty et des Replacements tout en étant fermement ancré dans l'alternative américaine. Craig Finn, véritable conteur, est également reconnu pour la finesse de ses textes. Avec des tournées incessantes, le groupe se forge un public fidèle qui parvient peu à peu à le catapulter dans les charts américains.