Im Jahr 2004 war Kenny Chesney schon ein gefeierter Star der Countryszene. Auf „When the Sun Goes Down“ finden sich die Gründe dafür: beispielhafter New Country in Kombination mit einer klaren Tenor-Stimme. So hat „Some People Change“ einen hymnischen und stadiontauglichen Refrain, während er verträumt „When I Think About Leaving“ singt und „I Go Back“ handfester Countryrock ist. Der Titelsong vermittelt hingegen sogar sonniges Karibikfeeling.