Carmichael trabajó un tiempo en lo que había estudiado: leyes. Finalmente, fue la música la que lo arrastró y en 1924 logra que su primera composición, "Riverboat Shuffle", fuera grabada y se convirtiera en un estándar del sonido dixieland. Fue pianista, vocalista, trompetista y también actuó en varias películas de la industria hollywoodense. Definitivamente, lo suyo es el jazz.