Joe Sample découvre le piano à l'âge de cinq ans. Ils seront dès lors inséparables. Des études de musique à la Texas Southern University l'amènent à côtoyer d'autres instrumentistes surdoués. Il formera avec eux The Jazz Crusaders, hommage à peine voilé à Art Blakey et ses Messengers. Il faudra attendre le début des années 70 et l'avènement du jazz fusion pour voir Sample s'essayer à des claviers électriques au sein des Crusaders abandonnant pour l'occasion le mot « Jazz » dans leur nom. Sample collaborera en outre avec Miles Davis, James Brown, Marvin Gaye et Joni Mitchell.