Många av hans idéer till de banbrytande rockklassikerna kom från andra genrer. Framför allt var det jazzen som hade inflytande på honom och bland annat frijazz-pionjärer som Ornette Coleman och Cecil Taylor gjorde ett starkt intryck på honom. Hans rocklyrik har inspirerats av andra stora musikpoeter som Bob Dylan, Leonard Cohen och Paul Simon, men även komikern Lenny Bruce påverkade honom. 50-talets doo-wop-artister och 60-talets soulstjärnor hade också en speciell plats i hans hjärta genom åren.