James Van Heusen, ook gekend en regelmatig vermeld als Jimmy Van Heusen, begon als medewerker bij een muziekuitgeverij te werken toen hij pas 15 was. Later, in de periode dat hij onder andere piano studeerde aan de Universiteit van Syracuse werkte hij ook als omroeper bij een lokaal radiostation.

In 1940 tekende hij een contract bij Paramount en begon partituren en liedjes te schrijven, meestal samen met tekstschrijver Johnny Burke en vanaf 1954 voornamelijk met Sammy Cahn.

Zijn beste liedjes schreef hij voor Bing Crosby en Frank Sinatra. Voor Sinatra alleen al schreef hij 76 liedjes (!), meer dan om even welke andere liedjesschrijver. Voor Crosby schreef hij dan weer de liedjes voor zes van de zeven Crosby/Hope-films.
Van Heusen startte ook zijn eigen bedrijf op dat  instond voor het uitgeven van de muziek.

Tijdens de Tweede Wereldoorlog schreef hij niet alleen muziek voor films maar werkte ook als testpiloot bij Lockhead Aircraft.

Zijn artiestennaam is geïnspireerd op de naam van een hemdenfabrikant.