Aanvankelijk liep James Caan school aan de Michigan State University en het Hofstra College op Long Island waar hij rechten studeerde. Hierna volgde hij een toneelopleiding aan het New Yorkse Neighbourhood Playhouse van twee jaar, gevolgd door zijn debuut in 1961 in het off-Broadway-stuk La Ronde. Zijn Broadway-activiteiten kon hij combineren met zijn werk bij de televisie tot hij in 1961 zijn echte filmdebuut maakte.

Als hoogtepunt uit zijn eerste films onthouden we vooral zijn rol van mentaal onvolwaardige voetballer in Francis Ford Coppola's The Rain People uit 1969. Met zijn rol als Sonny Corleone in The Godfather maakte Caan het dan helemaal. Of toch bijna, want hij kon zijn Oscar-nominatie niet verzilveren door het krijgen van de hoogste onderscheiding in filmland. Voor zijn rol van (American) football ster Brian Piccolo in Brian's Song kreeg hij een Emmy Award.

In 1980 nam hij dan ook, naast zijn rol in diezelfde film, plaats in de regisseursstoel voor Hide In Plain Sight. De (commerciële) films waar James Caan nog het best voor gekend is, zijn Misery van Rob Reiner (met Kathy Bates), een psychologische thriller die gebaseerd is op de bestseller van Stephen King, het romantisch drama For The Boys met Bette Midler, The Yard, Elf, enz...

James Caan deed ondertussen al mee in meer dan 70 films, waaronder ook Dogville van Lars Von Trier waarin ook Nicole Kidman een rol vertolkt.