De basis voor haar carrière als actrice kreeg Jo Van Fleet van het New York Neighborhood Playhouse waar ze een specifieke toneelopleiding volgde. Ze maakte haar professioneel debuut in 1944, in 1946 was ze bij haar Broadway-debuut voor het eerst te zien in New York. Nadat ze enkele toneelprijzen had gewonnen voor haar karakterrollen maakte ze de overstap naar film. Haar rol als de moeder van James Dean in East of Eden, haar langspeelfilmdebuut, werd bekroond met een Oscar !

Haar voorkeur mag dan wel altijd toneel gebleven zijn, de weinige filmrollen die ze vertolkte waren telkens top. Ze is dan ook niet voor niets een tijd lid geweest van de befaamde Actor’s Studio. Meestal speelde ze personages die veel ouder waren dan zij zelf.