Larry Parks die een tijd conciërge was in Carnegie Hall deed zijn eerste acteerervaring op in het toneelgezelschap van de Universiteit van Illinois, gevolgd door een deelname aan het zomerrepertoire van een toneelgroep maar dan eerder als figurant dan in een rol van betekenis. Broadway leek de volgende logische stap maar daar brak Parks niet echt door. Na het overlijden van zijn vader stopte hij met toneel en ging werken voor de New York Central Railroad.

Eerdere contacten met John Garfield en Elia Kazan zorgden er hierna voor dat hij alsnog een rol aangeboden kreeg op Broadway in het stuk Golden Boy.

Er volgde in 1941 een contract met Columbia. En net op het ogenblik dat hij eigenlijk voornamelijk geassocieerd werd met B-films brak hij helemaal door dank zij de bijzonder overtuigde manier waarop hij Al Johnson speelde in The Jolson Story. Columbia wist hierna niet goed wat ze met de acteur moesten aanvangen en dus gaven ze hem een rol in de in Multicolor opgenomen musical Down to Earth (1947) met Rita Hayworth. Snel werd duidelijk dat hij niet de nieuwe Clark Gable of Gary Cooper was. De succesvolle sequel Jolson Sings Again (1949) bracht hem echter opnieuw onder de aandacht van het grote publiek.

Begin de jaren ’50 werd hij gedagvaard om te verschijnen voor het Unamerican Activities Committee van het Huis van Afgevaardigden en bekende tijdens de Tweede Wereldoorlog lid te zijn geweest van de Communistische Partij.  Hierdoor werd hij geband uit Hollywood. Officieel kwam Parks nooit op de zwarte lijst te staan maar nadat Columbia een einde had gemaakt aan zijn contract bleven er nog maar weinig mogelijkheden over voor de acteur: hij werd lid van een reizend toneelgezelschap dat maar op een heel kleinschalige manier actief was.

In een laatste stadium van zijn carrière keerde Parks nog twee keer terug naar het grote scherm in een tweetal karakterrollen en was ook nog uitzonderlijk te zien in een toneelstuk of op televisie met Betty Garrett waar hij in 1944 mee getrouwd was. Hierna ging Larry Parks werken als vastgoedmakelaar.

Een chronische hartaandoening leidde uiteindelijk tot zijn dood.