Walter Matthau's ouders waren Joodse immigranten (zijn vader was een Russisch-Orthodoxe priester), oorspronkelijk afkomstig van Oekraïne en Litouwen. Walter werd in de 'Lower East Side' opgevoed door zijn moeder, die in sweatshops werkte om te kunnen voorzien in het onderhoud van Walter en zijn broer, haar man had haar immers reeds verlaten.

Reeds op jonge leeftijd verkocht Walter Matthau frisdranken in Jiddische bioscopen op 'Second Avenue', later zou hij in deze bioscopen ook te zien zijn als acteur... Na zijn studies aan de Seward Park High School en de Columbia School of Journalism ging hij aan het werk als vloerschrobber, zeulde hij met zakken cement en was zelfs even basketball-coach... Uiteindelijk sloot hij zich aan bij de 'Army Air Force' tijdens de Tweede Wereldoorlog. Na zijn ontslag daar ging Matthau acteerlessen volgen bij de Dramatic Workshop van de New School for Social Research om eind de jaren '40  dan zijn debuut te maken op Broadway. In 1955 had hij er zijn eerste grote succes met Will Success Spoil Rock Hunter?

Er kwam ook wat interesse van Hollywood, maar zijn activiteiten bleven op dit vlak aanvankelijk eerder beperkt. Neil Simon creëerde voor hem echter het personage van Oscar Madison voor het Broadway-stuk The Odd Couple. Matthau liet de toneelrol eerst echter links liggen om de rol van malafiede advokaat Whiplash Willie te spelen in Billy Wilder's The Fortune Cookie, wat hem zelfs een Oscar opleverde en zelfs een hartaanval, maar dat laatste was allicht te wijten aan een overdaad aan roken, drinken en... gokken! Destijds werd zelfs beweerd dat Walter Matthau in een periode van twee weken maar liefst $ 180.000 verloor aan het gokken op baseball-wedstrijden...

Zelf beschreef Matthau zichzelf ooit als een soort Oekraïense Cary Grant...

Matthau heeft in het verleden een aantal heerlijke komedies gemaakt met Jack Lemmon, eigenlijk een goeie vriend van hem. In 1998 deed men The Odd Couple nog eens over in Neil Simon's The Odd Couple II, het werd een verrukkelijke komedie (één van de beste, zoniet de beste van het duo samen...).
En om te vermijden dat je maar een beperkt beeld krijgt van zijn kunnen: Walter Matthau was ook overtuigend in thrillers als Charley Varrick, The Taking of Pelham One Two Three en The Laughing Policeman.

Walter Matthau was ook te zien in televisiefilms. Zo was hij te zien in The Incident als een advocaat in een controversiële rechtszaak in een kleine stad, overigens bekroond met een Emmy. Mrs. Lambert Remembers Love (1991) was nog zo'n tv-film, de regie hiervoor was in handen van zijn zoon Charles Matthau.

In 1948 trouwde Walter Matthau met Grace Johnson, in 1958 scheidde hij er van. In 1959 trouwde hij dan met Carol Wellington-Smythe Marcus. Hun zoon Charles Matthau is zoals daarnet al vermeld regisseur.

Het is zo dat Jack Lemmon overleed, niet zo veel later dan Matthau zelf... Matthau liet het leven na een hartaanval.