Mike Nichols was de zoon van een Russische vader en een Duitse moeder, Joden die net voor het uitbreken van de Tweede Wereldoorlog emigreerden naar de Verenigde Staten, Mike zelf was toen zeven jaar en groeide op in New York City. Zijn vader was dokter en wijzigde de naam van de familie naar Nichols omdat naar zijn zeggen, de patiënt al in het ziekenhuis was nog voor hij zijn naam kon spellen…

Zijn vader overleed toen hij nog maar twaalf was waardoor de familie financieel heel zwaar werd getroffen. Maar Nichols was een briljant student die er dank zij verschillende studiebeurzen en het aannemen van een aantal vreemde, ongebruikelijke jobs toch in slaagde om zijn studies af te maken. Zo studeerde hij onder andere aan de universiteit van Chicago maar ook dan moest hij blijven werken als nachtconciërge, bediende in een postkantoor en een hotelreceptie, bestuurder van een bestelbusje en in wat andere baantjes waardoor hij de noodzakelijke centen voor zijn studies kon vergaren.

Hierna trok hij naar New York waar hij korte tijd studeerde bij Lee Strasberg maar dat zorgde er niet voor dat hij een filmrol te pakken kreeg.

Mike Nichols keerde terug naar Chicago en richtte er samen met Elaine May, Barbara Harris, Alan Arkin en Paul Stills The Compass op die later werd hernoemd naar Second City, een geïmproviseerd toneelgroepje dat optrad in Compass, een restaurant-cabaret.

Samen met Elaine May trad Mike Nichols voor het eerst op in Blue Angel in New York waarna ze samen op tournee gingen en te zien waren in verschillende nachtclubs, verspreid over de Verenigde Staten. Ze waren beiden ook als gast te zien in Omnibus, The Dina Shore Show en The Jack Paar Show. Ze hadden in 1960 ongelooflijk veel succes met hun eigen show op Broadway, getiteld An Evening with Mike Nichols and Elaine May die één jaar lang speelde, maar ze waren ook te zien in variétéshows op televisie. Het paar besliste om in 1961 de samenwerking stop te zetten ondanks het feit dat hun shows voor elke vertoning nog steeds uitverkocht waren. Maar niet voor lang want het jaar daarna was Nichols te zien in de hoofdrol van een toneelstuk van Elaine May. Maar dat was van korte duur, na enkele vertoningen in Philadelphia werd het stuk afgevoerd.

Hierna ging Nichols zich richten op het regisseren van Broadway-toneelstukken: Producent Saint Stubber vroeg hem om Barefoot in the Park te regisseren (eerste Emmy Award), het stuk werd zijn toneelregiedebuut. Nichols had in de week daarvoor een jonge acteur gezien op televisie en die wou hij in het toneelstuk. Zo geschiedde, Robert Redford kreeg de rol, Elizabeth Ashley en Mildred Natwick werden toegevoegd aan de cast. Net als Luv (Emmy voor Beste regisseur) waren The Odd Couple (Emmy voor Beste regisseur), The Apple Tree, The Knack, Plaza Suite (Tony voor Beste regisseur), The Prisoner of the Second Avenue (Tony Award voor Beste regie), The Gin Game (winnaar van de Pulitzer Prijs in 1978), Streamers (New York Drama Critics Award) stuk voor stuk succesvol. Nog meer toneeltitels volgden: de revivals van The Little Foxes en Uncle Vanya en de Amerikaanse producties van Comedians, The Real Thing (Tony Award voor Beste regie), Hurlyburly, Social Security, Waiting for Godot en Death and the Maiden.

Halfweg de jaren ’60 kreeg Mike Nichols interesse in Hollywood. Het is bijzonder straf dat de op het gelijknamige toneelstuk van Edward Albee gebaseerde Who’s Afraid of Virgina Woolf? eigenlijk de eerste langspeelfilm werd die hij regisseerde. De film betekende niet alleen het koppelen van Elizabeth Taylor aan Richard Burton, de regisseur stak spreekwoordelijk de neus aan het Hollywood-venster door de Oscarnominatie die hij kreeg voor zijn regie. Daarenboven betekende deze film ook het einde van de gedateerde Motion Picture Production Code en bewees dat volwassen onderwerpen ook op een passende, zachte manier konden behandeld worden en, niet toevallig, op die manier ook een groot publiek konden bereiken.
Met zijn tweede film, The Graduate, was het op vlak van filmprijzen wel raak! Hij kreeg niet alleen de Academy Award voor Beste regie maar ook de Directors Guild Award en de New York Film Critics Award. De film maakte van Dustin Hoffman niet alleen een filmster, hij werd ook gelanceerd in een periode waarin heel wat mensen zich stoorden aan de toenemende vervreemding maar nooit eerder een platform hadden gekend die dit aankaartte.

Nichols was bijzonder gekant tegen oorlog in het algemeen en dat vertaalde zich soms in zijn films, denk maar aan de vrij emotieloze maar toch pijnlijke, zwarte komedie Catch-22, gebaseerd op de gelijknamige, complexe cultroman van Joseph Heller. De film flopte aan de kassa’s en dat had deels te maken met het feit dat in dezelfde periode M*A*S*H van Robert Altman op het publiek werd losgelaten, een film die toch gezien werd als de ultieme anti-gezag-komedie.

Mike Nichols heeft ook meerdere drama’s gemaakt, zoals Silkwood (1982). Die toonde hoe vrouwen in een benarde situatie terechtkomen in een maatschappij die bijna uitsluitend door mannen wordt geleid.

Voor zijn successen op Broadway won hij zeven keer een Tony Award, in 1984 een laatste keer voor The Real Thing. Hij kreeg van de Directors Guild of America de jaarlijks uitgereikte Lifetime Achievement Award. Voor de HBO-productie Angels in America met Al Pacino, Meryl Streep en Emma Thompson die maar liefst 21 keer genomineerd werd voor een Emmy en er 11 van verzilverde, een record, kreeg hij de Emmy voor Beste regisseur. De productie kreeg daarenboven ook vijf Golden Globes.

Als toneelproducent presenteerde hij Whoopi Goldberg on Broadway en won een Tony Award voor zijn blockbuster show Annie. In 1987 kreeg hij de George Abbott Award.

In 1988 trouwde hij met tv-nieuwsanker Diane Sawyer, het was zijn vierde huwelijk, de filmmaker had op dat moment al drie kinderen uit eerdere huwelijken.

In 1990 werd hij onderscheiden met de American Museum of the Moving Image, als eerbetoon voor zijn bijdrage aan de filmindustrie.

In de jaren ’90 kreeg de samenwerking met Elaine May nog een vervolg, zij schreef immers het scenario voor Primary Colors (1998).

In mei 1999 werd hij onderscheiden door de Film Society of Lincoln Center. Hij kreeg ook de National Medal of Arts en de Kennedy Center Honors Award. Daarmee trad hij toe tot het selecte groepje van mensen die de vier grote prijzen in de Amerikaanse showbusiness wonnen: de Grammy, de Emmy, de Tony en de Oscar/Academy Award.

De HBO-tv-productie Wit (2001) met Emma Thompson werd ook door Mike Nichols geregisseerd. Hij kreeg er in 2001 de Emmy Award voor Outstanding Directing for a Miniseries, Movie or a Special voor, alsook de Emmy voor Outstanding Made for Televsion Movie. Nichols en Thompson kregen in 2001 ook de Humanitas Award voor Beste scenario.

In 2004 regisseerde Nichols Closer, een film waarvoor Natalie Portman en Clive Owen werden onderscheiden met een Golden Globe.

In 2005 was Mike Nichols ook nog verantwoordelijk voor de regie van een muzikale toneelversie van Monty Python and the Holy Grail die werd gespeeld onder de titel Spamalot.

Mike Nichols heeft nooit in Hollywood gewoond, hij verkoos New York als zijn thuis.