Cijelu karijeru Jack Nicholson je, osim kao dobar glumac, na glasu i kao veliki ženskaroš, no u braku je zapravo bio samo s jednom ženom. Glumac i Sandra Knight vjenčali su se 1962. godine, a u dvije godine braka dobili su kćer Jennifer, koja je rođena 1963. godine. Nakon rastave o njegovu su privatnom životu kružile brojne glasine. Glumica Susan Anspach tvrdila je da je njezin sin Caleb Goddard ujedno i Nicholsonov sin. Jack u to nije bio uvjeren, no 1996. godine Caleb je istaknuo kako ga je Nicholson priznao i službeno. Platio je troškove njegova studiranja, a Calebova je majka i u oporuci napisala da je on dijete koje je dobila sa slavnim glumcem. Nicholson se čak 17 godina viđao s glumicom Anjelicom Huston, a za vrijeme njihove veze izlazio je i s brojnim drugim ženama – što je Angelica znala i čak odobravala. Jedna je od njih i danska manekenka Winnie Hollman, s kojom ima kćer Honey Hollman. S Rebecoom Broussard ima dvoje djece, a nakon nje bio je u vezi s glumicom Larom Flynn Boyle do 2004. godine, kada su se razišli. Sveukupno tako ima 5 djece, a smatra se kako je spavao s više od 1000 žena.