Bio je usamljeno dijete
Unatoč svom talentu, Frank Sinatra se u svom djetinjstvu borio s usamljenošću. Frank je bio jedino dijete talijanskih imigranata koji su bili vrlo aktivni u svojoj četvrti Hoboken. Njegov otac, Antonino Martino, ili kako su ga zvali - "Marty", posjedovao je lokalnu tavernu, a Frankova majka, Natalina, ili Dolly, bila je babica i navodno je također pomagala očajnim ženama da izvrše ilegalni pobačaj. Dolly je također bila uključena u lokalnu politiku i izabrana je za čelnicu demokratskog odjela u svom susjedstvu.
Rad i aktivnosti njegovih roditelja značili su da su često bili odsutni, pa je mladi Frank obično ostajao sam ili s bakom. Većina djece u Frankovom pretežno talijanskom susjedstvu potjecala je iz velikih obitelji, dok je on odrastao kao jedinac, što se smatralo vrlo neobičnim. Kako prenosi VQR, u kasnijem intervjuu s novinarom Peteom Hamillom, Sinatra je priznao da je žudio za bratom ili sestrom kad je bio dijete.