Bernard Schwartz est né le 30 juin 1925, à New-York. Son père, Emmanuel "Manny" Schwartz était un immigrant juif hongrois, qui abandonna le métier d'acteur pour devenir tailleur. Sa mère était bonne. Ils déménagent plusieurs fois durant son enfance.