żona <a href=http://www.filmweb.pl/Person?id=150726>Harriet Hilliard</a> (od 08.10.1935 do jego śmierci), 2 synów: <a href=http://www.filmweb.pl/Person?id=147574>David</a> i <a href=http://www.filmweb.pl/Person?id=52714>Ricky</a>
Zmarł na raka wątroby w Los Angeles (Kalifornia, USA). Jest pochowany na cmentarzu Forest Lawn w Los Angeles (Kalifornia, USA) obok swojego syna piosenkarza Ricky'ego Nelsona.
Ukończył Stanowy Uniwersytet Rutgers w New Brunswick (New Jersey, USA).
Od 1941 roku prowadził wraz z żoną Harriet program na antenie stacji radiowej Red Skelton.