Nelson nació el 4 de Junio de 1932 en San Luis (Missouri), en un entorno altamente influenciado por la música: su hermano era saxofonista y había tocado con Cootie Williams en los años 40, y su hermana cantaba y tocaba el piano. Nelson empezó sus estudios de piano a la edad de seis años, y los de saxofón a los once años. Aún en edad escolar, tuvo su primer contrato como músico en la orquesta de Cottie Williams, donde su hermano también era saxofonista. Desde 1947, colaboró en diferentes bandas “de territorio” en San Luis, para, en 1950, pasar a formar parte durante un año de la big band de Louis Jordan, donde se encargaba de los arreglos y tocaba el saxofón alto.

Tras realizar el servicio militar en el Cuerpo de Marines de los Estados Unidos, volvió a Missouri y se dedicó al estudio de solfeo, composición y teoría musical en las Universidades de Washington y Lincoln, graduándose en 1958.

Tras la graduación, Nelson se trasladó a Nueva York, donde tocó con...