Rossington nació el 4 de Diciembre de 1951 en Jacksonville, Florida, y fue criado por su madre viuda. Tras conocer al batería Bob Burns y al bajista Larry Junstrom, los tres formaron una banda. Ronnie Van Zant entraría en escena poco después, cuando en un partido de baseball golpearía tras batear una pelota a Burns, que jugaba en el equipo rival. Rossington, Burns, Van Zant y el guitarrista Allen Collins se reunieron esa tarde en casa de Burns en Jacksonville para improvisar «Time Is on My Side» de The Rolling Stones en lo que supondría la primera versión de Lynyrd Skynyrd.