Comenzó cantando en el metro de Londres y en 1972 formó Stealers Wheel con Joe Egan, un compañero de colegio. Obtuvieron un gran éxito con el tema 'Stuck in the middle with you', que las nuevas generaciones conocieron 20 años después gracias a su inclusión en la banda sonora de 'Reservoir Dogs'. El dúo de separa en 1975 y tres años más tarde Gerry publica el álbum 'City to city' que contiene su mayor éxito internacional, 'Baker Street', canción en la que rememora sus tiempos en el metro londinense y que supuso una bocanada de aire fresco en el pop dominado por el sonido disco. Otros álbumes le siguen, pero no iguala las ventas del primero, debido principalmente a la negativa de Rafferty a realizar conciertos y giras. En 2008 desapareció de un hospital en el que se estaba tratando de una afección de hígado dejando abandonados sus efectos personales. Reapareció en los medios en 2009 explicando que vivía semiretirado en casa de un amigo en la Toscana, superando su adicción al alcohol. Además anunció la publicación de un nuevo álbum, 'Life goes on', que apareció en noviembre de ese año. Un año después su hígado volvió a fallar y fue ingresado de nuevo, muriendo en enero de 2011 los 63 años.