Paul Simon se ha casado tres veces, primero con Peggy Harper en 1969. Tuvieron un hijo Harper Simon en 1972 y se divorciaron en 1975.
La canción «Train in the Distance», del álbum de Simon, Hearts and Bones de 1983 , trata sobre esta relación. La canción de Simon de 1972 «Run That Body Down«, de su segundo álbum en solitario, menciona casualmente tanto a sí mismo como a su entonces esposa por su nombre. Paul y Peggy, que tanto escucharon como Al y Betty por Pierre Boulez , también se mencionan en el hit de Paul Simon «You Can Call Me Al».
Su segundo matrimonio, de 1983 a 1984, sólo un tumultuoso año, fue con Carrie Fisher, a quien le propuso matrimonio después de un partido de los New York Yankees . La canción » Heart and Bones » fue escrita sobre esta relación. Un año después de divorciarse, Simon y Fisher reanudaron su relación, que duró varios años.
La canción final en la secuencia de tres sobre Carrie Fisher es «She Moves On». Esta canción marca el final de la relación post-matrimonio y fue una canción del álbum del álbum de Paul Simon, «The Rhythm of The Saints», de 1990.
Simon se casó con la cantante Edie Brickell el 30 de mayo de 1992. Paul Simon y su hermano menor, Eddie Simon, fundaron el Guitar Study Center.
Paul Simon sigue viviendo aparentemente con Eddie Brickell, pero nunca se les ve juntos. Paul Simon lleva dos años anunciando su retiro, pero sigue con apariciones en TV y demás.