Souter se va porque echa de menos su Nuevo Hampshire natal y ya no soporta más vivir en Washington, ciudad a la que nunca se adaptó. Y se va después de que su apellido se convirtiera casi en sinónimo de traición para los conservadores. Cuando George Bush padre lo nombró se confiaba en que fuera conservador, pero pronto se unió al sector progresista en casos sobre el aborto y votó en contra del fallo que le dio la presidencia a Bush hijo.