Mr Stevens est majordome au domaine de Darlington Hall. A l’occasion de son premier voyage sur la côte anglaise, il se remémore sa vie de serviteur de luxe. Le voyage se situe en 1956 mais la majeure partie des souvenirs se situe entre les deux guerres mondiales. Mr Stevens part à la rencontre de l’ancienne intendante du domaine, Miss Kenton, avec l’intention de lui proposer du travail.
Mr Stevens a une haute opinion de son métier de majordome et des qualités nécessaires pour faire un excellent serviteur. Il explique que la principale qualité à avoir est la dignité mais on comprend rapidement qu’il s’agit ici d’un effacement total. Le majordome doit effacer sa personnalité et être entièrement dévoué à son employeur. Stevens était effectivement fier de servir Lord Darlington et ses hôtes prestigieux. Lord Darlington tenta de jouer un rôle important après guerre. Il trouvait le traité de Versailles trop drastique et craignait que celui-ci ne soit la cause d’un nouveau conflit européen. A partir de ce constat juste, Lord Darlington va finir par se fourvoyer à force de compromis. C’est le cas quand il décide de renvoyer deux femmes de chambre juives. Miss Kenton est scandalisée par cette idée alors que Stevens lui répond : « Miss Kenton, je suis étonnée de vous voir réagir de cette manière. Je ne devrais pas avoir à vous rappeler que professionnellement, nous ne devons pas nous soumettre à nos penchants et à nos sentiments, mais aux vœux de notre employeur. » Lord Darlington est par ailleurs traîné dans la boue après guerre pour ses amitiés troubles sans que Stevens ne change jamais d’avis sur son honneur.
Darlington Hall a depuis changé de propriétaire, il s’agit désormais d’un riche américain à la recherche des coutumes aristocratiques anglaises. Stevens doit s’habituer à de nouvelles mœurs et notamment à l’humour américain. Stevens, coincé dans son costume rigide, ne sait y répondre et se force à apprendre l’art de la boutade !
Stevens, entièrement dévoué à ses divers employeurs, est passé à côté de sa vie personnelle. Il l’a sacrifiée à sa haute opinion de son devoir professionnel. Son père,majordome lui-aussi, était venu finir sa carrière à Darlington Hall. Il s’éteint même dans l’auguste demeure sans que cela ne perturbe le travail de son fils. Ce soir-là a lieu une réunion importante et Stevens prend à peine le temps de monter voir son père à l’agonie. Quand celui-ci meurt, on assiste à ce dialogue entre Miss Kenton et Stevens : « -Voulez-vous monter le voir ? – Je suis très occupé pour le moment, Miss Kenton. Dans un petit moment peut-être. – Dans ce cas, Mr Stevens, me permettez-vous de lui fermer les yeux ? – Je vous en serais très reconnaissant, Miss Kenton. »
Il en est de même pour sa relation avec Miss Kenton qui est amoureuse de Stevens sans que celui-ci ne s’en rende compte. Stevens n’a privilégié que son travail, sa distance respectueuse face aux autres et se pense heureux ainsi. Pour lui un majordome doit « (…) habiter son rôle, pleinement, absolument ; on ne peut le voir s’en dépouiller à un moment donné pour le revêtir à nouveau l’instant d’après. »
Son voyage vers Miss Kenton est l’occasion pour lui de revenir sur cette vie dépourvue de sentiments et d’émotions. Mr Stevens se rend compte de ce qu’il a manqué, de cette vie qu’il n’a pas su saisir. Ses retrouvailles avec Miss Kenton est pleine de regrets non formulés. « Les vestiges du jour » est un roman emprunt de tristesse. C’est le récit d’un gâchis, celui de la vie de Stevens emprisonné dans la tour d’ivoire de ses principes.
Ce roman sensible a été adapté au cinéma par James Ivory en 1993 avec dans les rôles titres Anthony Hopkins et Emma Thompson tous deux bouleversants.