Le château bruit d'une nouvelle inattendue. La femme de chambre de Lady Cora, O'Brien, s'est en allée en catimini. Seule Mary, figée dans son deuil, six mois après la mort de Matthew, reste insensible à la nouvelle. Elle délègue également tous les soins du petit George à la nounou, l'autoritaire miss West. Lord Grantham prétend épargner à Mary le fardeau de la gestion du domaine. Cora et Tom le soupçonnent de vouloir retrouver son pouvoir absolu et de menacer les réformes entreprises par Matthew. Michael Gregson propose à Edith de l'accompagner en Allemagne, où il a l'intention de divorcer de son épouse devenue folle...