马修死后,玛丽陷入了很长时间的一段消沉期,她每天无所事事,似乎心灵也已经随着马修死去。然而时光的脚步不会因为谁的悲伤而停下,唐顿依然是那个楼上楼下忙忙碌碌的唐顿。一家之长罗伯特还是要操心唐顿的营收问题,而老太太也要关心她的孙女们,二小姐还在寻找她的幸福,汤姆则逐渐融入这个大家族,马修的母亲也必须走出丧子之痛。托马斯依旧在仆人的世界里兴风作浪,似乎没有接受之前的教训;几个女仆和男仆的感情也陷入了纠葛,甚至安娜和贝茨的感情也并非一帆风顺......随着时代的进步,唐顿落后的庄园管理方法亟待改变,而玛丽是否能继承马修的遗愿,继续他未完的事业呢?而面对他人的追求,玛丽又该作何选择?。故事发展到第四季,沃尔特和古斯之间的关系开始变得越来越紧张起来,古斯不仅加强了对于沃尔特的监视,还企图控制杰西,希望有朝一日他能够替代沃尔特。
一些蛛丝马迹让汉克对古斯逐渐产生了怀疑,这让沃尔特的身份几次濒临暴露。沃尔特发现了古斯对自己的杀意,他想要用积攒下来的存款带着家人远走高飞,哪想到巨额财产竟被斯凯勒用于自保。沃尔特被逼到了绝境,在他的面前只有唯一的选择,那就是不惜一切代价,先下手为强,除掉古斯。。