然而，最令徐阶倍感失望而且挫败无比的，是自己最得意的门生，此时正任帝国元辅的张居正。半年多来，他不仅未发一言，而且还在京师压制科道，不让徐阶仅剩的几个爪牙在朝廷发声。
于是，翻身无望，且不能出门让人看笑话的徐元春，爱上了钓鱼。这是独自一人享受寂寞的爱好，最适合他了。而张居正这个名字，在徐府已经成了禁忌。
新时代的徐家，避讳的除了“阶”字之外，“居正、叔大、江陵”等本字和同音字，都一体禁绝了。徐家上下，所有原姓张的仆役，全数开革。凡有姓张的访客，恕不接待。
但万万没想到的是，含羞忍辱吞下徐元春被黜落苦果的老徐家，皇帝还没有放过。十天前，有来客言，朝廷有意起复被罢官的蔡国熙，其职务仍是兵备道，而且是松江府兵备道！
老徐阶终于出离愤怒了，徐元春听说自家爷爷摔了茶杯，把他最喜欢的一套成化斗彩也推在地上打个粉碎。
然而，徐元春绝望得想——这些并没什么卵用。从蔡国熙复职消息传出，退思园已经门可罗雀的现象可知，徐家的大厦，已经发出吱吱咯咯的声响，倾颓之变近在眼前。
满眼暮秋之景加上家变就在眼前的满腹惆怅，令徐元春的眼睛里再次涌出了泪水。适才自家父亲徐璠来喊他，说是到家中议事，被徐元春拒绝了。
他告诉父亲，绞索已经套在徐家脖子上，如今之计，只有一条，退田后安贫乐守，或可保住家族。再有挣扎，恐怕祸延子孙而祖宗不得血食。
他哭着对徐璠说道：“家中田连阡陌，占地近万顷，居松江之首，半数华亭。就算这次把皇帝心意扭转了，十年后、二十年后将如何？若皇帝亲政后发作，恐不是像今日般用起复蔡国熙来警告，而是直接破门抄家！父亲，皇帝年岁太小，而徐家——太老、太大了呀！”