他看到皇帝采纳张孚敬的建议，打算废除孔子的王号，改孔子像为柱，祭祀器皿、礼仪声乐都有所简省，当下认为不可行。
张孚敬将徐阶召唤去怒责，徐阶辩驳，毫不屈服！
此时的他，只要他自己认为对的，他一定会力争到底！
张孚敬恼怒地说：“你背叛我！”
徐阶神色严肃地回答：“背叛生于依附！我徐阶未曾依附公卿，怎么称得上背叛？”说完，作深长揖礼而出。
张孚敬大怒，把他贬斥为延平府的推官。
徐阶就此沉寂了几年，一直等到皇太子出阁，也就是可以读书了。
朱厚熜经夏言的推荐，当下召拜徐阶为司经局洗马兼翰林院侍讲。
徐阶刚要起来，又遭逢母亲丧事归乡。
他等到丧服解除，才被提拔为国子监祭酒，调任礼部右侍郎，不久调入吏部。
经历了官场浮沉的徐阶，已经从聪明，逐渐走向了智慧。
