是时严嵩父子权倾中外，所有热中士人，无不夤缘奔走，趋附豪门，独有翰林院待诏文徵明，狷介自爱，杜绝势交。世蕃屡致书相招，终不见答。徵明原名文璧，后来以字为名，能文工绘，与祝允明、唐寅、徐祯卿三人，同籍吴中，号为吴中四才子。祝允明别号枝山，唐寅字伯虎，号六如居士，徐祯卿字昌穀，三人皆登科第，文采齐名。祝善书，唐善画，徐善诗，放诞风流，不慕荣利，惟徵明较为通融。世宗初年，以贡生诣吏部应试，得授翰林院待诏，预修武宗实录，既而乞归，张璁、杨一清等，俱欲延致幕下，一律谢绝。四方乞求徵明书画，接踵到来，徵明择人而施，遇着权豪贵阀，概不从命，因此声名愈盛。叙入吴中四子，于徵明独有褒辞，是谓行文不苟。就是外国使臣，过他里门，亦低徊思慕，景仰高踪。严嵩父子，夙加器重，奸人亦爱高士，却也奇怪。至屡招不往，世蕃遂欲设法陷害。可谓险毒。可巧嵩妻欧阳氏患起病来，一时不及兼顾，只好把文徵明事，暂且搁起。
欧阳氏为世蕃生母，治家颇有法度。尝见严嵩贪心不足，颇以为非，每婉言进谏道：“相公不记钤山堂二十年清寂么？”看官听着！这钤山堂，系严嵩少时的读书堂，嵩举进士后，未得贵显，仍然清苦异常，闭户自处，读书消遣，著有《钤山堂文集》，颇为士林传诵。当时布衣蔬食，并不敢有意外妄想，及躐入仕途，性情改变，所以欧阳氏引作规诫。不没善言。嵩未尝不知自愧，可奈近朱者赤，近墨者黑，既已习成贪诈，就使床笫（zǐ）中言，也是不易入耳。欧阳氏见嵩不从，复去训斥世蕃，世蕃似父不似母，闻着母教，亦当作耳边风一般，平时征歌选色，呼类引朋，成为常事；惟一经欧阳氏瞧着，究属有些顾忌，不敢公然纵肆。至欧阳氏病殁，世蕃当护丧归籍，嵩上言臣只一子，乞留京侍养，请令孙鹄代行。世宗准奏，于是世蕃大肆佚乐，除流连声色外，尚是干预朝事。惟名为居丧，究未便出入朝房，代父主议。嵩年已衰迈，时常记忆不灵，诸司遇事请裁，尝答道：“何不与小儿商议？”或竟云：“且决诸东楼。”东楼便是世蕃别字。可奈世蕃身在苫块，心在娇娃，自母氏殁后，不到数月，复添了美妾数人，麻衣缟袂中，映着绿鬓红颜，愈觉俏丽动人。欲要俏，须带三分孝。那时衔哀取乐，易悲为欢，每遇朝臣往商，辄屏诸门外；至严嵩飞札走问，他正与狎客侍姬，酣歌狂饮，还有什么闲工夫，去议国家重事；就使草草应答，也是模糊了事，毫不经心。从前御札下问，语多深奥，嵩尝瞠目不能解，惟经世蕃瞧着，往往十知八九，逐条奏对，悉当上意。又阴结内侍，纤悉驰报，报必重赏，所以内外情事，无不闻知。迎合上意，赖有此尔。此次世蕃居丧，专图肉欲，所有代拟奏对，多半隔膜，有时严嵩迫不及待，或权词裁答，往往语带模棱，甚至前言后语，两不相符，世宗渐渐不悦。嗣闻世蕃在家淫纵，更加拂意。