据《明史·卷二百四·王忬》，王忬嘉靖二十年中进士，先后任右佥都御史、浙江提督、巡抚、右副都御史、大同巡抚、兵部右侍郎、蓟辽总督等职务，参加了抗击蒙古、倭寇的一系列战役，败多胜少，嘉靖三十八年（1559年）二月因为滦河失守，触怒了嘉靖帝。御史王渐、方辂弹劾王忬。到了这年五月，方辂又提出了王忬的三条失策、四条罪状。王忬下狱。严嵩不救。第二年冬天王忬被斩首于北京。隆庆年间平反，赠兵部尚书。明代贺复征《文章辨体汇选》卷二十四中有冯琦的《王世贞父右都御史赠兵部尚书王忬诰命》，可作证明。
《词话本》中的“乃者，张达残于太原，为之张皇失散”，这也不是空穴来风。张达是北宋末期的真实人物。《金史》卷七九“张中孚传”：“父达，仕宋至太师，封庆国公，中孚以父任补承节郎。宗翰围太原，其父战殁，中孚泣涕请迹父尸，乃独率部曲十余人入大军中，竟得其尸以还。”
嘉靖年间也有一位将军张达，《明史》中多次提到这个人物。《明史·卷一八·世宗纪》记载嘉靖二十九年（1550年）夏六月，“俺答犯大同，总兵官张达、副总兵林椿战死。”
嘉靖二十九年这次惨败之中，御史王忬虽然消极防御，还是守住了通州。而严嵩推卸责任，嘉靖皇帝事后立刻杀了兵部尚书丁汝夔和兵部右侍郎杨守谦。那么，“兵部王尚书”为什么不是影丁汝夔或者杨守谦呢？
首先是张达战死和丁汝夔、杨守谦被处死都是在嘉靖二十九年，中间没有多少时间差，而《词话本》中却用“乃者”表示较长时间差。其次嘉靖二十九年蒙古兵是八月侵入长城，八月二十六日丁汝夔和杨守谦就被斩首。嘉靖三十八年蒙古兵是二月入侵，王忬五月被劾下狱，第二年冬天被杀，恰好符合《金瓶梅》情节。再次，王忬下狱到被处死在嘉靖三十八、三十九年，属于严嵩和徐阶共同辅政时期（嘉靖三十一年到嘉靖四十一年），而《金瓶梅》恰好用蔡京和李邦彦来影射。所以《金瓶梅》确实是影射王忬。
《金瓶梅》的作者又给王忬以特殊待遇，专门用干支来表示嘉靖三十九年庚申年（1560年）是“断头年”。《词话本》第二十九回吴神仙给西门庆算命时，说他：“立命申宫，七岁行运辛酉，十七行壬戌，二十七癸亥，三十七甲子，四十七乙丑。”辛酉、壬戌、癸亥、甲子、乙丑代表的是连续五年干支，这些干支年代与西门庆的上述岁数没有关系，与算命情节也无直接关系。为什么吴神仙要说这些干支呢？无独有偶，第六十一回黄先生为李瓶儿算命时，说她：“借四岁行运，四岁己未，十四岁戊午，二十四岁丁巳，三十四岁丙辰。”丙辰、丁巳、戊午、己未代表的是连续四年干支，这些干支年代与李瓶儿的上述岁数同样没有关系，与算命情节也无直接关系。为什么黄先生要说这些干支呢？丙辰、丁巳、戊午、己未、辛酉、壬戌、癸亥、甲子、乙丑这九个干支排在一起，中间偏偏缺少一个“庚申”。
而《金瓶梅》用杨戬影射嘉靖年间一位贪婪怯懦的方面大员，他是严嵩的党羽，防卫京师门户，因为军事失败受牵连而被逮捕，判了死刑却没有执行，后来仍然死在牢中。这个方面大员就是宣大总督杨顺。
我们可以发现《金瓶梅》不但影射严嵩，影射了徐阶，而且影射了王世贞的父亲——赠兵部尚书王忬，甚至直接影射了王世贞。正是因为王世贞在明朝中后期文坛显赫的地位，一般文人都不会揭露这个巨大的伤疤，反而是掩饰事实。比较有名的是李攀龙的《挽王中丞》：“司马台前列柏高，风云犹自夹旌旄。属镂不是君王意，莫做胥山万里涛。”
王世贞的亲朋好友也绝对不会作《金瓶梅》影射王忬，所以王世贞的门人或者好友屠隆、卢楠、王稚登等人都不可能作《金瓶梅》。越是与王世贞友好，越不可能写作《金瓶梅》。所以自清朝以来的许多学者都在这个问题上走了弯路。
只有王世贞的仇家才往王世贞的心灵伤疤上撒盐，直通通记录“兵部王尚书”的悲惨下场，比如《金瓶梅》的作者。王世贞在文坛上有两大著名仇人，一个是谢榛（1495-1575，字茂秦，号四溟山人，山东临清人），一个是徐渭。
其中徐渭对王世贞是终生仇恨，“当嘉靖时，王、李倡七子社，谢榛以布衣被摈。渭愤其以轩冕压韦布，誓不入二人党”。徐渭提起王世贞就忍不住要冷嘲热讽。我们来看看《徐渭集》中徐渭对王世贞的攻击。
《徐渭集》143页《廿八日雪》（时棉被被盗）中痛快淋漓的揭露了王世贞、李攀龙等人富贵易友的丑陋行为。这里徐渭认为谢榛是布衣身份，不敢直接回击王世贞、李攀龙等人的侮辱，你不骂，我替你骂。这里也间接证明谢榛对王世贞、李攀龙的侮辱没有激烈回击。
徐渭对王世贞的厌恶是全方位的。《徐渭集》155页有《九马圉人图，二圉醉濒堕》（王元美为太仆卿时刻《穆王八骏图》，形如蝘蜓），嘲笑王世贞画的马瘦得和壁虎差不多。
徐渭坚决反对后七子盲目复古模仿的文学观点。《徐渭集》491页《论中四》中徐渭把王世贞及其门徒骂得狗血喷头，说他们见识短浅、学问浅薄、爱慕虚荣、党同伐异、生吞活剥、抄袭成风，甘当古人他人的奴才。徐渭坚决不同意后七子主导的诗风。《徐渭集》519页《叶子肃诗序》中讽刺王世贞等人写诗简直是鸟说人话，不是自己创造，不能表现真心。徐渭坚决不同意后七子主导的文风。《徐渭集》907页《胡大参集序》（代）中批判王世贞等人文章盲目模仿西汉，自鸣得意，其实早已经被时代所淘汰。
严嵩和杨顺是徐渭的大仇人，徐渭的姐夫沈錬就是惨死在他们手里，这一段历史十分有名，徐渭仇恨他们是自然而然的。比如《四声猿》中的《狂鼓吏渔阳三弄》，公认用曹操影射严嵩，用黄祖影射杨顺、路楷，用祢衡影射沈錬和徐渭。徐渭自己也不掩饰，《徐渭集》1050页《与诸士友祭沈君文》中有“而公之死也，诋权奸而不已，致假手于他人，岂非激裸骂于三弄，大有类于挝鼓之祢衡耶？”
徐阶是迫害胡宗宪的主要凶手，胡宗宪是徐渭的恩人和知己，徐渭仇恨徐阶也是自然而然的。
徐渭经常用双关语和谜语影射徐阶。比如《徐渭集》844页竹枝词《雪竹》之二：“万丈云间老桧萋，下藏鹰犬在塘西。快心猎尽梅林雀，野竹空空雪一枝。”云间，指徐阶的籍贯松江。老桧，双关语，秦桧也，徐秦都是嬴姓，暗示徐阶就是秦桧一样的奸臣。塘西，代指杭州。梅林，那是胡宗宪的号。这里看起来是一幅题画诗，却明明影射徐阶和他的同党对胡宗宪及其幕僚的残酷迫害。《徐渭集》856页《题雪压梅竹图》：“云间老桧与天齐，滕六寒威一手提。折竹折梅因底事？不留一叶与山溪。”也是同样的意思。
《词话本》第六回有“狂风相助，侵天老桧掀翻；霹雳交加，泰华嵩乔震动”，前一句似乎就是骂徐阶，后一句似乎就是骂严嵩。
墓葬纪念
徐渭墓位于浙江省绍兴市柯桥区兰亭镇里木栅村姜婆山东北麓的徐氏家族墓地。墓园内还有一处徐渭纪念室，里面陈列了一些画像、文字资料和徐渭的作品。门口挂着一副对联，“一腔肝胆忧天下，满腹经纬传古今”。这算是对徐渭一生的概括。
影视形象
2001年电视剧《徐文长外传》：谢君豪饰演徐渭；
2015年电视剧《抗倭英雄戚继光》：邵峰饰演徐渭。