他虽然身无一职，却几次换上短衣，冒险随军队来到前线，观察形势，然后记录下战事的经过，分析成败的原因，向有关官员提出破敌的方略。这些文章大都写得比较切实，不同于一般的书生议论。

直到嘉靖三十六年，徐渭以才名为总督东南军务的胡宗宪所招，入其幕府掌文书。入幕之初，他为胡宗宪作《进白鹿表》，受到明世宗朱厚熜的赏识。

自此，胡宗宪对他更为倚重，对他放任的性格，也格外优容。陶望龄《徐文长传》记载说：徐渭常常与朋友在市井饮酒，总督府有急事找他不到，便深夜开着大门等待。有人报告胡宗宪，说徐秀才正喝得大醉，放声叫嚷，胡宗宪反而加以称赞。

据说当时的胡宗宪权重威严，文武将吏参见时都不敢抬头，而徐渭戴着破旧的黑头巾，穿一身白布衣，直闯入门，纵谈天下事，旁若无人。

然而在幕府中，也有许多不如意的事。当时胡宗宪出于各种原因，与权臣严嵩来往甚密，而徐渭是痛恶严嵩的，他最亲近的友人沈炼就因参劾严嵩而遭到杀害，但徐渭又不得不代胡宗宪写了一些吹捧严嵩的文字。

到了嘉靖四十一年，严嵩被免职，徐阶出任内阁辅。在徐阶的策动下，胡宗宪受到参劾，并于次年被逮捕至京，徐渭也就离开了总督府。

可谁知三年后，胡宗宪再次被逮入狱，并死于狱中，他原先的幕僚也有数人受到牵连。徐渭生性本就有些偏激，因连年应试未中，加上精神上很不愉快，此时他对胡宗宪被构陷而死深感痛心，更担忧自己受到迫害，于是对人生彻底失望，以至狂。