他写了一篇文辞愤激的《自为墓志铭》，而后拔下壁柱上的铁钉击入耳窍，流血如迸，医治数月才痊愈。后又用椎击肾囊，也未死。如此反复作，反复自杀有九次之多。

嘉靖四十五年，徐渭在又一次狂病作中，因怀疑继妻张氏不贞，将其杀死，他因此被关入监牢。徐渭在狱中完成《周易参同契》注释，揣摩书画艺术。

徐渭被下狱后，友人纷纷予以援助，其中援助最为有力的，先是礼部侍郎诸大绶，后是翰林编修张元忭，即明末著名散文家张岱的曾祖父。

他们都是徐渭的至交，又都是状元出身，颇有声望。在这些朋友的解救下，徐渭坐了七年牢，终于借明神宗朱翊钧即位大赦之机获释，但此时的徐渭已经五十三岁了。

经历了如此多的磨难，徐渭已不再有什么政治上的雄心，但他对国事的关注却老而未衰。出狱后，他先在江浙一带游历，登山临水，并交结了许多诗画之友。

万历四年的夏天，徐渭年轻时代的朋友、此时已经担负北部边防重任的吴兑邀他北上，他便欣然前往。徐渭在宣化幕府的时间不到一年，但留下了不少描写北地风光、民俗和军旅生活的诗文。