皇甫嵩镇压黄巾，威震天下，但当时朝政日非，海内空虚。汉阳人阎中劝他把握机会，南面称制。皇甫嵩不用其计。

当时，湟中(今甘肃湟原)胡人北宫伯玉和先零羌起事，共拥边章、韩遂为帅，攻杀护羌校尉泠徵、金城太守陈懿。第二年(185年)，北宫伯玉等人侵三辅，朝廷诏令皇甫嵩回镇长安，保卫园陵。

当初皇甫嵩征讨张角时，途经邺地，现中常侍赵忠住宅超过了规定，便上奏皇帝予以没收。另外，中常侍张让向他索要五千万钱，他不肯给。于是赵忠和张让联起手来，劾奏皇甫嵩连战无功，耗费钱粮。灵帝听信谗言，召回皇甫嵩，收回他的左车骑将军印绶，削夺封户六千。改封都乡侯，食二千户。

中平五年(188年)十一月，凉州人王国包围陈仓(今陕西宝鸡东)，灵帝用人之际，又任命皇甫嵩为左将军，督率前将军董卓，各率二万士兵拒敌。董卓提出迅速进赴陈仓，他说：“智者不后时，勇者不留决。速救则城全，不救则城灭，全灭之埶，在于此也。”皇甫嵩却说：“不然。百战百胜，不如不战而屈人之兵。是以先为不可胜，以待敌之可胜。不可胜在我，可胜在彼。

彼守不足，我攻有余。有余者动于九天之上，不足者陷于九地之下。今陈仓虽小，城守固备，非九地之陷也。王国虽强，而攻我之所不救，非九天之埶也。夫埶非九天，攻者受害；陷非九地，守者不拔。国今已陷受害之地，而陈仓保不拔之城，我可不烦兵动觽，而取全胜之功，将何救焉”(《后汉书·皇甫嵩列传》)！没有采纳董卓的建议。

王国率兵围攻陈仓，从冬到春，围了八十多天，但由于城坚守固，最后也未能攻下，部众疲劳不堪。只好于中平六年(189年)二月解围撤退。皇甫嵩立即起兵追击。董卓劝阻说：“不可。兵法，穷寇勿追，归众勿迫。今我追国，是迫归众，追穷寇也。困兽犹斗，蜂虿有毒，况大众乎！”皇甫嵩说：““不然。前吾不击，避其锐也。今而击之，待其衰也。所击疲师，非归众也。国众且走，莫有斗志。以整击乱，非穷寇也”(《后汉书·皇甫嵩列传》)。说完，便独自率兵追击，而命董卓殿后。皇甫嵩连战连捷，大破王国的部众，斩杀一万多人。董卓义惭愧又遗憾，愈加忌恨皇甫嵩。

第二年，灵帝病重，任命董卓为并州牧，让他把部队交给皇甫嵩统领。董卓不肯奉命。皇甫嵩的侄儿皇甫郦认为董卓逆命怀奸，罪在不赦，力劝皇甫嵩兴兵讨伐。皇甫嵩说：“专命虽罪，专诛亦有责也。不如显奏其事，使朝廷裁之”(《后汉书·皇甫嵩列传》)。于是上表。朝廷责备董卓，董卓对皇甫嵩更增怨恨。后来，董卓秉政，征召皇甫嵩为城门校尉，想寻找机会将他杀掉。皇甫嵩应召将行，长史梁衍劝他起兵抗拒董卓，与袁绍呼应。皇甫嵩不听。皇甫嵩一到，主管官员便秉承董卓之意，上奏朝廷，将他交付审判，想把他杀掉。

皇甫嵩的儿子皇甫坚寿跟董卓有交情，从长安跑到洛阳，投奔董卓。董卓正摆设酒宴，大会宾朋，皇甫坚寿抢步向前，与他辩理，且责以大义，叩头落泪。在座的宾客深受感动，纷纷替皇甫嵩求情。董卓这才离席而起，拉皇甫坚寿和自己同坐，并派人释放皇甫嵩，任命他为议郎。后又升任御史中丞。

初平二年(191年)四月，董卓到长安，公卿百官在道边迎接。董卓暗示御史中丞以下官员都迎拜车下，用此来屈降皇甫嵩意气。然后，拉着皇甫嵩的手问：“义真，你害怕了没有？”皇甫嵩回答：“倘若您用盛德辅佐朝廷，大的祥庆正将到来，有什么可害怕的?倘若您滥用刑罚，逞其私志，那么天下都要恐惧，不单我一个人！”

董卓被杀之后，朝廷任命皇甫嵩为征西将军，不久改任车骑将军，这年秋天，升任太尉。冬天，因为流星出现，被策免。此后，又任光禄大夫、太常等职。公元195年病卒。朝廷赠以骠骑将军印绶。其子皇甫坚寿也很有名，后为侍中。

点评：皇甫嵩为人仁爱谨慎，尽心国事。他在位期间，上表陈辞、劝谏或有所补益，一共五百多次，每次都亲手书写，而且毁掉草稿，一点也不宣露于外。在军旅中，他温恤士卒，甚得众情。每次部队停顿、宿营，他都要等到营幔修立妥当，才回自己的军帐。将士们全部吃完饭后，他才吃饭。部下吏士有接受贿赂的，皇甫嵩并不显责，而是再赐给他钱物，吏士惭愧，有的竟至于自杀。皇甫嵩还折节下士，门无留客，当时人称扬他，纷纷归附。不过，他是靠镇压黄巾起义而起家的。这是他永远也难以洗却的污点。