马超跑了，但韩遂还在，凉州还不算完全平定。马超第二次起事，自始至终没有看到韩遂的影子，他还在凉州吗？
答案是：直到建安十九年（214年），韩遂一直都在凉州。
渭南大败后，韩遂也逃到回了凉州，在金城郡（今甘肃兰州一带）附近活动，和马超相比，他的斗志不那么强，还始终抱着有朝一日与曹操和解的幻想，但又觉得不那么切合实际，在马超积极活动进行反攻的时候，韩遂虽然没有反对，但态度一点都不积极。
阎行的事前面做过交代，他的父亲还在邺县。大约在马超第二次起事之后，已身在邺县的曹操终于忍无可忍，下令将卫尉马腾以及包括马腾两个儿子在内的马家数十口全部诛杀，一同被杀的，还有韩遂的儿子。
曹操没杀阎行的父亲，只是把他关了起来。据《魏略》说，曹操亲笔给阎行写了一封信说：“我看韩遂的所作所作，十分可笑（观文约所为，使人笑来）。我前前后后给他写了不少信，信中无话不讲，到了这种地步还如何忍耐？你的父亲知晓大义，目前很平安（卿父谏议，自平安也）。即便如此，牢狱那种地方不是赡养父母的只所（牢狱之中，非养亲之处），况且我也不能长期为你赡养父亲呀。”
曹操给阎行说得很明白，他的父亲不会有生命危险，但不能等得太久。韩遂见曹操不杀阎行的父亲，担心阎行有二心，于是强迫阎行娶了自己的女儿（闻行父独在，欲使并遇害，以一其心，乃强以少女妻行）。韩遂让阎行担任西平郡太守，在那里发展势力。阎行却趁机向韩遂发起进攻，但是没有取胜，带领家人逃往东方，后来见到了曹操，曹操封其为列侯。
据《魏略》说，阎行向韩遂发起攻击时，韩遂彻底伤心了，他对另一个叫成公英的心腹说：“大丈夫遇到危难，祸患的根源居然从婚姻开始！如今连亲戚都要背叛我，人马又少，看来只能从羌中向西南去投奔蜀地了。”成公英劝他：“将军兴兵数十年，现在虽然遇到挫折，哪能放弃自己的门户投靠他人？”韩遂说：“我年纪大了，你有什么办法帮我（吾年老矣，子欲何施）？”成公英说：“曹操不可能亲自从远方赶来，这也就是姓夏侯的主事而已。夏侯的人马追不上我们，又不能在这里久待，我们暂时在羌中修养修养，等待他离去，然后聚集以前的人马，我们还会有所作为的。”
韩遂接受成公英的建议，带随从男女数千人到羌人那里，由于他向来对羌人很好，羌人愿意保护他。
这时大约正是马超自汉中杀回、夏侯渊率军救援姜叙的前后，后来马超再次败走，而夏侯渊大老远来了一趟，什么都没干，有点不甘心，想顺便把韩遂收拾了。
据《三国志夏侯渊传》记载，当时韩遂驻扎在汉阳郡冀县以北的显亲，夏侯渊发起攻击，韩遂不敌逃走，夏侯渊缴获了不少韩遂的辎重粮草，同时展开追击，一直追到略阳城，此地在显亲县东北方向不远。
对于下一步行动，夏侯渊手下诸将有不同意见，有的认为应该攻击略阳，有的认为应该攻击兴国的氐王。夏侯渊认为韩遂人马虽然不多，却都是精兵，而兴国城池坚固，不能立即得手，所以应该攻击长离一带的羌人（以为遂兵精，兴国城固，攻不可卒拔，不如击长离诸羌）。
夏侯渊的判断是，直接攻打略阳不划算，而韩遂部下与长离诸羌关系密切，很多人的家眷都在长离，攻击那里韩遂必救无疑，在运动中可以找到消灭敌人的机会（救长离则官兵得与野战，可必虏也）。夏侯渊留下人守辎重，自己率轻兵直趋长离，韩遂果然率部来救。这时，敌众我寡，诸将看见有点担心（诸将见遂众，恶之），想结营与敌人打持久战。夏侯渊说：“我们辗转千里，士兵们已经很累了，再修筑营垒，士兵会更疲惫。敌人虽然很多，没有什么可怕的（贼虽众，易与耳）。”
夏侯渊下达攻击令，为了鼓舞士气，他亲自擂鼓，曹军将士个个用命，最后大败韩遂军，缴获了敌人的指挥旗，之后得胜而回，又攻克略阳。长离和略阳得手后，夏侯渊又率军进攻兴国，一直驻扎在兴国的名叫千万的氐王逃奔至马超处。夏侯渊又转击高平的屠各族首领，把他们打败，缴获不少粮谷牛马。
在陇西郡有一个地方叫罕，位置大约在今天甘肃省临洮以西，这里有个叫宋建的人，趁着凉州大乱，自称“河首平汉王”，任命了丞相等官员，像袁术那样做起了土皇上，已割据长达三十余年。曹操下令夏侯渊趁着连克马超、韩遂以及众氐王、羌王、屠各王的声威，远击罕。
夏侯渊率张深入陇西郡，灭掉了宋建的独立王国，同时渡过黄河上游，进入小湟中一带，黄河西岸各羌族部落全部投降，陇西也宣告平定。
曹操专门向夏侯渊发来了嘉奖令：“宋建作乱三十多年，夏侯渊将军一举灭之，虎步关右，所向无敌，正如孔子所说的‘吾与尔不如也’。”
到这个时候，凉州全境可以说基本平定了，马超到张鲁之后的事下面再说，韩遂的下落史书没有明载。在裴松之注《三国志张既传》时，引用了《魏略》一段话，其中提到略阳之战结束不久，韩遂就死了，是死于战斗，还是死于疾病，不得而知。
不管怎么说，博大而神奇的凉州已经掌握在曹操的手中，自建安十六年（211年）到建安十九年（214年），曹操用了三年多的时间，在没有付出特别大代价的情况下，平定了关中，得到了凉州，收获十分巨大。
曹操命令夏侯渊仍撤回长安，授予他“假节”的特权，统筹西部地区的军务。同时下令撤销凉州建制，改设雍州，刚刚就任长安特别市市长的张既被任命为雍州的首任刺史，统一管理关中以西地区的政务。
据《三国志张既传》记载，张既临上任前专程赴邺县听取曹操的指示，曹操笑着对张既说：“你这次回到家乡，可以算得上衣锦还乡了吧（还君本州，可谓衣绣昼行矣）。”曹操这样说，是因为张既是冯翊郡高陵人，也在雍州辖区内。张既能在家乡当父母官，说明汉末的“三互法”早已荡然无存了。