在扎营驻军的时候，徐晃还令士兵们必须挖五个灶孔，按当时的情况计算，一口灶煮十人吃的东西。徐晃一万人马少说也多挖七八万口灶。在行军中，徐晃还令士兵们有意暴露目标，大张旗鼓的呐喊，击鼓鸣金。
张鲁的细作把这些假象汇报回来时，除了张卫一人外，所有人都毫不怀疑。张鲁忙令张卫征调戍守阳平关的士兵去防卫西汉水一带，张卫勉强应付，只拨了万余人去，重兵仍在阳平关一带。
曹操的主力经几十天的艰苦行军，终于到了阳平关前，与夏侯渊的部队会师。张鲁得到这一消息，吓了一大跳，“曹操军队神出鬼没，说到就到，真叫人难料啊!”张鲁由衷感叹道。接着，这个懦弱的川西统帅心知大势已去，决定不战而降。
但是负责守阳平关的张卫与部将杨昂强烈反对，张卫说：“兄长请放心，不要过早说出丧气的话，否则会动摇我军的军心。曹军虽强，但长途跋涉，粮草难济，现到了阳平关。也仅是强弩之末不穿鲁缟矣，况我部曾与夏侯渊部接触过，一年来，他也未夺去我寸土半草，实力也不过尔尔。我军在阳平关筑有高大的城墙十余里，岂是曹军轻易攻破得了的?”
杨昂附和张卫道：“师君，俗话说‘狡兔三窟’。我们在曹操大军来之前，就作了充分准备。我与战将们商量好，如曹操叩关而来，我们拼死力战，师君退居南郑，筹备粮草接济我们。如曹操真的破关，师君也可马上避入巴中，逃脱厄运。何况，曹操与我等孰死孰活，还无定论呢！”
参谋阎圃也赞成这个方案，张鲁也鼓起信心，退居南郑，以便策应自己的部队。
曹操率军驻扎在阳平关以外十多里的地方，刚安顿下来，他便率心腹亲信察看阳平关的地形去了。
阳平关建在两座险峻的山峰之间，依山势建有一条十余里高大的城墙。曹操看到墙顶插着整齐的军旗，墙顶每隔几十步便堆放着大量的棱角尖利的石头。曹操心里有了数，认为攻城破关看来是要付出代价的。
曹操亲自督战，令先锋官夏侯惇派兵进行第一次攻城，以试探对方军力情况。
夏侯惇这位独眼将身先士卒，率一万士兵扛云梯，冲到城脚，弓弩手用箭射上城头，掩护冲击。
当曹军奋勇争先冲向城脚时，只见城头上红旗一招，十里长城顷刻间立起成千上万的士兵，举着石头，砸向城脚的曹军。如雨点般的石头落下去，曹军有的手脚折碎，有的血污满面，脑浆迸裂。第一波冲击受挫，曹操命亲兵鸣金收军，张鲁士兵在城墙上看到曹军溃退，欢声雷动，而退回的夏侯惇耷拉着脑袋，沮丧至极。
曹操亲临前线目睹此情，他安慰着将士们，自责地说道：“灭武都时，降将都称张鲁的道教士兵作战力不强，今日亲眼见了，才知轻信于人的恶果。看来，不论什么军情，都得自己躬身亲临分析，才最可靠啊!”
以后十天内，曹操让部队轮番攻城十几次，进展仍然不大，而自己的军队伤亡的人数不断增加，粮食也逐渐耗尽。
经验丰富的曹操开始有些紧张了，对战事的全局掌握也显得力不从心。他对司马懿说：“我老了，脑筋也不灵了!”说罢，不胜唏嘘伤感。
刘晔考虑到军队征战太久，伤亡、疲劳困扰士兵，军心也涣散了。尤其是粮食已完，大军的补给成了第一危机，于是建议曹操撤军。
曹操左思右想也决定停止用兵。这段时间，最让他欣慰的是张辽击退了孙权的进攻，但是，据密报，许都有些士人、贵族正在加紧联络，想利用他在陇西之机进行政变，这又成为他的忧虑。他写了信叫御林军首领王必加强防范工作之外，也无其他良策。
最后，曹操作出了回师撤军的决策。他令贴身护卫官许褚，亲赴前线召回夏侯惇驻守山上的部队。由于部队分散山上各地区，所以集结的行动一直到入夜仍未完成。
曹操见许褚前去很长时间内没有回来，害怕有意外情况，他唤来刘晔说：
“请你与辛评亲自到前线去察看一下，许褚应该早就复命了，我很担忧……”
刘晔点点头，与辛评率数十骑快马，冲入黑夜中，马蹄声渐渐隐去。曹操在帐篷里坐立不安，几次走出来，翘首以望，盼望部队早点回来。
其实，刘晔与辛评出发的同时，许褚率队回来途中经过一个山湾，很偶然地发现了张卫的一个较大的隐蔽着的行营。张卫正在里面饮酒作乐，哨兵跑来报告：
“将军，有曹兵来劫寨。”
张卫大惊，推开窝在怀里的一个娇艳的女子，伸手之间撞翻了桌子上的酒钵。
他结结巴巴地问道：“曹军有多少人?”
哨兵回道：“还不清楚，由于天太黑，只能凭曹军的脚步声判定是一支人数很多的部队。”
张卫的这个行营只有很少人知道，他寻思道：“大概阳平关已失守，亲信被逮，故叛变我，并把我的行踪告诉了曹操，事不迟疑，先逃为上策。”张卫就率军向南郑方向的山区逃跑。
许褚听前哨报告了这一情况，大喜，挥刀拍马，冲向张卫的行营，到了那里，只剩下一片狼藉，空空荡荡的营寨不见一个张鲁士兵。许褚舍下空寨，率兵穷追不放。
阳平关内的士兵也听闻张卫逃跑，军心大动，开小差逃向南郑的人成群结队，曹军乘机拿下了阳平关。
当刘晔与辛评赶到时，曹军已大部分进入了阳平关内，刘晔高兴自不待说，忙修书一封，令亲兵火急送给正在翘首以待的曹操。