转眼半个月过去，倭仁依旧受那班卫道之士的拥戴，“力持正论”，而“加按察使衔”的“总税务司”英国人赫德，为了襄助筹办同文馆的事，却起劲得很，天天穿了三品官服到总理衙门去“回禀公事”，请教习、选教材、定功课等等，一样样次第办妥，不久就可开馆，但各省保送的学生未到，京里投考的人寥寥，恭王大为着急，文祥亦不得不同意采取他原来的办法了。
于是奏准两宫太后，颁了一道明发上谕：“谕内阁：总理各国事务衙门奏、遵议大学士倭仁奏：‘同文馆招考天文算学，请罢前议’一折，同文馆招考天文算学，既经左宗棠等历次陈奏，该管王大臣悉心计议，意见相同，不可再涉游移，即着就现在投考人员，认真考试，送馆攻习。至倭仁原奏内称：‘天下之大，不患无才，如以天文算学必须讲习，博采旁求，必有精其术者。’该大学士自必确有所知，着即酌保数员，另行择地设馆，由倭仁督饬讲求，与同文馆招考各员，互相砥砺，共收实效。该管王大臣等，并该大学士均当实心经理，志在必成，不可视为具文。”
等上谕发抄，卫道之士大哗，有人说恭王跟倭仁开玩笑，视国事为儿戏，有失体统。倭仁本人当然也是啼笑皆非。
但也有少数人，看不出这道上谕的皮里阳秋，那是比较天真老实而又不大熟悉朝局的一批谨饬之士，他们把煌煌天语看得特别尊严，从不知夹缝里还有文章。
再有极少数的人，别具用心，虽知是恭王在开玩笑，但既是上谕，谁也不敢公然说它是开玩笑，那就可以不当它玩笑看，真的“酌保数员”，真的“择地设馆”，要人要钱，弄假成真，不是“死棋腹中出仙着”吗？
徐桐就有这样的想法，所以等倭仁来跟他商量时，他把从阮元的“畴人传”里现抄来的名字，说了一大串，接着便转入正题：“老师的话一丝不假，‘如以天文算学，必须讲习，博采旁求’，真正是‘必有精其术者’，宣城梅家父子、祖孙、叔侄，一门精于历算且不说，我请教老师，有位明静庵先生，老师知道不知道其人？”
“是我们蒙古正白旗的。久任钦天监监正，曾亲承仁皇帝的教导——这是古人了，你提到他也无用。”
“提到其人，见得老师的‘天下之大，不患无才’八个字，无一字无来历。康熙年间的事过去了，只说近年：从前胡文忠幕府里就有两个人，一个叫时曰淳，江苏嘉定人；一个叫丁取忠，湖南长沙人，都是此道好手，大可访一访。”
这就让倭仁大感困扰了！想不到徐桐竟真个把“博采旁求”四个字看实了，转念一想，又觉内愧，言必由衷，无怪乎徐桐信以为真！自己原就不该说没有把握的话，所以此刻无法去反驳徐桐。
而徐桐却是越说越起劲，“还有一个人，老师去问李兰荪就知道了。”他说，“此人是兰荪的同年，也是翰林，江西南丰的吴嘉善，撰有一部‘算书’。现在不知在何处，但可决其未死。老师如果没有工夫去拜兰荪打听下落，我替老师去打听。”
倭仁一听他的口气，麻烦怕会越来越大，还是另请高明的妙，于是想到翁同和。徐桐对翁同和颇怀妒意，这是连倭仁这样方楞折角的人都知道的，所以当时无所表示，避开徐桐，把翁同和邀到他家里去商量。
“你听荫翁的话如何？”
翁同和对徐桐一直腹诽，却从不肯在倭仁面前说他一句，此时亦依然不愿得罪“前辈”，只问：“要看中堂的意思，是不是愿以相国之尊，去提倡天算之学？”
“我怎么能？其势不可！再说，恭王有意相厄，难道你也看不出来？”
“我也知道中堂必不屑为此，必已看出恭王有意如此。”翁同和答道：“此事照正办，中堂决不可有所保举，只说‘意中并无其人，不敢妄保’就是了。”
“不错！”倭仁深深点头：“就照此奏复，托你替我拟个稿子。”
“这容易。”翁同和说，“不过最好请兰荪前辈看一看奏稿。”
一客不烦二主，倭仁索性就请翁同和代为去请教李鸿藻。纸面文章，并无麻烦，李鸿藻叫人取支笔，就在陪客的座位上，更改数字，让语气显得格外简洁和婉，然后再由翁同和派人把折稿送回倭仁，当夜誊清，第二天一早进宫递了上去。
这天徐桐请假，只有倭仁和翁同和授读。倭仁教完《尚书》，匆匆先退，去打听消息，留下翁同和一个人对付小皇帝。万寿节近，宫里有许多玩乐的花样，小皇帝照例精神不佳，熟书背不出，生书读来极涩。翁同和便设法多方鼓舞，改为对对子，“敬天”对“法祖”，“八荒”对“万国”，都是些简单的成语，但小皇帝心不专注，不是字面不协，便是平仄不调。再改了写字，却又是一会儿嫌笔不好，一会儿骂小太监偷懒，磨的墨不够浓。这样好不容易糊弄到午后一点钟，草草完功，君臣二人都有如释重负之感。
这时小皇帝的精神倒又来了，响响亮亮地叫一声：“翁师傅！”
“臣在。”翁同和站起身来回答。
“明天你来不来听戏啊？”
听到皇帝那拖长了的、调皮的尾音，翁同和知道是“徒弟考师父”。皇帝十二岁了，不但颇懂人事，而且有自己的想法，常出些为人所防不到的花样。这一问就有作用在内，如果欣然表示愿来，说不定接着就有一句堵得人无地自容的话，说是不来，则更可能板起脸来责备一两句。
其实，皇帝万寿赐“入座听戏”，岂有不来之理？不过君道与师道同其尊严，无非要找个两全的说法。翁同和想了一下答道：“明天原是听戏的日子，臣蒙恩赏，岂可不来听戏？”
小皇帝笑一笑，仿佛有些诡计被人识穿的那种不好意思。接着，便由张文亮等人，簇拥着回宫，翁同和也就套车回家。
车出东华门不远，便为倭仁派人拦住，就近一起到了东江米巷的徐桐家，倭仁先到，下车等待，见了翁同和便抢着说道：“且借荫轩这里坐一坐，有事奉商。”
有事商量，何以迫不及地在半路上便要借个地方来谈？所以翁同和答道：“请见示。何以如此之急？”
“自然是很急的事。莫非你还不知道？”
“实在还不知为了什么，想来是‘未同而言’？”
“唉！刮慕ァ辟寥侍究谄溃耙延兄家猓以凇芾硌妹判凶摺Ｊ迤剑闼担墒瞧裼写死恚俊?
真是岂有此理！翁同和诧异不止。但在人家大门口，又岂是谈朝政之地？恰好徐桐迎了出来，一起到了他书房里，翁同和特意保持沉默，要听徐桐作何说法？
“这明明是拖人落水！”徐桐很愤慨地说，“老师当然非辞不可！”
“当然。”
“折子上怎么说呢？”
“正要向你和叔平请教。”
“你看呢？”徐桐转脸看着翁同和问。
翁同和谦谢，徐桐便又絮絮不休。倭仁的本意是借徐桐的地方，与翁同和商量好了，随即便可以写折子，就近呈递，却没有想到在人家家里，不能禁止主人不说话，此时听徐桐大放厥词，只好默不作声地听着。翁同和当然更不便阻拦，但看见倭仁的神气，心里大有感触，讲道学的人，不经世务，一遇到麻烦，往往手足无措，同时也觉得京朝大老不易为，必须有一班羽翼，象倭仁这样，看起来是理学领袖，其实只是为人利用，不能得人助力，孤立无援，可怜之至。
这样一想，动了恻隐之心，便打断徐桐的话说：“荫翁该为中堂筹一善策，如何应付，始为得体？”
刚说到这里，倭仁的跟班，从内阁抄了邸抄送来，除了命大学士倭仁在总理各国事务衙门行走以外，批复倭仁的原折，则俨然如真有其事，说“倭仁现在既无堪保之人，仍着随时留心，一俟咨访有人，即行保奏，设馆教习，以收实效。”可见恭王要把这个玩笑开到底，如再有任何推托，措词千万不能节外生枝，否则麻烦越来越大。
到这时候，徐桐也才看出，“弄假成真”的如意算盘打不得！便改了放言高论的态度，“只好找个理由，请朝廷收回成命。”他说，“以宰相帝师之尊，在总理衙门行走，似非体制所宜！”
照他的说法，是蔑视总理衙门。翁同和以为不可，却不便去驳他，幸好倭仁在这方面的修养，倒是够的，从不肯以宰相帝师自炫，所以这样答道：“不必在这上面争。我想措词仍应以不欺为本，洋务性非所习，人地不宜，故请收回成命。”
说到“不欺，”假道学的徐桐，不便再多说。翁同和以觉得实话直说，不失以臣事君之道，或者能邀得谅解，当时便照此意思，写好辞谢的奏折，派跟班送到内阁呈递。
第二天是皇帝万寿节的前一天，没有书房功课，两宫太后特为皇帝唱两天戏，地点在乾隆归政后，颐养天年的宁寿宫，翁同和奉旨“入座听戏”。从早晨八点钟一直到下午三点钟才散，倭仁特为又把他找到，告诉他说：“上头不准。由恭王传旨，非我到总理衙门不可。
叔平，你看，我怎么办？”
“怎么办呢？仍旧只有力辞而已！”翁同和说。
“是啊！只是措词甚难。”
翁同和想了想答道：“中堂昨日所说‘不欺’二字是正办。
照此而言，或者可以感悟天心。”
这就是说，昨日所拟的那个折子，自道“性非所习”四个字，说得还不够，倭仁很难过地答道：“那只好这样说了，说我素性迂拘，恐致贻误。”
说到这样的话，恭王仍旧放不过他，立刻便有一道明发上谕：“前派大学士倭仁在总理各国事务衙门行走，旋据该大学士奏恳请收回成命，复令军机大臣传旨，毋许固辞，本日复据倭仁奏，素性迂拘，恐致贻误，仍请无庸在总理各国事务衙门行走等语。总理各国事务衙门，关系紧要，倭仁身为大臣，当此时事多艰，正宜竭尽心力，以副委任，岂可稍涉推诿？倭仁所奏，着毋庸议。”
对宰辅之任的大学士来说，这道上谕的措词，已是十分严峻！再把先前那道令倭仁酌保天算人员，择地设馆的上谕，说设同文馆一事，“不可再涉游移”的话并在一起来看，参以近来报考同文馆人数寥落这一点，明眼人都可看出，恭王的饶不过倭仁，有着“杀大臣立威”的意味在内。事情演变到了这一步，已经不是辞“总理衙门行走”那么单纯，而是到了乞请放归田里的时候了！
翁同和心里就是这么在想，倭仁应该“上表乞骸骨”，侃侃而谈，以去就争政见，才是正色立朝的古大臣之风。至于倭仁自己，不知是见不到此，还是恋位不舍，依然只想辞去“新命”。这一次是求教于李鸿藻，李鸿藻又派人来请翁同和，原是商量不出结果的事，他这样做，只是希望多一个人在座，省得宾主二人默然相对，搞成僵局而已。
一个无办法当中的办法：倭仁“递牌子”请“面对”。两宫太后自然立即召见，带领的却是恭王，倭仁心知不妙，先就气馁。到养心殿跪下行礼，步履蹒跚，等太后吩咐“起来说话”时，他竟无法站得起身，两宫太后优礼老臣，特意召唤太监进殿，把他扶了起来。
“两位皇太后明见，”他道明请面对的本意，“臣素性迂拘，洋务也不熟悉。恳请收回派臣‘总理衙门行走’的成命。”
两宫太后还未开口，恭王抢着说道：“这一层，前后上谕已有明白宣示。”
“是啊！”慈禧太后接着说道：“左宗棠、曾国藩、李鸿章，都说该设同文馆，他们在外面多年，见的事多，既然都这么说，朝廷不能不听。现在章程已经定了，洋教习也都聘好了，不能说了不算，教洋人笑话咱们天朝大国，办事就跟孩子闹着玩儿似的。你说是不是呢？”
倭仁不能说“不是”，只好答应一声：“是！”但紧接下来又陈情，“不过臣精力衰迈，在总理衙门行走，实在力有未逮。”
“这倒也是实话。”慈安太后于心不忍，有心帮他的忙，但也不敢硬作主张，看一看慈禧太后，又看着恭王问道：“六爷，你看呢？”
“跟母后皇太后回话，”恭王慢条斯理地答道：“这原是借重倭仁的老成宿望，为后辈倡导，做出一个上下一心，奋发图强的样子来。倭仁是朝廷重臣，总理衙门的日常事务，自然不会麻烦倭仁，也不必常川入直，只是在洋务上要决大疑、定大策的那一会儿，得要老成谋国的倭仁说一两句话。除非倭仁觉得总理衙门压根儿就不该有，不然，说什么也不必辞这个差使！”
这一番话挤得倭仁无法申辩，慈安太后更是无从赞一词，慈禧太后便问：“倭仁，你听见恭亲王这番话了？”
“是！”倭仁异常委屈地答应。
“我看你就不必再固执了吧！这件事闹得也够了。”慈禧太后又说：“你是先帝特别赏识的人，总要体谅朝廷的苦衷才好！”
倭仁唯唯称是，跪安退出。走到养心殿院子里，让扑面的南风一吹，才一下想到，刚才等于已当着两宫太后的面，亲口答应受命，这不是见面比不见面更坏吗？不见两宫的面，还可以继续上奏请辞，现在可就再也没有什么话好讲了！
这一想悔恨不已，脚步都软了，幸得路还不远，进了月华门，慢慢走回懋勤殿。这时恰好是皇帝回宫进膳休息的那一刻，懋勤殿也正在开饭，正面一席，虚位以待，翁同和空着肚子在等他。徐桐三天两头茹素，替皇帝讲完回家吃斋去了。
倭仁实在吃不下，但为了要表示虽遭横逆，不改常度的养气工夫，照平日一样，吃完两碗饭。看他那食难下咽的样子，翁同和知道“面对”的结果不如意，便不肯开口去问。
反是倭仁自己告诉他说：“恭王只拿话挤我！”
“喔，”翁同和低声问道：“他怎么说？”
倭仁无法把恭王的话照说一遍，那受排挤的滋味，只有他自己能感受得到，想了半天，实在无法答复他的话，唯有摇摇头不作声。
这也就“尽在不言中”了。翁同和大有所感，亦有所悲，讲理学讲到倭仁这个样子，实在泄气！程、朱也好，陆、王也好，都有一班亲炙弟子，翼卫师门，而倭仁讲理学讲成一个孤家寡人，那些平时满口夷夏之别、义利之辨的卫道之士，起先怂恿他披挂上阵，等到看见恭王凌厉无前的气势，倭仁要落下风，一个个都躲在旁边看笑话。倘或倭仁的周围，有一两个元祐、东林中人，早已上疏申救，何致于会使得倭仁落入这样一个进退两难的窘境？
看来党羽还是要紧！不过讲学只是一个门面，要固结党羽非有权不可。如果倭仁今天在军机，恐怕同文馆那一案，早就反对掉了。翁同和正这样在心里琢磨，只见苏拉来报：“皇上出宫了。”
于是倭仁、翁同和与那些“谙达”，急忙走回弘德殿。饭后的功课，首先该由倭仁讲《尚书》，未上生课，先背熟书。皇帝在背，倭仁在想心事，有感于中，不知不觉涕泪满面。
小皇帝从未见过那个大臣有此模样，甚至太监、宫女有时受责而哭，一见了他也是赶紧抹去眼泪陪笑脸，所以一时惊骇莫名，把脸都吓白了，只结结巴巴地喊：“怎么啦，怎么啦？”
这一喊，翁同和赶紧走了进来，一时也不知如何奏答，倭仁自己当然也发觉了，拿袖子拭一拭眼泪，站起身来，带着哭声说道：“臣失仪！”
“倭师傅干什么？”小皇帝走下座位，指着倭仁问翁同和。
“一时感触，不要紧，不要紧！皇上请回御座。”
“那，那……，”小皇帝斜视着倭仁说：“让倭师傅歇着去吧！”
“是！”翁同和向倭仁使了个眼色，示意他遵旨跪安。
倭仁退了出去，而小皇帝仿佛受了极深的刺激，神色青红不定，一直不曾开笑脸。
回到宫里，两宫太后见他神色有异，自然要问，小皇帝照实回答。慈禧太后颇为诧异，也深感不快，看着慈安太后问道：“那儿委屈他啦？”
慈安太后倒是比较了解倭仁的心理，‘他心里有话，说不出来。唉！”她摇摇头，也不知怎么说才好。
“这班迂夫子，实在难对付。”慈禧太后对倭仁还有许多批评，但以他是慈安太后当初首先提名重用的，所以此刻也就隐忍不言了。
那一位太后当然也有些看得出来，新旧之争她倒不怎么重视，只觉得大臣之间，意见不和，闹成这个样子，不是一件好事。这天召见过了，原以为倭仁已经体谅朝廷的苦衷，会得跟恭王和衷共济，现在听说他自感委屈，竟至挥泪，只怕依旧不甘心到总理衙门到差，看来以后还有麻烦。
慈安太后看得很准，倭仁确是不甘心到总理衙门到差。在卫道之士看，这个衙门的一切作为，都在“用夷变夏”，是离经叛道的，所以倭仁认为只要踏进这个衙门一步，就是砸了自己的金字招牌，变成假道学。而不到差其势又不可，总理衙门的章京来了几次，催问“中堂那天到衙门，好早早伺候”，倭仁不见亦不答，私底下却是急得夜不安枕，胡子又白了许多。
原来还有些舍不得文渊阁大学士那个荣衔，自从用易经占了一卦，卦象显示在位不吉，便决意求去，但他也知道，此时连求去都不易，倘或奏请开去一切差使，便成了要挟，必获严谴。这样就只好以殉道之心，行苦肉之计了。
机会很好，有个地方最适宜不过，太庙时享的日子快到了。太庙时享，一年四次，孟夏享期，定在四月初一，以樱桃、茄子、雏鸡等等时新蔬果，荐于列祖列宗。期前一日，皇帝亲临上香，倭仁以大学士的身分，照例要去站班。
他是被赏了“紫禁城骑马”的，名为骑马，其实可坐轿子，而这天他真个骑了一匹马去。这匹马还是他从奉天带回来的，马如其主，规行矩步从不出乱子。倭仁却有意要出个乱子，等皇帝上了香回弘德殿，他让跟班扶着上了马，走不到几步，自己身子一晃，从马上栽下来，如果一头撞死在太庙前面，便是殉道，没有摔死，就是一条苦肉计，可以不去总理衙门到差了。
有那么多人在，自然不容他撞死，跟班的赶紧抢上前去扶住，醇王离他不远，赶了过来问道：“艮老！你怎么啦？”
“头晕得很！”他扶着脑袋说。
“嗐！不该骑马。”醇王吩咐跟在他身后的蓝翎侍卫说：“赶紧找一顶椅轿来，把倭中堂送回去。”
于是借了礼亲王世铎的一顶椅轿，把倭仁送了回家。这一下便宜了小皇帝，倭仁不能替他讲《尚书》，免了他一番受罪。