耐人寻味的是，倭仁上折言事并非个人行为，他实乃代保守派阵营发声。两宫表态与倭仁“落马”
三月初八，倭仁再上一折，双方的第二回合较量由此揭开。倭仁继续抓住恭王等人不愿回答也无法回答的“夷夏大防”问题做文章。他首先指出“以诵习诗书者而奉夷为师”，等于送羊入虎口，“又安望其存心正大、尽心报国乎？”紧接着，倭仁更是抛出重磅炸弹：“夷人教习算法一事，若王大臣等果有把握使算法必能精通，机器必能巧制，中国之人必不为该夷所用，该夷丑类必为中国所歼，则上可纡宵旰之忧劳，下可伸臣民之义愤，岂不甚善。如或不然，则未收实效，先失人心，又不如不行之为愈耳。”倭仁掷给恭王的是两难选择，应也不是，否也不能，其欲将同文馆之议置于死地的意图显露无遗。
耐人寻味的是，倭仁上折言事并非个人行为，他实乃代保守派阵营发声。作为保守势力执牛耳者，倭仁一人冲锋于激烈冲突之前台，但其背后却有许多志同道合者作为后盾，提供对策。在同文馆之争开始不久，理学大儒吴廷栋曾致函倭仁，遥为声援。在枢府之内，倭仁更是得到李鸿藻、翁同、徐桐等弘德殿师傅们的全力支持。
面对倭仁的又一波攻势，地方督抚们也纷纷致函总理衙门，加以声援，希望“朝廷坚持定见，不为浮言，则事可有成”，故恭王阵营阵脚未乱。三月十九，恭王呈上一折，以示回应。恭王抓住了倭仁原奏中“天下之大，不患无才，如以天文、算学必须讲习，博采旁求必有精其术者，何必夷人”一句之破绽，吹响反攻号角。恭王讲道，既然倭相折中认为天下定有精通天文算学之才，那么想必他心中也已有了中意人选。所以还恳请朝廷命令倭仁“酌保数员，各即请择地另设一馆，由倭仁督饬，以观厥成。若能如此办理，更属两得之道，裨益非浅，彼时臣衙门原请奏办之件，即行次第裁撤”。此建议立即得到谕旨允准。恭王成功地置死地而后生，转守为攻，将压力一并推倒倭仁身上。
此时倭仁已呈骑虎难下之势。三月二十一，他无奈奏称“并无精于天文算学之人，不敢妄保”。这预示着经过两回合鏖战，倭仁已无计可施，败下阵来。此刻两宫的立场也渐趋明朗，站在了恭王一边。更让倭仁难堪的是，清廷还谕令其在总理各国事务衙门行走。在保守势力看来，“以宰相帝师之尊，兼藩署奔走之役”，简直是奇耻大辱。倭仁自然无法接受，一再请辞，但都不得允准。两宫如此为难倭仁，显然有其深刻用意。经过同治四年的罢斥恭王事件，恭王的“议政王”权位被削夺，仅留军机大臣一职。遭此重创，恭王只得暂敛锐气，唯两宫懿旨是从。此时的慈禧太后正值掌权初期，尚存进取之心，一面她希冀通过举办新政在内实现中兴大业，对外以示振作气象，一面她也借两派酣战之际，继续树立其绝对权威。就在恭王欲倭仁斗法之时，身处南京的曾国藩一语道破：“一女主临御而威断如此，亦罕见矣。”是故慈禧不惜对倭仁予以人格羞辱和政治打击，实有其平衡双方政治势力之考量。
既然两宫的态度已经明确，倭仁的厄运也随之降临。二十九，其站班后上马晕眩，坠马受伤。朝廷也顺水推舟，遂于五月十二，赏假一月，令其安心调理。六月十