原来是这话，谁在辩论时列举一二三四五条，没有只是凑数的几条呢？懂天文算学的人他一个也不认识，只是推想大清朝地大物博，不可能没有这种人才。虽然作为皇帝的师傅，承认自己的臆测很难为情，但为了辞去这让人尴尬的任命，倭仁不得不递第二通辞任折，承认有关天文算学人才的话“系推测而已”，并不是囊中已经有这类人才。
太后听得怒气冲冲——这当然是装出来的，辩论的时候放嘴炮是文人最擅长的了，谁还能不知道这个道理，可太后偏偏勃然大怒，对着军机处的人说道，：“太后和皇帝面前，话能够随便说吗？反对别人的时候，说大清有大把天文算学人才；到自己办事了，就说‘系推测而已’。仍旧不准辞任！”
“解铃还需系铃人”，倭仁没办法，只好又去拜会洋务头子、自己以前绝对不会交往的恭亲王。等到下了轿，倭仁抬腿踏进恭王府的花厅，恭亲王已经迎向前来。一位是皇帝的师傅，一位是本朝的亲王，彼此鞠躬作揖，没完没了。恰好曹毓英也在，就一起作陪，把倭仁迎到了花厅。
倭仁撰对联、写奏折虽然厉害，和人叙话却非所长，要说的话本来也有点难于启齿。所以憋着气，红着脸，流着汗——刚好可以把原因推在秋老虎头上，倭仁期期艾艾地说明来意道：“同文馆之事，实非我所欲，还请议政王多多美言，请太后收回成命。”
恭亲王见到倭仁的窘迫模样，笑而不语，早知如此，何必当初？
曹毓英挥着扇子，对着倭仁笑道，“老大人未免太过强求了，议政王虽然贵为王爷，可也得听太后、皇上的意思不是？如今这旨意都已经下了，再改岂不是朝令夕改，这样朝廷的脸面，太后的威信，放哪里呢？”
听到曹毓英半带讽刺的话，倭仁涨红了脸，却也不好多说什么，恭亲王见到倭仁的样子，毕竟有些不忍，笑着说道：
“老大人，如今木已成舟，还是先委屈委屈，暂时做几个月，然后以老大人同时在南书房当值，不胜繁剧，到时请辞吧？”