杨佺期的信未至，殷仲堪的使者已经抵达江州。来者是殷仲堪的堂弟殷遹（读作yu）。殷仲堪在信中阴阳怪气，赤裸裸的发出了威胁。
“今闻朝廷褒奖桓少兄治理有方，以我荆州四郡馈之，本人特派人前往道贺。桓少兄果乃名门之后，非同凡响，左右逢源，长袖善舞。今不念当日之约，共抗朝廷，反夺我荆州四郡之权，是何道理？既然如此，你也休怪老夫不义。你既毁约在前，我便不义在后。请桓少兄做好准备，我欲率荆州兵马前来江州，和你会猎于江上。桓少兄要备好美酒，好好的招待我才是。你知我嗜酒，若无美酒，我恐心情不佳，恼怒杀人，也未可知。”
桓玄看了信，心中愤怒之极。但按照卞范之的计划，自不能同殷仲堪翻脸。于是向殷遹做了一番解释。
“仲堪兄这是误会了我啊。我岂有侵吞荆州四郡之心？此乃会稽王奸谋，仲堪兄如何看不出来？司马道子以朝廷名义下旨，故意将荆州四郡划归于我，便是存心挑拨我和仲堪兄之间的关系，破坏我们之间的信任。这一点，希望仲堪兄明察。我们要做的便是不要中了他的奸谋。请殷遹兄传话给仲堪兄，我桓玄绝不会去管荆州四郡之事，钱粮人力一无所取。原有官员不变，只表面敷衍朝廷便可。还望仲堪兄万万不要上了会稽王的当，他如今四处挑拨，我等当有定力，识破奸谋，从容应之。如今我正在招募兵马，操练水陆兵马。一旦兵马成功，便同兄一起起兵，攻入京城，为先帝报仇，将会稽王及其党羽肃清，还我大晋郎朗乾坤。”
殷遹回荆州之后，将桓玄的话回禀殷仲堪。殷仲堪心中犹豫怀疑，又觉得桓玄的话说的有道理。于是决定暂时按兵不动，静观其变。只要桓玄不对自己的荆州四郡管辖，挂个虚名倒也无妨。
二月十二，杨佺期的信也送到了江州。面对杨佺期信上的威胁，桓玄给出的答复是另外一个态度。
“汝弘农杨氏，当年受我父恩惠提拔，方有今日之荣。你父杨亮，你兄杨广，当年受命进攻仇池，为杨安所败，仓皇溃逃，上万兵马损失殆尽。朝廷欲重责之，以儆效尤。我阿爷力保之下，方保住性命。立誓自此效忠我阿爷，唯我桓氏马首是瞻。如今我阿爷故去，尔等便可欺我与？你常对人言，说什么弘农杨氏乃中原正统豪族，地位高隆。我听了付之一笑。想你弘农杨氏，当年南逃归附我桓氏，苟全性命，得我桓氏庇佑方有今日。你弘农杨氏的底细人所尽知，不过是中原一小族耳，何来地位高隆之说？尔等如今所为，岂非忘恩负义之行？何况出言威胁于我？”
桓玄的信上还怒斥了杨佺期的德行。
“昔日出兵助力王恭之时，你提前撤兵，以至于联盟崩溃，功亏一篑。率先惧逃的是你杨佺期，你何来颜面指责于我？司马道子派人去豫州同你交谈，你便乘机退守梁州，令荆州暴露于外，此乃又一次背叛我等。我无奈之下，方于江州募兵以自保，今日你却以朝廷之旨指责于我，欲兴兵伐我，何等厚颜无耻。你兄杨广乃无能之辈，南蛮校尉之职慢说是朝廷所授，便是我兄夺之
，也是情理之中。你兄杨广屡战屡败，激起巴獠之变，我桓氏出面方可平定，他的能力不足以担当此职。我桓氏取之也是天经地义。你当反躬自省，自惭羞耻才是，焉有颜面怪责于我？你要出兵伐我？我倒要看看你有多大的本事。尽管放马过来便是。”
桓玄不但写了这封措辞强烈，充满了羞辱和指责的回信，还将送信的使者打了二十鞭子撵了回去。
十余日后，杨佺期得到了这封回信，其愤怒可想而知。若桓玄说的话全部是假话倒也罢了，偏偏许多事确实如此。弘农杨氏南渡之时，确实是关中小族。只是自诩为关中贵胄，认为比之其他大族更有地位，这是杨亮一直强调的事情，也为了抬高地位，得以立足。
当初杨亮杨广攻打仇池，确实被打的落花流水，大败而归。此事被引为奇耻大辱。朝廷要杀杨亮父子，确实是桓温顶住压力，宽恕了他们。这些都是事实。
但在杨佺期看来，兵败并非是什么了不得的罪过，杨家父子为桓氏当牛做马，苦活累活都干，几次西征都是杨氏作为先头兵马，这已经报答了恩情。
至于出兵助力王恭之事，正是因为桓玄前往相劝，自己才出兵。事情最后搞得一地鸡毛，本来就让自己恼火之极。出于自保和利益的考虑，自己决定退守梁州，这也是基于利益的最佳考虑。现在居然被称之为背叛之举。