吴佩孚衡阳撤防是改变南北形势的一个惊人行动。后来吴成为北洋时代风云人物也是由此开始。
　　吴师撤防是从9年5月20日开始。吴事前曾电请张敬尧派员到衡州协商接防问题。张敬尧派湖南暂编第二师师长（北军）吴新田为“主持湘南防务司令官”，于21日到衡州，与吴佩孚及湘军代表签订条约，南北两军维持原有停战界线，湘直两军停战协定继续有效。一直到吴师自动撤防的前夕，北京政府才有电报批准直军撤防。吴师开拔时作环次队形的布置，主力第三师居中，湘江两岸各设掩护队，前方设有侦察线，后面设有殿卒，大军扬帆而下，全军齐唱吴所亲撰的《登蓬莱阁歌》。
　　吴有《回防途次》诗曰：
　　行行重行行，曰归复曰归。江南草木长，众鸟亦飞飞。忆昔赴戎机，长途雨雪霏。整旅来湘浦，万里振天威。孰意辇毂下，妖孽乱京畿。虺蛇思吞象，投鞭欲断淝。我今定归期，天下一戎衣。舳舻连千里，旌旗蔽四围。春满潇湘路，杨柳正依依。和风送归鸟，绿草映晴晖。少年惜春华，胜日斗芳菲。来路作归程，风景仍依稀。周公徂东山，忧搀亦畏讥。军中名将老，江上昔人非。建树须及时，动静宜见几。何日摧狂虏，发扬见国威。不问个人瘦，惟期天下肥。丈夫贵兼济，功德乃巍巍。江上送归舟，风急不停挥。得遂击楫志，青史有光辉。春日雁北向，万里动芳徽。鸿渐磐石愿，衍衍不啼饥。止戈以为武，烽烟思郊圻。同仇复同仇，归愿莫相违。
　　吴师于5月20日开始撤防北归，27日由水路经过长沙。张敬尧怕他舍舟登陆，战长沙，夺帅印。所以在湘江右翼配置了强大的兵力，但只作防御准备。而吴师根本无上岸打算，虽亦作紧急戒备，不过是怕张军袭击而已。双方均未挑衅战火，吴师乃扬帆而去。
　　吴师于5月29日过岳州，也未停靠，31日集中汉口，由于车辆缺乏，一直到6月5日才开始向北移动。
　　吴佩孚虽然请张敬尧派军接防，可是实际上他是决定把衡阳移交给湘军的。湘军骁将赵恒惕是他心仪的人物，两人惺惺相惜。所以吴师整装待发的时候，就是湘军执戈待动的时候。不过，当时的形势对湘军是很不利的。张敬尧是北洋勇将，他的军队已经扩充到7万人，他自兼北军第七师长，可是他所直属的部队则有湖南暂编第一第二两师和第一混成旅。归他节制指挥的还有协助长沙防务的第十一师（师长李奎元），驻防湘潭的第廿师（师长范国璋），驻防常德的第十六混成旅（旅长冯玉祥），驻防湘东的暂编第一师（师长张宗昌）和安武军一部分。
　　衡州和宝庆是长沙的前方两个重点，张敬尧派他手下的两员大将，湖南暂编第一师长田树勋守宝庆，兼长宝镇守使，第二师长吴新田守衡州。
　　张敬尧是安徽霍邱县人，出身是徐淮间的流寇，后来入伍为小兵。癸丑二次革命时，他随李纯入赣任第六师的团长，由此擢升为第七师长。老袁称帝前，他在北京同兴饭馆对人扬言说：“大总统做大皇帝，下一道上谕就成了，干什么还要研究和请愿？”有人把这些语报告袁，袁生气说：叫这个老粗不要乱讲话。可是心里则喜欢他的憨直。护国军起，袁派他入川，袁死后，他又向张勋递门生帖子。复辟失败，他倒向皖系，成为对南方主战派的中坚。他是反直系长江三督的主要人物之首，由于他是跟李纯起家的，他骂李纯最有力量，他的通电大骂秀帅夫子（李纯字秀山），以讨好于芝老上将夫子（段祺瑞字芝泉）。段赏识他头脑简单，所以把湖南督军宝座送给他。
　　据说张在督军任内时，曾文正的曾孙女曾宝荪在长沙创办艺芳女学，曾宝荪的父亲是文正长孙老翰林曾广钧（重伯）。宝荪从小就跟英国女教士巴小姐赴英国留学。张竟动念头到这位小姐的身上，遣人邀曾翰林赴督署一谈。曾广钧到督署见到张，口呼督军老伯，敬尧愕然不知所对，面对着文正公的长孙，对自己如此称呼，不无受宠若惊，邪念为之大减。曾辞出后向人说：“听说张督军的先君讳总愚，我先祖曾保荐过他，这样算起来张督军自然是我的父执了。”其实这是曾的苦肉计，把张敬尧的辈份提高。使他不能动后辈的念头。张总愚究竟是不是张敬尧的父亲，谁也不知道，张总愚是捻军的头目，后来被招安的。
　　吴师撤防以及北归的经过，及抵河南布置情形，兹特抄录张一麐所编《直皖秘史》一段，其中叙述甚详，张文云：
　　“吴佩孚将湘南撤兵事宜布置妥善，至军队分水陆两道陆续开拔后，遂于廿五日由衡阳乘舟启行。各界人士均至河干欢送。经过株州、湘潭，均受各界欢迎。至廿八日上午，直军前队已开到省垣，人民站立观看者，大有牵袂成帷之势。吴部士兵均赤手对坐，状极闲雅，且有扣舷而高唱军歌者，一望而知其为久经训练，纪律严明之师，络绎而来，前后共过廿一班。然后红旗招展，气笛呜呜，而吴氏所乘之‘新鸿运’火轮至矣。于是岸上军乐大作，军警均行举枪敬礼。吴氏船上亦频频鸣号答礼。湘督张敬尧亲自出迎，以吴氏不肯登岸，即率军政要人分乘火轮，驶近‘新鸿运’，随即过船，与吴氏谈叙十分钟之久，始返棹而回。
　　吴氏由长沙启碇，于廿九日上午抵岳州，仅带骑卫队廿四名，登岸入城，以镇署为行台。午餐后与地方各长官步行至岳阳楼上参观名胜，随即绕道游视城垣，至西门新修处（系前岁直军攻岳时以轰城炮击倒伤毙数百人之处），吴氏触目惊怀，回行台后，谕军需处备具祭品，于卅日就岳阳楼开追悼会，奠祭直军死义将士，至卅一日午前，直军大队人马数近二万人，由岳到鄂，一片人影，满布江中，俱向刘家庙登陆，吴氏则押军后行，所有省垣各机关各法团领袖，均预先渡江赴刘家庙迎迓。至下午一时，吴氏到汉，傍晚由王督军欢迎过省宴叙，其所带军队则暂住刘家庙车站。
　　吴氏离湘之初，原拟抵汉后俟所部到齐将车辆等部署粗定，即轻车简从先行北返，嗣以湘中风云骤变，南军进占吴氏前驻各地，尤应请命曹锟再定行止……。政府因即去电敦促即日北上，而吴氏则以无款开发船价及交通部不拨车辆为搪塞之计，依旧屯驻汉口。盖静以观变，别具深意也。
　　吴军滞留汉口，久而不发，因之谣言蜂起。而政府以吴氏按兵武汉。实足引起各方之猜忌，直接促归无效，即电由曹锟转饬速行。吴氏迫不得已，乃派其参谋长赴汴与赵倜密商，拟将吴部暂驻信阳、许州、郑州等处，其欲暂驻豫境之原因，即以皖派举动可疑，暗中已有出师筹备，必将军队分布豫境，则北贯京畿，南扼武汉，京汉道上必非皖派所得问津矣。吴军驻屯豫境之计划既与赵倜双方商妥，遂于六月七日晚由武汉起程。八日抵郑，共到五列车，驻札地点之支配则以三师全部驻郑州，第一旅驻许昌，第二旅驻驻马店，第三旅分驻顺德、磁州，骑兵团驻黄河桥，步兵八团驻新乡县，沿途旌旗满目，帐幕相望，军容甚盛。”
　　吴佩孚在衡阳吵着要撤兵的时候，段祺瑞当然认清了这个问题的严重性，这不止是撤防问题，而是直皖两系短兵相接，你死我活的问题。所以段也有他的安排和打算。
　　早在9年4月下旬，驻防陕西的奉军许兰洲部忽然移动到华阴、潼关、观音堂一带。这个行动使段怀疑是奉军有企图移向河南平原，以策应直军北进，因此指使陕西省长刘镇华派兵偷袭奉军。刘镇华的军队是镇嵩军，他奉到段的命令后，即向奉军挑衅，只因镇嵩军兵力并不雄厚，所以冲突未扩大。
　　5月17日，段在团河召集秘密会议，作了一系列的军事布置。一面召回徐树铮，并将全部西北边防军调回北京附近，一面决定自己出马担任川陕剿匪总司令，率领边防军一三两师向陕西出发，讨伐陕南民军和川滇靖国军。为了提防靳云鹏在北京捣鬼，准备派其为副司令或参谋长，令其随军出发。这是一条“声东击西”的妙计，真正目的并不是向陕西出兵，而是准备在郑州设立总司令部，首先驱逐河南督军赵倜。然后派军防守京汉路南段，阻断直军的归路。如果直军打算强行通过就在河南平原予以迎击。段祺瑞认为在河南平原与直军作战，不但北京根据地不致受到战火的威胁，而且山东、安徽两省的皖系军队可以侧击直军，这是如意的算盘。使这个如意算盘落空的因素，是当段带兵出征陕西的消息传到关外，张作霖立刻借口边防军出动，北京防务空虚，要求准许奉军入关“拱卫京师”。如果北京真的由奉军拱卫，则北京的“正戏”便由张作霖来唱了。因此段这个想争取主动的作战计划，就因为“螳螂捕蝉，黄雀在后”而被迫放弃。
　　吴师在武汉逗留期间，王占元接济了军费60万元，其中40万元还是王占元从私囊中提出来的。由于京汉路车辆缺乏，直到6月5日才由汉口分批北开。8日抵郑州，13日在郑州发出一个爆炸性的电报，分致反皖的八省联盟各督军，内容是：反对安福系包办上海和会，建议召开国民大会解决一切问题。这是吴佩孚第一次公开建议召开国民大会的电报。这个电报之所以具有爆炸性，在于这个建议不是任何军阀所能接受的，不但张作霖看了大为生气，就是吴的上司曹锟也摇头大不谓然。所以在反皖的八省同盟中引起了很大的反感，认为吴佩孚官卑职小，态度狂妄。
　　北方反段的军人虽然不满意吴的狂妄，可是为了直皖战争爆炸在即，吴是一个肯打硬仗，而其军队又能打仗，所以对吴的过分言行，只好隐忍于心。
　　吴这通电报得到南方人民团体的热烈欢迎。
　　吴佩孚将其主力布置在河南，北方风云为之变色。奉军为了暗中策应直军，所以也零零星星地分为三营五营开进关来，6月10日驻独流镇的奉军四营，经过天津开往廊房。
　　曹锟也于6月10日派兵监视德州兵工厂，并以德州为直军右翼的前哨阵地。
　　6月15日，吴佩孚偕同三个混成旅的旅长到了保定，同时江苏、奉天等省代表也都到保定来参加曹锟所召集的保定军事会议，这是一次秘密的，却是极重要的军事会议。
　　段祺瑞方面自然也积极布置，他密令驻守济南的边防军第二师师长马良作好动员准备，俟机北向进攻德州，或者西向侧击郑州。为了准备打仗，皖系积极筹措战费，由安福系的交通总长曾毓隽，以京绥路为抵押，向日本借款500万元作为战费，日本方面本已考虑答应，因为在中国内争上，日本是倾向皖系的，著名的亲日派曹汝霖、章宗祥、陆宗舆都是皖系，日本当然希望皖系得势。可是这个时候，日本已不能像欧战期间那么方便，可以在亚洲尤其是中国为所欲为，因为美英已经联合起来在中国问题上采取强硬的立场，对日本采取监视态度，不让日本独占中国利益。因此日本的一举一动都有美英在扯后腿。所以皖系以京绥路向日本押借500万元，由于美英两国出面干涉就只好作罢。
　　这时候，皖系无论在外交上、财政上、或是作战的战略地位上，都处于十分不利的地位。最大的两个因素成为皖系的致命伤，一个是主张内战，发动南北战争，在全国人心盼望和平统一的时候，内战是不得人同情的。一个是亲日，当时全国人心都痛恨日本侵略，得寸进尺，尤其在欧战期间乘火打劫，企图独吞山东，所以凡属中国人莫不反日，皖系独倚亲日为外交奥援，更是大失人心。
　　至于在军事布置上，皖系也居于不利的地位，驻防洛阳的西北边防军，处于郑州直军与潼关奉军之间，驻防信阳的皖军吴光新部，也是处于河南、湖北两省直军夹击态势中，而在廊房的西北边防军，也在奉军监视之下。
　　将领方面，皖系的徐树铮成为群矢之的，可以说段祺瑞因为信赖徐树铮一个，而导致直奉两系联合抗皖。张敬尧祸湘，马良残杀抗日的爱国分子，傅良佐、吴光新都非将才，倪嗣冲则在重病中，段芝贵只是袁世凯的宠儿，经不起考验，上不了战场。皖系的将领简直拿不出一个人物，数来数去还是只有徐树铮像样，所以段祺瑞在重要关头便离不开小徐。
　　局势一天比一天紧张。6月16日曹锟电请解除川、粤、湘、赣四省经略使。
　　6月17日徐树铮由库伦返抵北京，暂时放弃他“西北王”的事业。