督军团在北京胡作非为，一会儿主张对德宣战，一会儿赞成包围议会，最后又提到宪法，可是有一个最好出风头而又最好发议论的大督军张勋，此时却在一旁不发一言，不做一事。黎元洪忽然想到他的身上，黎想：这个老粗是反对对德宣战的，又是个不愿拥护段内阁的，倘能把他拉到自己的阵线来，岂不是可壮声威而寒段派之胆。黎用以联络张勋的是李经羲，李是前清时代的云贵总督，洪宪皇朝嵩山四友之一，最妙者蔡锷和张勋都是他的老部下，所以洪宪将失败时和督军团倡乱干政时，这位年将就木的老官僚竟从冷宫中变成了红极一时的要角。李推荐江西籍国会议员郭同到徐州连络。
　　同时段祺瑞也看中了张勋，想从他的身上找出绝处逢生的路线来。段估计张有两件事可引为同志，第一痛恨国会，第二轻视总统。于是段派徐树铮秘密到徐州，请他借参战问题予国会以致命之打击。
　　张勋却自有打算：解散国会是绝对赞成的，驱逐总统亦无不可，可是假若两者之目的是拥段，则不愿白费气力；他想利用府、院之争，国会与内阁之争，造成复辟的机会。他向段的使者讨取合作的代价：“总理如能赞成复辟，这两件大事我姓张的一个人包办好了。”
　　张勋估计复辟的可能性：第一，段表示无可无不可的态度；第二，冯国璋和陆荣廷可引为同志，其余的一般武人，张早已窥破了他们的心理，对内阁问题、参战问题、复辟问题一切都无所谓，他们没有中心思想，只以个人权位及地盘为前提。张又自命深深懂得一般人的心理，以为民国疆吏不及前清督抚之尊。这位“心理学家”抓住了许多要点，又利用北方政潮，所以绝不踌躇地认为是复辟的千载一时之机。他对老上司（李经羲）并没有任何好感。他对黎的密使郭同，极口称赞：“咱们的大总统真是一位忠厚长者，咱断断乎不许别人欺负他老人家。倘有用得着张某人之处，咱们当部下的难道不能替他出一番死力！”郭回京报命后，黎认为张本是督军中最不可理喻的人，现在他尚且肯就范，还有那个敢公然造反！他又深信张的话说一不二，决非口是心非的人，所以他下了免段的最后决心。
　　督军团呈请解散国会，国会议员纷纷避居东交民巷和六国饭店，有钱的老百姓都纷纷逃难到天津。
　　5月20日后，段知道府方改派内阁总理的命令即将发布，因此召集有关方面举行秘密会议，讨论对策。到这时候，连最靠拢他的研究系人物也劝他作必要的退却，以便积蓄力量，待机反攻。于是段派范源濂到天津，请徐世昌出面来组织新内阁，本人愿意在新阁中留任陆军总长。徐这时当然不肯跳火坑，他表示他决不接受组阁的新命。
　　21日，段又亲访王士珍，请其权代内阁总理。王也向他作揖打拱地“敬谢不敏”。
　　同一天，段出人意料地到公府来见黎，表示迫切希望摆脱一切。他说：“我已经找过了徐菊老，找过了王聘卿，他们都不肯担任内阁总理。请总统从速为我找到替身，以便交卸。”黎回答说，他一时还没有找到适当的人选。段从公府退出来，即命陆军部向路局接洽专车，宣称于当晚9时离开北京。
　　直到这时，段既未呈请辞职，又与督军团保持密切联系，企图留任。其所以演出这套戏法，是用以和缓黎下令免他的职，以便争取时间来布置另外一套戏法。在此以前，他的党徒曾建议用清一色的自己人补充已辞职和已去职的阁员，以便与国会和总统作战到底。他没有接受这个意见。此时，他拟就了一张补充阁员的新名单：以夏寿康为内务总长，饶汉祥为司法总长，汤芗铭为海军总长，孙宝琦为财政总长，庄蕴宽为农商总长，汪大燮为交通总长。耐人寻味的是：这张名单几乎没有一个人是段的私党，打头三名就是黎所喜爱的湖北人，其余也都是黎具有相当好感的人。很明显，这是段想以此交换黎维持其内阁总理的地位。
　　22日，段命院秘书长张国淦携带这张名单征求黎的同意。黎因段恋栈感到十分惊奇，他没有在这张名单看上一眼就冷冷地说：“名单上都是一些安徽人吧！”可是，当他接到手里一看，看见名单上有不少湖北人时，脸色就和霭多了。张国淦退出来后，黎立刻召集幕僚讨论这张名单。幕僚们都很乐观地说，老段外强中干，不可中他缓兵之计。这时，伍廷芳已经答应代理内阁总理，王士珍答应在老段下台后尽力帮总统的忙，东交民巷外交团方面也已经接洽好，督军团则已经离开北京，一切都是罢免老段的最好时机，此时如不下手，更待何时？黎也相信这是大好良机。
　　23日，张国淦再到公府讨回信，黎就把免段的最后决心向他直截说明。张劝他再加考虑，话刚出口，站在黎身边的金永炎突然拔出手枪来，对着张的胸膛晃了一晃，恶狠狠地说：“不许开口！一开口我就一枪打死你！”黎挥手叫金永炎退下去，并向张表示歉意，派卫士护送他离开公府。
　　黎把印铸局局长吴芨孙叫出来，把免段的命令交给他即日公布。但是吴不肯接受，他说总统命令从来都是由国务院交到局里来的，没有由总统直接交下来的前例，他一鞠躬退了下来。
　　同一天，那位年老多病久不视事的伍老博士出人意料地到了国务院总理办公室，将三道总统命令发交印铸局发表。第一道命令是免去国务总理段祺瑞的职，特派外交总长伍廷芳暂代国务总理；第二道命令是派陆军部次长张士钰暂代陆军总长；第三道命令是派王士珍为京津一带警备总司令，并派江朝宗、陈光远为副司令。原来还拟好了惩戒倪嗣冲和告诫督军团的两道命令，却被黎临时抽回，没有发表。
　　同一天，黎通电各省报告处理内阁问题的经过。电报说：
　　“段总理任事以来，劳苦功高，深资倚畀。……乃日来阁员相继引退，政治莫由进行，该总理独力支持，贤劳可念。当国步阽危之日，未便令久任其难。本大总统特依《约法》第三十四条，免去该总理本职，由外交总长伍廷芳暂行代理，俾息仔肩，徐图大用。一面敦劝东海（徐世昌）出山，共膺重寄。其陆军总长一职，拟令王聘卿继任。执事等公忠体国，伟略匡时，仍冀内外一心，共图国是。”
　　同一天，段乘车往天津，黎派公府顾问丁槐赠以程仪1万元，并派侍从武官长荫昌代表送行。段临行前发表漾电说：“……查共和各国内阁制，非经在任内阁总理副署，不能发生命令效力。以上各件（指以上三令），未经祺瑞副署，将来地方及国家因此生何影响，祺瑞一概不能负责。”这个电报显然是控诉总统以非法手段免去他的国务总理，不承认这个命令有效；电报末尾署名为“国务总理段祺瑞”，显然仍以在职的国务总理自居。
　　伍廷芳也发表通电否认命令违法，他根据《约法》的第三十四条，解释总统有任免文武官吏之全权，并且举出“民元唐（绍仪）、熊（希龄）免职，陆（徵祥）、赵（秉钧）受代，先例具在，与《约法》皆无抵触”。他是以北洋派之矛，攻北洋派之盾，因为更换内阁总理的命令，不经原任内阁总理副署，已由北洋派的创立者袁世凯开其端，而当时并未被认为违法，则这次发表的命令也不能认为违法。