驱逐省长而自兼，“文官武做”，动辄要打省政府职官的军棍，有一回要打一个厅长，大家纷纷为他求情，张怀芝总算从宽免责，但要那个厅长写个“欠打军棍二百”的“借条”存档。

张怀芝与曹锟是拜把兄弟，但两人在“征南”中途，发生了隔阂，一原来当曹锟驻节汉口时，日本人在北京所办的顺天时报，登了一段消息，说他在青楼中选到一个姨太太。张怀芝一时冲动，以老把兄的资格，去电责备曹锟，不该“军中行乐”。顺天时报造谣。曹锟正在气头上，一看张怀芝的电报，大为光火，表示要绝交。因此当段祺瑞到汉口召开军事会议时，张怀芝怕跟曹锟见面，托词不到；段祺瑞打听到实情以后，电召张怀芝立刻动身到汉口，亲自居间调解，结果是张怀芝向曹锟道歉，方始言归于好。

汉口军事会议以后，北军在吴佩孚指挥之下，占领了长沙，分三路向前推进，右翼由第二路军负责，占领了湘东的醴陵、攸县以后，遭遇了赵恒惕湘桂军的反攻，一举而克攸县、醴陵。张怀芝的大将施从滨，仓皇逃遁。张怀芝由萍乡退往樟树，转到汉口，宣称旧病复发，要回山东。

事实上是第一、打仗没有把握；第二是护理山东督军的第五师师长张树元，有取而代之的企图。他如果打了胜仗，段祺瑞当然会支持他，而且实力无损，自己亦可以对付张树元；但湘东大败，损兵折将，事情就很难说了，所以急于想回山东，保住地盘。

段祺瑞觉得这时候阵前易帅，很没有面子，同时也找不到替手，所以提出“鲁督决不易人”的保证，要张怀芝再干下去。

在此期间，“安福国会”已选出徐世昌为大总统，那知吴佩孚大唱反调，发表通电，指斥安福国会“卑劣不全，安能为全国民意代表。”最使段祺瑞震动的是，在湖南战场上南北军将领，联名发出“寝电，t请“冯代总统颁布停战部令，东海先生出任调人领袖”。称徐世昌为“东海先生