在小站练兵时，他在王士珍所管的工程营中，充任“帮带”。及至袁世凯继李鸿章为直督，部下水涨船高，都升了官。其时军队分为两个系统，受过新式军事训练的“新建陆军”，算是国家的正规军。

湘军、淮军、省军，以及其他杂牌军队，如果无法选入军事学堂受训，成为“新建陆军”则汰弱留强，编为巡防营，以维持地方治安为主。既无训练，亦少补充，让他们自生自灭，作为建立新式陆军期间的一个过渡办法。张勋这时便统带一个巡防营，驻扎直隶、河南交界之处。

及至两宫回銮，由开封渡黄河而北，到磁州入于直隶境界，恰好是张勋的防区。他手头极松，慷慨喜结交，跟太监们混得很好，在“老佛爷”面前美言一二，竟得扈跸到京，留充宿卫，特旨连升三级，一跃而为建昌镇总兵，接着又升云南提督，成了一省的武官之长。行伍出身的老粗，到了为人尊称“军门”，便算是“官居极品”了！

不久，张勋由云南提督改调甘肃提督，衔头虽有更改，人却始终在京。其时，老醇王所练的神机营，载漪所掌管的“虎神营”，早就风流云散，荣禄的武卫军，除了宋庆率领的毅军，驻扎关外以外，聂士成、董福祥的旧部，成了散兵游勇，一部分改投他处，一部分编练为巡警。所以张勋这支军队，竟成了保卫宫禁的“护军营”，兵甲鲜明，满布殿廷。有一次袁世凯入觐，一看这情形，大为惊骇，张勋如有异谋，整个大内在他控制之下，如之奈何？

其时正当日俄战争以后，东三省真所谓伏莽遍地，于是袁世凯向军机建议，将张勋调为奉天行营翼长，节制三省防军。这阳尊而阴抑，因为“节制三省防军”这个衔头，有名无实，三省的新军，听命于北洋，张勋指挥不动，原有的省军，总计四十多营，各有地盘，张作霖、冯德麟、吴俊陞等人，那一个都不好惹。张勋亦很知趣，因而得以相安无事，也因为颇有人传说，张勋跟一直横行如故的