军权，雍正老早就想收回来了，只是不好开口。现在隆科多自己提出，那是求之不得。雍正让隆科多的对头巩泰接替了这个职位。隆科多显然比年羹尧更懂得官场的进退，但是退得还不够，对雍正这样的皇帝来说，远远不够。

在惩办年羹尧的时候，雍正就想把隆科多捎带一起办了，雍正曾经说隆科多故意阻挠查办年羹尧的官员，还说隆科多跟年羹尧一样贪污欺诈不知感恩，而且揽权结党。他甚至对官员们说：“像隆科多这样的小人，见了他之后完全不必跟他讲礼。”

雍正三年五月，雍正发动大家集体攻击隆科多，到了六月，隆科多的儿子和年羹尧的儿子同时被惩罚。第二年正月，雍正让隆科多去阿尔泰岭，跟策旺阿拉布坦谈判，之后再和俄国使者讨论两国的疆界。在与俄国人谈判中，隆科多坚决要求俄国归还属于中国的领土。就在隆科多谈判之时，雍正在隆科多家里发现了“玉牒”，这是记载皇家宗谱的东西，非常神圣，除了宗人府，外人是不能查看的。隆科多私藏玉牒，属“大不敬”之罪。当时有大臣建议雍正等隆科多谈判完了之后再修理他，但雍正觉得外部问题远远没有内部问题重要，下令将隆科多召回，治罪。

隆科多离开后，中方代表不能坚持国家的利益，向俄国作出了许多让步，贝加尔湖一带和唐努乌梁海以北的大量原本属于中国的地区划归俄国。雍正急于置隆科多于死地，显然不想让他在外交中立功，到时候让自己收拾起来不方便。

十月，诸王大臣们给隆科多罗列了四十一条大罪，大不敬罪五条，扰乱朝政罪三条，奸党罪六条，不法罪七条，贪婪罪十六条等。雍正下令将隆科多永久监禁，禁地设在畅春园附近，这是很有象征意义的，当年你隆科多就是在畅春园拥护我起家，知道我太多的秘密，现在我就让你在畅春园终老，让你体会因果循环的滋味。

雍正六年六月，隆科多死于禁所，隆科多死之前