死后，爵位本由常茂继承，但因为常茂获罪在洪武二十一年朱元璋让其弟常升替代常茂继承了常遇春的爵位，并改为开国公世袭罔替。

可后来常升很是倒霉卷入了蓝玉案，这场大案牵连了一万五千多人，常家本就和蓝玉是亲戚，再加上当时太孙朱允炆并非原太子妃常氏所出，为确保朱允炆顺利继位，朱元璋高举屠刀杀了许多人，刚袭爵没多久的常升也死在这场大案之中。

常升死后，家族虽没被灭，但爵位却没了，常升年仅七岁的儿子常继祖被朝廷安置在云南由沐家看管，直到孝宗时期常家后人这才被召回京师，此时已是常继祖的孙子常复了，念在其祖的功劳，孝宗给了常复一个锦衣卫指挥使的世职，这个职务并没什么实权，仅仅只是虚职待遇罢了，而且孝宗也没恢复常家的爵位。

一直等到世宗时期，嘉靖十一年这才复封了常复的曾孙常玄振封为怀远侯，怀远侯的爵位就此传了下去，之前怀远侯是常延龄的父亲常胤绪，常胤绪一年多前因病去世，由其子常延龄袭爵，并领南京军府。

常家虽然没落，但常家再怎么说也是开国功臣的后代，大名鼎鼎的常遇春的后裔。仅此在勋贵中的地位可是不低，只不过当年受了蓝玉案的牵连常家丢了爵位，足足百年后这才复了个怀远侯的世爵罢了。

常延龄虽是怀远侯，又领南京军府，但他并没什么实权。所谓的领南京军府不是掌控南京军队的最高指挥官，要知道南京的军权都在南京兵部和地方卫所手里，领南京军府只是五军都督府的职务，按照朱元璋的制度原本左军都督府管辖应天、辽东、山东、江浙一带，但现在早就没了统兵的职权，所以这个官品级虽然不低，但却也是虚职，换而言之就是一个给勋贵养老的官职。

但就算如此常延龄也是大明顶尖勋贵家族的一员，是当今的怀远侯，在勋贵集团中影响力不小，而且勋贵集团各家世代联姻，大家打断骨头连着筋