他本该姓穆，父亲是都察院的御史穆钧，母亲江宝卓出身平平，跟穆钧相识于微末。
穆钧深受皇帝的信任，后来被派往江南做巡察使，回来的路上遭遇到了截杀。
当时母亲江宝卓回娘家探亲，随着穆钧一同回京。江宝卓怀有七个多月的身孕，受惊早产，将婴儿交给了一忠诚护卫带着逃命。
除了下落不明的护卫和婴儿，穆钧一行人都死了。
那个婴儿就是霍山牛。
霍山牛是在京郊大营做副尉时，一个偶然的机会，他被人认了出来。
认出霍山牛的是他的亲姐姐穆澜。