潘祖收徒弟三十六人，合八仙、二十八宿、三十六天罡之数，总计七十二人，成为七十二地煞。这三帮的徒弟，犹似大族的叔伯弟兄，帮中称为大房、二房、三房。

三祖师分帮承运，八省调兑，自称为“粮米帮”，又名“漕帮”，外人则称之“青帮”或“清帮”。帮中立下二十四个字派：“清净道德、文成佛法、能仁智慧、本来自性、圆明行理、大通无学”，三房弟子，均依家谱字派起名。同时在杭州拱宸桥，运河起点建立家庙及粮帮公所，订立十大帮规、香堂仪式、孝祖规则、五戒十条、家法礼节。缺席大备，势力日增。

但不知如何，亦可能是三房势力太大，兼以播祖是杭州人的缘故；翁、钱二祖忽萌去志，要作塞外之游。潘祖苦留不获，只得含泪送别；从此由潘祖—个人“领帮行运”，而帮中亦就全是“三房”里的天下了。

过了两年，潘祖见两位师兄云游未归，思念不已，亲自到口外寻访，毫无下落。于是转道五台山去参陆祖——五台山分东西南北中五台；北台华严寺以北三里，有座紫霞洞，为安清、陆家庙以外的另一处“圣地”，因为相传帮中金、罗、陆三祖，都在此处修道。

到了紫霞洞拜见师父，叩询两位师兄的下落，罗祖开示：他们俩已有极好的结局，无庸寻访。同时赐潘祖“天书”两部，一部叫“定国天书”、一部叫“石匣天书”；以后连同历代祖师遗像、家谱，以及各种经典，一起秘藏在家庙第五进的藏经楼上。

当时潘祖已知翁、钱已经下世，肉身未能觅得，只好回到杭州，在拱宸桥粮帮公所附近，觅地建立两座衣冠冢，岁时祭扫，略申心意。当然，由此开始潘祖受三房弟子的公请，统带全帮；正式“定于一”了。

这样到了雍正十三年六月初六，潘祖的粮船经过黄河枫林闸下，忽起飓风，一时天昏地暗，波涛壁立，大小船只翻覆沉没的，不知几几，号陶呼救，惨不忍闻；潘