后，虞庆则对赵什柱说：“此诚险固，加以足粮，若守得其人，攻不可拔。”这个地方非常险峻，只要囤积足够多的粮食，再有一个能人防守，绝对是易守难攻啊。

听他这么一说，赵什柱几乎高兴得跳了起来，你说这里易守难攻是什么意思？这不分明是想借这个地方造反吗？本来我只是要告你怠慢军务，就可以了，力度也不够大。现在你居然让我抓住了这么一个大把柄，那我还不如干脆告你谋反！

这样一想，赵什柱就开始用计了。他对虞庆则说，咱们离开朝廷的时候，陛下似乎对你有点不满，也不知是为什么，要不要我先替你到京城打探一番？你也别急着回去，就在这里休息几天，等我探听好了情况你再启程，无论怎样，心里要有个准备。虞庆则一听不无道理，就让他先回去了。

结果，赵什柱一回到京师，马上就向隋文帝汇报：虞庆则认为潭州易守难攻，想在那儿谋反，所以这几天一直逗留不回，我冒死前来向陛下汇报！

隋文帝一听，不由不信，马上就派司法部门去调查了。调查证明，虞庆则确实说过易守难攻的话，也确实在潭州逗留。这也就印证了赵什柱所说的话。

那么，隋文帝怎么处理虞庆则？他根本没给虞庆则辩驳的机会，就以谋反罪把他处决了。一代名将，近二十年的宰相，就这样死于非命。

可能有人会说，就算如此，也不能证明隋文帝猜忌吧？没准儿他是被赵什柱蒙蔽了。其实不然。虞庆则的案子，只要稍微调查了解一下，就能够证明孰是孰非。但是，隋文帝居然既不调查研究，也不给虞庆则辩白的机会，而是一听传言，马上杀人。这是什么心态？这就叫宁可错杀千人，不可使一人漏网，本身就是一种猜忌之心。

事实上，当时不光是虞庆则被杀，“四贵”之中的其他三贵也都没有逃过被猜忌的命运。其中，高颎因为太子事件被罢官，杨雄因为人缘太好而被架空