着广州城发起猛攻，为了激励将士们，直接就在城外高台上堆满了金帛财物以激励众将士，只要有人得获先登夺城之功，便可任取钱货。

有了这些实实在在的鼓励和诱惑，这些岭南乡人们也都作战勇猛，每天都要发起大大小小十几场攻城战事，然而城中守军却是顽固异常，屡屡打退攻势，使得广州城迟迟没有被攻克下来。

正当侯安都满心焦灼的时候，他最不想听到的消息也无可避免的传来：唐军的斥候已经出现在了衡州城外，而其主力也正沿东江迅速的向南面始兴方向而来。

眼下广州城还未攻克，诸路唐军却已经凶猛杀来，这无疑是最恶劣的情况。侯安都哪怕再有什么韬略智谋，此际也也是完全的无计可施，只能吩咐心腹留在此间，继续保持对广州城的进攻，而他则率领精锐回援衡州，务求将北边唐军尽量拖延在衡州北面，从而争取更多的时间。

但这显然只是美好的愿望，唐军主将李贤在将岭南山川地形了解一番之后，担心战事拖延到盛夏酷暑、瘴毒蔓延时刻从而增添各种非战斗性的减员从而打击到士气，李贤便没有选择按部就班的向前推进。

他让主力步兵沿豫章水、东江等传统水道向南推进，自己则率领五千精骑直接翻越南岭，绕道衡州以南，本意是联结广州方面的师旅提前向衡州发起攻势，并且截断侯安都的退路，却不想直接将准备回援衡州的侯安都拦截于途中。

侯安都于境内骤见唐军师旅，心中也是惊愕不已，还道衡州已经被唐军攻夺下来，方待引众再次撤回广州城外与大军汇合，然而既被唐军精骑盯上，又怎么可能任由其轻易逃脱，一路衔尾追杀，直将侯安都一众杀得狼狈逃窜，最后只是凭着对地势的了解而向西南方向进行撤离。

通过对俘虏的审问，李贤也了解到如今广州方面比较围困的局势。略加权衡之后，他便没有回返衡州附近与主力会师，而是选择直接救