张世杰闻讯勃然大怒，连与之一向不对付的陈宜中等人也叫嚣，要以雷霆手段严惩广州军民的悖逆不罪。正当他们率船队往广州城进发之时，军中斥侯报来了两条紧急军情。前一条称播州军已派一个团进驻广州，加上霹雳军商团组织的义军，守军已过万人。后一条称琼州方向已来了一支霹雳军船队，船只数量在三百艘上下，其中过半为大船，不少还配有火炮。这两条军情让张世杰明白，广州城怕已投附霹雳军了。他那点军力，在霹雳军面前根本没有一合之力。悻悻之下，他只得下令他船队前往雷州。
果不其然，三日之后一封急件送到了张世杰手中，信件的主人杨邦宪。信中杨邦宪告诉小朝廷，包括广州在内的广南东路已归附霹雳军。赵氏气数已尽，唯有顺应天命才能苟全性命。这封信让包括陆秀夫、陈宜中等人大骂不已，在他们看来播州杨氏世受皇恩，在危难之时有责任匡扶赵室，还应大义灭亲与霹雳军一刀两断。张世杰等军将们却一脸黯然，这些腐儒官员只知道经书道德，却忘了政治是凭实力说话的。与清流官员相比，他们并不恨霹雳军，如果没有霹雳军这支汉人武装，小政权剩下的几万军民恐怕早被伯颜的伪军追杀殆尽了。
冷静之后，小政权高官们开始讨论下一步何去何从。雷州炎热干旱，虎狼猖獗又疫病流行，本是临安犯官罪人的流放之地，让江南的达官贵人们很难适应。缺医少药之下，不少兵卒和随行的家眷也纷纷病倒。更重要的此地人烟稀少，所产粮食根本无法供给数万人之需，甚至连饮用淡水也匮乏，实在不是长久之地。除此之外，船队所带的盐、铁、布等各种生活物资也快消耗殆尽。这些物资当然可以到附近的州县采购，可小政权建立之后便没有稳定的税收来源，府库早已见底。
陆秀夫自请为使者，欲前往扬州面见欧阳轩，要求霹雳军退回巴蜀和长江以北，将江南诸路土地退还赵宋政权。如果欧阳轩不同意，退而求次之则让其覆行承诺，实行君主立宪，至少要让赵氏皇室成为天下之主，与他持相同意见的还有一众清流官员。在他们看来，霹雳军是赵宋政权的臣属，不听号令已是大逆不道，只有悬崖勒马才是正道。清流之中文天祥要务实许多，他提出的建议是霹雳军划出十余州府作为赵氏皇室的安身之地，延续赵氏的统治。他在江西兵败之后，一路颠沛流离终于找到了张世杰一行。到达雷州半岛之时，他已是面黄肌瘦衣不蔽体，身边的随从也只剩下了几人。
陈宜中及其党羽对深知霹雳军对他们的腐败深恶痛绝，在新政权中也不会有一席之地，故他们的意见是前往海外寻找乐土。霹雳军能在找到海外大片领地，小政权有船有人还有数千军队，自然也去得，到了海外自己仍可以过着人上人的生活。按照陈宜中的想法，南洋地区是最合适的去处。虽然距离最近的交趾已成为霹雳军行省，距离稍远的占城和吕宋等王国倒也可以，这些王国以前可是大宋的藩属国。