开始侬智高所过之处，势如破竹，虽回到邑州，却在大修舟驿，让两广大臣十分紧张，广州新知州魏灌以及广东转运使无绦上书，但凡守御之备，不得芶且为之，想让百姓不得劳，则不能久安。其广州城池，必须募蕃汉豪户及丁壮并力修葺完备。若没有好的御敌之策，但习水战，寇至而斗，乃是不得已之策。
这本来是不错的。
京城诸位大佬们也意识到这个问题，因为对南方不重视，多数地区是花钱买安政策，加上京城禁兵乃是北兵，不习南方天气，往往迁徙到南方屯扎，多死伤，所以一直屯兵少，多数城防不完，这也是侬智高势如破竹的关健原因。是侬智高，若是郑朗与狄青朕手，宋朝岭南官场糜烂，郑朗治民，狄青攻城，磨蹭到现在，整个两广早就成了真正大南国。
但是文官不懂啊。
随后侬智高着重拉拢了两人，一个是特磨寨主侬夏诚，这一部让他拉拢成功了，其母阿侬率一骑潜入特磨寨。另一个便是黄守陵，但黄守陵得到余靖的好处，又看到宋军从四面八方聚集过来，心中有些犹豫不决。侬智高不忧，派了一部士卒前去攻击黄守陵，大败。
实际这一战规模并不大，侬智高没有分出主力军队，仅是其中一部，兵力少，又轻敌了，黄守陵既然能让侬智高看重，反复的拉拢，部族也很是强大的，并占着地利人和之利，所以黄守陵获胜。
余靖不懂，以为侬智高士气开始下降才失败的。又看到两广所募的土兵，几营禁兵，从乒南西路与湖南募来的地方士兵，除了留守各城池外，大多数移集到邕州附近，胆色又忽然壮了。
实际造成这一原因，是朝廷对他的磨洋工产生不满，头号主帅如今变成四号主帅，况且来到广南的是狄青，他不想一个武人在自已头顶上指手划脚，心中乒生急迫的心理。
郑朗才正式进入湖南地界，他一行不算慢，但多是步兵，又一路商议两路道路修建事宜，因此进入鄂州后，速度越来越慢。但狄青那一边全是蕃部骑兵，速度很快，又先前出现数天时间，已经率部跨过五岭，余靖想抢功了。
于是指挥部将陈曙发兵昆仑关。
陈曙心情变得微妙，朝廷诏书早就下达，郑朗在两广军队务必羿从郑朗调动，郑朗不在，必须听从秋青调动，若是分部行军，则听从孙沔指挥。余靖虽曾为帅，实际没有指挥军队作战的权利。狄青未到五岭，便让军令官向前线下了军令，前线军队调集布防，但不得任何军队出战。狄青已经离大军不远了，羽沔不久也将来到前线。按理，陈曙不必听从余靖这个命令，但宋朝的官场，狄青仅是一个武夫，有什么资格不给余靖面子？按常理，是听从余靖文官的命令，还是听从秋青武夫的命令？放在宋朝任何一个官员身上选，都会作为一个简单的选择。同时他心中也产生了争功的念头。
于是陈曙不顾狄青的命令，率领八千人马杀向昆仑关，作为一名武将，他比岭南一些闻贼前来立即弃城而逃的文官要强，但作为武将本身，还不如葛怀敏。大军行到金城驿，从昆仑关向东路有一系列的驿站，即将来到的归仁铺是第二驿站，金城驿还在归仁铺东北。
陈曙命令三军扎营，他治军素无威信，一旦扎营，兵士在军营里又没有娱乐活动，而且还是一群杂牌军，一起聚集起来开始赌博，骰子掷个不停，广东话，广西话，江西话，湖南话，还有少量禁兵所说的北方官话，天南海北的兵士，一个个捋起胳膊肘儿，赌得忘手所以。
侬智高派人刺探到这支军队的情况，率领大部军队驰出昆仑关，飞快扑向宋军大营。闻听贼军突然扑来，陈曙不知所以，只下了一道命令，让王承吉将从宜州召集来的忠敢兵五百人停止赌博，聚集起来为先锋迎敌。至于其他的兵士，传令官在喊话，大多数赌得正在兴头上，命令都没有人听。即便忠敢兵也好不到哪里去，一个个恋恋不舍的收起钱，骰子，懒洋洋地穿盔甲。盔甲还没来得及穿好，侬智高军队到了。还怎么打？八千人几乎全军覆没，王承吉与徐噩皆战死，只有陈曙与少数将领逃了出来。
郑朗闻听后，虽早有准备，还是大怒，写信狠狠地斥责余靖，君欲何为？若坏我事，沙门岛当候君也。
宋朝也有劳改营，刑法志里明文规订，配隶者重者沙门岛寨，其次岭表，其次三千里内至邻州。自李世民放死刑犯回家后，宋朝大多数君主将李世民这一胡闹的做法当成典范，对死刑犯格外重视，往往需要皇帝亲自批注，才可以执行死刑。余者多以流放为主，轻者送到家乡附近的劳改营劳改，家人还能时常看望，若家中有钱，打点一下好处，家人能得到照顾，甚至管教的军吏说说好话，提前释放。重者便是岭南海南，那么鞭长莫及，听天由命了。最重者便是沙门岛，此岛就是后来烟台的长山列岛，在宋朝与后世一样，也是一个土地肥沃，风景优美的地方，因为岛上庙宇众多，有许多是渔民出海，祈求平安陆续合婆出资兴建的，佛门又名沙门，故称为沙门岛。
不过有一样不同，在唐末后，在此设立一个牢改营，现在叫牢城营，关押着许多重犯，沙门岛牢城营叫沙门寨，监狱长叫沙门寨主。因为隔绝陆地，寨主多变态之人，常以折磨犯人为乐，郑朗为此还发了一条命令，命令前先举六件事，一为长期拘锁，也是那个大枷锁