入西瓯南夷，而李由一军，则从庐江郡南野进入西瓯南夷，一路凯歌高进，却也战绩辉煌。设立百越四郡后，因为战事初平，屠睢便让章邯一军盘踞在苍梧一带，以防范象郡、桂林郡的骤变，让李由一军盘踞在龙川一带，以防范南海、闽中的骤变。桀骏夺取番禺围攻其他两郡时，这两军都在做着凯旋班师回朝的准备了，仓促应对，如何能行？都被策应的西瓯族人凭借着关隘之险，阻拦在外，动弹不得，无法施援，有如虎入狭地，难以施展。而糟糕的是，因为相互擎肘的原因，更让这支远征虎师难有作为。章邯部与李由部，均是自成一脉，互不听唤，缺乏配合，情况可想而知。在折损不少兵力之后，唯恐被西瓯南夷形成合围之势，都先后退出岭南，章邯军退守在九嶷要塞、阳山关一带，李由军退守在横浦关一带，守住出入关隘，休整待命，再行动作。
兵饷亏空走失案，事发在章邯、李由退守岭北之后。战事失利，让赵佗、任嚣、史禄、章邯、李由等人齐聚在长沙郡守的衙内，分析原因咎过，总结经验教训，商讨下一步计划打算，当然，最紧要的商议还是，这上报朝廷的奏章该如何拟写。
章邯当即提出，粮草兵饷供给不足，本该配发的兵饷，一直没有到位，险些造成兵士哗变，致使其部无法及时挥师救援，待筹备一通后，要道关隘已被西瓯部族占守，错失良机。史禄当即一惊，兵饷早已配发，如何说至今未至。双方一对帐核查，有一笔十万两的兵饷是最后一批配发的，已由章邯的粮官陈风等人持章邯签批的领饷凭条到史禄的督运处领走，史禄处有凭条为据，可章邯却口口声声地说没有收到，虽差派过陈风等人前去领饷，但至今未归。此事极为可能是陈风等人携饷潜逃，便追查下去，最后，却在章邯原驻军的苍梧营地旁，发现了陈风等人的尸骸！于是，军中谣言四起，都说章邯杀了陈风等人，却贼喊捉贼，意在私吞兵饷。赵佗、任嚣、史禄不敢怠慢，先将章邯软禁起来，然后急报朝廷定处。
这对于始皇来说，无异于当头一棒。章邯贪占兵饷，远比西瓯南夷兵事失利，对他的打击还要更大。他寄托在章邯身上的希望太大，他不仅想将章邯栽培成一位杰出的将才，还想让他担负起重建大秦网间监的重任。如果兵饷亏空走失案确系章邯所为，那意味着始皇这些良好的愿望，终将化为泡影！
除了这些扫兴的事情外，还有一件事情，也被始皇视为疥癣，痒痛不止。卢生向他许诺的一年炼成不死仙丹，却一直没有兑现。期限行将届满之时，卢生突然向他奏请宽延二年期限，理由是，出现了五星连珠的天象，以此禳除恶兆。始皇听他说得有理，只得应允。但眼见不死仙药又要得等上一等，心中终是不快。
孟姜女哭倒长城和百越战事失利，弄得人心惶惶，而五业并举，已使朝廷府库空虚，许多朝臣忧心忡忡，纷纷上奏折劝谏，要始皇暂罢长城、直道、巨宫、陵寝的修建，积敛赋税，充实国力，待集中精力平息百越之后，再行兴建之举。始皇对此不置一词，也不交付廷议，却是一直不做回复。