西摩尔不再幻想几天内便占领广州城，而是做好十天半个月的艰难打算。
见沙角炮台被攻陷，太平水道口的6艘蒸汽炮舰立刻后撤，绕道太平水道内朝珠江上游而去。而躲在威远炮台处的一队军舰本欲往沙角炮台靠近参战，未来得及，此刻见炮台沦陷，便徐徐后撤，重新躲入上横档岛的后方。
西摩尔不愧是名经验丰富的海军将领，在攻陷虎门口东面的沙角炮台后，他并不急于进攻，而是下令那些军舰后撤，退守在威远炮台和下横档炮台射程之外的地方，再往江心靠拢，继而猛扑大角山炮台。
大角山炮台只有数门火炮，自然不敌，没来得及炸伤一艘军舰，便告陷落。紧接着，罗斯下令三个步兵营护卫着一个炮兵营从大角山炮台侧面登陆。
这是珠江口的西岸，可能因为大角山炮台只有数门火炮的原因，知道很快会沦陷，因此中华帝国方面并没有布置多少守军，只是一个营的步兵和大角山炮台撤退下来的二十余名炮手，镇守在大角山上。
双方一番激烈的枪战，尽管中华讨虏军火枪射程更远，但英军的步兵营事如猛虎，不畏生死往山上冲，加上山上树木灌木众多，在远处开火并不能发挥作用，这三百多名讨虏军死伤数十人之后，拼着炸毁了炮台上的2门大炮，便迅速撤离了大角山，往北端的巩固炮台撤退。
在占领大角山炮台之后，罗斯派运兵船连续登陆，增派了近二千名英军和数百野炮手沿江岸一路向北，在巩固炮台前1公里处，再次与驻守的中华帝国二个营的步兵发生激烈交火。
讨虏军依仗地势拼死抵抗，在战死二百余人之后，余部再无战力，主将哭求撤退之下，剩余的四百人不到的讨虏军将士无奈之下，退守蕉门要塞。
罗斯大喜，和西摩尔商议之后，决定次日组织大规模的军舰开始进攻虎门的第二道防线——威远炮台群和江中央的上下横档炮台和永安炮台。
英国陆战队和步兵连夜帮助炮兵搬运从大角山炮台和巩固炮台缴获的大炮，次日一早，便架设在巩固炮台上，炮口朝上下横档岛上的三座炮台开火。
巩固炮台的丢失，让讨虏军方面大受损失，关键并不是巩固炮台上的8门大炮，而是让英军得到了一处直接躲入炮台炮击江中的上下横档炮台和永安炮台的机会。
江中的三座炮台，均是面朝下游的江面，对于巩固炮台并无专门的防御设施，甚至连调转炮口都极为艰难，造成被动挨打的局面。经过半天时间的炮击，上下横档岛上的除上横档炮台因为在岛屿的东侧只损失二处炮眼外，有7门火炮的下横档炮台和6门火炮的永安炮台全部沦陷，岛上的二百余名讨虏军士兵死伤大半，剩余的见事不可为，均躲入上横档炮台继续再战。
到中午时分，见三座炮台基本被攻陷与压制，英军远征舰队除了留守少量军舰守卫运兵船和补给船外，其主力舰队和奥斯曼、荷兰两国舰队一道倾巢而出。在西摩尔和何伯两人的亲自指挥下，分为三批舰队共近六七十余艘军舰，几乎将整个珠江虎门口江面塞满，浩浩荡荡朝上下横档岛的三座炮台以及东岸的威远炮台群发起攻击。
而陆军司令罗斯继续组织运兵船试图登陆上下横档岛，准备还是采取占领炮台，再利用炮台攻打东岸的威远炮台这样步步为营的方式。不过，这次讨虏军吸取教训，立即出动了二十余艘军舰，在大虎山岛后侧以及太平水道的北出口内，开始拼命射击，将试图登陆的5艘运兵船击沉一艘、击伤一艘，其余的艘运兵船连忙逃入后方的英军军舰之后。
而此时，威远炮台前的水面，激战才刚刚开始。