伍秉鉴看谢绾不再言语，急得跺了跺脚，然后憋出一句，
“鲁公，伍某人在商路上也行走了五十多年，希望您信守承诺。”
然后拱了拱手，颤巍巍的向门口走去。
谢绾看着他的背影，追了一句，
“伍老先生，我一定不让清国沦入万劫不复。”
伍秉鉴停住脚步，转身又对谢绾一躬，随即离去。
1841年3月1日，英军继续向广州进攻，攻占沧州炮台。
3月13日，琦善因议和误国，被押解进京查办。由于新任清英战争总指挥，靖逆将军奕山、隆文尚未到任，杨芳暂领广东军务。
杨芳用女人秽物御敌，结果清军一败涂地。英军逆珠江而上，攻陷沿途炮台，占据广州十三行商馆。
此时广州进行中外贸易的旺季来临，英国和其它国家的商船停泊珠江口外，迫切要求开市贸易。义律也因兵力不足，无法轻易进攻广州。杨芳则因各省调集的兵勇没有到齐，亦不敢轻举妄动。在此情况下，义律与杨芳出于各自的考虑，于3月18日达成临时休战协议。
双方约定：“广州商业应当照常进行，商船应当到黄埔去卸货。省政府不得令英人具结，清国应当照常征收港口税和商税。凡鸦片及其它走私货物，如经查获，应予没收，禁止将人拘留或施以各种惩罚。”这样广州的和平维持了两个月。
在这两个月中，“姚巡捕等将女子剃发，并跟班送进（杨芳私宅）。杨芳之兵在外嫖者，将麻疯婆应之，两月以来，官兵之染麻疯者不少，而杨芳之子在外嫖者过于杨芳，时服药尚不能好。”
这种紧张的局面，还能玩儿女人，也是很沉得住气。
4月14日，在虎门陷落两个月后，奕山一行才抵达广州。
奕山为道光帝侄儿，此前任伊犁将军。奕山以“粤民皆汉奸，粤兵皆贼党”、“防民甚于防寇”，另在福建招募未经训练的士兵，又日夜饮酒作乐——此人比起同为满人的琦善，又荒诞多矣。
5月初，各省开赴广东的一万七千援军亦陆续抵达，合原驻之兵，广州清军达到两万五千。道光以为大军云集，着奕山“迅速督饬兵弁分路兜剿，务使该夷片帆不返”，“全将该夷驱逐，各地尽行收回”，一再督促发兵攻剿。
在道光帝的严令催促下，奕山等谋划夜袭、偷袭、火船等战术，突袭英国商馆、战舰，略有小胜，但给周边民船造成的损失更大，英船倒是一艘都没有沉，只是略微退避。
5月22日早晨英军两千四百人反攻。清军三路军队一哄而溃退；英军以蒸汽帆船一艘进至泥城港，施放火箭，烧毁聚泊在港内的清军师船、火艇六十余只。
23日，义律发出告示，限清军十二小时内退出广州城，否则就要率兵占据城池。当晚，英舰二十三艘开进虎门，掳掠战船和民船五十多艘，溯珠江至广州城下，炮攻西炮台、天字码头和东炮台，纵火焚烧城外民房。
24日，英军在广州登陆，清军望风溃逃，从广西采运而来的木筏材料和三十余艘油薪船，尽落入英军之手，英军乘势占据泥城炮台。一路从十三行商馆区登陆，占领商馆。奕山下令紧闭城门。
25日，英军继续登陆，扫除沿途的障碍。当日占领广州城北越秀山上的四方炮台，炮台清军阵亡五百名。
英军包围广州，在高处架炮轰城内，击毁两个火药库。
令人啼笑皆非的是，战局如此紧张，南海义勇和湖南兵却在广州东门校场发生大规模械斗。
四天之内，广州附近要地全失，城外大火，奕山指挥一万八千人尽退城内，秩序大乱。
5月26日上午，广州竖起白旗，奕山派广州知府余保纯出城向英军求和。英军以死九人，伤六十八人代价击败两万清国军队。
这一战绩，谢绾并不感到惊奇，但对南洋诸势力极其震撼。
欧洲各国突然发现，从前那个看似不可撼动的大陆帝国，原来千疮百孔，如此不堪一击；
亚洲各国，包括清国的附庸国，都感到来到了巨变的前夜；
伍秉鉴等广州十三行的官商，明白自己垄断清国对外贸易的日子，基本是掰着指头倒数了。
南洋的华商们，彻底放弃了投靠清国的心思，开始认真思考报团取暖。
自从达成一体防卫的协议后，婆罗洲华商各自出兵，凑齐了五千青壮年，开始在宋插派出的华裔军事教官的指导下严格训练。
南洋华裔青年们粗野胆大，但纪律性极差，若没有规范的训练，那也就只能打打群架。好在宋插的手下曾经也是海盗，在莱茵经年累月受正规军训练，又参与了自普法战争以来的历次战争，对付这些人也算顺手，“唐人火器营”日渐成型。
1841年5月27日，义律与奕山代表订立《广州和约》，规定：中国钦差大臣和军队于六天内退至广州城外六十里地方，事件未解决前，不得设防，赔偿英国商馆损失三十万银元；一周内缴出赎城六百万银元，交清后，英军才会退出虎门。
奕山被打怕了，协议一签马上就率部撤离广州，临走还勒索广州商家向英军支付六百万银元的赎城费，身在暹罗的伍秉鉴命其子伍崇曜出了八十万银元。
收钱后，英军纪律不佳，随后引发三元里乡民抗英。两千英军因下雨火枪失灵，被乡民围攻，死伤二十人，广州知府劝乡民解散无果，广东民间反英组织纷纷成立。
自此后，官府怕洋人，洋人怕民众，民众怕官府的怪圈成了清国对外交往的特色。
《广州和约》这种协议就是个彻底失败的协议，照实汇报，奕山没法向皇帝交代。于是他撒了一大堆谎来美化。
首先说停战是广州居民呼吁和平，英国人诉苦，请“大皇帝开恩，追究商欠，俯准通商，即退出虎门，不敢滋事，”所以才暂准所请；
然后赔款被他捏造成行商债务六百万元，除自筹两百万外，余由库贮拨借，分年归还；
其后，清军退驻广州城外被他捏造成弹压土匪，且天热雨多，亦不得不择地安营；
他甚至还虚报战功，将广州战役的惨败说成大胜。
如此种种弥天大谎，举棋不定、忽剿忽抚的道光其实也心知肚明，但事己至此，只好打落牙和血吞。
他也不再提禁烟，不敢提痛剿，只是命令支援广州的各军撤回原伍，沿海防守官兵裁撤。只求清英关系安稳，英军赶紧退去。
就连伍秉鉴都觉得，英军退去已成定局，既然谢绾又没做什么事，是不是该把那些钱要回来。正琢磨怎么跟谢绾打对台，清国的更大祸事来了。