10月19日凌晨，日军混成第4旅团以两个中队佯攻黑旗军正面阵地，伏见贞爱亲率7个中队从曾文溪上渡涉渡，于晨5时逼近黑旗军右翼，发起猛攻。守军急起应战，拼死抵御。徐骧率部与敌激战，大呼：“丈夫为国死，可无憾！”不幸中炮牺牲。总兵柏正材随之阵亡，王德标下落不明，林义成、简精华突围而出，守军战死200余人，伤者更众。
与此同时，从南部登陆的日军第2师团所属第3旅团直逼台南后路，台南完全陷入日军南北夹击、三面包围之中，危在旦夕。10月18日，刘永福召集部将会议，决议“退守关帝庙庄，据山以守”。次日，曾文溪失守消息传来，刘永福到白莲庵求神问签，“见签语不佳，郁郁不乐，仍无决断主裁，且粮饷已罄，人心已变，将有哗溃之虞”。适两广总督谭钟麟派人带信来，促刘永福内渡。刘永福“睹此情形，无论如何，拼死亦要内渡回也”。当夜，刘永福率其子刘成良及部属10余人乘英国商船的“爹利士”号内渡厦门。日舰“八重山”闻讯追赶，在厦门口外约20公里处赶上。因刘永福藏于船长舱内，躲过搜索。10月22日，刘永福在厦门上岸，后赴广东。