聚众斗殴导致双方都有轻伤，双方都要从重处罚。聚众斗殴是行为犯，不以伤害后果为立案前提，伤害后果只是从重量刑的一个情况。
法律依据：
《刑法》第二百九十二条【聚众斗殴罪；故意伤害罪；故意杀人罪】聚众斗殴的，对首要分子和其他积极参加的，处三年以下有期徒刑、拘役或者管制；有下列情形之一的，对首要分子和其他积极参加的，处三年以上十年以下有期徒刑：
(一)多次聚众斗殴的；
(二)聚众斗殴人数多，规模大，社会影响恶劣的；
(三)在公共场所或者交通要道聚众斗殴，造成社会秩序严重混乱的；
(四)持械聚众斗殴的。
聚众斗殴，致人重伤、死亡的，依照本法第二百三十四条、第二百三十二条的规定定罪处罚。
