上海工人第二次武装暴动后，军阀和资本家吓破了胆，到处组织保卫团。于是，区委决定派人趁机打进去。对此，周恩来对所派的党员道：“我们要进行训练，可是不能公开，很受限制，因此，我们才决定派一部分同志打进去，既夺取一部分武器，又能利用公开身份进行训练。”
赵世炎接着说：“大家想想看，是让保卫团成为保卫军阀和反动资本家的武装呢？还是我们进去武装自己，得到军事知识，变为保卫工人阶级的武装呢？”
于是，有不少中共党员打入保卫团。
为保证暴动胜利，周恩来等在先进的工人中组织了5000名武装纠察队队员，并秘密进行军事训练。3月20日，区委召开了上海临时市民代表会议，选出了执行委员31人，会议通过了决议，颁布了上海市的施政纲领，产生了革命临时政府。工作积极开展起来。
周恩来、赵世炎、罗亦农等还根据敌人所在地的势力强弱的不同，划分了7个作战区域，即闸北、沪西、南市、虹口、浦东、沪东、吴淞。
为保证暴动顺利进行，切断对上海守敌的各种援助，暴动前10天，铁路工人就举行了大罢工，中断了铁路运输。
当国民革命军进抵龙华时，直鲁联军毕庶澄的3000士兵军心动摇，2000警察更无斗志，时上海的工人和市民群众的革命热情已达顶点。区委认为暴动时机已到，决定发动武装暴动。暴动在7个作战区同时进行。起义指挥部设在闸北宝山路南端的一所房子内。
暴动的重点是闸北区。
3月21日中午12时，上海总工会发布了总罢工令，上海市80万人举行了总同盟罢工。罢工群众纷纷跑上街头，按预定地点集合起来，高唱着“打倒列强，打倒列强，除军阀、除军阀，国民革命成功！”的歌曲。口号声震天动地。接着，全市枪炮声大作，激烈的战斗开始，总罢工转入了武装起义，工人武装纠察队为先锋，广大民众为后盾，按照预定计划攻打各警署、兵营和军队驻地。租界内的工人亦参加战斗。一时间，浦江两岸，枪炮声喊杀声震天动地。徒手工人逐渐夺得了武器，在各路纠察队的攻击下，捷报频传，铁路中断，电话局占领，电报局占领，供电局占领，敌人被包围、溃逃，不少敌人用竹竿打着白旗，以示投降。军警们纷纷脱下制服，换上平民百姓的衣服逃走。
当日下午4时，闸北纠察队消灭了第五区警察署、广东街分署、中华新路警察分所和湖州会馆的敌人。于是，总指挥部便移到第五区警察署。周恩来根据作战形势，将队伍作了适当调配，在战术上也作了必要的改变。
晚上，巷战激烈，据守商务印书馆和天通庵东站的敌人，不时反扑，而北站方面之敌，亦猛烈射击，英帝国主义铁甲车也不时偷袭。
激战通宵进行。时周恩来冒着纷飞炮火，不时地上街指挥。
战斗中，罗亦农一直和总指挥部保持联系，夜间战斗激烈时，他和夏之栩来到离前线不远的联络站里。
经过一天一夜的战斗，到了中午，天通庵车站之敌悬旗投降。2万多人作了俘虏。下午4时，东方图书馆附近之敌大部被擒。
到了下午6时，上海工人在周恩来、赵世炎、罗亦农等领导下，用150杆破旧枪枝，3颗炸弹，血战30小时，全歼3000直鲁联军和2000警察。取得了第三次工人武装起义的胜利，解放了中国的第一个大城市。
白崇禧之人马兵不血刃地进入上海。
3月23日，区委在湖州会馆召开党的活动分子大会。街面上庆祝爆竹声、欢呼声响彻云霄。周恩来从工人纠察队中挑出2700人，用缴获的武器，编成了大中小分队，在各区维持秩序。纠察队成立了总指挥部，指挥部设在东方图书馆。25日，总工会借湖州会馆招待新闻界。赵世炎以纠察队总指挥名义，向报界报告了上海工人三次武装起义的情况。
整个上海沸腾了，男女老少一齐走上街头欢庆胜利，上海又回到人民的手中。
接着，上海市民代表大会召开，选举产生了“上海特别临时政府委员会”，汪寿华、罗亦农、林钧等19人为委员，建立了上海市人民政府。白崇禧、钮永建名字亦在其内，然钮声明不参加，白亦表示反对此举。
时上海市人民政府，实为中共政权了。
3月23日，白崇禧率部进占上海，毕庶澄军仓皇溃退。其逃抵山东后，因其作战不力为张宗昌枪毙。
何应钦率部亦于22日占领镇江，次日推至上塘镇。何亲率第三、第十四师进驻南京。
孙传芳一败江西、二败浙江、三败安徽、四败江苏，其一败再败，而鲁军亦接连失败，直鲁联军士气大落，纷纷退至长江以北。