东方图书馆是敌人军需处所在地。这里又处在宝山路中段，是总指挥部和北火车站间必经的要道，地理位置十分重要。驻守的敌军虽只有一个排的兵力，但凭借四层楼的钢筋水泥建筑，并配备有两挺轻机枪，子弹充足，易守难攻。起义前，工人纠察队先去察看，已引起敌人注意。总攻一开始，敌军以密集火力顽强扼守。工人纠察队牺牲三人，受伤一人。许多工人急了，准备利用梯子和搭起的桌椅爬越围墙，向里硬冲。这时，周恩来赶到了。他立刻加以制止，说：你们这样上去跳墙，容易暴露，牺牲太大。他细心地察看地形后，决定为了减少伤亡，改用“围而不打”的办法。在它对面的商务印书馆三楼上部署火力，严密监视。见敌人一露头，立刻猛烈射击。并要纠察队在东方图书馆东侧另挖一条一百多米的交通壕，来保护总指挥部同北火车站之间的交通线。他说：我们打下北站，这个孤立的据点，敌人自会放弃的。
这样坚持了一天。到天通庵战斗结束后，原在那里参加战斗的工人纠察队开到东方图书馆来。指挥部用广播喇叭宣传天通庵的战斗已经结束，劝告守军投降，否则要用炸药爆破了。下午4时半，敌军用白毛巾扎在竹竿上伸出墙外，表示投降，并停止射击。工人纠察队由于缺乏经验，没有懂得对方悬挂白旗的含义，仍在继续进攻，又牺牲了6个人。这时，周恩来又来了。他立刻命令停止战斗，接受对方投降。总指挥部随着也迁入东方图书馆。
这时，敌人在上海只剩下最后一个、也是最强固的据点——北火车站。敌军在这里的守备力量很强。北站的屋顶上设有重机枪阵地。西面铁路上停着白俄雇佣军的装甲火车，配备有迫击炮两门。在宝山路和河南北路交界处，还有帝国主义租界当局设下的重机枪阵地。周恩来在起义队伍占领第五区警察署后，就开始指挥对北站的围攻。为了尽可能减少伤亡，他作了周密的部署，在虬江路到北站间修起三道防御工事，以便逐步接近并包围敌人。黄昏后，敌人的炮火射击，引起宝山路东侧的居民住屋着火。火借着风势，延烧开来。居民扶老携幼，纷纷抢衣物，一片号哭声。周恩来考虑到居民的安全和敌人可能乘机出击，立即赶到现场，一方面组织工人救火，帮助居民抢救财产，有秩序地转移，另一方面加强前线火力配备，严密监视敌人的动向。果然，敌军乘这个机会发动出击，准备突围，工人纠察队被迫后退。在这千钧一发的时刻，周恩来亲自指挥一支突击队冲上去，会合前线纠察队猛烈回击，把敌人打回北站，夺回了防御工事。在火力掩护下，救火工作也顺利地完成了。
第二天，周恩来又到前沿检查工事，并同纠察队员们一起扛木料，修工事。突然，一颗炮弹落在附近。周恩来立刻卧倒，全身溅满了泥灰。他毫不在意，掸去身上的泥灰，继续帮助整修工事。一个纠察队员对他说：总指挥，这里是前线，你的指挥位置不在这里。周恩来笑着说：当指挥的怎么能不来？你们不是同样很危险吗？
周恩来就是这样越是到关键时刻，越要亲自到第一线直接观察和指挥。
22日下午，毕庶澄看到大势已去，悄悄地换上便服，逃进租界。敌人的残余部队军心涣散，已近土崩瓦解。5时，按照总指挥部发出的紧急通知，沪东、沪西、闸北的工人纠察队分三路到虬江路宝山路口集合。队伍会合时，周恩来站在三岔路口的高地上，面对散去的硝烟，先向大家通报了各区敌人已先后被消灭的情况，接着抬高嗓门说：现在敌人2000多人集中在这里，被包围了，逃不掉了！他们坐火车也不行，因为火车头早开走了。若想从吴淞口出去也不行，因为天通庵的敌人也被我们解决了。他最后向全体纠察队员下了发动总攻的命令，要求在6时以前攻占北站，结束战斗。各路纠察队员听了周恩来的一番话士气高涨，立刻向北站发动猛攻。6时，敌人的最后据点——北火车站被攻下了。当天，上海人民代表会议选出了由共产党人罗亦农、汪寿华等，以及钮永建、杨杏佛、虞洽卿、王晓籁等组成的上海特别市临时市政府。
经过连续30小时的战斗，上海工人第三次武装起义终于取得辉煌的胜利。开始时虽只有5000多名工人纠察队员，150杆破旧枪支和少量手榴弹，但由于周恩来等起义指挥人员事前作了周密的部署和准备，包括军事训练和武器补充，又抓住有利时机坚决果断地发动起义，不断夺取敌人的武器来武装自己（前后共缴获步枪3000多支），有计划地扩大胜利成果，终于打败5000名反动军警，依靠工人阶级自己的力量解放了上海。
上海是帝国主义侵略中国的中心，也是中国最大的经济和工业中心。上海起义的胜利，是对帝国主义和军阀的反动统治的严重打击，充分表现了中国工人阶级的力量。这是中国革命史上的光辉一页，也是世界工人阶级武装起义史上有数的成功记录之一。作为这次起义的总指挥，周恩来坚决果断、细致周密、从容沉着、指挥若定的领导才能得到了充分的展现。
毛泽东说：“政权是由枪杆子中取得的。”
八七会议上，毛泽东当选为党中央临时政治局候补委员。瞿秋白曾要留毛泽东在中央工作，但毛泽东表示：我要上山去结交绿林朋友，去农村开展土地革命斗争。
北伐军自出师以来，采取集中兵力，各个击破，长驱直进的战略方针，兵分三路从广东向北挺进，至1926年底，先后占领了湘、鄂、赣、闽、皖、浙等省的全部或大部，打垮了吴佩孚的主力，歼灭了孙传芳部十余万人。中国共产党直接领导的叶挺独立团，作为国民革命军中最精锐、最勇敢的部队，在夺取汀泗桥、贺胜桥和攻克武昌等重大战役中，起了重要作用，为北伐战争立下了丰功伟绩。
北伐战争的胜利进军推动了工农运动的迅猛发展，工农运动的迅猛发展，反过来又支援了北伐战争。至1927年春，除周恩来领导上海工人举行第三次武装起义外，在广东原有几千武装工人纠察队的基础上，湖南、湖北、江西等省工人也都建立了工人自己的革命武装——工人纠察队。除毛泽东领导的湖南农民运动外，湖北、江西、广东等省的农民运动，也势如破竹，掀起轰轰烈烈的农村大革命，给革命战争的发展以极大的推动，从根本上动摇了帝国主义和封建势力的统治基础。
北伐战争的胜利进军和工农运动的猛烈发展，给帝国主义和封建势力以沉重的打击，革命与反革命的斗争日益尖锐，隐藏在国民党内部的新军阀蒋介石集团日益形成，对革命事业的发展造成严重威胁。但是当时中共中央总书记陈独秀等，对蒋介石不断扩大反动武装力量，不但不采取措施加以限制，反而认为他们是“新生的军事势力，在他们的思想上，行动上，无一不表现是民族资产阶级的武装之形成，这是我们所万不应忽视之中国民族运动中新发生的现象”。因此，在军事工作中虽重视了政治工作，却忽视了对军权的掌握，对资产阶级右派的反动气焰一再妥协退让，拒绝接受发展农民武装和扩大我党直接领导的正规军队的正确意见，放弃了党对武装的领导权。
早在1926年3月，中山舰事件后，蒋介石的反共面目就已开始暴露，任弼时等竭力主张在北伐军中建立党和团的组织，“庶使国民党或蒋介石等将来反共后我们还可以取得一部分武装的士兵群众，并且我们若是在军队中有了势力，也就可以阻碍蒋介石等的反动”。但陈独秀不许这样做，理由是“我们既与国民党合作，那么就不应当引起国民党不放心于我们。因为现在军队中已经有了国民党的组织，倘若又组织CP、CY，其势必引起与国民党（在）军队中的冲突，而至于动摇其军队，并且引起老蒋对我们的怀疑和不安”。
1926年7月，中共中央四届三中全会（扩大）决议规定，农民武装“不要超出自卫的范围”，“不可有常备的组织”。甚至提出要更改农民自卫军的名目，以免引起反革命派的“误会”和“嫉视”。同年12月，在汉口中共中央特别会议上，陈独秀认为，现在不是武装民众的时代，而是武力与民众合作的时代。他说什么“惟有督促其（指国民党和国民政府——笔者注）实行武力与民众结合继续向敌人争斗，才能挽救民众日益向左，武力政权日益向右之危险的现状”。提出要“维持国民党军事首领势力之平衡”，主张把军权交给蒋介石和唐生智，企图利用蒋、唐、汪（精卫）之间的矛盾，保持三者之间的“均势”，以求继续维持革命统一战线的局面。这种做法，实际上更加助长了蒋介石反动气焰，使其继续控制着北伐军的军权。
1927年4月，中共五大虽然批评了陈独秀忽略同资产阶级争夺革命领导权的右倾错误，在决议中强调了无产阶级在民主革命中的领导权，提出了“组织农民自卫军”和建立“工人纠察队与武装”的任务，但对如何实行这些决策没有提出任何切合实际的办法，组织农民和工人武装的任务，也未得到落实。
当时，蒋介石反共态度已明显，可是中共中央却无军事应变的准备，结果4月12日一个早晨上海工人纠察队就全被缴械。广东区委也未估计到四一二事变比预想的时间提前，广州的工农武装在激战后或散或撤。黄埔军校内我党组织事先只得到保持镇静、提高警惕的通知，未作武力抵抗的准备，以至于沙河和校本部先后被围，学生和入伍生被缴械，并被捕去400多人，熊雄、萧楚女等都被杀害。4月初，我党在武汉已筹好扩充一个师的人员的饷械，陈独秀却以自己建军太引人注意为辞，取消了此计划。随后，周恩来等提出东征讨蒋，又未被采纳，使蒋介石有时间得以在长江下游地区站稳脚跟。
5月21日，许克祥在长沙发动“马日事变”，湖南省委临变惊散，失去领导的工人纠察队和黄埔长沙分校的革命师生被缴械或跑散，旬日内湖南省内的农军也纷纷溃散瓦解。此时，叶挺率二十四师及由武昌中央军校和农讲所学员组成的中央独立师，在打垮夏斗寅部后，乘胜进至鄂南，造成直下湖南挽救危局的机会，可是陈独秀等又怕激怒军阀唐生智，否决了这项行动。这时，冯玉祥开始驱逐部队中的中共党员，武汉当局也势在“分共”，两湖群众积怨高涨待发，我党武装正集中于武昌，张兆丰部在鄂豫边还未被解决，但陈独秀等仍不举行军事行动，回击国民党反动派的猖狂进攻，反而规定工农革命武装“均应服从政府之管理与训练”。陈独秀等人的屈膝投降，更加助长了汪精卫反动集团阴谋叛变的罪恶活动。
7月15日，汪精卫召开“分共会议”，正式宣布和共产党决裂，公开背叛革命，紧接着在武汉地区进行大屠杀，大批共产党人和工农革命群众被杀害，白色恐怖笼罩全国，大革命终于遭到失败。历史的教训，宣告了陈独秀右倾投降主义的破产，使我们党对领导革命战争和创建由自己掌握的革命军队有了深刻的认识。在蒋介石发动四一二反革命政变后，李立三、周恩来等联名向党中央提出“迅速出师讨伐蒋介石”的建议。1927年5月，蔡和森等提出了“以暴动对付暴动”的主张。同年7月4日，毛泽东在党中央讨论形势和党的政策会议上指出，农民自卫军必须保留，必要时可以上山，“上山可造成军事势力的基础”，“不保存武力，则将来一到事变，我们即无办法”。
1927年8月7日，在共产国际的帮助下，中共中央在湖北汉口召开了紧急会议（即八七会议）。毛泽东在会上作了极为重要的发言，他从四个方面批判了陈独秀的错误：第一，在国共合作问题上，“始终无当此房子主人的决心”；第二，在农民问题上，“广大的党内党外的群众要革命，党的领导却不革命”，“过去群众对于党的领导的影响太少”；第三，在军事方面，从前我们骂孙中山专做军事运动，“我们则恰恰相反，不做军事运动专做民众运动”。蒋介石、唐生智“都是拿枪杆子起的，我们独不管。现在虽已注意，但仍无坚决的概念。比如秋收暴动非军事不可，此次会议应重视此问题，新政治局的常委要更加坚强起来注意此问题。”湖南这次失败，可说完全由于书生主观的错误，“以后要非常注意军事”，“须知政权是由枪杆子中取得的。”第四，在组织问题上，上级应尽心听下级的报告，然后才能由不革命转入革命的。
毛泽东在此次会上提出“政权是由枪杆子中取得的”著名论断，以及在这前后提出类似主张，表明他已经开始形成武装斗争的思想，表明他在中国革命的实践中，已经能够运用马克思主义的基本原理，开始从全局上影响中国革命了。
从这次会议上还可以看出，毛泽东已树立了“上山”去积蓄革命力量、走武装夺取政权的道路的思想。八七会议上，毛泽东当选为党中央临时政治局候补委员。瞿秋白曾要留毛泽东在中央工作，但毛泽东表示：我要上山去结交绿林朋友，去农村开展土地革命斗争。他要用自己的亲身行动去实践他的“上山”思想。
1927年春天，毛泽东曾因忧虑大革命失败的形势，写下苍凉、悲壮的一首名为《菩萨蛮·黄鹤楼》的词：
茫茫九派流中国，
沉沉一线穿南北。
烟雨莽苍苍，
龟蛇锁大江。
黄鹤知何去？
剩有游人处。
把酒酹滔滔，
心潮逐浪高！
这首词于1957年发表时，毛泽东曾解释说：“一九二七年，大革命失败的前夕，心情苍凉，一时不知如何是好。这是那年的春季。夏季，八月七号，党的紧急会议，决定武装反抗，从此找到了出路。”