共产国际代表、荷兰人马林（希夫廖特）1921年6月3日到上海后，提议各地共产党小组派代表6月20日到上海开共产党成立会。接到通知，北京小组推荐张国焘和刘仁静出席上海会议。李大钊在6月3日，到新华门总统府请愿，头部被剌刀戳伤，不能出席会议。
张国焘到上海后，给陈独秀写信说，北京、上海、武汉、湖南、山东的代表来了一部分，有的在路上，唯有广东代表没有消息。6月29日，毛泽东和何叔衡到沪，住博文女校。见人未到齐，他们到宁、杭跑了一圈。
收到张国焘的信后，陈独秀和谭平山、陈公博、谭植棠、包惠僧等人商量，决定请陈公博和包惠僧出席上海的会议。陈公博新娶了一位漂亮的妻子，想去上海玩一玩。包惠僧是湖北人，不是广东小组的，陈独秀写信请他带上，出席上海的会议。信中，陈独秀提出了四点意见：一曰培植党员；二曰民权主义之指导；三曰纪律；四曰慎重进行征服群众政权问题。
7月23日晚八点，毛泽东、何叔衡、董必武、陈谭秋、王尽美、邓恩铭、李达、李汉俊、张国焘、刘仁静、周佛海、陈公博、包惠僧十三人，集中到上海法租界贝勃路村德里三号（现兴业路七十六号），举行第一次会议。这是一间高大敞亮的穿坊木质结构房子，进门的一面被隔成三开门，每扇门的上半部分镶着八块玻璃。红漆地板光洁明亮，摆着小巧玲珑的茶具、烟缸的长方形桌子旁，放着十来张小圆鼓凳子。进门两侧依墙放着几张椅子、茶几。
张国焘主持会议，他介绍北京小共组时说：“同志们，北京共产主义组织仅仅是在十个月以前才产生。此外，加入这个年轻的组织的，只是为数不多的知识分子，他们多半缺乏革命经验，由于时局本身的变化，我们整个活动遇到了不少困难，所以，我们的工作成果是微不足道的……”根据会议要求，毛泽东发言介绍了湖南小组的情况。刘仁静注意到，毛泽东“很少发言，但他十分注意听取别人发言”。
讨论陈独秀提出的四条意见时，李汉俊说：“中国革命怎么搞，中国共产党的党纲怎么形成，我主张先派人到苏联去考察，先不急于定党纲。目前的工作是支持孙中山先生广州政府。”有的代表说：“仲甫现在议及群众政权问题，为时过早。”
大多数代表发言都没有支持李汉俊不需要固定党纲的观点。刘仁静参加了北方小组翻译工作，讲话中用了一些马克思、恩格斯批评党内议会派的词语。陈公博则说：陈独秀在广州任教育委员长，说明南方政府比北方政府进步。
会议连续开了几天。在望志路李公馆李汉俊家开会时，马林和赤色职工国际代表尼柯尔斯基也参加了。会议开了不久，一个陌生人挑开门帘往里闯，后来说走错了门。李汉俊怀疑是包打听。马林立即决定马上转移，停止会议。
8月5日上午，代表们乘火车到嘉兴，在南湖的一艘画舫上继续开会。画舫租金八元，包括三元茶水费。船到湖心，张国焘宣布开会。陈公博带了新婚的妻子，没有来；马林是外国人，易引起注意，也没有来。会议最后一项议程是选举中央领导人。陈独秀影响大，代表们都说要选陈独秀。结果，陈独秀被选为中国共产党总书记，李达主编《共产党》月刊，任宣传；张国焘个性外露，组织能力强，任组织。
散会时，代表们又议论到陈独秀人在广州，书记一职空缺，应该有一个代理书记。张国焘提议请周佛海暂时代理书记一职。会议结束时，代表们轻呼口号：共产党万岁！第三国际万岁！共产主义——人类的解放者万岁！到火车站时，已是夕阳西下。
一大结束后，马林说：“陈独秀先生现在是中央局书记了，既然是书记，就要回到上海，负起责任来。”张国焘给陈独秀写了一封信，要包惠僧去广州，请陈独秀到上海主持工作。
8月中旬，包惠僧到广州看云楼向陈独秀汇报上海中国共产党成立大会的情况。看完张国焘的信，陈独秀决定回上海。最近，陈独秀在广州的日子很不好过了。广东省议员伍光谣说陈独秀“几欲取中国数千年五伦之数根本取消以为快”。旅沪粤人的“广肇公所”致电广州政府，要将陈独秀逐出广州。《民国日报》总编叶楚怆发表文章说：“平心而论，广东教育无论发展到怎样，不应归功于陈独秀一人……不许陈独秀据为己有的。”
8月17日，正在桂林指挥粤军与陆荣廷作战的陈炯明，接到陈独秀的胃病严重，需回上海养病的辞呈。8月24日，陈炯明复电说：“仍望以教育为重，当风独立，我做我事，不萌态为妥，至于一切障碍，我当能为委员长扫除之。”这次，陈独秀决定先斩后奏，一走了之。
在海船上，包惠僧问陈独秀：中国革命怎么革法？陈独秀对于今后中国革命怎么进行，并没有成熟的思考，他想，有几点是清楚的：信仰马克思主义，依靠工人阶级，推翻剥削制度，建立无产阶级专政。
8月28日，在上海过暑假的胡适，准备回北京了。下午，胡适先去医院看病人，然后去法租界环龙路渔阳里二号看仲甫家眷高君曼。不料高君曼不在家。胡适想，现在是半下午，大约陈夫人去打麻将了。在上海，这种访不着人的事，胡适几乎天天遇到。回到寓所，胡适在日记里说：“访独秀夫人，不遇。”
9月1日夜，胡适睡在床上补记日记。他觉得非常奇怪，人家总说陈独秀曾力劝自己离婚，甚至拍桌骂自己，而自己不肯。其实，哪有这回事呀？这真是厚污陈独秀而过誉胡适之了！大概人情世故喜欢抑此扬彼，他们想骂陈独秀，所以不知不觉大造此谣言！
五天后的下午，胡适到先施公司买东西，准备回北京。回到寓所，高君曼来了，她是回访胡适。胡适第二次去渔阳里二号，见到了高君曼。过了一会，高梦旦、张子高陆续来了，高君曼插不上话，告辞了。
胡适离开上海四天后，陈独秀抵达上海。