陈氏家族是一个被帝王将誉为“孝义相从”的世家。宋仁宗在位时，陈氏聚族而居，人口多达三万七千人。按文彦博、包拯等大臣的建议，1062年7月（嘉祐七年），宋仁宗派人监户“分析”，将陈氏人口疏散。通过抓阄，陈独秀祖上一脉由湘而赣，南宋末年，由赣入皖，迁怀宁金锭桥柳林湾、渌水乡、十里铺。
1946年年底，陈独秀家族重刻《义门陈氏宗谱》，重刊了“丙辰科进士殿试钦点一甲第一名授翰林院修撰”赵文楷1798年旧历八月写的序。赵文楷是嘉庆元年（1796年）的状元，赵朴初的六世祖。他写序说：“陈氏啸峰先生自皖迁自太，去余庐数武遥。幼自相狎，长相友。品学素所推重，延为西席课诸弟侄辈。”陈啸峰由怀宁迁到太湖后，先住太湖北门内，与赵文楷家是邻居，两人从小在一起玩大。赵文楷后来还聘了陈啸峰到他家做私塾先生，课其子侄。1798年夏，陈啸峰就刻《义门陈氏宗谱》一事，写信给赵文楷，请他写序，并寄去有关宗谱的资料。
陈独秀的祖父叫陈章旭，字太占，字晓峰（1819年9月17日～1889年6月13日），即白胡子爹爹，盐提举衔候选知县；妻劳氏（1824年7月18日～1870年9月29日）。陈章旭与劳氏生四子一女：
长子陈衍藩，字霭亭，（1840年12月17日～1861年7月14日），陕西候补直隶州。妻叶氏（1841年五月初八～1858年正月二十一日）。太平天国安庆保卫战期间，随父参加战斗，在东流被太平军乱枪戳死于稻草堆中，年二十二岁，葬于东流黄石矶东北编冲山腰，妻葬于朱家梁亭叶家老屋山。
次子陈衍藻，夭折。
三子陈衍中，字象五（1848年9月19日～1882年8月15日），陈独秀的父亲。曾国藩克复安庆，以县学生考取秀才（优凛贡生）。屡困场屋，纳粟以府经历分发江苏。辛已（1882年），苏州城瘟疫大作，染疾卒于怀宁会馆，年三十五岁，与父合墓，葬于十里铺老祖山。娶妻查氏（1851年12月7日～1899年），生子女四人。
四子陈衍庶（陈昔凡）（1851年10月2日～1913年4月5日），光绪元年乙亥（1875年）恩科举人。陈家习儒业十二世，功名未显，唯陈昔凡中举，给陈家祖宗增了光，《义门陈氏宗谱》怀宁一系，只有他的画像上谱。家谱记载：
由附生中光绪元年乙亥恩科举人，考取誊录馆议叙班候选知县。蒙山东巡抚张耀于河工保举知州补缺，后以直隶州用，钦加四品衔，就办盛京文案事件；蒙将军裕禄奏留奉天候补知州，署奉天府军粮同知，调署昌图府怀德县知县；复蒙盛京将军奏保免直隶州补缺，后候升知府，历任辽阳州新民厅、凤凰厅、直厅过班升道，分省补用。因识时知机，致仕归里。
陈昔凡去世后，葬于安庆市郊区十里铺老祖山。原配桐城拳庄方氏（1859年3月11日～1882年9月24日），享年二十三岁，葬于十里铺祖山；续配浙江人谢氏（1862年12月1日～1939年2月2日），在江津去世；侧室邵氏（1871年7月9日生）。陈昔凡无子嗣，三哥陈衍中去世后，将其子庆同（陈独秀）过继为嗣子。
女儿，嫁吴振泰。
白胡子爹爹生了四个儿子，一个夭折，一个青年阵亡，一个不生育，只有老三生了陈衍中生了两二两女：
长子陈孟吉，庆元（1872年12月26日～1908年9月9日），府学禀贡生，娶补用巡政厅张某长女张氏（1872年8月16日～1912年），生子三：遐年、遐勋、遐永。庆元夫妻葬十里铺老祖山右。
幼子庆同，即陈独秀（1879年8月24日辰时～1942年5月27日，旧历四月二十五日酉时），邑痒生。娶霍邱人、安庆副将高登科长女高晓岚（1876年正月十八日～1930年7月27日酉时），陈独秀和高晓岚合葬安庆市郊区叶家冲。生子三：遐延（1898年～1927年）、遐乔（1902年～1928年）、遐松（1910年～1990年）；生女二：长女玉莹（1900年～1928年），次女夭折。侧室高君曼（1888年～1931年），生二子：遐和、次子疡，长女陈子美，嫁张某，次女疡。继配潘兰珍（1908～1949年10月30日）。
长女（～1939年），即陈独秀大姐，嫁吴向荣，在江津去世。
次女（～1920年），即陈独秀二姐，嫁姜超甫。