胡雨人，名尔霖。清同治六年（1867）生于无锡县北乡堰桥村前的一个知识份子家庭中。父胡和梅，曾任湖南桃源县教谕。胡雨人与兄壹修，自小受父亲教诲，熟读儒家经典。光绪十五年（1888）中秀才。他年少时就怀有壮志，反对当时流行于农村中的种种迷信活动，常常揭穿巫婆和算命先生的骗人伎俩，令其当众承认骗钱。他提倡严禁烟赌，与兄壹修常在无锡北乡各街镇的茶馆里演讲，宣传烟赌的危害。他还反对清政府苛捐杂税，横征暴敛。有一次他曾支持农民冲击了黄埠墩关卡。由于他在兄弟中排行第二，又为人正直，嫉恶如仇，好打不平，敢作敢为，人称他“戆头二先生”。
光绪二十四年（1898），胡雨人在维新思想影响下，考入南洋公学师范院，继又东渡日本进东京高等师范学校学习。这时，他积极参与留学生的革命活动，加入了孙中山的同盟会。
光绪二十八年（1902），胡雨人回国兴办新学，从事教育事业。在他父亲支持下，与兄壹修共同创办“胡氏公立蒙学堂”（后改为胡氏公学）。为了冲破封建束缚，并附设女学。同时又在尤家坦设立师范传习所，以培养师资。在胡氏父子的倡导下，北乡天上市纷纷办起了新学堂。他首创单级独教的复式教学方法，提倡每一个村都办一所单级学堂。学校设备及办公费由胡氏义塾及地方支援。学校缴纳的学费则用作教师薪金。辛亥革命前夕，锡北天上市，村村都有了新式学堂，为当时全县17市乡树立了榜样。他又捐出家藏的图书在村前设立天上图书馆。还动员亲戚朋友赠书，图书馆藏书全盛时代拥有书10万册之多，成为无锡首创的现代规模的图书馆。宣统元年（1909），胡雨人应聘赴北京担任北京女子师范学堂教务长。
1911年辛亥革命兴起，胡雨人返锡参与光复无锡的革命活动，被推举为无锡县议会第一任议长。副议长为侯鸿鉴。胡、侯两人都是当时名闻遐迩的教育家。
胡雨人关心农村水利事业，自己也从事水利的研究。1911年他受聘于江淮水利测量局。他花费两年时间，勘察江淮地区的灾情和水利，著有《江淮水利调查笔记》和《沂、泗实测蓝图》两种。
1912年胡雨人受聘出任江阴南菁中学校长。在任一年中，对南菁中学作了精心的辟划。1913年，他又北上出任北京女子师范学校校长。一年后，又南下第二次担任南菁中学校长。1918年，应荣德生的邀请，回锡创办公益工商中学，担任该校第一任校长。他在从事教育工作的同时，于1920年，担任太湖水利局参议和江浙水利联合审查员及江苏省水利协会研究员。他经过反复实地查勘，为治理太湖流域洪、涝、旱灾害，提出了疏通白茆河，使其成为太湖下游排水干流，同时要开拓上游的入湖河道以达到南北两方蓄泄并济的治理方针。但遭到太湖水利局实权人物的反对，虽经长期论辩，他这一正确的意见始终未能得到实施。
1920年l1月24日，在胡雨人等人的倡导下，成立了无锡县水利研究会，致力于研究和治理无锡水旱灾害。1923年4月无锡县水利研究会推举胡雨人等人为调查员，调查全县水利状况。经过两个月的实地调查，于同年8月写出了《无锡全县救治旱潦之计划书》，提出了治标和治本两种方案。治标方案是，先将运河与太湖相通的河港渐次开通，使内涝之水可急速流入太湖。治本方案，把运河与长江相通的河港（伯渎、兴塘、盛塘、羊尖、大河五条水系）渐次拓浚，使白茆河成为水流入江要道。
1924年1月，经过县水利研究会议决，水利工程分期进行。并成立无锡县水利局。首先疏浚闾江口及整理西门外护城河，改建西门桥和显应桥，使梁溪河水经西门外护城河，直通京抗运河。为此，胡雨人建议改建西门桥，将桥洞从2丈2尺拓宽到6丈5尺，与河身宽度相等，以便于洪水泄流，这样西北乡几十亩农田可免遭旱涝之灾。但这个建议遭到东南乡地方封建势力的反对，因为触及他们的利益。在县议会中引起了一场激烈的辩论。胡雨人为此先后发表了《致水利研究会城绅书》和《致全邑父老昆季的公开信》，信中痛斥了地方封建势力只知剥削农民，对水旱灾害，和农民死活视若无睹。可是当时的无锡正值军阀混战，胡雨人孤掌难鸣，西门桥未能按他的建议改建。
胡雨人遭此挫折，并不气馁，依旧奔走农村，关怀水利事业，不论是在烈日炎炎的旱季，还是淫雨连绵的洪涝时，群众都见到他在察看水情，测量水位，并写出了《太湖水利手稿》一书。他设想从无锡太湖开运河直通江阴黄田港口，使长江通商大轮可以直通太湖，不但有利于物资交流，繁荣经济，更可使锡澄地区广大农田达到旱捞保收的目的。
1924年，他出任宜兴中学校长。这时，他已年近花甲，但精神矍铄，课余时间还带领师生到城南帮助工人开荒建筑校舍。他不仅指挥学生劳动，自己也扛石、锄地，身体力行。他对教师和学生的教学要求极为严格。还十分注重学生的体格锻炼，他主张一个人“有了好学问，还需好身体”。
1925年春季，他带领师生徒步旅行，踏遍宜兴县西南和东南地区的山山水水，借此锻炼师生的体魄与意志。他在宜兴工作三年，从不接受任何报酬。为纪念这位学校创始人，后来宜兴中学在大操场西北角建造五开间有阳台的楼房，取名“雨人楼”。
胡雨人于1928年1月逝世，享年61岁。无锡人士为了纪念他办学、治水的功绩，1935年2月在他的家乡村前公园内为他建立了一座全身铜像，这是无锡第一座铜像，可惜在“文化大革命”期间被毁了。