1966年5月2日，谢彦波出生在湖南省长沙市。他的幼年是在益阳县的奶奶家度过的，那是一个稻花飘香的小村镇。
6岁半时，谢彦波回到父母的身边。父亲谢加平是湖南医学院的物理教师，他对孩子的教育有一套科学可行的方法。一次，谢加平领着小彦波去看电影，当银幕上出现毛主席在书房里接见外宾的镜头时，他问彦波：“毛主席的书房里有什么特点？”小彦波回答：“到处堆满书。”他又因势利导地说：“毛主席已80高龄了，还天天坚持读书。他教导我们要认真看书学习，你可要记住啊！”
从此，小彦波给自己订了计划：早上6点15分起床，进行十几分钟的体育锻炼后开始学习。上午上学，下午放学回家后，先完成老师布置的作业，还有时间就出去玩一会儿。晚上自学2个小时，8点半睡觉。如果是星期天或节假日，每天的自学时间不少于5个小时。
小彦波天资聪明，自学能力极强。上小学三年级时他就把初中的数学攻了下来。四年级时，他又开始向高中的数理化进军。
小彦波喜欢动手做实验，把书本的知识和实践结合起来。有一次，他见物理课本上的一道习题：两根钢条其中一根有磁性，在没有任何仪器的情况下，怎样测出带磁性的钢条？小彦波根据掌握的知识马上找出答案：钢条的两端磁性强，中间弱，几乎没有磁性。用手拿一根钢条的一端接触另一条钢条的中间，如果吸引说明手里的钢条有磁性，不吸引则没有磁性。这个答案正确还是不正确？为了验证，他向父亲要了一分钱，买了两根针，把其中的一根磁化后，做这个实验，结果证明了答案的正确性。
他还用家里简易的设备，做光的折射，水面张力实验，还做蜡烛倒影和平行导线通过电流时的作用力的物理实验。
小学五年级时，他又攻读大学的解析几何、微积分。
小学毕业时，中国科技大学派专人对他进行面试，结果表明：谢彦波的数学水平相当于大学一年级水平，其它功课达到高中毕业水平。于是，科技大学少年班录取了他。那一年，他11岁，成了中国年龄最小的大学生。