斛律金，字阿六敦，朔州人，高车族。高祖倍俟利因威武勇敢而驰名塞外。北魏道武帝时他率领部落内迁归附鲜卑拓跋部，被赐爵为孟都公。孝静帝天平年间，斛律金贵盛时，被赠官司空公。
斛律金性格敦厚直率，善于骑马射箭，行军打仗则用匈奴战法，看尘土能推知马跑的路程多少，从地上听马步声音可知军队的远近。开初被任为军主，与北魏怀朔镇将相钧护送柔然族首领阿那环回北方。阿那环见斛律金射猎，为他的深厚所叹服。后来阿那环入侵高陆，斛律金击败了他。孝明帝正光末年，破六韩拔陵谋反，斛律金带领部众投奔他。破六韩拔陵授予他王的称号。斛律金预料破六韩拔陵最终必败，就统率所部一万户到云州向北魏政府投降，北魏授予他第二领民酋长。不久引兵南出黄瓜堆，被杜洛周打败，部众分散，斛律金与其兄斛律平两人单身投归尔朱荣，尔朱荣上表请任斛律金为别将，后逐步升为都督。孝庄帝即位后，赐封爵为阜城县男，加号宁朔将军、屯骑校尉。随从官军击败葛荣、元颢，屡有战功，加号镇南大将军。
尔朱荣叛逆作乱，高欢有夺取天下的志向，斛律金与娄昭、库狄干等都赞成高欢的大计谋，于是跟着他树起义旗。高欢南攻邺城，留斛律金守信都，兼任恒、云、燕、朔、显、蔚六州大都督，委托他处理后方事宜。斛律金另外又讨伐李修，大胜而回，加官右光禄大夫。适逢高欢到了邺，于是斛律金随从他平定晋阳，追击消灭了尔朱兆。孝武帝太昌初年，朝廷任命斛律金为汾州刺史、当州大都督，进封为侯爵，跟从高欢在河西打败纥豆陵伊利。东魏孝静帝天平初年，迁都于邺，朝廷命斛律金领步骑三万镇守凤陵以防备西魏进攻，完成任务后，回到了晋阳。他又随从高欢与西魏在沙苑大战，失利后回师，由此东雍州诸城重新被西魏军所占据，后高欢派斛律金与尉景、库狄干等人讨伐收复了它。孝静帝元象年间，宇文泰重新向河阳大举进攻，高欢率部队讨伐抵抗，他派斛律金直往太州，成夹击之势。斛律金到晋州，因军队退兵不再前行，就与行台薛修义共同包围乔山的敌人。不久高欢到达，于是共同把它讨平。接着随从高欢攻下南绛、邵郡等数城。孝静帝武定初年，北豫州刺史高仲密据城叛入西魏，宇文泰进攻洛阳，高欢派斛律金统率刘丰，步大汗萨等共有数万步兵骑兵守卫河阳城抗拒他。高欢到后，斛律金与他一同大败高仲密。回军后，授官做大司马，改封石城郡公，食邑一千户，转为第一领民酋长。武定三年，高欢出兵袭击山胡，分为两道，以斛律金为南道军司，由黄栌岭出击；高欢自己从北道出击，度赤繹岭，与斛律金会合于乌突戍，联合击败了它。军队归来后，出任为冀州刺史。武定四年，下诏命斛律金率领部队从乌苏道与高欢在晋州会合，接着一起进攻玉壁。军队归来时，高欢让斛律金总督全军，一起回到了晋阳。
世宗高澄继承高欢的皇位后，侯景占据颍川向西魏投降，朝廷下诏书派斛律金统领潘乐、薛孤延等固守河阳来防备。西魏指使大都督李景和、若干宝率数万骑兵和步兵打算从新城出发援助侯景。斛律金率领部队停顿在广武等待袭击它，李景和等听到消息后退走。回军后，斛律金被任命为肆州刺史，仍然率领自己的部队在宜阳修筑杨志、百家、呼延三个戍，安置了守备而回。侯景走向南豫州，西魏仪同三司王思政进入和占据了颍川。高澄派高岳、慕容绍宗、刘丰等率领部队包围它，再次命斛律金统领彭乐、可朱浑道元等军屯兵到河阳，用以切断他的逃走和来救援的道路。又诏命他率领部队会攻颍川。此事平定后，再命斛律金率领部队从坂送米到宜阳，西魏九曲戍将马绍隆占据险要阻击，斛律金打败了他，因功另封安平县男。
显祖文宣帝高洋即帝位，封斛律金为咸阳郡王，刺史照旧不变。是年冬，到晋阳宫上朝。斛律金病，皇帝亲往看望，赐给医药，宫中使者常来不断。病愈后回到肆州。文宣帝天保三年，授任为太师。高洋征伐奚贼，斛律金随从。回军后，高洋到肆州，与斛律金聚宴练习射箭后回去。天保四年，斛律金被解除州刺史，以太师身份回到晋阳。皇帝高洋再次亲临他家，六宫和诸王也随着去，在那里置酒作乐，直到深夜才结束。高洋十分高兴，诏命斛律金次子斛律丰乐为武卫大将军，接着对斛律金说：“您老是开国元勋和佐命大臣，父子都对王室忠诚，朕当与你家结为婚姻，使你家永远成为蕃卫。”于是诏命斛律金的孙子斛律武都娶义宁公主。在婚礼的日子里，皇帝跟随皇太后亲临斛律金家，皇后、太子及诸王等都跟随而去，斛律金就是这样被皇帝所亲近看重。
后来由于柔然被突厥打败，种落分散，高洋怕柔然侵犯边塞，掳掠百姓，就诏命斛律金率两万骑兵驻屯在白道来防备。而柔然首领豆婆吐久备统领三千余户打算秘密向西通过，侦察骑兵回来报告，斛律金就统率部众追击，全部俘虏敌军。柔然首领但钵将要带领其全国上下向西迁徙，斛律金获得他们的侦察兵，送到了朝廷，并上表陈述对柔然可以击获的形势。高洋就率领部队与斛律金一起出讨至吐赖，俘获茹茹二万余户而归。斛律金进位右丞相，食齐州干禄，后又升为左丞相。
肃宗高演即位，把斛律金的孙女作为皇太子的后妃。又诏命斛律金在上朝时，可以坐步挽车到台阶，世祖高湛即位，对斛律金更是礼重，又把他的孙女作为太子的后妃。斛律金的长子解律光任为大将军，次子斛律羡和孙子斛律武都并为开府仪同三司，出镇到地方上，其余子孙都封侯显达。斛律金一门有一个皇后，二个太子妃，三个公主，他受的恩宠，当时没有人可以相比。斛律金曾对斛律光说：“我虽然不读书，但听说从古以来外戚梁冀等没有一个不最后倾覆灭门。女儿如果受到皇帝宠爱，其他贵妃就会妒忌；女儿如果失宠，皇帝就讨嫌她。我们家族一直以功勋和尽忠来得到富贵，岂可以依靠女儿呢？”他的话没有得到重视，因此常常为此担忧。后主天统三年死，时年八十岁。世祖武成帝在西堂举哀。后主又在晋阳宫举哀。赠官假黄钺、使持节、都督朔定冀并瀛青齐沧幽肆晋汾十二州诸军事、相国、太尉公、录尚书、朔州刺史、酋长、王不变，赠赐丧葬钱百万，谥号为“武”。儿子斛律光继承爵位。