舍勒出生于一个贫寒的家庭。他家里人口众多。由于家庭经济上的困难，舍勒勉强上完小学，年仅十四岁，他就不得不到哥德堡的一家药店当了小学徒。
药店里的老药剂师是一位好学的长者，他不但学识渊博，而且又有很高超的实验技巧。名师出高徒，老药剂师的言传身教，对舍勒产生了极为深刻的影响。舍勒在工作之余也勤奋自学，他如饥似渴地读了当时流行的制药化学着作，还学习炼金术和燃素理论的有关着作。他自己动手，制造了许多实验仪器，晚上在自己的房间里做各种各样的实验。
经过八年努力，舍勒的知识和才干大大增长，他从一个只有小学文化的学徒，成长为一位知识渊博、技术熟练的药剂师。可是，正当他准备大展宏图的时候，生活中出现了一个不幸，他所在的药店破产了，舍勒失去了生活的依托，失业了。他只好孤身一人，在瑞典各大城市游荡。
为了生存，他不断地变换工作，他当过制药工，也当过大药店的帮工，还行过医。后来，舍勒在马尔摩城的一家药店里找到了一份工作，药店的老板很理解舍勒，支持他搞实验研究。他们给了他一套房子，以便他居住和安置书籍及实验仪器。从此，舍勒结束了游荡生活，再不用为糊口奔波。他又重操旧业，开始了他的研究和实验。
舍勒认为，人生真正的财富不是金钱，而是知识和书籍。因此，他特别注意收藏图书，每月的收入，除了吃穿用，剩下的几乎全部用来买书。
数年以后，舍勒有了自己独立的药店。由于他经营有方，药店很赚钱。舍勒在药房里建立了独立的资料室和实验室。在他自己的实验室里，他废寝忘食地进行科学研究。舍勒的一生对化学贡献极多，其中，他最重要的成就是发现了氧气，并对氧气的性质做了很深入的研究。
起初，舍勒在实验室里研究一种名为“亚硝酸钾”的物质，结果，他发现，当他把硝石放在锅中加热到红热时，会放出一种气体，而这种气体，遇到烟灰的粉末就会燃烧，放出耀眼的光芒。这种现象引起舍勒的极大兴趣。经过更进一步地研究，他确定自己发现了空气中一种新的气体——氧气。
舍勒发现氧气比英国的普利斯特列发现氧气要早一年。通过对氧气的深入研究，舍勒还发现了很多制取氧气的方法。