李玄道祖籍陇西，世居郑州，是有名望的冠族。他的祖父，父亲分别在魏代和隋代为官，李玄道自己在隋也作个小官，是齐王杨？的府属。自从元德太子杨昭死后，应该是齐王杨？继承嗣位，元德太子下属的兵、吏两万多人都归属了杨？隋炀帝也为杨？配备了僚属。不料，齐王杨？却骄恣自纵，多为不法。他手下有几个小人，专门抢民间美女供杨？淫乐，又勒索胡人，责求名马。隋炀帝杨广还为一个女人对杨？大光其火。乐平公主曾向隋炀帝报告说柳氏女美，隋炀帝没有表态。过了一段时间，乐平公主又把她推荐给杨？杨？把她纳入府中。其后，隋炀帝想起了柳氏女，问公主：“柳氏女安在？”乐平公主只好据实回答：“在齐王所。”隋炀帝很不高兴。杨广杨？父子去打猎，杨？猎获多，杨广却什么也没打着，于是发怒，找杨？的罪责。当时有个规定：县令无故不得出境。杨？违反了这个规定，把他所亲近的一个县官带到了汾阳宫。御史韦德裕领会了隋炀帝的圣意，穷究其事，又查出一串丑事来：“杨？与妻姊私通，生有一女，还有一个相面的说：此产子者当为皇后。”杨？还搞了些旁门左道的厌胜之术，希望能咒死元德太子的三个儿子。当时，隋炀帝成年的儿子就杨？一个，他曾对侍臣说：“朕唯有？一子，不然者，李玄道清静无为当肆诸市朝以明国宪。”从此，杨？的日子就不好过了：“虽为京尹，不复关预时政。帝恒令虎贲郎将一个监其府事？有微失，虎贲辄奏之。帝亦常虑？生变，所给左右，皆以老弱，备员而已”。
在这样的背景下，李玄道作为府属恐怕也难有什么作用，隋炀帝是“备员而已”，大伙儿也就是“薪俸而已”。好在李玄道出身于超级士族，士族们都有一门特殊的本事：消磨时间。喝酒、谈玄、游山玩水，都是无用之事，却自鸣清高，引以为荣。想来李玄道是很满意自己的工作岗位的。
隋末天下大乱，隋炀帝犹自在江都享乐纵欲。当时，齐王杨？和隋炀帝的另外三个儿子及孙子燕王杨都跟随着隋炀帝，李玄道没有随杨？南下，留在河南。李密攻下洛口，以李玄道为记室。
多亏李玄道未随杨？去江都，否则在江都兵变中凶多吉少。公元618年三月，宇文化及等人发动兵变，杀死罪大恶极的隋炀帝及其随同的子孙，只有秦王杨浩与宇文化及之弟宇文智及相友善，得以幸免。最可悲的是，杨广、杨？父子最后还互相猜疑。“帝闻乱，顾萧后曰：‘得非阿孩耶？’化及使人就第诛，谓帝使收之，曰‘诏使且缓儿，儿不负国家！’贼曳至街中，斩之？竟不知杀者为谁，父子至死不相明。”
李密攻占了洛阳附近的几个大粮仓，归附者甚众，又打了几个大胜仗，部下人才济济，文有裴仁基、魏徵、祖君彦、李玄道等，武有秦叔宝、程知节、单雄信，李（原名徐世）等。李密虽然聪明机变，但缺乏统管全局的大局感，有作乱的才能，没有治乱的本领，在形势大好的情况下却不知所措，昏招迭出，最后断送了自己和瓦岗军的前程。李密的第一个失误就是杀害瓦岗军的创始人翟让。翟让原是东都法曹，极其骁勇。因为犯事当斩，下在牢中。狱吏黄君汉放他出狱，翟让便和单雄信、李等人上了瓦岗山，聚众万人。李密从杨玄感兵败后一直亡命江湖，到处游说，无人肯信。后来，李密投奔翟让，帮助翟让收拢了周围其他武装力量，又设计击败隋军猛将张须陀。
李密的权势和实力渐渐超过翟让，但翟让并不介意，他造反是迫于情势，并没有争天下的野心。李密曾劝他进取两京，改朝换代，他也没多大的积极性。翟让的哥哥和亲信劝翟让剥夺李密的大权，翟让也没有答应。但李密知道后起了歹心，设下酒宴请翟让、徐世等，在酒席上杀了翟让，砍伤徐世，后因诸将相劝，放过了徐世。李密杀翟让使得瓦岗军内部不和，将佐们有自疑之心。后来李密兵败时单雄信勒兵自据不救李密，程知节、秦叔宝等人降王世充便是瓦岗军离心离德的表现。
李密的第二个昏招是没有抢在李渊之前入据关中，而在河南死拼数年，坐失良机。
李密干的第三件蠢事是：在大兵围逼洛阳的情况下，却替对手和宇文化及打了一大仗，虽然获胜，自损却十分严重。之后，李密还想入洛阳朝见杨侗，半路上听说王世充杀了元文都等才没去送死。
李密击败宇文化及后，继续和王世充在洛阳一带对峙。洛阳城中无粮，李密军中少衣，王世充派人搞交易，以布换米。李密听了奸人邴元真的意见，准许了。于是，饿得半死的洛阳守军又活过来了。李密此举，当真是搬起石头砸自己的脚。
武德元年九月，王世充趁李密兵疲马少、兵力未复之际，出城决战。裴仁基、魏徵力主深沟高垒，坚守十余日再出战，但诸将轻敌，都要出战。李密惑于众议而从之，交战之际又不设壁垒，被王世充前后夹击，全军大溃，诸将多降，只有徐世孤守黎阳，王伯当保李密逃向关中向李渊投诚。
李密兵败，李玄道等人都做了俘虏。同时被俘的人一大堆，都害怕杀头，愁得一夜睡不着觉。只有李玄道一个人起居自若，说一句：“死生有命，非忧能了。”就倒头睡去。第二天见了王世充，“举措不改其常。”王世充知道他是个名士，让他作了著作佐郎。
李世民打下洛阳后，召李玄道为秦王府主簿，之后又选他为文学馆学士。李玄道之所以为李世民所看重，一方面因为他出身冠族，有名望，另一方面也是房玄龄的关系在起作用。《旧唐书》说：“房玄龄即玄道之从甥也，”《资治通鉴》却说：“长史李玄道，房玄龄从甥也”不知孰是，反正他俩是本家甥舅关系。所以，李玄道的日子就好过多了。
贞观元年，李玄道升官为给事中。当时，唐太宗过去的部将王君廓为幽州都督，太宗又怕武将不习政事，便任命李玄道为幽州长史，帮助王君廓维持府事。这一任命又给王君廓、李玄道惹来了许多麻烦。
王君廓本来是不怕麻烦的主儿，没事还想给别人找点麻烦。王君廓原为匪盗，聚众劫掠。李密派人去招降他们，他们便投靠了李密。后来李渊也派人招降他们，另外两个头领要降唐，王君廓杀了他们去投李密，但李密对他不重视，于是王君廓回过头来又降了李渊。
武德三年七月，李世民、李元吉率大军东征洛阳，王君廓是其猛将之一，并多有战功。他先是奉命攻占洛阳，切断东都粮道；随后攻克辕，并设伏大破敌军，一直打到管城。在此以前，他还用奇策退过强敌，李渊下诏嘉奖他：“卿以十三人破贼一万，自古以少制众，未之有也。”
窦建德应王世充请求来救洛阳时，人多势众，但李世民决心一举平定窦建德和王世充两支割据势力，采取薛收、郭孝恪的意见，围城打援，在武牢阻止窦建德。王君廓又袭抄了窦建德的粮运。相持月余后，窦建德全体出动逼近关前。双方先派了几百人试探性地打一打，唐军出战的是王君廓的200名长槊手。王君廓很好地贯彻了李世民的意图，乍进乍退，两无胜负，让窦建德的10万大军从早上陪站到大中午。窦建德的士兵自乱阵脚后，唐军全线出击，一战成功。
后来，王君廓又随李世民平定刘黑闼，奉命镇守幽州。当时突厥入寇幽州，王君廓击败突厥，俘斩2000多人。李渊闻报大为高兴，专门把王君廓召到长安，赐给御马，让他骑马出宫殿，还对大臣说：“吾闻蔺相如叱秦皇，目皆出血。君廓往击窦建德，李遏之，君廓发愤大呼，目及鼻耳一时流血。此之壮气，何谢古人，不可以常例赏之。”又赐给锦袍金带，让他还去镇守幽州。
当时和王君廓同守幽州的还有庐江王李瑗。他是李渊的本家侄子，由于不习边事，李渊派王君廓辅助他。李瑗倚王君廓为心腹，许以婚姻。太子李建成外结李瑗，准备对付李世民。李建成被杀后，李世民派人召李瑗，李瑗很害怕。王君廓煽火着让李瑗造反，然后自己再从中渔利。李瑗果真造反。有人看出王君廓不可靠，劝李瑗用王诜代替王君廓。李瑗还没拿定主意，王君廓已知此事，立即赶去杀了王诜，又抓住李瑗勒杀。王君廓教人谋反，然后又落了个平叛有功，升任左领军大将军兼幽州都督，并得了李瑗的家口。
王君廓辅助李瑗把李瑗断送了，李玄道辅助王君廓也把王君廓给断送了。不过两者的情况有一点不同：王君廓断送李瑗是包藏祸心，有意为之；而李玄道断送王君廓却是无意中产生的偶然事件。王君廓自以为聪明过人，再加上天高皇帝远，干事就没个谱儿，纵逸不法。偏偏李玄道认死理，就是要阻止他，经常拿王法吓唬他。王君廓还真怕李玄道告他，坐卧不安。王君廓也想收买李玄道，曾送他一个婢女，李玄道问婢女从哪儿来的，婢女说她本是良家女子，被王君廓抢来的。李玄道便让这个婢女回家去了，王君廓很不高兴。
后来王君廓进京朝见，李玄道托他捎一封信给房玄龄。王君廓心里有鬼，怕信中有不利于自己的内容，就偷拆了信看。谁料道这信竟是狂草而成，满纸烟云，没一个认识的字。王君廓更加心虚，认定是告他的罪状的信，十分惶恐。走到渭南，王君廓打定主意，要逃出李世民所能控制的范围，因为他知道没有人能斗得过李世民。于是，他杀了驿卒，逃亡突厥。他曾大败过突厥，结下怨仇，但仍想冒险一试，大概是觉得突厥比内地安全些。但没容他逃多远就被老百姓杀了。
在这件事上，李玄道没有什么责任的，一封家信，问个平安，字迹匆草，只不过是善于草书，写着顺手而已，算不上什么过错。但他还是被流配州。
好在时间不长又被征还，起用为常州刺史。李玄道当官是个好官，名士们喜欢清静无为，老百姓就少受些糟害；李玄道自己又廉洁，不刮地皮。不扰民，不贪财，这就是好官，老百姓就能安居乐业。唐太宗知道了李玄道的政绩，十分高兴，专门下诏褒奖，并赐以绫。
贞观三年，李玄道上表请求退休。唐太宗给他加官银青光禄大夫，让他带俸禄回家休养。不久，李玄道病逝，在清静无为中度过一生。