唐永贞元年（公元805年），牛僧孺考取进士，走上了仕途。在官场几年，牛僧孺见识了大量的腐败内幕。唐元和三年（公元808年），朝廷开展举贤良方正科特试。当时的牛僧孺，血气方刚，胸怀治国之志，在策对中毫无顾忌地批评时政。牛僧孺的勇气和见识被考官赏识，考试成绩列为上等，却遭到当朝宰相李吉甫的“斥退”，未得到朝廷重用。后来，朝廷放任牛僧儒为伊阙县（宋废，故城在今河南洛阳县南）县尉，后转任河南尉。唐中晚期政坛上代表两派势力的牛李党争，从此悄悄地拉开了大幕。
唐元和九年（公元814年）冬十月，宰相李吉甫病死。十二月，韦贯之出任宰相，在外滞留6年之久的牛僧孺，由河南尉调回朝廷，初任监察御史，后任殿中侍御史、礼部员外郎、库部郎中、知制浩、御史中承、户部侍郎。唐穆宗长庆三年（公元823年），牛僧孺升任宰相。唐敬宗宝历元年（公元825年），牛僧孺出任武昌节度使。唐文宗大和四年（公元830年），牛僧孺二度出任宰相，后又出任河南节度使、东都留守等职。唐武宗时，李吉甫的儿子李德裕担任宰相，牛僧孺被贬为循州长史，唐宣宗时，被召为太子少师。
牛僧孺一生中经历了德宗、顺宗、宪宗、穆宗、敬宗、文宗、武宗、宣宗8个皇帝。这一时期，唐王朝开始走向衰亡，皇帝昏庸，宦官弄权，朝臣与宦官之间的斗争，朝臣中世家子弟与科举出身者之间的党派斗争，此起彼伏，没完没了，各派政治势力时而上台，时而下台，官员更换频繁。由于政治腐败，藩镇势力乘机发展，引起社会动荡不安。这些都给牛僧孺的政治生涯打上了深深的烙印。
唐元和十五年（公元820年），唐宪宗被宦官所杀，穆宗即位，牛僧孺改任御史中丞。他上任后，即集中精力整治冤狱，打击官场不法之徒。
唐长庆元年（公元821年），宿州刺史季直臣贪污数十万贯钱财，罪行败露之后，被移交给大理寺处理。按照当时法律应处死刑。季直臣为了活命，千方百计地向唐穆宗身边的宦官行贿，请他们出面说情。宦官们找牛僧孺说情，被牛僧孺一一回绝。宦官又在皇帝面前为季直臣求情，说季直臣很有才干，治理宿州成绩斐然，这次贪污了点钱财，是偶尔犯了过错，请求皇帝宽恕季直臣，给季直臣一个改邪归正的机会。唐穆宗耳根太软，偏听偏信，想放季直臣一马，他对牛僧孺说：“听说季直臣很有才干。朝廷正是用人之际，他虽然犯了罪，我想宽恕他一次，让他去镇守边城。”牛僧孺却说：“季直臣只知道贪污腐化，阿谀奉承，充其量不过是个歪才而已。历代帝王制定法律，正是为了约束这种歪才，扶持真有才能的人。要说才能，叛逆朝廷、扰乱天下的安禄山、朱泚等人，比季直臣更有才，难道也要宽恕他们吗？陛下，朝廷不能为了季直臣而废弃国法呀！”穆宗听了牛僧孺的话，恍然大悟，同意了牛僧孺的意见，依法处置了季直臣，同时嘉奖牛僧孺，“嘉其守法，面赐金紫”，加官同平章事。
牛僧孺为官清正，从不收受贿赂。唐长庆二年（公元822年），河中节度使韩弘以年老为由，请辞官职，唐德宗批准了韩弘的请求。不久，韩弘与儿子双双去世，留下幼小的孙子支撑家业。韩弘曾在地方割据20余年，积攒了大量家产。唐穆宗担心韩弘的孙子年龄太小，家产被仆人骗走，命人检查韩家财产账目，帮其幼孙清理家产，结果发现一本韩弘父子向朝廷大臣行贿的账簿。账簿中记得清清楚楚，韩弘父子送给朝廷大臣的钱财，大家都收了，只有牛僧孺名下用朱笔写着“某月日送户部牛侍郎钱千万，不纳”字样。唐穆宗看到这条记载，深受感动，从此更加赏识牛僧孺。次年三月，牛僧孺被提拔为宰相。
唐宝历元年（公元825年），牛僧孺出任武昌节度使。不久，他了解到一个重要情况，鄂州一带土质疏松，筑城艰难，修好的城墙年年塌陷。为了修复城墙，当地官员每年征集大量民工，还要向百姓征收茅草苫，用以保护城墙。在征集民工和茅草苫的过程中，各级官吏趁机揩油，搞得百姓苦不堪言。牛僧孺深入了解后，决定将土筑城墙改为陶砖城墙，下令以征收陶砖代替茅草苫。5年后，陶砖砌成的鄂州城墙拔地而起，从此免除了当地百姓的筑城劳役。在武昌期间，牛僧孺还致力于裁减冗官，精简编制，减轻百姓负担。他在武昌任上5年，整顿吏治，端正风气，革除苛捐杂税，政绩卓著。
唐大和四年（公元830年），牛僧孺奉调回朝，任兵部尚书同平章事。经过几年的地方工作锻炼，牛僧孺在政治上更加成熟。这年，幽州节度使李载义与部下杨志诚矛盾激化，被杨志诚逐出幽州。这是一起典型的犯上作乱案件。唐文宗和一些朝臣得到消息，惊慌失措。满朝文武，除了牛僧孺，都要求武力打击杨志诚。唐文宗也同意用兵。牛僧孺对唐文宗说：“此事不是本朝忧患。我们应从大局出发，妥善处理此事。为了避免发生更大的内乱，对杨志诚不宜使用武力，还是安抚为好。”唐文宗说：“你讲得很对。开始，我没有这样考虑问题。”后来，朝廷派出使臣，对杨志诚进行安抚，最终妥善地解决了范阳之变，为地方赢得了一个安定的环境。
还有一件事，也能说明牛僧孺政治上的成熟。唐中期之后，唐朝廷与吐蕃的关系时好时坏，打打停停成了常态。不过，唐穆宗长庆元年（公元821年）以后，双方的关系不错，曾互派使者进行会盟，双方约定，各自坚守现有疆界，互不侵犯，并把盟约刻石立碑，表示亲善。唐文宗大和六年（公元832年），吐蕃王又遣使者入朝，与大唐王朝修好。就在这时，西川节度使李德裕奏报，吐蕃维州守将悉怛献出维州城，投降了大唐。他建议利用吐蕃降将，乘机出兵，攻击吐蕃。
朝中大臣看到这份奏章，竟有些情不自禁，主张立即出兵，攻击吐蕃，占领维州。唯有牛僧孺持不同意见。他仔细分析了唐王朝与吐蕃关系的现状，指出唐王朝与吐蕃和好，是百年大计，不能因为出现一个降将，就改变这种和好策略。双方和好，有利于唐王朝和吐蕃百姓的安定和生计，和好是大势所趋。最后，他说：“我们这次与吐蕃和好还没几天，现在突然食言，对人家发起进攻，可能会得到一个维州，但却失去了信义。一个大国失去信义，何以为国？我们攻打吐蕃，如果吐蕃孤注一掷，也攻打我们，出兵东袭陇右，直逼长安，就是得到一百个维州，又有什么意义呢？”他主张将吐蕃降将归还吐蕃，以示朝廷的善意。唐文宗又一次采纳了牛僧孺的意见，派遣使者前往西川抚慰，使唐王朝和吐蕃的友好关系得到了巩固。
牛僧孺一生，热衷于官场拼搏，却从不贪恋权位。唐敬宗在位时，不理朝政，终日淫乐，由宰相李逢吉和宦官王守澄把持朝政，致使政务荒废，政风败坏。当时的牛僧孺，虽然身居相位，却无能为力。他回天乏术，又不愿意同李逢吉等人同流合污，于是急流勇退，于宝历元年（公元825年）正月，辞去了宰相一职，出任武昌节度使。唐文宗开成三年（公元838年），所谓的李党与牛党的代表人物同时在朝任相，双方争权夺利，搞得官场乌烟瘴气。当时，牛僧孺在洛阳，任东都留守。唐文宗见朝廷局面难以控制，便派人请牛僧孺回朝主持大局。牛僧孺看到了朝廷的混乱局面，可是对党争造成的混乱无能为力。他回朝后，拜谢了唐文宗后，然后称病不朝，也不同任何人来往。牛僧孺的做法，从本质上看，确系逃避责任，是一种明哲保身的消极态度，但他不恋权位也是不争的事实。
牛僧孺为官数十年，总是陷入党争旋涡而不能自拔。唐武宗会昌元年（公元841年），牛僧孺镇守襄州（今湖北襄樊市）。这年，襄州发生特大洪水。时任宰相的李德裕，乘机报复牛僧孺，以渎职罪罢免了牛僧孺的山南东道（今湖北襄樊襄阳一带）节度使一职，让他出任太子少师。会昌四年（公元844年）十月，李德裕再次罗织罪名，贬牛僧孺为太子少保，分司东都，去洛阳任职。不久，又贬牛僧孺为汀州（今福建长汀县）刺史。十一月，再贬牛僧孺为循州（今广东惠州市）长史。当时的循州，地处偏僻，经济落后，无人愿去。会昌六年（公元846年），唐武宗去世，唐宣宗即位，李德裕失势，风烛残年的牛僧孺，这才喘过一口气来，任所由南向北转移，先任州（今湖南阳市）长史，后任汝州（今河南汝州市）长史。唐懿宗大中二年（公元848年），牛僧孺再任太子少保，分司东都，后又转任太子少师。
牛僧孺作为封建统治集团中的一员，宦海游荡40年，深陷党争40年。这40年，对牛僧孺来说，是腥风血雨的40年，是备受磨难的40年，也是毁誉参半的40年。到了晚年，牛僧孺心力交瘁，疲惫不堪，以至于没能熬过大中二年的冬天，久病不起之后，逝世于东都洛阳，时年69岁。牛僧孺死后，赠太尉，谥号文简。
牛僧孺死后，归葬故里。今甘肃灵台县新开乡牛村有牛僧孺墓。牛僧孺的墓志铭，由唐代文学家杜牧撰写。
牛僧孺是唐代著名的政治家，也是当时颇负盛名的文学家，在中国古代文学史上占有重要的地位。牛僧孺在文学史上最重要的贡献是创作了大量的传奇小说，并结集为《玄怪录》一书。据《新唐书·艺文志》记载，《玄怪录》多达10卷，可惜早已散失。成书于宋代初期的《太平广记》中，辑录了牛僧孺的传奇小说33篇。这些作品，大都创作于唐代贞元、元和年间。总的来看，这些作品具有猎奇追异、宣扬神怪的特点，受六朝志怪小说的影响明显。其中大部分作品构思精妙，文笔流畅，显示了作者文学创作方面的才华。
需要肯定的是，《玄怪录》中的不少作品，在当时具有重要的社会现实意义，即使今天看来，仍然具有重要的文学价值。《玄怪录》中，有不少描写爱情、鬼怪和为民除害的故事。如《郭元振》，描写猪怪为害乡间，以糟蹋少女为乐。义士郭元振路过此地，决心除掉这只猪怪。可是，乡里人深受猪怪蒙蔽，对郭元振的侠义行为不理解。在郭元振的耐心开导下，乡人们终于醒悟过来，协助郭元振将受伤的猪怪杀死。郭元振真有其人，曾任凉州都督，有功于民。牛僧孺把一个传奇故事依附在真实的历史人物身上，其做法富有创新意义。《玄怪录》中，还有大量的爱情故事，都写得生动有趣，让人过目难忘。《玄怪录》中描写的鬼怪狐精，大都形象丰满，性格鲜明，虽为鬼怪狐精，却给人一种亲切可爱的印象。
牛僧孺的《玄怪录》，对后世的文学创作产生了重要影响。鲁迅先生在《中国小说史略》中说：“造传奇之文，荟萃于一集者，唐代多有，而煊赫者莫如牛僧孺之《玄怪录》。”将传奇小说结集在社会上流行，也始于牛僧孺。也许由于这个原因，《玄怪录》问世后，仿效者不少。薛渔思创作传奇小说《河东记》3卷，在自序中就标榜为“续牛僧孺之书”。传奇小说作家李复言，甚至将自己的作品集定名为《续〈玄怪录〉》。牛僧孺的外孙、曾任尚书左丞的张读，受牛僧孺的影响，创作传奇小说《宣室志》10卷，在社会上产生了广泛的影响。
牛僧孺也写过不少诗歌，可惜大都散失。牛僧孺与著名诗人韩愈、白居易、刘禹锡、李绅、杜牧等交往频繁。他的一些诗歌，是同这些著名诗人的交往中创作的。白居易的《白香山集》中，收录白居易与牛僧孺唱和的诗歌多达20余首。