烈宗孝武皇帝太元二年（公元377年）
初，中书郎郗超自以其父愔位遇应在谢安之右，而安入掌机权，愔优游散地，常愤邑形于辞色，由是与谢氏有隙。是时朝廷方以秦寇为忧，诏求文武良将可以镇御北方者，谢安以兄子玄应诏。超闻之，叹曰：“安之明，乃能违众举亲；玄之才，足以不负所举。”众咸以为不然。超曰：“吾尝与玄共在桓公府，见其使才，虽履屐间未尝不得其任，是以知之。”玄募骁勇之士，得彭城刘牢之等数人。以牢之为参军，常领精锐为前锋，战无不捷。时号“北府兵”，敌人畏之。
东晋时代是皇族与士族共和的时代，标准的说法是门阀政治，也就是皇权不能独大，有大士族在其间平衡之。这种格局从“王与马共天下”开始，甚至更早到司马越和王衍的合作，皇帝专制和门阀政治表面形态有所不同，但本质都是专制政治。区别不过是皇帝是“一个核心”，士族是“集体领导”。
谢安和王导一样，谋取皇族与士族、士族与士族之间的和平共处，但是和平的前提条件是权力均衡，其中最关键的是军权的均衡。王敦、苏峻、桓温之所以强势，就是因为他们掌握了军队。东晋时代，皇帝和士族、中央和地方、上游和下游、南人与北人……可谓矛盾万千重，在矛盾多样化政治局面下，就会产生王导和谢安这样八面玲珑的政治家。王导主政，有王敦率领的王家军作为后盾；同样，谢安要想做好丞相，也必须有谢家军以为奥援。
桓温死后，桓冲让出了长江下游的驻防权，谢安于是安排自己的侄子谢玄另行组建军队，这就是后世闻名的“北府兵”。
谢玄时任建武将军、兖州刺史、领广陵相、监江北诸军事，出镇广陵。当时广陵和京口聚居着大量逃避北方战乱而来的流民，这些流民中，相信不少人和《射雕英雄传》里的郭啸天（郭靖之父）、杨铁心（杨康之父）一样，有家国情怀，有思想觉悟但生计匮乏，侨迁至南方后，自然会抱团取暖。他们有组织，也形成了自己的领导——“流民帅”，谢玄到任后，整合了流民帅刘牢之、何谦、诸葛侃、高衡、刘轨、田洛、孙无终等人的力量，以刘牢之为参军，组成了一支战斗力很强的军队。因为当时京口又名北府，谢玄镇京口，故而其军得名北府兵。
北府兵后来有效抵御了北方苻秦的侵略，在淝水大战中表现卓越，对危局中的东晋政权起到极大的巩固作用。此后，东晋政局的演变和北府兵的流变息息相关。这一点和晚清一样，后来清王朝的命运和湘军（以及其衍生的淮军、北洋军）的命运也是息息相关。国家在内忧外患之中，王朝在衰落过程中，就会有新兴的军事力量跃上政治舞台，他们既是这个王朝的强心剂，也不可避免地会充当这个王朝的掘墓人。枪杆子里面出政权，就其历史实践来说，揭竿而起上井冈成功的只是少数，更多的是体制内的军人黄袍加身。
军队是专制政权的终极力量，一个国家的民主化进程，必须包括甚至必先是军队的国家化，任何私有化的军队存在，都是民主宪政的毒药。在2011年埃及和利比亚的政局动荡中，我们就可以发现，军人左袒右袒关系甚大。
桓冲驻守长江上游，让出下游防地给谢安谢玄，这样谢氏和桓氏形成了新的共同局面，老牌的士族王氏相对边缘化，后来新晋的郗氏（郗鉴、郗愔、郗超祖孙）则因为郗超早死也就没落了。郗超结党于桓温，又不失时机地向司马氏示忠、向谢氏示好，刀切豆腐两面光，属于亦正亦邪的人物。不过那个时代朝廷的气氛确实是亦正亦邪。
谢安、谢玄叔侄一个主导内政，一个手拥兵权，又恢复了王导、王敦时期的模式，回观桓温始终在朝中没有自己的兄弟把持，缺少一个有能力的内应，这也是桓温最终不能得志的一个主要原因。