张九龄为相，明皇欲以凉州都督牛仙客为尚书，执不可，曰：“仙客，河湟一使典耳，擢自胥史，目不知书，陛下必用仙客，臣实耻之。”帝不悦，因是遂罢相。观九龄集中，有《赠泾州刺史牛公碑》，盖仙客之父，誉之甚至，云：“福善莫大于有后，仙客为国之良，用商君耕战之国，修充国羌胡之具，出言可复，所计而然，边捍长城，主恩前席。”正称其在凉州时，与所谏止尚书事，亦才一年，然则与仙客非有夙嫌，特为公家忠计耳。（《随笔》卷三）
“点评”
张九龄是具有诗人气质的宰相，正派、耿直、诚实，秉公行事，从不为讨好皇帝而去迎合帝意，这里记的两件事情便是很好的说明。先是唐玄宗欲起用牛仙客为尚书，唐代的尚书已不是秦汉时只管殿内文书、职位不高的官职，而是要管国政，不论是吏部尚书，还是礼部、兵部、都官、度支、工部尚书，都是掌管一个方面政务的总负责人，不是一般人可以胜任。
既然皇帝征询张九龄意见，他便依据亲身了解到的实话实说，认为牛仙客只是河湟的一个小官，没多少文化，怎能太越级提拔？而他自己当时做宰相，是经过考中进士，做过右拾遗之后，一步步升到这个位置的。牛仙客没有经过这样的磨炼，张九龄自然觉得他无法胜任，便不同意皇帝的意见。据《新唐书·张九龄传》云，玄宗还想实封牛仙客，张九龄更反对，帝怒曰：“岂以仙客寒士嫌之邪？卿固紊有门阀哉？”次日，口蜜腹剑的李林甫迎合玄宗旨意进曰：“仙客，宰相材也，乃不堪尚书邪？九龄文吏，拘古义，失大体。”
玄宗这才决定用仙客不疑。九龄既驳帝旨，就被罢相位。次是第二年，张九龄为牛仙客父撰写碑文，称赞很高，说他有个好后代，又说牛仙客是国家忠良，能用商鞅发展农业整顿战备的做法，实行赵充国击败羌胡的屯田政策，计划可行，说到做到，又屯兵边塞形成国家的长城，所以皇帝才加恩于他。
洪迈引此碑文，意在说明张九龄先前谏止玄宗任用牛仙客，并非是与牛仙客有宿怨，纯粹为公家尽忠而已。后在碑文中对牛仙客称赞也是实在的，是牛仙客为相一年中的诸多表现改变了他的看法，他便老老实实地承认人家的能力和贡献，他决不是闭起眼睛不去看，不去承认自己过去缺少慧眼的人。这样正派而正直的官吏和文人，今天依然很需要！