在中国黄色是大地的颜色，这种色彩代表着“天德”之美，中和”之美，被称为尊色。作为尊色，黄色大量地出现在中国文人骚客的笔墨中。宋王懋在《野客丛书？禁用黄》中写道：唐高祖武德初，用隋制，天子常服黄袍，遂禁士庶不得服，而服黄有禁自此始。元曲章》里有：庶人不得服赭黄。 白居易在《卖炭翁》中也写到：翩翩两骑来是谁？黄衣使者白衫儿。这里的“黄衣”就是指唐代宫廷里品位较高的宦官。在佛教中也崇尚黄色，和尚的袈裟就是黄色的。由此可见，黄色在中国封建社会里是法定的尊色，它象征着皇权、辉煌和崇高。至今，黄色仍然是古老中国的象征。
在中国的传统文化中，黄色代表着“帝王之色”阴阳五行中说：黄色中和之色，自然之性，万世不易。《通典》也有说明：黄者中和美色，黄承天德，最盛淳美，故以尊色为谥也。这些文字足以证明黄色的尊贵。在中国古代汉语中与“黄”有关的词语还有：“黄屋”其实就是古代帝王乘的车；“黄榜”是指皇帝发布的文告；“黄门”是汉代为天子供职的官署。在这些文化的推动下，黄色被蒙上了一层象征着明亮与富贵的神秘面纱，它代表着沉甸甸的财富。
在中国，黄色是皇权的象征，而在西方文化里黄色就没那么好运了。在西方，黄色是忧郁、病态、令人讨厌、胆小等负面意义的代名词。成吉思汗的西征和义和团运动让白种人心惊胆寒， 因此白种人就诬称黄种人为“The yellow peril”翻译成中文就是“黄祸”其他用黄色来表示的不雅的词还有“yellowdog”译为：卑劣的人；yellowdog contract”译为：以不加入工会为条件的雇佣契约；yellowlivered ”译为：胆小的；yellow looks”译为：阴沉多疑的神色；yellow streak ”译为：胆小与卑怯； yellow back”译为：19世纪流行的通俗小说； “yellow journalism”译为：黄色报刊作风，用不正当的手段吸引读者。在西方的黄色文化中，yellow book”不能直译为“黄色书刊”因为它是法国等一些欧洲国家的政府报告书；而“yellow pages” 是美国电话本中按行业、职业分类的部分，常用黄纸印刷；Yellowstone National Park ”则是美国著名的黄石公园。
由于黄色的双重性，它在西方文化里也有美好的一面。在西方世界里人们用黄色比喻爱情。80年代在国内上映的一部叫做《神秘的黄玫瑰》的法国影片里，讲述的就是一位绰号为“黄玫瑰”的英雄的故事。而在西方的纹章学里，黄色象征着坚定、正义、智慧和光荣。