蔡允恭是荆州江陵人，他的祖父曾任梁尚书议曹郎，他的父亲在后梁任左民尚书。蔡允恭一表人材，风度翩翩，又善于吟诗作文。他的诗文也是绮丽错杂，纤巧浮华，在当时十分盛行。
蔡允恭在隋朝历任著作郎、起居舍人，以文才得到隋炀帝的亲用。隋代开国之初，文坛上依然是南朝浮艳文风占统治地位，隋文帝对此不满，专门下诏：“公私文翰，并宜实录”，提倡朴实自然的文风。他还惩罚过文表写得华艳的泗州刺史司马幼之。后来治书御史李谔上书，指斥南朝文风是：“连篇累牍，不出月露之形；积案盈箱，唯是风云之状。”隋文帝命令把这篇奏书颁告天下。
杨广在未即位以前，在文学主张上紧随其父，对荒淫享乐，粉饰太平的宫体诗风大加攻击，以迎合隋文帝的意思，讨得欢心。他当了皇帝后，立即脱去伪装，来个一百八十度的大转弯，专门提倡荒淫诗风。隋炀帝对南朝文化一向非常醉心，“好为吴语”，多次游幸江都。他自己也写诗，风格也是轻侧浮艳，如《宴东堂》、《嘲司花女》、《江都宫乐歌》等等。
隋炀帝写了诗歌辞赋，常让蔡允恭朗诵或演唱，看样子蔡允恭还有相当的表演才能。不过，隋炀帝还是不大满蔡允恭雅善吟咏意。谁让他是个男的呢？炀帝爱的是美女而不是美男。于是，隋炀帝令蔡允恭入宫教宫女朗诵诗文。蔡允恭深以为耻，借口有病在身，磨磨蹭蹭，不按时去。隋炀帝为了调动他的积极性，答应提升他为内史舍人，条件是他要好好教宫女。蔡允恭坚决推辞，不当这个官。隋炀帝觉得很扫兴，逐渐地疏远了这个“不识抬举”的诗人。
隋炀帝在江都被杀，群臣都被宇文化及挟裹而行。宇文化及初败于李密，再败于窦建德，最后朝臣大多被窦建德收用，蔡允恭也在其中。
窦建德在武牢兵败后，蔡允恭被李世民任用为秦王府参军兼文学馆学士，参谋军事，蔡允恭未必能胜任；研讨文史，却是他的长项。蔡允恭在陪李世民吟诗论文之余，还撰写了一本史书，名为《后梁春秋》。他的诗文也有十卷之多。
贞观初年，蔡允恭升任太子洗马，但时间不长就退休了。不久，蔡允恭病逝于家中。