当时的朝政已被王氏外戚把持，汉成帝本有亲政的能力，但权力又夺不回来，内心很是痛苦无奈，于是就纵情声色来掩盖自己内心的悲哀。赵合德正值女性的鼎盛时期，需求益加强烈，因此不得不以春药来刺激皇上的欲念。绥和二年春天，因为欢娱过度，汉成帝竟然停止了呼吸。赵合德自觉羞愧不已，被王莽逼迫饮药自杀。之后不久，在王莽的背后支持下，朝中群臣指责赵飞燕“失妇道，淫乱宫帏，不生育，断了皇室外的后代”等等罪名，故皇太后赵飞燕被贬为孝成皇后，迁居到北宫，过了一个多月，又废之为庶人，被迫自杀身死。
赵飞燕姐妹出身卑微，她们的发达靠的是汉成帝的色令智昏。不过，成帝在世时虽然给了她们的外家以封侯的赏赐，但并未给他们任何实质性的权力，根本无法使她们形成盘根错节的权力网络，与王氏外戚集团相比实在不可同日而语。赵飞燕姐妹当年的盛气凌人、飞扬跋扈，靠的是成帝至高无上的权位。成帝一死，她们立即陷入孤立无援的困境。特别是，由于她们在成帝当国时不知检点，树敌太多，与其他外戚、嫔妃间积怨太多太深。及至成帝寿终正寝，宿敌们一齐出来向赵飞燕姐妹身上泼脏水，有些趁机落井下石，众口铄金，使她们百口莫辩。尽管如此，他们在歌舞艺术上所做的贡献，还是让后人称奇赞叹。