《隋书》作者在隋文帝的勇、俊、秀、谅四子合传中，曾感叹地说：“隋文帝五个儿子，没有一个能终其天命，真是奇异啊！”
可以说，在中国千年皇室悲剧史中，杨家父子曾作了扣人心弦的表演。皇太子的废立，让原本相安无事的帝王之家骨肉相残的开始，正由于隋文帝、独孤后的宠爱导致了杨广心理失衡而恃宠夺宗一样，杨勇被废、杨广被立，导致了杨家其他皇子们的心理失衡。于是，惨剧还再继续上演。
但秦王杨俊已在杨勇被废前的六月二十日死了。他从扬州总管与杨广对调到并州总管后，起初的表现相当不错，但不久之后便“渐奢侈”、“总违制”、“颇好内”，以至引祸上身：先是被因其“好内”而吃醋的王妃崔氏在瓜中投毒暗害，虽然没死，但却因此中毒患病；随后，被父皇征回京师免官，身体有病，心里窝囊，三十岁左右便死了。
这样，杨广被立为皇太子后，需要摆平的只剩下四弟蜀王杨秀、五弟汉王杨谅了——他首先要对付的则是担任益州（今四川省成都）总管的杨秀。
杨秀长得相貌堂堂，而且胆子大，有魄力，好武艺，在朝中为官时，文武百官都怕他。隋文帝早就看出了杨秀不会安分的苗头，曾对独孤后说：“蜀王一定不会有好下场，我在时他不敢，等他兄弟当政，他必定反叛。”
生性如此的杨秀，对杨广被立为皇太子当然愤愤不平。
即便杨秀不说什么，多年处心积虑的杨广对他的态度也能猜出个八九不离十。杨广不能不暗自思量：蜀王素来骄横，父皇的命令他有时也不理，将来轮到我做皇帝，他必然与我作对，不如趁早剪除，免得日后麻烦。
杨广是懂得“安莫志危”这个道理的。杨秀好不容易被立为太子，如果掉以轻心，功亏一篑，那就惨了，经过夺宗之变后，杨素与杨广已结为一党，过从甚密。杨广搞垮杨勇，多亏有杨素出力，现在要搞垮杨秀，更少不了杨素的帮忙。史称：杨广担心杨秀终将成为后患，遂让杨素寻求其罪过，向隋文帝密进谗言。
隋文帝对杨秀素无好感，他自己也确实不怎么样，常言道：“脚上的泡是自己走的。”杨秀没少干犯法违制的事情，他甚至忘了他是谁了，浑天仪这种观察天象的天文仪器，只有天子才可以拥有，以观测天象凶吉，而杨秀竟敢也造了一个。他还大量逮捕山狼部落的男子阉割后，充当后宫太监，所用车辆马匹、衣服装饰等，也都跟天子的一样。
这样的人，太容易为人陷害了。
隋文帝得杨素进言，遂征召杨秀返回京师，仁寿二年（602年）春季。
但杨秀迟迟不肯动身，至七月十二日，隋文帝怕生变故，命原州总管（总部设于今宁夏因原县）独孤楷飞奔前往益州接替他，劝他速回京师。但事情到了这种地步、他仍不肯起程，在独孤楷的一再劝说下，过几日才离开了益州，走了四十余里后，又想带军杀回去，只因派兵回返侦察，发现独孤楷已有防备，才不得不打消了这个恶念。
杨秀对父皇尚敢如此，杨广称帝，他必反无疑。
隋文帝看透了他，太子杨广自然也不会对他抱有幻想：自己称帝后，蜀王必然造反，若与汉王联起手来，如何处之？唯一上策，只能是在父皇还健在时，借父皇之手除掉他。
可以说，杨广居安思危，先发制人，作为一个统治者，确实已经相当成熟了。单凭这点，他也确实比被赶下台的前太子杨勇，更适合做杨家的“掌门人”。
二人相争，既然不发于杨广，总有一天也要发于杨秀，所以，以他那么一副德性，被杨广构陷也实在是不值得同情了，杨广此举也无可厚非。
杨秀抵达京师长安后，当即入宫拜见父皇。
隋文帝没跟他说一句话。
次日，隋文帝命使节对杨秀严厉责备。杨秀承认有罪请求父亲宽恕。杨广在金銮殿上也假意流泪，帮着哀求。
隋文帝不为所动，将其交给以杨素等调查审理。
至此，杨秀已经是“死”定了。
为了加重其罪行，杨广令人做了两个木人，用绳子绑住双手，并用铁钉钉在木人心上，又加上了脚镣手拷和重重枷锁。
两个木人，一个身上写着“杨坚”，一个写着“杨谅”，并又写上：“请西岳华山慈父圣母，派神兵九亿万骑，收杨坚（杨谅）魂神，照这个样子把他们关闭在华山，不让他们到处游荡。”
杨广派人把这两个木人偷偷埋在了西岳华山下。
不久，杨素使得到杨秀身边人的密告，说蜀王杨秀如此如此、这般这般。杨素遂派人前往挖掘，果如其言。
杨广还令人伪造了一个杨秀准备发兵反叛的檄文，夹在杨秀的文集里，自然也被查出。
杨秀这些“罪行”当然不会是一种孤立的现象，类似的还有厌恶父皇和皇太子，父皇一有病，他便祈求，希望父皇一病不起；假托妖言，妄称鬼怪，说呈太子“不终其位”、“不得入宫”，并说自己骨相并非人臣，德业堪承帝位……不一而足。
杨素审理出杨秀这些连真带假的罪证，遂上奏隋文帝，隋文帝气愤地说：“天下竟有这种事！”
杨秀被召回长安正值母丧，对他的审理、处理可能主要是在闰十月二十八日安葬了独孤皇后之后。而杨广在母丧中，也不可能认识不到已经年过花甲的父皇，这一天的到来也为期不远了。所以，为了彻底整垮杨秀，便运用了歹毒的手段，加重其罪。
十二月二十日，隋文帝下诏将杨秀废为庶人，侍省（宦官署）。
成为太子只有两年的杨广又一次获得了成功，除掉了剩下的两个兄弟中最大的一患。没有此举，平定汉王杨谅的反叛，就不可能那么容易了。