悉达多太子十岁那年，同族的孩子聚众比武。当时，提婆达多（太子的堂弟）等听说悉达多太子武艺超群，都要向太子挑战。结果在比试射箭时，提婆达多一箭射穿三面铁鼓，太子的弟弟难陀（姨母摩诃波闺波提所生）也同样射穿了三面铁鼓，而太子天生神力，将七张弓叠在一起，一箭射穿七面铁鼓，取得了胜利。围观的众人也不禁高声喝彩，欢呼雷动。
后来，为了彰显悉达多太子的武艺，净饭王又颁令全国，在后园举办武艺比赛。于是国内国外参加者络绎不绝。
比赛那天，提婆达多带领侍从最先出城，奔赴后园参加比武。当时，有一头大象正拦住了城门，提婆达多便上前用手搏击大象头部。大象当即双足跪了下去。于是，军士和众人都越过大象，一次第走出了城门。紧接着，难陀带领了一班人也要穿过城门，他身边的军士和侍从也因大象而堵塞。难陀听说，当即向前，手足用力，将大象掷放路边。围观的人众越来越多，都拥挤在一块，看着这壮观的场景。
这时，太子悉达多也从宫里走出来，要到后园去，却见路边围聚了许多人。太子感到很奇怪，问明缘由后，就走到大象边，用手抓起大象扔出城外，自己也快跑出去，在大象落地的瞬间，稳稳地将其接住。大家不禁为太子的神勇和仁慈赞叹。
比赛时，比过射箭后，又比相扑。提婆达多与难陀互相扑击，不分胜负。这时，轮到悉达多太子上场与两位弟弟一比高低。太子运用神力，同时使提婆达多和难陀跪仆在地。由于心怀慈爱，当两位弟弟跪倒在地时，都不叫他们有伤痛的感觉。这一下，四方人民都见到悉达多太子的盖世神功了，他们高声赞叹道：“悉达多太子真是文武全才，天下第一！”
娶耶输陀罗公主妻
王宫中的生活是快乐而丰富的，但悉达多太子并不醉心于这种锦衣玉食、养尊处优的日子，他甚至因此而感到厌烦起来。在这样平静的生活中，太子丰富的思维使其心灵渐渐充满了苦闷、矛盾。
净饭王生怕太子兴起出家的念头，而应了阿私陀仙人的预言，于是想道，是为太子婚聘的时候了，如果给太子找到一位美丽的妻子，就能拴住他这颗游移的心了。
于是，太子十六岁那年，净饭王将大臣们召集到王宫开会。净饭王说：“现在，太子已经长大成人，应当为他找一位公主成婚了。”群臣纷纷议荐，最后大家一致认为，邻国天臂城善觉大王的公主耶输陀罗，不仅颜容端正，还聪明智慧，才干过人，而且又知书识礼，真是德才貌无一不备，最适合做太子的王妃。的确，耶输陀罗公主姿态窈窕，像仲春季节的柳絮：娇容美好，又像初降人间的仙子。她作为悉达多太子的王妃，是最相称不过的了。
耶输陀罗公主嫁给太子后，夫妻十分恩爱，生活异常美满。太子智慧超群，太子妃聪明伶俐，两人谈文论道，心心相印，极尽人间之乐。后来，耶输陀罗公主为太子生下了一位聪明漂亮的儿子，名叫罗喉罗，意思就是潜伏的一种障碍。为儿子取这个名字，表明了悉达多太子已经有了出家修行的念头。
出游东门，路逢老人
宫中的生活虽然是日日笙歌、夜夜欢娱，但那快乐底下所隐含的生命的空虚无聊总使人感到压抑，于是太子便带着随从出城散心。当时，太子是从城东门出去的，前后导从，煞是壮观。
出了城门，就看到不远处有一位老者蹒跚而行，步履艰难。太子忙问马夫车匿：“这个人为何神情委顿，身形佝偻？”车匿说：“他是个老人。”太子又问：“老人是什么？人们都会老吗？”车匿回答：“从古至今，没有谁能永葆青春，每个人都会从婴儿长起，最终变老。”
太子听到车匿的话，一股巨大的苦恼涌上心头：“日月不停地迁徙，衰老就像闪电一样快地降临到人身上，人身立刻就会变得脆弱而不可依恃。我现在虽然富贵非常，难道能免除这样的遭遇吗？为什么世上的人对这样的境况不感到害怕？老患能坏我们这色相的身体，一切众生健壮的身体、雄厚的力量，好比是一瞬的梦境而已。世间上什么都是在变迁着，别人是如此，我也是如此，眼看如此的老患，怎不使我生起悲伤厌惧的心呢？”太子长叹一声，打消了出外游玩的念头，便叫车匿掉转车头，向王宫回驶而去。
回到王宫，太子更加感到忧愁。人生的短暂、空虚和寂寞有如一条毒蛇纠结盘绕在他心里，他只好独自忧苦地思索着。净饭王见到这一切，无比担忧，但他无法排解太子的忧伤，他只有增加宫娥才女，增加外在的欢乐来娱悦太子。然而，太子对这一切已经熟视无睹了。
出游南门，路见病人
过了些天，太子又要外出游玩。为了避免再有不快的事发生，净饭王就命人打扫街道，清除污秽，而且连沿路围观的民众都有所挑选，并且特意让太子从南门出城。
但刚刚走出城的南门，路边就出现一个病人，非常瘦弱，却长着一个奇大的肚子。满身生疮流脓，颜貌委黄，全身颤抖，不停地呻吟着。
太子见此情景，感到很奇怪，就问身边的车匿：“这是什么人？”车匿回答说：“这是一个病人。”太子又问道：“什么叫做病？”车匿回答说：“所谓病，就是由于人们嗜欲太深、饮食无度引起的身体不调，进而转变成病。人生了病，就会变得身上所有的地方都感到不舒服，甚至苦痛。气力虚弱，饮食也少了，睡眠也不能安稳了，坐卧也需要其他人扶持。”
太子听到这里，心里油然生起慈悲之心。他看着那个病人，就像自己也生了同样的病一样，他无力解除这样的苦痛，因而心里忧愁万分。他又接着问：“只有这个人才是这样生病，还是其他人都会这样生病？”车匿回答说：“所有的人都会生病，不论贵贱，不论男女老幼，都会生病。”太子听完，心里默默地想道，“像这样生病、痛苦，普天下的人都将缠缚熏染上，为什么世上的人都只想着眼前的快乐而对将来不感到害怕呢？”太子一想到这里，便深深地感到恐怖，不能平静。当即下令不再出游，驾车回宫。
净饭王觉得恐怕真的是天意如此，他生怕太子再度犹豫，从而出家修行，因此，净饭王除了歌舞美女以外，又挑选了很多容貌端正、聪明伶俐的贵族少年，日夜侍候在太子身侧，进退都有一定的礼仪，想以此来使太子感到王者的威仪。可是，在太子的心中，对这一切人为的排场，一点荣耀骄傲的念头都没有。
出游西门，路睹死人
太子第三次出游是走西门。沿路依旧是洒扫停当，精心布置，因为净饭王生恐又有什么事情惹得太子烦心。
可是他们刚刚走出城西门，就看到四个人抬着一具棺材。有人向尸体散花，有人在旁痛哭。太子见此情景，茫然不解。于是就问车匿，“这是个什么人？为什么有人将香花布散在他身上，却有许多人号哭相送？”车匿恭敬地回答说：“这是一个死人。”太子又问：“什么叫死？”车匿说：“所谓死，就是人的上下四肢以及各种器官都没有了知觉，神识随之而去。这个人在世时，贪恋执着五欲，爱惜钱财，辛苦经营，只知道积聚财富，不懂得命运无常。现在一旦舍弃这些财物、权势、地位、欲乐而死，却又为亲戚眷属所爱恋怀念，所以有这些跟在后面哭的人。然而人命终之后，就像草木，所谓人间的恩情好恶，不再与他相关。像这样死去，确实是非常哀痛的事。”
太子听后，受到了巨大的触动。他浑身颤抖，询问车匿：“只有这个人才死，还是其他人也一样会死呢？”车匿回答说：“一切世人都应当会死，不论贵贱，都无法逃脱。”顿时一种异常的恐怖笼罩着太子的全身，太子低声对车匿说：“世间既然有这死的痛苦，为什么人们还要在其中做出那么多放诞纵恣、安逸快乐的事？人心真有如木石，不知道一点害怕和恐怖！”太子当即命令赶紧回宫。
太子第三次出游，回来仍是闷闷不乐，净饭王知道太子出家的念头是愈积愈深丁。为了社稷前途，净饭王还是想出许多办法来娱悦太子，希望他断绝出家之想，可太子从不为之所动。
出游北门，得遇沙门
第四次出游，太子骑着马，从北门出去。这回的街上虽然仍是华丽庄严，但在太子的眼中却不见有多少快乐和奇异。出了北门，一直来到郊外。太子挥手叫侍从走开，独自来到一株阎浮树下坐着，为解决老、病、死的苦患，陷入沉思。忽然前面有一个穿着法服的沙门向他走来，太子立刻站起来迎接，并很恭敬地问道：“请问您是什么人？您为什么要穿与众不同的服装呢？”
“呵！你要问我这个吗？我告诉你，我是离开家庭束缚的沙门。我厌恶老、病、死的苦恼，我要求得自由解脱的大道。众生，没有人能免除老、病、死，没有人能逃脱瞬息万变的无常，因此，我才出家来做沙门。我没有什么可以忧愁，也没有什么可以欢喜。我的希望是能够获得不生也不灭，达到冤亲平等的境地！
我，没有财欲也没有色欲，终日隐居在山林寂静的地方，断绝世间名利的关系，没有‘我’的观念，也没有‘我所有’的东西，没有净秽的选择，也没有好丑的分别，在市镇或村庄上乞食，滋养这假合的色身。
遇到别人有苦难的时候，我就设法为他解救，我没有希望别人报酬的心理，更没有求功德的念头。我只觉得众生的苦恼都应该让我一个人承受，我不努力去解救生死大海中的众生还有谁呢？”
悉达多太子听到这里，顿时觉得深合心意。他想，我正是要远离欲乐，求得解脱大道，以普渡众生，但不知如何实行。今天正好遇上了这位比丘，真是仿佛见到黑暗的世间上一盏明亮的灯！正当太子要进一步打听修行的具体步骤时，那位比丘却已不见了影踪。
太子回到宫中，心中欢喜无比，想到：“我以前出城时，见到有老、病、死等等苦痛，白天黑夜都担心着为这些现象所逼迫，今天见到了这位比丘，他向我开示解脱的大道，这真是我求之不得的机缘啊！”想到这，太子心里便暗暗打定了主意：“我一定要像那位比丘一样出家修行。”