年轻的太子，长得是仪表堂堂，因此，常有很多贵门的少女，王族的千金，想博得他的宠爱。豪华的宴会，欢狂的歌舞，一日都不停息的烦扰着太子。净饭大王的心中也是这样的打算，他以为唯有这样才可以使太子不致生起出家的念头，使阿私陀仙的预言不至于成为事实。然而太子为这些歌舞宴会，反而增添不少的忧郁与厌恶。净饭大王见到如此情形，更是忧愁万分!他想：太子的品性，高尚忠厚，是国民崇拜敬仰的;太子的武艺，超群英勇，是邻国闻名而畏惧的。想不到这么一位贤德的太子，竟把荣华富贵看得那么没有价值。净饭大王想改变太子这郁郁不乐的性情，除了用财宝女色之外，又想不出其他的办法。

他命令集合全国有名的建筑工程专家营造四时宫殿，让太子没有春去秋来的感觉，里面终日不是管弦乐声，就是豪华歌舞，但是，这一切的一切，仍然不能增加太子的欢心。这不是没有原因，聪明的太子，虽然深居在内宫之中，但他已体察到当时印度社会阶级悬殊的情形。他疑惑人与人之间为什么会那样的不平等?劳苦的大众为什么不能获得美满的生活和自由?如何改造这不平等的社会?这些问题早已盘旋在悉达多太子的心中。

而且，他犹记得幼时被父王带去视察农村社会的情形。在农村里，见到人人都是流着汗珠在辛勤的劳动，烈日当空，也得不到休息。而父王和自己却伞盖车马，任意的逍遥，这是多么的不公平。还有，他见到那些农田被掘翻的土内，有许多大大小小的昆虫，正当他们要往土里钻的时候，却被群鸟飞来争先恐后的啄食。弱肉强食，这是多么的残酷和无情!这是多么的恐怖和痛苦!

在这时候的太子，他并不是厌恶这世间，也不是忧愁自己没有快乐，而是目睹社会的不平，众生的痛苦，所以郁积在心头的愁思，始终不能释去。净饭大王见到他钟爱的太子沉思默想，心中增加无限的忧愁。所以，在太子十九岁的时候，就替他选了美丽的耶输陀罗为妻。他以为太子若有一位美丽的妻子，可能使他转忧为喜。