开皇二十年（庚申年，公元600年）
春季二月，熙州人李英林发动叛乱。三月辛卯日，朝廷任命扬州总管司马河内人张衡为行军总管，率领五万步兵、骑兵讨伐并平定了叛乱。
贺若弼又因事获罪入狱，隋文帝列举他的罪状说：“你有三个‘太过分’：嫉妒心太过分，自以为是、贬低他人的心太过分，目无君主的心太过分。”不久后又释放了他。有一天，隋文帝对侍从大臣说：“贺若弼在将要讨伐陈朝时，对高颎说：‘陈叔宝一定能平定。难道不会出现“飞鸟尽，良弓藏”的情况吗？’高颎说‘肯定不会这样’。等到平定陈朝后，贺若弼立刻索要内史令的职位，后来又索要仆射之职。我对高颎说：‘功臣理应授予勋官，不能参与朝政。’贺若弼后来又对高颎说：‘皇太子对我，无话不谈。您以后难道不需要我的帮助吗？何必这样疏远我！’他意图谋取广陵，又想谋取荆州，这些都是容易发生叛乱的地方，他的野心始终没有改变。”
夏季四月壬戌日，突厥达头可汗侵犯边境，隋文帝下诏命令晋王杨广、杨素从灵武道出兵，汉王杨谅、史万岁从马邑道出兵，攻打达头可汗。
长孙晟率领归降的突厥人担任秦州行军总管，受晋王杨广调度。长孙晟因突厥人饮用泉水，容易下毒，就取来各种毒药投在泉水上游，突厥的人畜饮用后大多死亡，突厥人于是大惊说：“上天降下恶水，是要灭亡我们吗！”于是连夜逃走。长孙晟率军追击，斩杀一千多人。
史万岁出塞后，抵达大斤山，与突厥军队相遇。达头可汗派遣使者询问：“隋朝的将领是谁？”侦察骑兵回复：“是史万岁。”突厥人又问：“难道是当年那个敦煌戍卒吗？”侦察骑兵说：“是的。”达头可汗恐惧，率军撤退。史万岁率军追击一百多里，发兵猛攻，大败突厥军队，斩杀几千人；又追击逃敌，深入沙漠几百里，直到突厥人远远逃走才返回。隋文帝下诏派遣长孙晟再次返回大利城，安抚新归附的突厥人。
达头可汗又派遣他的侄子俟利伐从沙漠东部攻打启民可汗，隋文帝再次发兵帮助启民可汗防守要道；俟利伐被迫退回沙漠。启民可汗上表谢恩说：“大隋圣人可汗怜悯养育百姓，如同上天无所不覆盖，大地无所不承载。我染干如同枯木重新长叶，枯骨重新长肉，千世万世，都愿做大隋掌管羊马的人。”隋文帝又派遣赵仲卿为启民可汗修筑金河、定襄两座城池。
秦孝王杨俊长期患病，无法起身，派遣使者上表谢罪。隋文帝对使者说：“我竭尽全力创建这大业，制定法度、留下榜样，希望臣下能遵守。你是我的儿子，却想败坏它，我不知道该如何责备你！”杨俊又惭愧又恐惧，病情加重，隋文帝于是再次任命他为上柱国；六月丁丑日，杨俊去世。隋文帝为他哭丧，只哭了几声就停止了。杨俊生前建造的奢华物品，隋文帝下令全部烧毁。王府的官员请求为杨俊立碑，隋文帝说：“想要留名，一卷史书就足够了，立碑有什么用！如果子孙不能保住家业，石碑只会成为别人的压石罢了！”杨俊的儿子杨浩，是崔妃所生；庶子叫杨湛。群臣迎合隋文帝的心意，上奏说：“汉朝栗姬的儿子刘荣、郭皇后的儿子刘强，都因母亲获罪而被废黜，如今秦王的两个儿子，母亲都有罪，不应继承爵位。”隋文帝听从了他们的建议，任命秦国的官员作为丧主主持葬礼。
起初，隋文帝让太子杨勇参与决断军政事务，杨勇对政事的修改建议，隋文帝大多采纳。杨勇性格宽厚，做事随心所欲，没有虚伪掩饰的行为。隋文帝生性节俭，杨勇曾对蜀地进贡的铠甲进行装饰，隋文帝看到后很不高兴，告诫他说：“自古以来，没有喜好奢侈却能长久统治的帝王。你作为太子，应当以节俭为先，才能继承宗庙基业。我过去的衣服，各留一件，时常拿出来看看，以此警戒自己。我担心你现在身为皇太子，会忘记过去的事情，所以赐给你我过去佩戴的刀一把，以及一盒菹酱，这是你当年担任上士时经常吃的东西。如果还记得过去的事，就该明白我的心意。”
后来到了冬至，百官都去拜见杨勇，杨勇设置乐队接受朝贺。隋文帝知道后，问朝臣：“最近听说冬至那天，朝廷内外百官都去东宫朝见，这是什么礼仪？”太常少卿辛亶回答说：“到东宫，是祝贺，不能说是‘朝见’。”隋文帝说：“祝贺的人，按理说几十人就够了，各自随意前往，为什么要由有关部门召集，让百官同时聚集！太子穿着礼服、设置乐队等待百官，合适吗？”于是下诏说：“礼仪有等级差别，君臣的礼节不能混淆。皇太子虽然是皇位继承人，但从道义上讲，也是臣子，而各地长官在冬至日前来朝贺，并进献贡品，还另外向皇太子进献，这不符合典章制度，应当全部停止！”从此，隋文帝对杨勇的恩宠开始衰减，逐渐产生猜疑和隔阂。
杨勇有很多宠妃，昭训云氏尤其受宠。他的妃子元氏不受宠，突发心脏病，两天后就去世了，独孤皇后怀疑其中有别的原因，因此责备杨勇。从此，云昭训专掌东宫内政，生下长宁王杨俨、平原王杨裕、安成王杨筠；高良娣生下安平王杨嶷、襄城王杨恪；王良媛生下高阳王杨该、建安王杨韶；成姬生下颍川王杨煚；后宫姬妾生下杨孝实、杨孝范。独孤皇后更加不满，多次派人暗中监视杨勇，寻找他的过错。晋王杨广则极力伪装自己，只和萧妃居住在一起，后宫姬妾生下孩子都不抚养，独孤皇后因此多次称赞杨广贤德。对于掌权的大臣，杨广都尽心结交。隋文帝和独孤皇后每次派侍从到杨广的住处，无论来人地位高低，杨广必定和萧妃到门口迎接，为他们准备丰盛的饭菜，并赠送厚礼；来往的奴婢仆人，没有不称赞杨广仁孝的。隋文帝和独孤皇后曾亲临杨广的府第，杨广把美貌的姬妾都藏到别的房间，只留下年老丑陋的，让她们穿着朴素的衣服，在身边侍奉；房间里的屏帐都改用素色的缣帛；故意弄断乐器的弦，不让人擦拭上面的灰尘。隋文帝看到后，认为杨广不喜好声色，返回皇宫后，把这些情况告诉侍从大臣，心里非常高兴。大臣们都为隋文帝感到庆幸，从此，隋文帝对杨广的宠爱远超其他儿子。
隋文帝秘密让善于相面的来和为所有儿子相面，来和回答说：“晋王眉毛上方有双骨隆起，富贵不可言。”隋文帝又问上仪同三司韦鼎：“我的几个儿子中，谁能继承皇位？”韦鼎回答说：“陛下和皇后最喜爱的儿子，就会把皇位传给谁，不是我敢预知的。”隋文帝笑着说：“你不肯明说啊！”
晋王杨广容貌俊美，举止优雅，生性聪慧机敏，性格深沉庄重；喜好学习，擅长写文章；对待朝臣恭敬有礼，态度极为谦卑；因此名声很大，超过了其他王子。
杨广担任扬州总管时，入朝觐见，即将返回扬州，入宫向独孤皇后辞行，跪在地上流泪，独孤皇后也伤心落泪。杨广说：“我生性愚笨，一直坚守兄弟间的情谊，不知道犯了什么过错，失去了太子的喜爱，他常常心怀怨恨，想要陷害我。我时常担心会像曾参那样，因别人的谗言而被怀疑，也担心会在饮食中被人下毒，因此常常忧虑不安，害怕遭遇危险。”独孤皇后愤怒地说：“杨勇这个小子，越来越让人无法忍受！我为他娶了元氏女，他竟然不以夫妇之礼对待她，专宠云昭训，生下这么多猪狗不如的孩子。之前元氏女被毒害而死，我也没能彻底查清原因，他为什么又对你有这样的想法！我还在世，他就敢这样，我死后，他一定会把你们当作鱼肉来宰割！每次想到东宫没有嫡子，等陛下百年之后，你们兄弟还要向云昭训的儿子跪拜问安，这该是多么痛苦的事啊！”杨广再次跪拜，呜咽不止，独孤皇后也悲痛不已。从此，独孤皇后下定决心要废黜杨勇，立杨广为太子。
杨广和安州总管宇文述一向关系很好，想让宇文述靠近自己，就上奏请求任命他为寿州刺史。杨广尤其亲近信任总管司马张衡，张衡为杨广谋划夺取太子之位的策略。杨广向宇文述询问计策，宇文述说：“皇太子失去陛下和皇后的宠爱已经很久了，天下人也没听说他有什么美德。大王您以仁孝着称，才能盖世，多次率军出征，立下大功；陛下和皇后都钟爱您，天下人也都希望您能继承皇位。但废立太子是国家大事，涉及父子骨肉关系，实在不容易谋划。不过，能改变陛下心意的人，只有杨素，而杨素只和他的弟弟杨约商议大事。我向来了解杨约，请允许我入朝，与杨约见面，共同谋划此事。”杨广非常高兴，赠送了很多金银财宝，资助宇文述入关。
当时杨约担任大理少卿，杨素无论做什么事，都先和杨约商议后再行动。宇文述邀请杨约，摆出大量珍贵的器物古玩，和他畅饮，趁机一起赌博，每次都故意输给他，把带来的金银财宝全部输给了杨约。杨约得到很多财物，逐渐向宇文述表示感谢。宇文述趁机说：“这些都是晋王赏赐的，让我和您一起玩乐罢了。”杨约大惊说：“为什么要这样？”宇文述于是转达了杨广的意思，劝说道：“坚守正道，固然是臣子的本分；但违背常规而合乎道义，也是明智之人的良策。自古以来，贤人君子没有不顺应时势变化来躲避灾祸的。您和杨素兄弟，功劳名声盖世，掌权多年，被您家侮辱过的朝臣，数不胜数！而且，皇太子因自己的意愿不能实现，常常对执政大臣恨之入骨；您虽然得到陛下的信任，但想要危害您的人也很多！一旦陛下去世，您又能依靠谁呢？如今皇太子失去皇后的宠爱，陛下也早有废黜他的想法，这是您知道的。现在如果能请求立晋王为太子，这事只在您兄长杨素的一句话。如果能在此时立下大功，晋王一定会永远铭记您的恩情，这样就能摆脱如累卵般的危险，成就如泰山般稳固的地位。”杨约同意了，于是把这个想法告诉了杨素。杨素听后非常高兴，拍手说：“我的智谋，远不如你，多亏你提醒我。”杨约知道计策可行，又对杨素说：“如今皇后的话，陛下没有不听的，应当趁机尽早和皇后结交，这样才能长久保住荣华富贵，传给子孙。兄长如果犹豫不决，一旦情况变化，让太子掌权，恐怕灾祸很快就会到来！”杨素听从了他的建议。
几天后，杨素入宫陪侍宴会，委婉地说：“晋王孝顺友爱、恭敬节俭，和陛下很像。”用这话试探独孤皇后的心意。独孤皇后流泪说：“您说得对！我的儿子非常孝顺，每次听说陛下和我派使者去，必定会到边境迎接；说起和我们分别的事，没有不流泪的。而且他的妃子也很令人怜爱，我派婢女去，她常常和婢女一起吃饭睡觉。哪像杨勇，整天和云昭训对坐饮酒，亲近小人，猜忌疏远骨肉！我之所以更加怜爱杨广，是常常担心杨勇会暗中杀害他。”杨素知道了独孤皇后的心意后，就极力说太子杨勇不成器。独孤皇后于是赠送杨素黄金，让他协助隋文帝废黜杨勇、立杨广为太子。
杨勇大致知道了他们的谋划，忧虑恐惧，却想不出办法，就派新丰人王辅贤用邪术诅咒隋文帝和杨广；又在东宫后园建造了一个“庶人村”，房屋简陋，杨勇时常在里面居住，穿着粗布衣服，睡在草席上，希望以此来避祸。隋文帝知道杨勇内心不安，在仁寿宫时，派杨素去观察杨勇的行为。杨素到了东宫，故意在外面休息，不进去见杨勇，杨勇穿戴整齐等待他，杨素却故意长时间不进门，以此激怒杨勇；杨勇心怀怨恨，不满情绪表现在言行上。杨素返回后对隋文帝说：“杨勇心怀怨恨，恐怕会有变故，希望陛下多加防备！”隋文帝听了杨素的谗言，对杨勇更加怀疑。独孤皇后又派人暗中监视东宫，哪怕是极小的事，都会上报隋文帝，并加以歪曲，来构成杨勇的罪状。
隋文帝于是疏远猜忌杨勇，在玄武门到至德门之间设置侦察人员，监视杨勇的动静，凡事都随时上报。此外，东宫的宿卫人员，凡侍官以上的，名册都划归到各卫府管理，勇猛健壮的人都被调离东宫。又把左卫率苏孝慈调出京城，任命为淅州刺史，杨勇更加不高兴。太史令袁充对隋文帝说：“我观察天象，皇太子应当被废黜。”隋文帝说：“天象显示这种征兆已经很久了，只是群臣不敢说罢了。”袁充是袁君正的儿子。
晋王杨广又让督王府军事姑臧人段达暗中贿赂东宫受宠的臣子姬威，让他监视太子的动静，秘密报告给杨素；于是朝廷内外都在议论杨勇的过失，每天都能听到杨勇的罪状。段达趁机威胁姬威说：“东宫的过失，陛下都知道了。陛下已经下达密诏，决定废黜太子、另立他人；你如果能揭发杨勇的罪状，就能获得大富贵！”姬威答应了，立即上书揭发杨勇。
秋季九月壬子日，隋文帝从仁寿宫返回京城。第二天，隋文帝驾临大兴殿，对侍从大臣说：“我刚回到京城，本应心情愉快；不知为什么，反而忧愁烦闷！”吏部尚书牛弘回答说：“是我们这些大臣不称职，让陛下忧虑辛劳。”隋文帝已经多次听到关于杨勇的谗言，怀疑朝臣都知道这些事，所以在众人面前发问，希望听到关于杨勇的过失。牛弘的回答不符合隋文帝的心意，隋文帝于是脸色一变，对东宫的官员说：“仁寿宫离京城不远，但每次我返回京城，都要严密部署仪仗卫队，就像进入敌国一样。我最近腹泻，连衣服都不敢脱下来睡觉。昨天夜里想上厕所，因为担心后房有紧急情况，又回到前殿居住，这难道不是你们这些人想败坏我的家业吗！”于是下令将太子左庶子唐令则等人逮捕，交给有关部门审讯；命令杨素向亲近大臣陈述东宫的情况。
杨素于是公开说：“我奉陛下旨意返回京城，命令皇太子核查刘居士的残余党羽。太子接到诏令后，脸色大变、情绪激动，声色俱厉地对我说：‘刘居士的党羽已经全部伏法，让我到哪里去追查！你身为右仆射，陛下对你的托付不轻，你自己去核查吧，和我有什么关系！’又说：‘当初隋文帝夺取天下的大事如果没成功，我会先被诛杀；如今陛下做了天子，竟然让我比不上各位弟弟，任何一件事都不能自己做主！’接着长叹一声，回头看着我说：‘我真觉得自己是个累赘。’”隋文帝说：“这个儿子不能继承皇位很久了，皇后一直劝我废黜他。我因为他是我平民时生下的儿子，又位居长子，希望他能逐渐改正过错，所以隐忍到现在。杨勇曾指着皇后的侍女对别人说：‘这些都是我的东西。’这话多离谱！他的妃子刚去世时，我很怀疑是被毒害的，曾责备过他，杨勇立刻怨恨地说：‘我迟早要杀了元孝矩（元妃的父亲）。’这是想害我却把怒气发泄到别人身上啊。长宁王（杨勇长子杨俨）刚出生时，我和皇后一起抚养他，杨勇却心怀猜忌，多次派人来索要孩子。况且云定兴的女儿（云昭训），是在外面私通生下的孩子，看这来历，未必是杨勇的亲骨肉！过去晋朝太子娶了屠夫的女儿，他们的儿子就
春季二月，熙州人李英林发动叛乱。三月辛卯日，朝廷任命扬州总管司马河内人张衡为行军总管，率领五万步兵、骑兵讨伐并平定了叛乱。
贺若弼又因事获罪入狱，隋文帝列举他的罪状说：“你有三个‘太过分’：嫉妒心太过分，自以为是、贬低他人的心太过分，目无君主的心太过分。”不久后又释放了他。有一天，隋文帝对侍从大臣说：“贺若弼在将要讨伐陈朝时，对高颎说：‘陈叔宝一定能平定。难道不会出现“飞鸟尽，良弓藏”的情况吗？’高颎说‘肯定不会这样’。等到平定陈朝后，贺若弼立刻索要内史令的职位，后来又索要仆射之职。我对高颎说：‘功臣理应授予勋官，不能参与朝政。’贺若弼后来又对高颎说：‘皇太子对我，无话不谈。您以后难道不需要我的帮助吗？何必这样疏远我！’他意图谋取广陵，又想谋取荆州，这些都是容易发生叛乱的地方，他的野心始终没有改变。”
夏季四月壬戌日，突厥达头可汗侵犯边境，隋文帝下诏命令晋王杨广、杨素从灵武道出兵，汉王杨谅、史万岁从马邑道出兵，攻打达头可汗。
长孙晟率领归降的突厥人担任秦州行军总管，受晋王杨广调度。长孙晟因突厥人饮用泉水，容易下毒，就取来各种毒药投在泉水上游，突厥的人畜饮用后大多死亡，突厥人于是大惊说：“上天降下恶水，是要灭亡我们吗！”于是连夜逃走。长孙晟率军追击，斩杀一千多人。
史万岁出塞后，抵达大斤山，与突厥军队相遇。达头可汗派遣使者询问：“隋朝的将领是谁？”侦察骑兵回复：“是史万岁。”突厥人又问：“难道是当年那个敦煌戍卒吗？”侦察骑兵说：“是的。”达头可汗恐惧，率军撤退。史万岁率军追击一百多里，发兵猛攻，大败突厥军队，斩杀几千人；又追击逃敌，深入沙漠几百里，直到突厥人远远逃走才返回。隋文帝下诏派遣长孙晟再次返回大利城，安抚新归附的突厥人。
达头可汗又派遣他的侄子俟利伐从沙漠东部攻打启民可汗，隋文帝再次发兵帮助启民可汗防守要道；俟利伐被迫退回沙漠。启民可汗上表谢恩说：“大隋圣人可汗怜悯养育百姓，如同上天无所不覆盖，大地无所不承载。我染干如同枯木重新长叶，枯骨重新长肉，千世万世，都愿做大隋掌管羊马的人。”隋文帝又派遣赵仲卿为启民可汗修筑金河、定襄两座城池。
秦孝王杨俊长期患病，无法起身，派遣使者上表谢罪。隋文帝对使者说：“我竭尽全力创建这大业，制定法度、留下榜样，希望臣下能遵守。你是我的儿子，却想败坏它，我不知道该如何责备你！”杨俊又惭愧又恐惧，病情加重，隋文帝于是再次任命他为上柱国；六月丁丑日，杨俊去世。隋文帝为他哭丧，只哭了几声就停止了。杨俊生前建造的奢华物品，隋文帝下令全部烧毁。王府的官员请求为杨俊立碑，隋文帝说：“想要留名，一卷史书就足够了，立碑有什么用！如果子孙不能保住家业，石碑只会成为别人的压石罢了！”杨俊的儿子杨浩，是崔妃所生；庶子叫杨湛。群臣迎合隋文帝的心意，上奏说：“汉朝栗姬的儿子刘荣、郭皇后的儿子刘强，都因母亲获罪而被废黜，如今秦王的两个儿子，母亲都有罪，不应继承爵位。”隋文帝听从了他们的建议，任命秦国的官员作为丧主主持葬礼。
起初，隋文帝让太子杨勇参与决断军政事务，杨勇对政事的修改建议，隋文帝大多采纳。杨勇性格宽厚，做事随心所欲，没有虚伪掩饰的行为。隋文帝生性节俭，杨勇曾对蜀地进贡的铠甲进行装饰，隋文帝看到后很不高兴，告诫他说：“自古以来，没有喜好奢侈却能长久统治的帝王。你作为太子，应当以节俭为先，才能继承宗庙基业。我过去的衣服，各留一件，时常拿出来看看，以此警戒自己。我担心你现在身为皇太子，会忘记过去的事情，所以赐给你我过去佩戴的刀一把，以及一盒菹酱，这是你当年担任上士时经常吃的东西。如果还记得过去的事，就该明白我的心意。”
后来到了冬至，百官都去拜见杨勇，杨勇设置乐队接受朝贺。隋文帝知道后，问朝臣：“最近听说冬至那天，朝廷内外百官都去东宫朝见，这是什么礼仪？”太常少卿辛亶回答说：“到东宫，是祝贺，不能说是‘朝见’。”隋文帝说：“祝贺的人，按理说几十人就够了，各自随意前往，为什么要由有关部门召集，让百官同时聚集！太子穿着礼服、设置乐队等待百官，合适吗？”于是下诏说：“礼仪有等级差别，君臣的礼节不能混淆。皇太子虽然是皇位继承人，但从道义上讲，也是臣子，而各地长官在冬至日前来朝贺，并进献贡品，还另外向皇太子进献，这不符合典章制度，应当全部停止！”从此，隋文帝对杨勇的恩宠开始衰减，逐渐产生猜疑和隔阂。
杨勇有很多宠妃，昭训云氏尤其受宠。他的妃子元氏不受宠，突发心脏病，两天后就去世了，独孤皇后怀疑其中有别的原因，因此责备杨勇。从此，云昭训专掌东宫内政，生下长宁王杨俨、平原王杨裕、安成王杨筠；高良娣生下安平王杨嶷、襄城王杨恪；王良媛生下高阳王杨该、建安王杨韶；成姬生下颍川王杨煚；后宫姬妾生下杨孝实、杨孝范。独孤皇后更加不满，多次派人暗中监视杨勇，寻找他的过错。晋王杨广则极力伪装自己，只和萧妃居住在一起，后宫姬妾生下孩子都不抚养，独孤皇后因此多次称赞杨广贤德。对于掌权的大臣，杨广都尽心结交。隋文帝和独孤皇后每次派侍从到杨广的住处，无论来人地位高低，杨广必定和萧妃到门口迎接，为他们准备丰盛的饭菜，并赠送厚礼；来往的奴婢仆人，没有不称赞杨广仁孝的。隋文帝和独孤皇后曾亲临杨广的府第，杨广把美貌的姬妾都藏到别的房间，只留下年老丑陋的，让她们穿着朴素的衣服，在身边侍奉；房间里的屏帐都改用素色的缣帛；故意弄断乐器的弦，不让人擦拭上面的灰尘。隋文帝看到后，认为杨广不喜好声色，返回皇宫后，把这些情况告诉侍从大臣，心里非常高兴。大臣们都为隋文帝感到庆幸，从此，隋文帝对杨广的宠爱远超其他儿子。
隋文帝秘密让善于相面的来和为所有儿子相面，来和回答说：“晋王眉毛上方有双骨隆起，富贵不可言。”隋文帝又问上仪同三司韦鼎：“我的几个儿子中，谁能继承皇位？”韦鼎回答说：“陛下和皇后最喜爱的儿子，就会把皇位传给谁，不是我敢预知的。”隋文帝笑着说：“你不肯明说啊！”
晋王杨广容貌俊美，举止优雅，生性聪慧机敏，性格深沉庄重；喜好学习，擅长写文章；对待朝臣恭敬有礼，态度极为谦卑；因此名声很大，超过了其他王子。
杨广担任扬州总管时，入朝觐见，即将返回扬州，入宫向独孤皇后辞行，跪在地上流泪，独孤皇后也伤心落泪。杨广说：“我生性愚笨，一直坚守兄弟间的情谊，不知道犯了什么过错，失去了太子的喜爱，他常常心怀怨恨，想要陷害我。我时常担心会像曾参那样，因别人的谗言而被怀疑，也担心会在饮食中被人下毒，因此常常忧虑不安，害怕遭遇危险。”独孤皇后愤怒地说：“杨勇这个小子，越来越让人无法忍受！我为他娶了元氏女，他竟然不以夫妇之礼对待她，专宠云昭训，生下这么多猪狗不如的孩子。之前元氏女被毒害而死，我也没能彻底查清原因，他为什么又对你有这样的想法！我还在世，他就敢这样，我死后，他一定会把你们当作鱼肉来宰割！每次想到东宫没有嫡子，等陛下百年之后，你们兄弟还要向云昭训的儿子跪拜问安，这该是多么痛苦的事啊！”杨广再次跪拜，呜咽不止，独孤皇后也悲痛不已。从此，独孤皇后下定决心要废黜杨勇，立杨广为太子。
杨广和安州总管宇文述一向关系很好，想让宇文述靠近自己，就上奏请求任命他为寿州刺史。杨广尤其亲近信任总管司马张衡，张衡为杨广谋划夺取太子之位的策略。杨广向宇文述询问计策，宇文述说：“皇太子失去陛下和皇后的宠爱已经很久了，天下人也没听说他有什么美德。大王您以仁孝着称，才能盖世，多次率军出征，立下大功；陛下和皇后都钟爱您，天下人也都希望您能继承皇位。但废立太子是国家大事，涉及父子骨肉关系，实在不容易谋划。不过，能改变陛下心意的人，只有杨素，而杨素只和他的弟弟杨约商议大事。我向来了解杨约，请允许我入朝，与杨约见面，共同谋划此事。”杨广非常高兴，赠送了很多金银财宝，资助宇文述入关。
当时杨约担任大理少卿，杨素无论做什么事，都先和杨约商议后再行动。宇文述邀请杨约，摆出大量珍贵的器物古玩，和他畅饮，趁机一起赌博，每次都故意输给他，把带来的金银财宝全部输给了杨约。杨约得到很多财物，逐渐向宇文述表示感谢。宇文述趁机说：“这些都是晋王赏赐的，让我和您一起玩乐罢了。”杨约大惊说：“为什么要这样？”宇文述于是转达了杨广的意思，劝说道：“坚守正道，固然是臣子的本分；但违背常规而合乎道义，也是明智之人的良策。自古以来，贤人君子没有不顺应时势变化来躲避灾祸的。您和杨素兄弟，功劳名声盖世，掌权多年，被您家侮辱过的朝臣，数不胜数！而且，皇太子因自己的意愿不能实现，常常对执政大臣恨之入骨；您虽然得到陛下的信任，但想要危害您的人也很多！一旦陛下去世，您又能依靠谁呢？如今皇太子失去皇后的宠爱，陛下也早有废黜他的想法，这是您知道的。现在如果能请求立晋王为太子，这事只在您兄长杨素的一句话。如果能在此时立下大功，晋王一定会永远铭记您的恩情，这样就能摆脱如累卵般的危险，成就如泰山般稳固的地位。”杨约同意了，于是把这个想法告诉了杨素。杨素听后非常高兴，拍手说：“我的智谋，远不如你，多亏你提醒我。”杨约知道计策可行，又对杨素说：“如今皇后的话，陛下没有不听的，应当趁机尽早和皇后结交，这样才能长久保住荣华富贵，传给子孙。兄长如果犹豫不决，一旦情况变化，让太子掌权，恐怕灾祸很快就会到来！”杨素听从了他的建议。
几天后，杨素入宫陪侍宴会，委婉地说：“晋王孝顺友爱、恭敬节俭，和陛下很像。”用这话试探独孤皇后的心意。独孤皇后流泪说：“您说得对！我的儿子非常孝顺，每次听说陛下和我派使者去，必定会到边境迎接；说起和我们分别的事，没有不流泪的。而且他的妃子也很令人怜爱，我派婢女去，她常常和婢女一起吃饭睡觉。哪像杨勇，整天和云昭训对坐饮酒，亲近小人，猜忌疏远骨肉！我之所以更加怜爱杨广，是常常担心杨勇会暗中杀害他。”杨素知道了独孤皇后的心意后，就极力说太子杨勇不成器。独孤皇后于是赠送杨素黄金，让他协助隋文帝废黜杨勇、立杨广为太子。
杨勇大致知道了他们的谋划，忧虑恐惧，却想不出办法，就派新丰人王辅贤用邪术诅咒隋文帝和杨广；又在东宫后园建造了一个“庶人村”，房屋简陋，杨勇时常在里面居住，穿着粗布衣服，睡在草席上，希望以此来避祸。隋文帝知道杨勇内心不安，在仁寿宫时，派杨素去观察杨勇的行为。杨素到了东宫，故意在外面休息，不进去见杨勇，杨勇穿戴整齐等待他，杨素却故意长时间不进门，以此激怒杨勇；杨勇心怀怨恨，不满情绪表现在言行上。杨素返回后对隋文帝说：“杨勇心怀怨恨，恐怕会有变故，希望陛下多加防备！”隋文帝听了杨素的谗言，对杨勇更加怀疑。独孤皇后又派人暗中监视东宫，哪怕是极小的事，都会上报隋文帝，并加以歪曲，来构成杨勇的罪状。
隋文帝于是疏远猜忌杨勇，在玄武门到至德门之间设置侦察人员，监视杨勇的动静，凡事都随时上报。此外，东宫的宿卫人员，凡侍官以上的，名册都划归到各卫府管理，勇猛健壮的人都被调离东宫。又把左卫率苏孝慈调出京城，任命为淅州刺史，杨勇更加不高兴。太史令袁充对隋文帝说：“我观察天象，皇太子应当被废黜。”隋文帝说：“天象显示这种征兆已经很久了，只是群臣不敢说罢了。”袁充是袁君正的儿子。
晋王杨广又让督王府军事姑臧人段达暗中贿赂东宫受宠的臣子姬威，让他监视太子的动静，秘密报告给杨素；于是朝廷内外都在议论杨勇的过失，每天都能听到杨勇的罪状。段达趁机威胁姬威说：“东宫的过失，陛下都知道了。陛下已经下达密诏，决定废黜太子、另立他人；你如果能揭发杨勇的罪状，就能获得大富贵！”姬威答应了，立即上书揭发杨勇。
秋季九月壬子日，隋文帝从仁寿宫返回京城。第二天，隋文帝驾临大兴殿，对侍从大臣说：“我刚回到京城，本应心情愉快；不知为什么，反而忧愁烦闷！”吏部尚书牛弘回答说：“是我们这些大臣不称职，让陛下忧虑辛劳。”隋文帝已经多次听到关于杨勇的谗言，怀疑朝臣都知道这些事，所以在众人面前发问，希望听到关于杨勇的过失。牛弘的回答不符合隋文帝的心意，隋文帝于是脸色一变，对东宫的官员说：“仁寿宫离京城不远，但每次我返回京城，都要严密部署仪仗卫队，就像进入敌国一样。我最近腹泻，连衣服都不敢脱下来睡觉。昨天夜里想上厕所，因为担心后房有紧急情况，又回到前殿居住，这难道不是你们这些人想败坏我的家业吗！”于是下令将太子左庶子唐令则等人逮捕，交给有关部门审讯；命令杨素向亲近大臣陈述东宫的情况。
杨素于是公开说：“我奉陛下旨意返回京城，命令皇太子核查刘居士的残余党羽。太子接到诏令后，脸色大变、情绪激动，声色俱厉地对我说：‘刘居士的党羽已经全部伏法，让我到哪里去追查！你身为右仆射，陛下对你的托付不轻，你自己去核查吧，和我有什么关系！’又说：‘当初隋文帝夺取天下的大事如果没成功，我会先被诛杀；如今陛下做了天子，竟然让我比不上各位弟弟，任何一件事都不能自己做主！’接着长叹一声，回头看着我说：‘我真觉得自己是个累赘。’”隋文帝说：“这个儿子不能继承皇位很久了，皇后一直劝我废黜他。我因为他是我平民时生下的儿子，又位居长子，希望他能逐渐改正过错，所以隐忍到现在。杨勇曾指着皇后的侍女对别人说：‘这些都是我的东西。’这话多离谱！他的妃子刚去世时，我很怀疑是被毒害的，曾责备过他，杨勇立刻怨恨地说：‘我迟早要杀了元孝矩（元妃的父亲）。’这是想害我却把怒气发泄到别人身上啊。长宁王（杨勇长子杨俨）刚出生时，我和皇后一起抚养他，杨勇却心怀猜忌，多次派人来索要孩子。况且云定兴的女儿（云昭训），是在外面私通生下的孩子，看这来历，未必是杨勇的亲骨肉！过去晋朝太子娶了屠夫的女儿，他们的儿子就