其实，从并州召回杨广的决心，杨坚早就下了，之所以拖至今日仍未正式下诏召回杨广，主要是没有择定杨广继任者的人选。
达头可汗降隋后，按杨坚的本意，是想调出镇西北的三儿子秦王杨俊到并州接替杨广，出任河北道行台尚书令，并州总管的，可是杨俊不知受了什么人的挑唆，头一个明确向自己提出，要出任伐陈元帅，率军攻灭南陈，坚决不愿意坐享其成，到并州接替杨广。
毕竟是父子之间，儿子既然志不在此，当爹的也不便太过勉强于他，且考虑到西突厥达头虽已向大隋称臣，但其麾下收拢了阿波部族的残兵败将，论军力远远超过东突厥，杨俊作为出镇西北的藩王，一时还不宜离开西北，两下结合到一处，迫使杨坚只得暂且打消了调杨俊前往并州接替杨广的念头。
除此之处，杨坚也曾动过调现在西南益州出镇的蜀王杨秀北上，接替杨广的心思，但旋即自已就主动否定了杨秀这个人选：一来杨秀镇守之西南巴蜀地界紧扼长江上游，一旦兴兵攻陈，必将牵涉西南，杨秀出镇益州多年，对当地的风物人情都颇为熟悉，留他驻守西南，必将有利于配合朝廷大军攻陈；二来，经上次杨秀虐待羌人一事（后在元岩等人的辅佐下，还是平定了羌人叛乱），杨坚心中对杨秀产生了信任危机，不大放心调他到河北与突厥（突厥对华夏王朝的威胁，自非偏居西南一隅的羌人部落可比）打交道。
接下来，就只剩下了最小的儿子——汉王杨谅可派往并州换回杨广了。
杨谅虽然年仅十三岁，恰和开皇元年杨广离开父母身边出镇并州的年岁相仿，然无论头脑灵活，还是行事沉稳，都不输于杨广，甚至在某些方面还要胜过杨广当年，派他到并州换回杨广，倒是比杨秀还要强些。
可是，由于杨广、杨俊、杨秀等兄弟三人早在六年前就离开父母身边，分赴各方出镇去了，这几年除了早已长大成人，娶妻生子的太子杨勇，和杨坚、独孤伽罗共同生活（早在杨广三兄弟相继离开长安，出镇各方后，杨谅就被接入宫中与父母同住了）的只有这个最小的儿子了。
五六年下来，撇开杨坚不论，独孤伽罗对杨谅的宠爱甚至还要超过了杨广。
于是，当杨坚婉转地同妻子商量，打算派小儿子到并州换回杨广时，又遭遇到了开皇元年杨广出镇并州前一模一样的情形：独孤伽罗舍不得放小儿子离开自己的身边，去往千里之外的并州和突厥人打交道。
就这样，直至转过年来进入了开皇六年，独孤伽罗才露出口锋，勉强答应放小儿子到并州换回杨广了。
为了让妻子放心，杨坚特地给杨谅配备了一个堪称当世无双的豪华僚属阵容：从西北调回刀斩阿波可汗的史万岁出任总领汉王府军事兼并州行军总管；册任现任兵部尚书杨尚希为河北道行台左仆射；册任司农少卿崔仲方为河北道行台右仆射兼汉王府长史特别值得一提的是，杨坚还忍痛割爱，将近卫军中的后起之秀——新任内殿值长的李靖配给了杨谅，充做他的近卫。
不仅如此，杨坚还于杨谅离京出镇前，破天荒地赏赐下了两座铸钱炉给小儿子，准许他任意铸造“开皇五株”，弥补公私两用之不足。
就这样，开皇六年五月间，汉王杨谅率领着他那一套堪称豪华的僚属班子离开长安，北上接任来了。
与此同时，身在并州的杨广自双管齐下，一面向高连升借鹰传信，一面又派了裴虔通骑快马返回长安给老师苏威带信，请他将受人陷害的张须陀发落来并州以来，一直对张须陀的生死安危牵肠挂肚，以至到了食不知味，夜不能寐的地步。
哪知，没有盼到苏威的回信，却得到了关内传来的一个小道消息：父皇即将派汉王杨谅到并州接替自己来了。
杨广初闻这一消息，还有些不相信父皇会如此迅速地答应自己的请求，传召自己返回长安，可是紧接着各种消息纷至沓来：有说被皇帝册任为总领汉王府军事的就是刀斩阿波可汗的当世第一猛将史万岁的；有传说昔日统领宗团骠骑，和清河公杨素齐名的兵部尚书即将被册任为新的河北道行台左仆射的；还有的传说皇上破例赏赐给了汉王两座铸钱炉，准许汉王在并州不受限制地任意开炉铸钱的越传越逼真，不由得杨广不信了。
在诸多的消息中，唯一令杨广感到惋惜的是，他一心要招拢自己麾下的“军神”李靖竟然被父皇指派给杨谅，作了他的近卫。
传言归传言，一日没接到朝廷的明发诏旨，杨广仍不敢有一丝的疏忽大意：刘方潜入突厥境内斩杀高宝宁后，他便下令诸沿边州府加强戒备，随时防范突厥寻畔滋事，挑起事端，并授意李彻将关内的两万大军火速调往白道州，以对突厥大可汗牙帐所在地紫河镇构成有效的震摄，逼使摄图不敢因隋军深入其领地内斩杀高宝宁一事而生事造乱。
直至一个多月下来，最终确认了摄图不得不吞下了这枚自己送与他的苦果，没有丝毫起兵反隋的迹象，杨广紧张的心情才放松了下来。
而在此时，从关内传来了确切的消息，新任河北道行台尚书令、并州总管杨谅已率领一班僚属离开长安，前来并州赴任来了。
因此前并没有朝廷下发的诏旨，另行委任自己新的职务，杨广忖度应由五弟杨谅当面宣谕召自己回京的旨意，当下便盛集手下所有僚属，由他亲自率领着，赶到并州与汾州交界处来迎接汉王一行。
待杨广率领着王韶、李彻、张衡以及从幽州紧急赶回的行台兵部尚书李雄等一班现任的行台僚属抵达汾水畔的汾河驿之时，得到前方的消息，汉王一行才刚出了汾州城，要到午后才能来到汾河驿。
杨广命众僚属暂且各自回房休息，自己在驿站的正厅内略坐一坐，也欲回房休息，忽然听堂外有人来报：“王爷，李浑和裴虔通两位将军已到驿站门外，称有要事当面禀报王爷。”