单单是以高颖为首的朝中群臣联合上书，劝阻自己行废立之事，尚在杨坚的意料之中。本来嘛，太子妃元氏之死并无直接的证据表明系由他人毒害致死，就这件事本身而言，杨勇和云氏都无过错，自己之所以急诏次子还朝，多半出于皇后的建言，倘若朝中大臣一致反对废黜太子，自己尽可以皇后想念儿子、儿媳为名，对外做出合乎常理的解释，打消改立杨广为太子的念头，这场风波很快就会平息下去。
可令杨坚没有想到的是，就在高颖挑头站出来反对自己行废立之事不久，朝野间又刮起了一阵阴风，矛头直指高颖本人，传言什么高颖于辅佐杨广伐陈之时，曾多次违背杨广的将令行事，并且擅自斩杀了陈叔宝的宠妃张丽华，妄图以此在江南邀买人心，达到他不可告人的目的，更有甚者，有传言直接诬称，最近北境不甚安宁，高颖之所以屡屡请命统军北镇突厥，是想趁机从杨广手中攫取军权，意图不轨。
这股阴风表面上看起来是顺应皇帝、特别是皇后想要废黜太子杨勇，改立杨广为太子的心思，直接打击了杨勇在朝中最有力的支持者——高颖，似乎是在为晋王杨广奉诏还朝后被立为新的太子摇旗呐喊，鼓噪造势，却引起了杨坚的高度警觉：怪就怪在针对高颖的种种指责都是坊间的私自传言，没有一位大臣公然在朝堂上向他指出高颖有种种不端的行为，建言自己将他免官罢爵。
要知道，高颖不仅仅是太子杨勇在朝中最有力的支持者，更是他，杨坚本人最仰仗的朝中首辅，自十数年前高颖临危受命赴前敌监军，助自己平定了以尉迟迥为首的三方叛乱之时起，直至去岁他辅佐次子杨广统军伐灭南陈，这许多年来他与高颖已心心相印，结成了牢不可破的君臣联盟。
尔今却有人欲借自己和皇后行将废立太子之机蓄意挑拨他和高颖之间的君臣关系，这不能不使杨坚对这些人如此行事的真正动机产生了高度的警惕。
其时正值杨广，萧厄夫妻尚返抵长安，高颖确乎因北境局势有产生动荡的倾向向杨坚提出要北上巡边，杨坚在经过深思熟虑之后，决定首先在朝臣面前公开表明自己对高颖深信不疑的态度，给躲在阴暗角落中，造谣生事者以迎头痛击，遂趁开皇十一年的元旦在大兴殿举行大朝会的机会，当着朝中文武群臣的面儿宣布了自己诏准尚书左仆射高颖以行军元帅的职衔统军十万，北上巡边，一经发现北境诸藩邦有兴兵南侵迹象，不必请旨，可临机决断的决定，并走下丹犀，拉着高颖的手对群臣说道：“独孤公犹如一面铜镜，每被照磨，越加皎洁生辉。”公然显示出自己对高颖的高度信任。
由于杨坚及时察觉到了长安城中有人欲借造谣中伤高颖来兴风作浪，意图不轨，并采取了有力措施坚定维护了他和高颖之间的君臣联盟，使得一场暄然大波很快就得到了平息，等到杨广、萧厄夫妻二人返抵长安之时，高颖已然离京北上巡边去了，而长安朝野之间也鲜有人在私下议论皇帝将行废立的事了。
尽管如此，杨广还是按照萧厄的提醒，返回长安的头一天就趁入宫见驾之机，向父皇杨坚表明了自己决无做太子的心思，同时请求杨坚允准自己早日南归。
“既然人都到了长安，那就索性多陪陪你母亲吧，不必急于返回广陵。”杨坚对杨广刚返抵长安就来找自己表明不做太子的心迹甚为满意，满脸微笑地劝说儿子道，“另，杨处道从江南平叛，凯旋班师之时，曾向朕进呈过一份你的奏章，内有不少需朕替你操持的事项，如今你回到了长安，诸如从天牢中释放冼花儿，要陈叔宝配合你劝降岭表诸蛮族之类的事情，还是由你亲自来办吧。”
“儿臣谨遵圣命。还有一事，想求父皇允准。”
“还是有关抚绥江南的事？说吧。”杨坚爽快地吩咐杨广道。
“儿臣在托越国公带回进呈的奏章中已谈及抚绥江南的种种举措。儿臣现已成功地笼络了近百位江南士子、儒生在儿臣麾下编书、著书，待一两年所编之书完成后，儿臣打算将这些士子尽放回江南各地出任地方官，相助朝廷治理江南，恳请父皇允准。再者，南陈覆灭前后，其军中有不少将佐归降我大隋，也请父皇允准，由儿臣从中挑选出若干忠诚可靠之人，再派往江南统军，以安定江南民心。”杨广既受了杨坚的鼓励，便据实直接说出了自己的请求。
“任用当地人为官，朕曾经在河北前齐故地作过一番尝试，结果这些胥吏与河北世家豪右密切勾连，对朝廷欲颁行的政令百般阻挠，你在出镇河北期间不是也吃过他们的苦头吗？为何如今还要建言朕任用江南士子做官治理江南呢？”杨坚当即反问了杨广一句。
“江南形势与河北不同，南北分治长达三百年之久，期间南朝四代向以华夏正统自居，对北朝历代颇具轻视之心，且尔今江南各地叛乱初步得以平息，尚有岭表诸州未归化朝廷，正是人心不稳之时，儿臣以为，此时如朝廷能放手任用江南士子到各地做官，必将对安定江南民心起到极大的积极作用。至于会不会发生地方官与江南世家豪右相互勾结的事，儿臣相信，只要朝廷能采取得力措施加以约束、防范，是能够有效预防此类事件发生的。”
“朕既选派你去抚绥江南，岂有不全力支持你的道理？”杨坚见杨广一本正经地站在自己面前，侃侃解说着抚绥江南欲采取的种种举措，忍不住呵呵笑着开解他道，“连同归降我大隋的南陈将佐，只要是你选中的人，朕即将他派往江南统军，统归你来节制，这回满意了吧？”