于杨坚而言，既受高颖等群臣一力劝阻，暂时打消了废黜长子杨勇，改立次子杨广为太子的念头，内心也不愿杨广在长安多做逗留，没费多少周折即答应了杨广重返广陵的请求。
于杨广而言，更是经过了昨日与王妃萧厄的一番倾心交谈，领悟到了自己目下所处的危险境地，正好借张衡派人来长安报知李靖等人失联一事的机会，向杨坚提出辞行，好及早离开长安这个是非之地，重返广陵，一心一意地抚绥江南。
父子两人虽心照不宣，一拍即合，但同时杨坚不得不考虑到皇后独孤伽罗的感受，在答应了杨广提出的所有请求后，提醒他和杨秀一道前往正阳宫向母亲辞行，说服独孤伽罗答应放杨广当日就离京返回广陵。
由于事发突然，杨广并不十分清楚萧厄是否已入宫面见长姐杨丽华，说服她暂且不要将太子与元氏之死有关的消息禀报给母后，与杨秀兄弟二人并肩出了临德殿，本想先到杨丽华居住的宫中绕个弯，却被杨秀亲热地拉住，不肯放他离开，只得和他一道向正阳宫走去。
“二哥，多年不见，今日一见，你可别怪小弟多嘴了。”兄弟二人走至正阳宫门外，杨秀忽然收敛起笑容，一本正经地冲杨广说道，“此次二哥奉诏回京的因由小弟也有所耳闻，诚心诚意奉劝二哥一句，切莫妄动与大哥争夺东宫储位的心思，否则，三哥、五弟我们哥仨儿都决不答应。”说罢，也不待杨广答言，率先迈大步走进了正阳宫。
原来十年未见，杨秀并没有丝毫的改变，对待自己仍充满了敌意。杨广无意向杨秀多做解释，苦笑着摇了摇头，跟在他身后也走进了正阳宫的大门。
果如杨坚所料，皇后独孤伽罗听说杨广今日便欲离京返回广陵，当场便撂下了脸，挽留他道：“江南能有什么大事，非得你亲自回去处置不成？大老远地回来一趟，怎么着也得陪娘在长安住上个一两个月再走吧，不行，你今日走不得。”
杨秀在旁听了这话，禁不住泛酸道：“二哥，你就听母后一句劝吧，要是今晚的酒宴上少了二哥一人，我担心母后一樽酒都喝不下去的。”
杨广察言观色，已瞧出母后不像是已得知是大哥杨勇气死元氏的实情，遂放下了心来，耐心劝她道：“儿臣此次奉诏还朝，实为送厄儿回京陪伴母后，加上还有昭儿、简儿两个娃儿，母后还觉得身边不够热闹吗？江南实是有十分紧要的事急等儿臣回去主持，片刻耽搁不得，恳请母后就允准儿臣今日动身启程返回广陵去吧。”
“你倒对娘说说，江南倒底发生了什么事？”或许是受到杨广的提醒，想到儿子走后，还有自己最为钟爱的儿媳萧厄和两名皇孙留在自己身边，独孤伽罗的语气松动了些，但仍不肯吐口放杨广当日离开长安，绷着脸问他道。
“母后还记得那个李靖吗？”杨广急中生智，忽然想起了自己曾向母后禀报过李靖助自己从杨素手中购得宅院，阻止杨坚到宫外寻欢的那件事，遂向独孤伽罗解释道，“儿臣奉诏还朝前，曾命李靖外出办差，岂料今日得报，李靖竟不知所踪，再也没有丝毫音讯了。母后原就知道，数年前儿臣曾因突厥沙钵略可汗在汾河驿遇刺一事错责过李靖的父亲——时任汾州刺史的李诠一回，这次再不能视李靖的生死于不顾了。”
“李靖？哦，娘想起来了，可是在朝廷查破刘鲂等三家叛乱一案上曾立下大功的那个娃儿？这娃儿倒是很招人疼，怎么，是他有了危险？”
“不止是李靖生死未知这一件事，整件事事关查破南陈残部以及抚绥江南的大计，非得儿臣重返广陵主持不可啊！”杨广见母亲心思被自己说得活络起来，遂趁势加重了语气恳求她道。
“这么说，你连今晚的酒宴也无法陪着娘了？”独孤伽罗依依不舍地望着杨广，轻声问了一句。
“多谢母后成全。儿臣这就向母后告辞了。”杨广生怕母亲变卦，急忙躬身向独孤伽罗行了一礼，转身就往外走。
“阿纵，你且回来，娘还有句话要同你说。”
杨广无奈，只得返身走了回来。
“自今往后，包括阿秀在内。”独孤伽罗瞥了冒着一脸酸气的四儿子杨秀一眼，缓缓冲两个儿子说道，“你们每年须回朝觐见一次，陪娘在长安多住上些时日，如能答应这一条，娘就放你们走。”
这话对明日就要统军北伐的杨秀毫无意义，实则是单独说给杨广听的。
杨广此时只要母亲肯放自己及早离开长安，无论她提出什么条件都会一口答应下来的，当即冲独孤伽罗深施一礼，道声“母后珍重”，再次转身走了出去。
杨广心中惦记着要回府与萧厄见上一面，等得她与杨丽华见面的确切结果后方能放心地离开长安、返回广陵，故而出了正阳宫正殿，只顾低头向前走，浑然没有发现在宫门外站着一位年约十四五岁的小宫女在等着自己，险些和她擦肩而过。
“晋王殿下？”小宫女操着一口清脆的吴侬软语，叫住了杨广。
“啊，你有什么事？”杨广转头见是一名素不相识的小宫女呼唤自己，脱口问道。
“我家宣华夫人想请殿下到锦瑟宫相见。”
“这，恐怕有些不妥吧？”杨广的脑海之中情不自禁地浮现出一个美丽的倩影，嘴里却迟疑着回绝道。
“我家夫人只是想托殿下带些金银细软回江南，接济乐昌公主夫妻，并没有别的意思，殿下无需多虑。”小宫女像是看穿了杨广深埋于心底的那点儿心思，捂着嘴吃吃地笑着向他解释道。
“那，好吧。”杨广不知为什么，自己都能感觉到脸颊发烫，一颗心呯呯直跳，明知仍有诸多不妥之处，两条腿却身不由已地跟在小宫女身后，随着她朝锦瑟宫的方向走去。