605年，刚迁都洛阳的杨广又率领文武大臣、后宫嫔妃要到江都游玩，于是又大肆征调民夫，最过分的是他一艘船竟要一千多纤夫拉，而这一次出动船只有两千多艘，同时还命令船只所过之处，运河两岸五百里内百姓预缴三年赋税，供他花销。
此令一出，天下哗然。
宰相高颎上本道：“陛下初登大宝，应当体恤下民，这样无休止的征调民力，于国无益，稍不注意，就有可能有倾国之危。”
这高颎本就因为当初支持废太子杨勇而被杨广记恨，而今又无端职责自己，杨广大怒，于是先罢免了高颎，后面又秘密处死了高颎。
高不二在杭州，亲眼目睹了劳役的繁重，才明白为什么杨广在位十几年基本上每天都有叛乱的原因所在，你让老百姓都活不下去了，不造你的反那不见鬼了。
606年杨广在江都游玩了大半年后，于607年返回了洛阳，没过一段时间，为了威慑突厥，杨广准备在榆林举行一次盛大阅兵，但是又怕突厥打来，于是又征调一百多万民夫，在榆林以北构筑了一道长城。
自杨广登基之后，赋税一年重于一年，民夫征调从来没有停止过。
正当杨广折腾不息之时，高不二已命令张仲平秘密前往张掖，开始炼军大计，久居杭州的高不二在杨广游历江都时，曾多次被杨广召见，在高不二又给他上缴两成琉璃收入之后，杨广很大方的封高不二为空头楚国公。
高不二无语至极，这丫子毛，江都距离杭州近在咫尺，他可不相信杨广不知道自己在造船，但是他问都没问，只要钱。他曾一度认为杨广就是一个拆家二哈，能在位十多年，应该感谢他老子家业打的基础好，不然实在是经不起他这败家小能手祸祸。
正在天下如火如荼之时，高不二收到了李渊来信，原来不久前，杨广又任命他做了荥阳太守，记得高不二曾言想到河南游历，因此一到任，李渊就写信邀请高不二到荥阳一叙。
收到李渊来信，高不二当即准备动身。
萧玉梅问道：“夫君何故要去荥阳？”
其实无他，高不二穿越前，家就在新郑，他之所以想到河南游历，一是看看故乡如今如何了，第二个就是看看瓦岗地形，虽然这些年他也让自家商队为他收集了不少山川地理图，但是总归要实地看看才能放心，而今天下地形与后世相差甚大。
为了不让二位夫人担心，高不二道：“我就想去看看中岳嵩山，以及去北少林去看看，二位夫人可有意通往？”
见高不二心意已决，二女自然欣然同往，在这个年代，夫唱妇随那绝对是无人说闲话，后世什么离不开男人的风凉话，在现在绝对没市场。
来到荥阳，李渊出城迎接高不二，接风过后，李渊请高不二到书房一叙，待两人坐定，李渊道：“贤弟，刚才席间人多嘴杂，邀请贤弟此来，一方面是为了替贤弟完成游历河南愿望，另一方面想问计于贤弟。”
“大哥但说无妨。”
“而今陛下自继位之初至今，不体恤民情，横征暴敛无算，没完没了的征调民夫，已造成多地土地荒芜，如此下去天下将动荡不宁，不知贤弟对这天下局势有何看法？”
“既然大哥相问，兄弟就直言了。”
李渊点点头：“贤弟请讲。”
“而今赋税一高再高，民力疲敝，不是圣明天子之召，如不改观，怕是天下群雄并起之日不远，大哥要早做打算啊，如果天下一旦烟尘四起，没有保命手段，到时可是会后悔莫及。”
“贤弟所言甚是，但是为兄一家受当今陛下恩惠颇多，实在是生不起反心，即使造反，为兄也心无余力啊。”
我信你个鬼，你这货也不是个好鸟，老早都想造反，还推脱是被你二儿子逼迫造反，难怪你家老二要收拾你。高不二心里如是想，但嘴里却道：“大哥不必担心，而今建成已可独当一面，不若你把他留在太原，以太原为大本营，招兵买马以图后势，对外就称防御突厥，钱粮问题有小弟在，不老大哥挂怀。”
闻言，李渊哈哈大笑道：“就等贤弟这句话呢，你放心，他日为兄坐的天下必与贤弟共享。”
高不二连忙拒绝道：“大哥言重了，小弟胸无大志，也受不得操劳，只盼他日大哥得到天下，封兄弟一个闲散王侯，富贵一生，兄弟也就满足了。”
李渊点头应允，继续道：“昨日陛下来了旨意，要让世民入宫为官。”
“这怕是要让世民去做人质吧。”
“贤弟所言甚是，本就是如此。”
“那大哥怎么考虑的？”
“为了大计，为兄已与你嫂嫂商量好了，这就准备送世民进京。”
“既如此，让世民跟着我吧，我亲自送世民进京。路上也好教世民一些保命手段，都是好孩子，损失不起。”
李渊一家大礼拜谢高不二，要知道，高不二如今可是杨广身边的红人，他亲自去送李世民进京，这本身就是一个护身符。