在寿春城内住了近十天时间，杨广对淮河以南地界与关中、中原等地迥然不同的气候、景象产生了浓厚的兴趣，渐渐地又生出了微服私行赶往广陵的想法。
可是，当他把这一想法透露给了张衡，征求他的意见时，却遭到了他的强烈反对。
“王爷，如今形势与八年前王爷出镇并州时大不相同，王爷身为三路伐陈兵马大元帅，一身安危关乎到伐陈的成败，切不可轻举妄动，因小失大啊。且淮南与关东、河北又有不同，前次王爷微服私行，所过之地俱在大隋境内，而目下南陈军队虽已退守江滨，但据下官向王子相了解，彼仍时常派军袭扰江北民间，可以说目前江淮之间敌我双方占领地界仍处于犬牙交错之势，王爷不可不谨慎处之啊。”
张衡一提出明确的反对意见，段达、李浑等骠骑营将领皆附和着提出了各自的反对意见。
杨广见随行众人皆明确反对自己微服私行，只得佯称接受众人的建言，不再坚持微服私行赶往广陵，可没过两天，他又向王韶提出要乘船巡视南陈的沿江防线，以便对部署对陈作战做到心中有数。
王韶再三劝说，仍无法说服杨广，只得勉强答应了他的这一要求。考虑到随杨广南来的骠骑营诸将皆为北人，不习水战，王韶专门给杨广派来了一位水军大将来护儿，负责保护和陪同杨广乘船巡视江面，取水路赶往广陵与高颖等人会合。
按照王韶的安排，本应由张衡、段达等人率领五百骠骑护送杨广抵达沿江的安州瓜口渡，再由在此等候的来护儿率领水军护送杨广从水路乘船顺流而下，赶往广陵。
可杨广心中既存着一份微服私行的心思，便不肯在五百骠骑的随行护从下出城前往瓜口渡与来护儿会合，趁一日张衡被王韶邀去清点各路兵马的空当，背着段达、李浑等人，只带了刘方、鲜于罗两名近卫，对守门的军士诈称要到城内随意逛上一逛，悄悄骑马溜出了行台衙署，纵马扬鞭，直奔寿春南门疾驶而去。
两名近卫中，刘方为人行事一向持重，眼见杨广口称要带自己和鲜于罗二人逛街，却出了行台衙署大门，打马直奔南城门而来，像是要出城，急忙上前拦阻，却被杨广疾言厉色地喝退了。
刘方无奈，只得趁出城门的机会，暗地里命令城门处的守军速报信给王韶，请他亲自来劝阻杨广擅自出行。
头两天，杨广已向淮南道行台的官员们详细打听了从寿春前往安州瓜口渡的行程路线，因此带着刘方、鲜于罗两人一出了寿春城，没有半点儿的迟延，当即顺着事先打听好的路径策马朝南跑了下去。
既是微服私行，体察当地民风民情，杨广骑马出城跑了一阵子，回头见身后并没有追兵赶来，遂放松了缰绳，将跨下“铁蹄龙”行进的速度放缓了下来，一路观赏着风景不急不徐地骑马而行，不时地还和路上的行人、路边水田地忙碌的农夫搭讪几句，打听打听当地的风土人情。
就这么走了有大半天的光景，眼瞅着天色渐渐暗了下来，经向路人打听后方知，前方距离安州城尚有七八十里地远，估摸着今晚赶到安州最早也要到半夜三更时分了。
杨广遂命鲜于罗到就近的村落里寻下一个合适的住处，准备在半道住上一晚，待明日天亮再从容赶往安州。
可沿途之上杨广只顾着和路上邂逅的行人、农夫攀谈，采访民情，浑然不知当发现天色将黑之时，他们一行三人已进入到了一片深山之中。勒住马放眼四望，根本见不到附近有可供借宿的人家，更甭提村落了。
“王爷，此处不宜久留，咱们还是趁早赶路，今夜争取赶到安州城内再歇宿吧。”刘方见道路两旁大树参天，阴风习习，着实担心半道上会出变故，忙劝说杨广道。
正当杨广心下犹豫之时，突听道路两旁的密林之中有人打了个响亮的呼哨，紧接着就见从密林之中窜出二三十名身穿玄色软甲、手持四尺短戟的壮汉，挡住了去路。
“鲜于罗，保护主家退后。”刘方见果有匪徒打劫，当即向鲜于罗大喝一声，拔出佩剑，冲着前面的匪徒迎了上去。
“识相的，速速丢下跨下马和身上携带的金银细软，逃命去吧。爷们不杀平民百姓。”为首一名匪徒用手中的短戟指着迎面冲上来的刘方大声喝道。
刘方也不答话，纵马疾驰着冲上前，照定那为首匪徒的头顶就是一剑。
为首匪徒急忙举戟来格，刘方不待对方的短戟碰到手中之剑，即变劈为扫，剑走偏锋，向对方的腰间扫了过去。
燕赵本多豪侠习武之士，刘方和罗艺且是万里挑一选出的河北勇士，若论单打独斗，这为首的劫匪怎会是他的对手。
两人迎面交手只一个回合，为首的劫匪腰间就被刘方一剑扫中，偌大的身躯横着直飞了出去，重重地砸在了地上。
“兄弟们，一起上啊！”其它的劫匪眼见自己的头领被刘方一剑扫落在地，纷纷呼喝着挥动短戟冲了上来，将刘方团团围在了当中。
杨广此时也从初遇匪人时的惊慌中恢复了冷静，张眼向道旁的密林中环顾两眼，不见林中再有劫匪窜出，遂放下心来，伸手抽出腰间佩剑，对鲜于罗叫道：“随我冲上去，灭了他们。”
鲜于罗不及拦阻，杨广已拍马挥剑，冲入了战团。
论单打独斗，这伙劫匪虽远不是刘方的对手，可待二三十人一结成阵势，将刘方围在了当中，刘方才发现，对方并不像自己想像的那样不堪一击。
这伙人手中所持的短戟虽只有四尺多长，不利于向骑在战马上的刘方发动进攻，可他们手中的短戟必要时可以当做暗器来使。对峙的时间稍长，刘方才发现，这伙劫匪每人背后还背着个戟囊，囊中似是携有不上一只短戟，围攻起敌人来，近一半的人结成阵势围住对方，另一半的人瞅准空当时不时地向敌人抛掷短戟伤敌，令人防不胜防。
杨广从后冲上前来，虽趁敌不备，挥剑砍倒了一名劫匪，却被其它的劫匪放进包围圈，同刘方一并围了起来。与此同时，刘方跨下所骑战马发出一声惨嘶，前胸处中了一记短戟，向前“扑通”一声跪倒在了地上，将刘方甩下了马背。