宇文邕想了想，也觉得现在伐齐有些操之过急，而且作为自己亲政之后的第一战，只许赢不能输，因此听从了胡秉纯和杨坚的建议，暂缓伐齐之事，而积极建设国内。
宇文直犯了大罪，宇文邕却以罚俸了之，令其在惊险之余开始得意起来，认为自己有太后保护，不会拿他如何，又因没能得到大冢宰之位，心生怨恨，于是在长安城中到处圈地建宅，搞得长安城鸡犬不宁，民怨沸腾。
宇文直又看上了胡秉纯住的轻衣巷，里面加之胡秉纯一共住有五六家人，宇文直觉得此地僻静清幽，想建为自己的别院，于是派人去找这些户主，以极低的价格让他们迁出轻衣巷，几家户主都不愿迁走，与来人起了冲突，元芷在院中听得附近的吵闹之声，出门瞧去，发现一群人正围着一户人家推攘叫骂威胁。
“我告诉你们，我家王爷看上的地方你们迁也得迁，不迁也得迁，现在乖乖迁出去，还能给你们个一文半子，要是敢顽抗，别说拿不到钱，所有人统统都打进大牢”。
宅中一人拽着一个打手悲哭起来，“这是什么世道啊，还有没有王法了，你们这样做就不怕遭天谴吗？”
“王法？我告诉你，在大周，我们家王爷就是王法，要是敢跟他作对，只有死路一条，识相的赶紧给我搬走”。
元芷实在见不惯这帮人的嚣张跋扈，走过去呵斥道，“好大的口气，这大周朝是当今皇上的大周朝，你说你们家王爷就是王法，将皇上摆在哪里？当今皇上恩泽四海，爱民如子，天子脚下，你们竟然强抢民宅，就不怕被皇上知道吗？”
民宅的户主老头跪在元芷面前哀求道，“元芷姑娘，你一定要帮帮我们啊，这帮人要占了轻衣巷，我们在这里住了几十年，实在是不愿意离开啊，而且离开之后这一家老小就得露宿街头了”。
元芷将老头扶起，“老人家你快快起来”。
卫王府的家丁立刻往元芷围了上去，“这年头居然还有人敢打抱不平，而且还是个姑娘，这位姑娘，我看你是平时不出门不知道我们是谁吧，我家主人看上了轻衣巷，不但他们要搬走，所有住在这里的人全部都得给我搬走”。
“这街市上连强买强卖都是触犯律法的，你们还敢强占，你家主人难道不知道头顶青天还有一柄利剑吗？”
“少废话，没时间跟你在这儿磨工夫，他们既然不走，给我动手”。
元芷冲到门前将他们拦住，“我看你们今天谁敢进去？”
“我看你是找死”，那带头的人一巴掌便往元芷扇去，可手才刚刚举起，就被人从后面给抓住，然后狠狠一掰，只听几声骨头清脆的响声，那人的手掌便被掰断，顿时恼羞成怒，用另外一只手提刀砍去。
原来从后掰手之人是王显，胡秉纯也跟着前来，王显轻轻将其避开，一脚便将他踢到了草垛之上，卫王府的家丁顿时全部围了上来，胡秉纯和王显相视一笑，视这些走狗爪牙如草芥，几番轻松下来，便将他们打得找不着北。
带头那人虽然被打得青紫相间，却仍旧口出狂言，“我们可是卫王府的人，我看你们是活腻了”。
王显大步走到他前面，看着他嚣张跋扈的样子，一脚便踩在他的手掌上，痛得那人直叫。
“原来是卫王府的人，怪不得这么嚣张，回去告诉宇文直，老子就在这里等着，他有本事就来找我”。
王显把脚拿开，那人捂着手道，“反了，反了，我看你们是要造反，有本事就给我等着”。
那人一脸惊恐地试探着王显和胡秉纯，一边往后面退，发现王显没有追上来的意思，赶紧带着人灰溜溜地跑了。
“没想到卫王现在如此嚣张，他们回去之后必定会再来，我们怎么办？”元芷安抚好邻居将他们送了进去才出来。
“不用担心，有本事就让宇文直自己来，我不相信他还敢把堂堂侯府给强拆了”。
“走吧，我们先进去，他们要来就让他们来吧”，胡秉纯也并未把此事放在心上，进府之后写了一封折子让王显差人带进了宫中。
卫王府的人回去将事情禀告了宇文直，宇文直听说之后大为恼怒，“你们去的地方是何处？竟然有人敢跟卫王府作对”。
“王爷，那个地方叫轻衣巷，小的发现四周环境非常清幽，王爷一定会喜欢”。
“轻衣巷？”宇文直揣度着名字，“怎么听着这么耳熟呢，这是什么地方？”
“打我们的人就住在轻衣巷，一男一女两个年轻人，还有一个老头”。
宇文直听着描述，突然恍然大悟，“怪不得，本王想起来了，胡秉纯也住在那里，我让你们去找几处好的地方，你们怎么去了轻衣巷，不知道胡秉纯住在那里吗？”
“那人是胡秉纯？”听着胡秉纯的名字，被王显打的人这才如梦初醒，但仍旧壮着胆道，“王爷，胡秉纯又怎样，您可是王爷，难道还怕他不成，俗话说打狗也得看主人，他们这样对我们，那就是看不起王爷您啊，一定要好好教训一下他才行”。
宇文直一脸不悦，“你说的不错，胡秉纯分明就是没把本王放在眼里，走，带上人随我一起去轻衣巷，这件事不能就这么算了”。
宇文直正准备带着人去轻衣巷闹事，宫中宦官传来宇文邕旨意，原来胡秉纯已经抢先一步写了奏折传递给宇文邕，宇文邕料到宇文直很可能会去找胡秉纯麻烦，因此立刻令宦官传来他的旨意，责备了宇文直，警告他不得去轻衣巷。
宇文直怒积于心，气得脸红脖子粗，送走了宫中宦官，咬牙切齿地将宇文邕的旨意扔到了地上，“好个胡秉纯，竟然拿皇上来压我，皇上竟然为了一个齐人来责斥我，简直岂有此理”。
“王爷您消消气，胡秉纯现在是皇上身边的红人，我们要忍还得忍”。
“这口气本王忍不了，胡秉纯，皇兄，咱们走着瞧”，宇文直脸上露出了一股杀机。