杨素祸从口出，回京仅仅担任了数月的御史大夫，就因被其妻告发怀有不臣之心，遭到了革职处分，但以上柱国、清河郡公的虚爵闲居长安，从炽手可热的当朝权臣堕落成了无所事事的一个大闲人。
郑祁耶在夫君革职以后，趁势将杨素招揽在身边供其淫逸享乐的二三十名歌伎、侍女遣散，只留下了其中年纪尚幼且无家可归的四名幼女服侍自己。
杨素突遭贬黜，心怀不服，本欲趁着晋王妃萧厄产下一子之机，借入宫贺喜之际，当面向皇帝、皇后陈说原委，期盼得到皇帝皇后的宽宥，重获起用。哪知待他备下一份厚礼，早早地赶到大兴宫门之外，却被把守宫门的禁军客气地挡在了宫门之外。
“清河公，娘娘有旨，晋王妃喜得鳞儿，只准在朝三品以上命妇入宫道贺，您这是？”
在守门禁军诧异地质问下，杨素只得红着脸悻悻而归，打消了入宫面君的念头。
虽然明知是夫人郑祁耶向皇后告发了自己，害得自己丢官罢职，可杨素却不敢和夫人公然翻脸，再为自己招祸，只敢随便找了个借口，搬去书房去住，和夫人闹起了分居。
郑祁耶在夫君革职闲居的最初两个月，私心里还颇有些洋洋自得，及至两个月过后，仍未见杨素有丝毫回心转意，主动来向自己示好，心里也不免有些发慌起来，便每日打发了当初被留在自己身边服侍的几名年幼歌伎轮番来书房探望杨素，一来想要她们打探杨素的口风，提醒杨素搬回去和自己同住，二来也想借机试探试探杨素还有没有沾花惹草之心，偷偷和这几名侍女做下令人不齿之事。
未过三五日，郑祁耶就敏感地察觉出，杨素对别的几名侍女倒还寻常，至多不过留她们在书房唱几首小曲给自己解闷儿，一时片刻也就打发她们回来了，偏偏只对其中一位年纪最小，姿容最是俏丽的侍女格外上心，待至轮到此女奉命前去书房探视，杨素往往一留就将她留在书房大半天也不见她返回。
“这死老头子，自己一把年纪了，却仍是色心不死，想偷吃嫩草。”郑祁耶气恼杨素淫心不改，遂趁着一天指使这名侍女前去书房探视杨素之机，自己悄没声地跟在这名侍女身后，想来书房捉奸。
当这名唤做小惜的侍女走进杨素书房，回身随手关上书房房门的一刹那，尾随在她身后不远处的郑祁耶感到自己的一颗心都要呯呯跳出来了：这个小贱人，一大早地就要和自己的夫君做苟且之事吗？呆会儿若被自己发觉果是如此，看老娘不要了她的小命。
怀着紧张不安的心情，郑祁耶悄悄走近书房，附耳凑近窗外，仔细窃听了书房内的动静。
“小惜，腿再抬得高些，两腿都要绷直了。”郑祁耶听得明白，这正是自己夫君杨素的声音。
“老爷，这个姿势是不是好些？”这是小惜的声音。
郑祁耶才趴在窗外听了一两句，就觉脸上发烫，胸中一股怒气直窜了上来，再也忍不住了，抬手猛砸窗棱，冲房内叫骂道：“我把你们这一对不知羞耻的狗男女，还不快给老娘滚出房来！”
房门“啪”地一声从里面推开了，杨素手执一柄拂尘从房中走了出来，身后跟着满脸惊恐的小惜。
“你们这是？”郑祁耶一眼瞅见二人衣衫周整，不像是在做男女苟且之事，不由得愣在了原地，惊讶地问道。
“夫人，老爷他称赞我骨骼精奇，是块练武的材料，正手把手地传授我武功呢。”小惜年纪虽只在十二三岁，头脑却甚是机灵，一眼瞧出郑祁耶脸色不对，忙跑到她面前，红着脸急急地解说道。
杨素却只哼了一声，对郑祁耶不理不睬，径直冲着小惜说道：“既然有人瞧不得咱们在房中练功，索性就在这书房门外，你把这几天我教给你的招式再串练一回，瞧瞧有没有长进吧。”
郑祁耶自知方才失态，错会了意，讪讪地退在一旁，看着小惜手挥一柄拂尘，在书房外按照杨素的吩咐串练了一回招式，方没话找话地向杨素说道：“处道，昨日晋王府中有人来府中传话，说是晋王派人回京，想见一见咱们府中的掌案谢讽。不知你可知此事？”
杨素当小惜串练招式之时，全神贯注地瞅着小惜练功，浑不把呆立一旁的夫人放在眼中，待此时听她说起晋王杨广派人从并州赶回，指名道姓地要见三年前被自己营救出天牢，如今在自己府中掌案的谢讽，不由得转过头淡淡地问了她一句：“晋王府是什么人要见谢讽啊，不妨请他来府中，我正想当面问问他关于突厥国内的情形。”
“听说这人是晋王身边一位得用的侍女，此次是随同虞庆则仆射和长孙晟将军一并出使突厥回京向皇上复命的。否则也不会叫人带话给我，说要见那谢讽。我听来人的意思，是想要谢讽到晋王府中去见她，所以才来跟你提说一句。”郑祁耶脸上堆着笑，向杨素解说道。
“大约是萧萧吧。无妨，无妨，即可差人去请她来府中一见。”杨素不知是出于无心，还是有意，也呵呵笑着答道。
郑祁耶知他是存心气自己，压了压心头的火气，撩眼瞥了一眼旁边站着的小惜，没好气地指使她道：“听到老爷吩咐没有，还不快去叫人到晋王府请萧萧来咱们府上与谢讽相见，还像根木桩子戳在这儿做甚！”
杨素横了夫人一眼，抬高声音冲小惜吩咐道：“就请萧萧到书房来见我，命人带话给谢讽，要他准备些可口的吃食来款待贵客。”
小惜看看夫人郑祁耶，又瞅瞅老爷杨素，回过头来悄悄吐了吐舌头，一溜小跑着去传达主命去了。
郑祁耶本有意借着这个机会，劝杨素搬回后院寝房与自己同住，耳听得杨素公然要在他下榻的书房设宴款待晋王府的一名侍女，气得面色铁青，不发一语，掉头便走。书房外只留下杨素一脸坏笑地盯着夫人离去的背影，摇了摇头。