由于御史们一致的弹劾，皇帝赵构也认为：“今复论兵，极为生事。”在某一天早朝上，张浚再次和张宪起了争执的时候，皇帝赵构终于忍不住发了火，把两个人全都给罚了。
忠昌侯张宪，不能团结同僚，被罚扣一个月的俸禄；和国公张浚，无故攻击大臣，妄议国家的基本国策，被罢免检校太尉、和国公爵位，贬至永州悔过！
皇帝圣旨一下，张浚都傻了。老头子怒瞪张宪之后，趴到地下向上磕头，“陛下，老臣被贬无怨无悔！去永州老臣心悦诚服。只是老臣走后，陛下要亲贤臣远小人，一定要小心结党营私、意图独霸朝纲之奸佞之臣！”
赵构一听，气得哼了一声，“哼，我朝一向风清气正，哪有什么结党营私、意图独霸朝纲的奸臣？德远公多虑了！”
张浚还想再说，可一看皇帝的脸色，恐怕他再多说几句，赵构一生气搞不好再把他杀了！无奈之下，张浚只好又磕了几个头，站起来满心失落的走出了金殿。
张浚走了。据说老家伙临走之前曾经对关系不错的一帮大臣交代，让大家抱成团，共同抵抗张宪、以防被害。在大臣们送张浚出临安城门的时候，张浚曾经回身指着城门大叫：“亡我大宋者，必大宋第一奸臣张宪也！”
从此之后，张宪就被戴上了大宋第一奸臣的帽子。当然这不是官方的，而是私底下在官员当中相互悄然传播的。
传言的速度总是比风还快。不几天的功夫，几乎所有临安府的大小官员全都知道了张宪这个新的外号，并且这种传言还在以惊人的速度扩散着，向西、向南、甚至向北，随着风扩散而去。
梁旺、时小川都收到了这样的消息，报告给张宪。张宪对此也无计可施，对传言他能有什么办法？他在朝堂上、大街上、家里，遇见的大臣每一个表面上都对他那么友善，可谁知道人家背后都是怎么议论的？
周公恐惧流言日、王莽谦恭未篡时。就连周公旦那么厉害的人物，尚且害怕流言的威力，更何况张宪这么一个小小的忠昌侯呢？众将均对传言留露出了一定的担忧。张宪对此倒反而比较镇定。
为了解除将领们的困惑，张宪又一次专门把大家伙儿召集到一起讲解这件事：周公旦，那是有能力夺取大周天子宝座的人物，因此他才会害怕传言。而传言的内容是他欲对周天子不利，自己取而代之，因为那些传言他真的能够做到。
可我不一样呀。我的谣言是什么？是大宋第一奸臣。就算我真的做了大宋第一奸臣，那也是大宋的臣子，皇帝随时都能够罢我的官、甚至杀我的头。所以，我没危险。
张宪说得轻松，将领们却仍然半信半疑。但这也是没办法的事，大家伙儿都多加着些小心吧。
要说朝廷里的每一位大臣见面都对张宪很客气，却也不尽然。有两个人对张宪就从不加颜色，一个是当朝丞相秦桧、一个是参知政事万俟卨。这俩大奸臣，啥时候看见张宪都是目不斜视，把他当成空气一样。
张宪对着俩人也绝无好感，他看见这俩家伙心里头就别扭。让张宪主动去找秦桧和万俟卨说好话，那更不可能了。
娶了皇帝最宠爱的公主，张宪从赵构那里得到的赏赐就没断了。大到家具房产，小到金玉首饰、各种补品。赵构还没事儿就让张宪带着老婆进宫一起吃个团圆饭。
恩平郡王赵璩、清河郡王张俊、大理寺卿温正阳，这三家轮着请客。有时候温正阳来找张宪，张宪去清河郡王府赴宴了，温正阳就直接撵到郡王府，跟着蹭顿好吃的。
这是三位请客喝酒比较频繁的，还有关系稍微远一点儿的偶尔再客串一下饭东，张宪的应酬就更多了。
每天里酒宴不断，不是张宪请人家、就是人家请他。反正除了早饭之外，中午和晚上饭张宪很少在家里陪老婆孩子一起吃过。
慢慢的，忠昌侯府的女人们也开始有应酬了。比如说张宪去清河郡王府赴宴的时候，张俊的老婆想和绣娘说说体己话，就让张宪赴宴的时候把家眷也带去。
绣娘肯定不能自己去呀，她得拉上银瓶、公主、安娘、秀英、婉娘一起去。一帮女人去了之后，等过几天张俊再来忠昌侯府赴宴的时候，就把王妃也带了过来。这么一来二去，男人们有应酬，女人们也开始应酬了！
张宪全家都忙着各种应酬，整日里不是这个宴会就是那个宴会的不断。不说是天天喝醉，反正隔一天数一回的话肯定有漏的。
这一天，洛阳来人了。来的是原靖国军参谋长，现洛阳御前诸军总参议李若虚。李参座来临安看望张大帅了。结果不巧，张宪当天刚好携全家去恩平郡王府赴宴未归。总算是那天骑兵统制官芦鹏留在府里看家，他负责接待了李参议。
也巧了，那天晚上恩平郡王赵璩兴致极好，吃完了饭看歌舞看到半夜。王妃晚上又想和小姑子说说私房话，结果那天晚上张宪一家人竟然彻夜未归。
李若虚一直等到第二天快中午，张宪才携家带口的回了家。一见着昔日战友，张宪自然是高兴得不得了，拉着李若虚又喝酒，然后他又喝醉了。等到再次清醒的时候天都黑了。
就这样昏天昏地的过了五天，李若虚头重脚轻的坐马车返回了洛阳。来的时候他是骑马，回去的时候马也骑不成了，改成了坐车。
将领们想他们的大帅呀，大家伙儿都盼望着大帅赶紧回去率领他们把金人赶出长城呢。结果听李若虚回去一说，不少人都泄了气了。大帅如今在福窝里享福，他已经把当初的誓言全都给忘了！
有人不信，牛皋就是头一个不相信的，“你们说谁我都信，说大帅我不信！咱大帅他不是那样的人！李若虚，你小子再敢散布谣言，老子要你的命！”