可以说刘秀建立后汉后，天下兵戈四起，甚至达官显贵的安全也得不到保障。建武六年刘秀赐给隗嚣的财宝竟在运送途中被偷走，由此可见当时治安之混乱。
建武九年，毗邻京师洛阳的颍川和河东两郡发生变乱，叛军和盗贼四起。此时阴家因为富比王侯而成为了盗贼眼中的目标。阴丽华的母弟被贼人劫持，在官府的捉拿时，被盗贼杀害。实际上，两汉民风彪悍，东汉安帝、顺帝时期，法治松弛，盗贼甚至劫持王公大臣作为人质勒索，就更不用说天下未定的东汉初年。
这令刘秀感到甚为悲伤，为了安慰阴丽华，刘秀下诏给大司空说：“朕微贱之时，娶于阴氏，因将兵征伐，遂各别离。幸得安全，俱脱虎口。’以贵人有母仪之美，宜立为后，而固辞弗敢当，列于媵妾。朕嘉其义让，许封诸弟。未及爵土，而遭患逢祸，母子同命，愍伤于怀。《小雅》曰：‘将恐将惧，惟予与汝。将安将乐，汝转弃予。风人之戒，可不慎乎？其追爵谥贵人父陆为宣恩哀侯，弟欣为宣义恭侯，以弟就嗣哀侯后。及尸柩在堂，使太中大夫拜授印绶，如在国列侯礼。魂而有灵，嘉其宠荣！”
皇妃家眷遇害，皇帝下诏安抚，也在情理之中，但皇帝的诏书却偏重于强调自己不忘与元配的患难之情。最重要的是，在立郭圣通为后七年之后，刘秀再次旧事重提，诏书很直白的说拥有“母仪之美”的阴丽华才是皇后的最佳人选，而郭皇后能成为皇后，完全是贵人阴丽华“固辞”的结果，也是在暗示，给阴家的一切待遇都是阴丽华理所应当、不容置疑的。
而且，当时天下未平，很多功臣还没有封地（刘秀大封功臣外戚是在建武十三年），刘秀以阴丽华曾固辞后位的缘由，给阴家兄弟封爵，西汉只有皇后外戚才能封侯，而且也不可以太多。王政君为太后时，因其家封了五个关内侯备受诟病。而此次刘秀将阴丽华的兄弟先于功臣封侯，对于那些在前方打仗拼命还未得到封赏的将军士兵眼中，不啻于极大的恩宠。
公元37年刘阳十岁之时摸着他的头说“吴季子”，此言更是引人遐想。吴季子是吴王寿梦的第四子，本来没有资格继承皇位，但寿梦却希望他继承，于是他的哥哥纷纷辞让储位，希望他即位，他却推却了。
联系阴丽华和阴家兄弟让后、推让爵位的举动，不难看出，刘秀希望刘阳能够继承大统，却又担心他受母族谦让的家风影响，不肯接受父亲的一片苦心。而十岁稚龄便通晓春秋的刘阳，却毫无所惧，以一句“愚戆无比”评价吴季子的行为，也向父亲表明了自己当仁不让的态度。
公元33年，郭皇后已经完全失宠，被刘秀疏远。尚书令申屠刚在任期间多次谏言让郭圣通所生的太子刘疆就东宫，却被刘秀拒绝，并最终把申屠刚贬黜出京。
公元37年，蜀地平定后，刘秀大封功臣外戚，但其中却不包括郭圣通的外戚族人，其弟郭况直到建武十四年（38年），才升任城门校尉。建武十五年（39年），阴氏和刘秀的母族樊氏增封，却没有包括郭圣通的弟弟郭况。而刘秀封皇子为公，阴丽华的长子刘阳封东海公，东海国据二十三县，为诸子之中最大的。[65-66]郭圣通因为日渐失宠，她的外戚也始终不像阴家兄弟那样受到刘秀的亲信和重用，因此越来越对刘秀感到怨恨和不满。
建武十六年（40年），刘秀度田，收到一片简牍，写到“颍川、弘农可问，河南、南阳不可问”，东海王刘阳在朝堂上当众揭露，这是因为”河南帝城，多近臣，南阳帝乡，多近亲，田宅逾制，不可为准。“[67]，刘秀由此加大了度田的核查，并杀了十余个郡守。[68]在平定了度田引发的叛乱之后，刘秀将叛乱的魁帅严厉处罚，迁往他地，度田成为东汉定制，社会恢复了安定，形成了牛马放牧，邑门不闭的大好局面。
而刘秀在经过“退功臣进文吏”，削弱了朝堂上功臣的影响力，让他们安享富贵，不过逢年过节入朝觐见而已。[70]又经过“虽置三公，事归台阁”极大的加强了皇权，将权柄牢牢握于手中。经过度田，打击了地方豪强势力，在度田中杀了不少郡守，震慑了朝堂，在执政风格上“严猛为政”，做到了“总揽权纲”，此时他已经能够控制废后易储，国本动摇造成的政治影响。
建武十七年（41年），也就是在天下平定四年之后，刘秀决定废皇后郭圣通，立贵人阴丽华为后。刘秀认为她心怀怨恨，对她性情的评价是像“鹰鹯”、无后妃之德，认为她在自己死后不会善待阴丽华母子；而阴丽华是原配，与自己情深意重，应该侍奉宗庙，居国母之位。因此在国家政局稳定之后，便开始行废立之事。西汉废后之后立新后，间隔少则半年，多则两年，但因郭圣通生有五个嫡子，郭圣通被废之后，刘疆仍然可以以长子身份合法居于太子位之上。为了解决这个问题，刘秀将废立皇后同时进行。并强调因皇后失德而导致中宫异位，进而致使国本动摇，是异常之事，不是国家之福，因此不得庆祝。将废后引起的政治动荡减到了最小。
教导太子读书的郅恽小心翼翼的在大殿之上替郭圣通说了一些劝谏刘秀的话。他说：“臣听说夫妇之间的感情，连儿子都无法干涉父亲，何况臣下怎么能干涉君王呢，这是臣下不敢说的。
即便如此，希望陛下衡量事情轻重，不要违背父子人伦，不要让天下人横加议论，刘秀说：“郅恽善于用自己的心去体谅主上的心思，他知道我一定不会有失偏颇而忽略国家大事。”这里，刘秀说郅恽最能体谅自己，并保证以后不会因此影响轻慢国家大事。
君臣父子乃人之大伦，[75]鉴于西汉易储多次发生父子相残的惨剧，郅恽最担心的也是这种事情在皇廷重演，于是用武丁、尹吉甫这等贤君名臣因娶后妻，放逐前妻之子的例子，劝刘疆主动让位。
郭圣通因过失远远小于前代废后，在被废之后即被封为中山王太后，移居皇宫北宫居住。刘秀给了郭氏一个“王太后”的身份而不是将她废为庶人，并且给其娘家诸人封侯，赏赐他们大批金钱，亲自莅临郭府，后来又给郭圣通的儿子们增封。一来，郭氏家族在刘秀即位之初有从龙之功，身为外戚谨慎小心十余年，郭圣通也诞育皇家子嗣，对皇室宗族有功，行为上并无严重过失，刘秀是历史上著名的善待功臣、心胸宽广之人，甚至自己杀兄仇人更始帝的三个儿子都册封为侯，[78]自然会对郭圣通和郭家格外厚遇，二来他接受了郅恽的进谏，尽量减少废后异储的负面影响，做到“无令天下有议社稷”。
诏书一下，导致郭圣通所生的长子刘疆一下子由嫡长子变成了庶长子，而刘阳则由庶子变成了嫡长子。此时嫡庶异位，他在太子位上便名不正言不顺了。刘疆因此十分不安，听从了郅恽的建议，多次上书表示要让出太子之位。
从此，东海王刘阳以嫡长子身份在朝堂之上参与政务。建武十九年（43年），他在平定妖巫单臣、傅镇在原武之乱中显露出自己出色的政治才华。[79]刘阳优秀的表现昭示着，经过两年的准备，在刘秀的细心栽培下，刘阳在朝堂上具备了足够的资历、声望和参政的经验，可以承担储君的重责。同时，成为了庶子的刘强也在太子位上愈发感到不安，最终刘秀同意了刘疆辞掉太子位的请求，将帝国皇位的继承权交托到刘阳手中。
同年，刘秀决定改立阴丽华的儿子刘阳为太子，前太子刘疆退位东海王，下诏：“《春秋》之义，立子以贵。东海王阳，皇后之子，宜承大统。皇太子强，崇执谦退，愿备藩国。父子之情，重久违之。其以强为东海王，立阳为皇太子，改名庄。”[80]
刘庄当太子后，即就东宫，刘秀亲自考察，以十万钱重金礼聘当世名儒桓荣教授太子，同时任用何汤、刘昆、包咸、钟兴等有教授学生经验的大儒文士传授皇太子学识。[82]因为前太子刘疆一直没有就东宫，因此没有现成的东宫建制，属官、制度皆不完备，建武二十四年，班彪谏言选任贤能担任太子太傅，完善东宫和诸王府的官署，依据西汉旧典设立皇太子汤沐和坐朝仪制。[83]刘秀同意了。
公元52年，经过九年的学习，刘庄学有所成。刘秀极为重视太子太傅的人选，特地召集百官，商讨举荐事宜，最终任命张佚为太子太傅、桓荣为太子少傅。
而此时东汉和西汉的战争也进入了白热化的阶段，可以说两个大汉都互相视做对方为异端，要除之二后快。（本章完，。）