不久，刘骏从江州起兵，率军讨伐刘劭，先后攻克南洲，溧州等地，顺江东下直扑京师建康。刘骏还向天下发布讨逆檄文，以“千古未有之大逆“为名痛斥刘劭弑父篡位之罪，于是各方军镇纷纷举兵响应。
同年四月，刘骏大军已攻至建康城南的新亭，修建营垒击败刘劭军。刘骏随即在沈庆之、柳元景、宗悫、刘秀之、朱修之等诸将的劝进下，于新亭称帝。五月四日，刘骏攻破建康，擒杀刘劭及二兄刘濬，大赦天下。对文武百官和将士皆赐爵；对年迈、鳏夫寡妇、孤儿、病残、不能生存的百姓，每人赐谷五斛；陈租旧债不再征收，被罚服长期劳役的尽量宽恕。
刘骏即位伊始，还采取了一系列稳固局势的措施：以沈庆之、柳元景、宗悫分掌领军将军、左卫将军、右卫将军，组建新的中央禁军；给刘义恭、刘义宣、刘诞、刘宏、刘祎等人进号加爵，以安抚皇族宗室；任命刘秀之、朱修之、垣护之、申恬、庞秀之等颇有治绩的大臣出任益、雍、冀、青、梁、南秦、兖等各边州刺史，以稳定边州地方局势；派遣大使十五人巡视地方各州郡，了解地方民情，消除刘劭对地方的影响，加强对地方军政的控制；暂不改元，仍使用父皇刘义隆的“元嘉”年号，改立刘义隆庙号“太祖”，谥号“文皇帝”，以彰显自己延续文帝皇统的合法性。
公元454年，由于刘义宣担任荆州刺史长达十年，势力强大，荆州地区地广兵强，号称“江左第一大州”，往往也是之前的异臣叛乱的根据地。刘骏即位后为加强对荆州地区的控制，下诏调刘义宣为丞相、扬州刺史，以削弱其实力，但刘义宣“一不遵承”，不愿交出兵权和离开荆州。车骑将军、江州刺史臧质联合兖州刺史徐遗宝、豫州刺史鲁爽等人，趁机鼓动刘义宣起兵谋反。
同年二月，刘义宣在荆州称帝，举兵起事。孝武帝随即任命镇军将军、南兖州刺史沈庆之统率诸军总督平叛战事，同时遣抚军将军柳元景屯兵采石，南豫州刺史王玄谟于梁山江岸筑却月城，陈舟师，据险扼守。
益州刺史刘秀之、雍州刺史朱修之、广州刺史宗悫也举兵响应朝廷平叛，向荆江二州进攻。三月六日，徐遗宝率先被安北司马夏侯祖权击败，弃众逃走。四月二十日，沈庆之在历阳的小岘大败鲁爽，斩杀鲁爽。五月十八日，刘义宣、臧质率军进攻至梁山，成功攻陷梁山西垒，一度声势浩大。王玄谟督领朝廷诸将，尽遣精兵出垒迎战，朝廷军在薛安都、垣护之、宗越等部的奋击下，最终大败臧质军主力。朝廷军趁胜以火攻，袭击刘义宣、臧质的残军。刘义宣逃回江陵，被朱修之捕杀。六月三日，臧质逃到武昌，被人斩杀，头颅在京城传递示众。
刘骏在平定刘义宣之乱后，除七弟建平王刘宏，“谦俭周慎，礼贤接士”被孝武帝亲爱重用外，基本不再信任和重用宗室亲王，遂订出车服制度二十四条以贬抑宗王，利用和设置典签和行事加强对地方宗室亲王的监察，大肆限制和削弱宗室亲王的势力。
在地方重要州镇出镇任命上，以其幕府旧属朱修之为荆州刺史，打破了刘宋自开朝以来以宗室出镇荆州的惯例和武帝遗诏，又先后以檀和之、沈庆之为南兖州刺史，以刘延孙为南徐州刺史，以垣护之、申坦、王玄谟等为徐州刺史，改变了宋文帝元嘉年间以来，宗室轮流出镇荆州、南徐州、南兖州、徐州等重要大州的局面，此外孝武帝一朝，也几乎再无宗室镇边的任命。
刘骏是一位颇有作为、积极改革制度的皇帝。
而刘骏在政治方面，他加强中央集权，强化皇权。即位初下诏撤除“录尚书事”职衔，诏令政事不得全部让尚书令、尚书仆射处理，责令尚书省较低级的官员尚书郎、尚书令史勤于政事。
并开始以中书舍人戴法兴、巢尚之、徐爰等人处理中枢机要事务，形成后代所谓“寒人掌机要”的政治局面，而由士族担任的尚书令、尚书仆射只剩下在公文上签名的权力。同时又分设两位吏部尚书，取消五兵尚书，将人才官员的铨选大权彻底收归皇帝手中。孝武帝的集权化统治也被史书称为“主威独运，官置百司，权不外假”。
刘骏同时重用江东寒门沈庆之与伧荒北人柳元景，依照两人的功绩，先后提拔为三公，开启吴兴沈氏与河东柳氏攀升为南朝高门的起始之路，并开创南朝寒门、寒人以军功升为三公的先例。
此外，孝武帝还提拔孤寒衰微的寒士袁粲；拔擢寒门出身的颜师伯、颜竣、刘秀之等成为高官重臣；起用鲍照、宗越、吴喜、刘胡、武念、卜天生等寒门人士，破格提拔和重用备受建康士族歧视的晚渡北人薛安都、崔道固、垣护之、柳元怙等，江南土著寒士邓琬、沈文秀等。
刘骏还通过改置州镇的办法削弱地方势力，他即位初，将扬州分为扬州及东扬州二州；将东晋以来废置不常的湘州最后稳定地设立起来，分统原荆州所统长沙等八郡；后又分荆州、湘州、江州、豫州共八郡置郢州，横跨数州之间；东晋以来，雍州侨置于荆州之内，无实际统治区域，宋文帝曾分荆州襄阳等五郡归雍州统辖，治襄阳，刘骏又进一步分荆州郡县充实雍州无实土的侨郡县，使雍州重镇形成，并废除荆州重兵来源的南蛮校尉，将其营户兵力一律迁至建康，有效地削弱了荆州，瓦解其“分陕”地位，荆州因此再也不能发挥其昔日威胁建康朝政的影响。
自东晋偏安江左以来的百余年间数次威胁中央的荆、扬二州，经孝武帝的政区改革形成了荆、雍、郢、扬、东扬五州相互牵制的格局，东晋以来的荆、扬对立威胁京城建康的局面自此彻底终结。