公元371年十一月，桓温带兵入朝，威逼褚太后废除司马奕的帝位。他诬称司马奕因阳痿不能生育，让宠臣相龙、计好、朱炅宝等人与后宫美人私通，所生三子将冒充皇子建储为王。褚太后只得集百官于朝堂，下诏废司马奕为东海王。
而后，桓温亲率百官至会稽王邸，迎司马昱入朝，拥立为帝，是为晋简文帝，改元咸安。
晋朝开国百余年，从未发生废立之事。桓温擅行废立，不仅令百官震栗，自己也紧张不已。前秦皇帝苻坚对此不以为然，他说道：“桓温此前败于灞上，而今又败于枋头，十五年内两次使国家军队遭受重大打击。不但不反思过错，向百姓谢罪，竟还废黜君主。六十岁的老叟如此举动，如何自容于天下？”
桓温废立后，对朝中的异己力量大加废徙。武陵王司马晞好习武事，又在朝中担任太宰重职，素为桓温所忌。桓温以“聚纳轻剽，苞藏亡命”为由弹劾司马晞，免去司马晞与其子司马综、司马囗的官职，让他们返回封地。
后来，桓温又逼新蔡王司马晃自首，称与司马晞、司马综、著作郎殷涓、太宰长史庾倩、散骑常侍庾柔等人谋反，将他们收付廷尉，请予诛杀。简文帝不许。最终，司马晞、司马晃被废为庶人，殷涓、庾倩、庾柔等人都被族诛。
颍川庾氏是高门望族，势力强盛，庾希、庾倩等兄弟六人皆为朝中显贵，深为桓温所忌。庾倩、庾柔被诛后，庾蕴饮鸩自尽，庾希则与弟弟庾邈、儿子庾攸之逃入海陵陂泽。青州刺史武沈是庾希表兄，暗中为他供应粮饷。庾友因儿媳桓氏是桓温侄女，得到求情，最终得以幸免。
公元372年，桓温得知庾希兄弟的踪迹，派军队搜捕。庾希遂与武沈之子武遵在海边聚众抢夺船只，乘夜攻入京口，赶跑晋陵太守卞耽。他们打开监狱，放出数百囚徒，发放兵器，宣称奉密旨除桓温。卞耽逃往曲阿，征发诸县乡兵两千人，与庾希对抗。庾希战败，退守城池。桓温又命东海太守周少孙征讨。周少孙攻克京口，擒获庾希等人。最终，庾希、庾邈、武遵以及子侄、部众全被斩于建康。
桓温诛除庾氏，威势极盛。侍中谢安见而遥拜，更以君臣称作二人关系。而简文帝虽被立为皇帝，但却形同傀儡，常担心被桓温废黜，甚至向郗超询问桓温是否会再行废立。郗超以家族百口担保不会再发生政变，简文帝这才稍微安心。
司马昱继位不久，便进封桓温为丞相，留其在京师辅政。桓温辞让不受，率军返回白石，还镇姑孰。后来，司马昱又派侍中王坦之征召桓温，请其入朝辅政，并增食邑万户。桓温再次推辞。
其实此时的恒温已老他虽然不怕司马家的清算，但是还是为了后世子孙考虑，万一司马昱孤注一掷来给他个刀斧手加身，毕竟他可是看了霍光干过的事情，自古废立帝王都都没有好下场的，你看看霍光活着的时候有多么的风光，那霍光死了以后霍氏就多么的凄惨。
可以说恒温是非常明白这个道理的，而他自己又有叛变之心，他虽然行的是曹操和霍光的事情，但是只要他不背叛还是能加九溪上殿佩剑，号大丞相，可是自从兵败他自问没有曹操这样的实力和雄心，他也没有霍光这样的张狂和狠劲，所以司马昱让他入朝他是万万不敢的。
他只想做他的割据枭雄，从这方面看来他和曹操还有霍光就有很大的区别，前两周都是心系天下，或者是想要一统和安定天下的人物，做的也是挟天子以令诸侯这样大逆不道的事情，而曹家什么结局，不是被司马家给篡了吗，而霍家那，不是成了汉宣帝的刀下亡魂了吗，所以不要看你现在跳的欢，到了时间还是要被拉清单的，这样的事情恒温可以说是门清的。
因为人死什么都没有了，看看汉朝的大丞相董卓就是因为跋扈在位的时候就被人干掉了点了天灯，死在谁手上，自己的义子也是有可能未来的太子吕布的手上，所以权衡再三恒温就是不入朝。
公元372年七月，司马昱病重，急召桓温回朝，并在一昼夜内连发四道诏书。桓温仍推辞不肯入朝。司马昱只得传下遗诏，让桓温摄政，效仿周公。但侍中王坦之却据理力争，将遗诏中的“摄政”改为“辅政”，依照诸葛亮、王导旧例。随即，简文帝驾崩。
桓温原以为简文帝临死会禅位给自己，或让自己摄政，而今大失所望，怨愤不已。
司马昱驾崩后，群臣惧于桓温，不敢拥立太子，都认为应请桓温决定。尚书仆射王彪之极力反对，太子司马曜方才得以继位为帝。褚太后认为司马曜年幼，且正在居丧期间，再次提议让桓温摄政，结果被王彪之阻止。后来，孝武帝命谢安征桓温入朝辅政，并加其前部羽葆、鼓吹，赐武贲六十人。桓温仍旧辞让，既不接受，也不入朝。
公元373年二月，桓温终于带兵入朝，拜谒皇陵。当时，京中流言四起，都说他此次入京是要诛除王谢、颠覆晋朝。朝廷命谢安、王坦之率百官到新亭迎接，拜于道侧，朝中位望稍高者皆惊慌失措。但桓温却只以“卢悚入宫”一案，将尚书陆始收付廷尉。不久，桓温患病，返回姑孰，前后在京不过十四天。
桓温回到姑孰后，病渐沉重，但仍逼朝廷加其九锡之礼，并多次派人催促。谢安、王坦之见桓温病重，以袁宏所撰锡文不好为由命其修改，借此拖延。同年七月，桓温姑孰病逝，终年六十二，至此锡文仍未完成。朝廷追赠桓温为丞相，谥号宣武，丧礼依照安平献王司马孚、霍光旧例，又赐九旒鸾辂、黄屋左纛等物
桓温死后，将兵权交付弟弟桓冲，南郡公爵位则由幼子桓玄袭封。世子桓熙不服，遂与叔父桓秘、弟弟桓济谋杀桓冲，结果被桓冲发觉，都被流放长沙。公元403年十一月，桓玄代晋称帝，建立桓楚，追尊桓温为宣武皇帝，庙号太祖，墓为永崇陵。