桓玄的妻子刘氏颇能识人,她多次对其夫说:“刘裕行止有龙势虎志,看问题不同凡响,不会久居人下,宜尽早除之。”桓玄却说:“我欲荡平中原,非此人不行,怎好杀他?等关陇平定,再作计议。”正在桓玄盘算之际,刘裕也在暗中图谋桓玄了,他约何无终、刘毅等人于广陵(今江苏扬州)、历阳(今安徽和县)、京囗、建康四处举事,克期齐发。
元兴三年(404)二月,刘裕以打猎为名,聚集百余人首先在京囗发难,杀死桓修,刘毅也于广陵得手,诛桓修之弟桓弘,接着,众人推刘裕为盟主,传檄四方,各地纷起响应。桓玄见情势不妙,挟持晋安帝,轻舟逃逸江陵,三月,刘裕率兵进入建康,坐镇京师,指挥各路人马乘胜西进。经过一个多月的激战,桓玄被逼逃往西川,为益州都护冯迁所杀,次年三月,刘裕迎安帝复位,为奖励刘裕再造晋室之功,安帝进刘裕为侍中、车骑将军、都督中外诸军事,掌握朝政。
为了提高自己的声望,刘裕决定兴师北上,义熙五年(409),南燕主慕容德死,其侄慕容超袭位,纵兵肆虐淮北,掳去晋两郡太守,驱掠百姓千余家,刘裕因此上表北伐,三月,他统领晋军向北挺进。齐境克服,刘裕本想停镇下邳,荡凊河洛,但孙恩妹夫卢循复集孙恩残部,败晋军于豫章(今江西南昌)。刘裕不得不班师回朝,回京后,先后督师镇压卢循、剿灭割据长江中上游的刘毅、谯纵势力,逼走司马休之,使南方出现了百年来从未有过的一统局面。
义熙十二年(416)一月,后秦主姚兴死,姚泓继位,内部叛乱送起,政权不稳,刘裕认为这是灭亡后秦的良机。八月,刘裕以刘穆之任尚书左仆射,内总朝政,外供军粮,自己率大军分四路北伐。九月,刘裕抵达彭城,龙骧将军王镇恶、冠军将军檀道济领兵由淮、淝转向许、洛,后秦诸屯守皆望风降附,晋军进展神速。十月,王镇恶军占领洛阳。
宋武帝刘裕画像