蒋介石辞职后，身边仅带12名卫士返回浙江奉化老家。但他并不甘于沉寂，通过张群等人的帮助，获得了日本首相田中义一和陆军大臣向川义则等政府政要的政治支持和巨额经济援助。同时和宋氏家族结成“政治联姻”，这是决定他以后政治生涯的重大抉择。（当蒋介石与宋美龄结婚时，李宗仁是国民政府全体中央委员中唯一一个未送结婚贺礼之人。）
1928年初，趁广州事变及“桂系排汪”造成的影响，蒋介石得以复出。鉴于当时形势，原来的不少国民党人纷纷主张蒋介石“复职”，收拾国民党内部的混乱局面；北方的冯玉祥和阎锡山想对张作霖作战，也主张蒋复职；何应钦则要蒋出来“主持军事”。蒋介石扫除了一切障碍，于1928年1月4日从上海抵达南京“主持大计”，1月9日正式通电就“国民革命军总司令”职，接着又担任了军事委员会主席、国民党中央政治会议主席等最高职务，可谓权倾一时。从他下野到重掌大权仅116天；而新桂系军队被迫撤出南京、江南等要害富庶之地，发展受到挫折。
1928年1月蒋介石重新上台后，任命李宗仁为中央陆军军官学校校务委员会委员、国民党中央政治会议武汉分会主席和第四集团军总司令，参加其举行的第二期北伐。但蒋对李白逼宫之事，一直耿耿于怀，寻隙报复，东山再起后，就首先把矛头对准了桂系，瓦解其军事力量，以后蒋桂之间争斗不断。1929年3月，蒋桂战争爆发，桂系战败，逃回广西。蒋介石以“叛乱党国”的罪名，开除了李宗仁党籍，免除本兼各职。1929年秋，李宗仁返回广西南宁，组建护党救国军，自任总司令，白崇禧为前敌总指挥，下辖第三、八两路军，此后长期盘踞广西，与蒋介石对抗，伺机发展势力以求东山再起。1930年冯玉祥、阎锡山联合反蒋，57名将军和81名著名人士在太原通电全国，要求蒋介石下野，桂系趁机加入反蒋联合阵线。李宗仁被推为中华民国陆军副总司令（总司令阎锡山）兼第一方面军总司令，由广西进军湖南，支援阎锡山、冯玉祥在中原同蒋介石作战。但后来因为张学良率奉军入关助蒋，声势浩大的反蒋联盟失败；新桂系、冯玉祥、阎锡山三大派别在中原大战中都被蒋中正击败。
蒋介石为巩固政权，请回国民党元老胡汉民出任立法院院长，但是，这个曾主持南京国民政府并担任过中央政治会议主席的元老级人物，在蒋介石心目中不过是一个可利用的“摆设”而已。胡汉民不满蒋介石擅权，于1931年2月28日被蒋介石扣押，并软禁在南京汤山。此事在朝野引起轩然大波，导致了国民党内的又一次大分裂。1931年4月31日，经胡汉民授意，国民政府文官长古应芬等联合各反蒋派系发表了《弹劾蒋中正提案》，历数蒋的罪状，要求撤职查办，得到桂系李宗仁、白崇禧和粤系军阀代表、第八集团军总司令陈济棠等人的拥护。5月27日，汪精卫、孙科等在广州另立国民政府，指责南京之“党部为个人势力所劫持，实无存在之价值”，推举汪精卫为首任国民政府主席，又在燕塘阅兵。一时剑拔弩张，战争一触即发。
各派势力的“逼宫”使蒋介石焦头烂额，“九一八”事变的发生则直接导致了他的下台。“九一八”事变发生后，由于蒋介石奉行“不抵抗”政策，却加紧围剿红军，激起全民义愤，遂掀起了抗日反蒋高潮。1931年9月20日，国民党中宁方以国民党中央名义致非常委员会，表示赞同和平，提出以释放胡汉民为议和条件，要求蒋介石下野。11月18日粤方四全大会召开，主持人胡汉民发表了宣言，提出了十项政治主张，中心内容是要求蒋介石下野。12月15日，内外交困的蒋介石在各方压力下发表了《蒋主席辞职电》，宣布下野，辞去国民政府主席、行政院院长及陆海空总司令等职。
为减少今后复出时的障碍，蒋介石在辞职当日首先召开国务会议，一举改组了四个省政府，任命顾祝同等为几个省政府的主席。而财政部部长宋子文也带领所有工作人员集体辞职，并带走了所有账本。这就为蒋的再起埋下了伏笔。
蒋介石再次返回故乡奉化溪口，但并未赋闲，而是密切关注着局势的发展。
国民党内部各派系争权夺利愈演愈烈。湖北省政府主席何成濬发起“九省联防”，率先公开支持蒋介石，希望借此同胡汉民在广州成立的“中央党部西南执行部”和“西南政务委员会”相对抗；陈济棠又倡议“西南五省大团结”；张学良、阎锡山、冯玉祥等也在筹划“北方六省大联合”。国民党可谓四分五裂。面对这种形势，蒋介石感慨道：“哲生（孙科）庸暗，季新（汪精卫）狡猾，当此危局，余苟不力为支持，天下事尚可问乎？”
蒋介石下野后，孙科上台面临的最大难题是外交和财政，他深感新政权难有作为，因而在参与逼蒋下野不久，不得不给蒋打电报请其“莅京坐镇”。1932年1月4日，孙科迫于形势，辞去行政院院长职务，南京政权出现危机。淞沪抗战爆发后，亲蒋派乘机提出“请蒋先生到南京主持中央政治会议”的动议。1932年3月1日，国民党在洛阳召开四届二中全会，选定蒋介石为军事委员会委员长兼军事参谋部参谋长。至此，蒋介石终于再次重掌军事大权，“蒋委员长”的称呼，在以后很长一段时间内几乎成了他的专用名词。伴随着蒋介石的下野与再起，国民党内各派势力相互达成妥协，逐步形成了以蒋介石为主导、各派联合统治的局面。
1936年6月李宗仁、陈济棠借蒋介石不抗日为名，再次发动反蒋事变，成立抗日救国军第一军团，出兵湖南，要求北上抗日。1937年在全国一致抗战的形势下，桂系“皈依”蒋氏中央。由于桂系在抗战中战果辉煌，1944年年底，蒋中正为防止桂系力量壮大，将李宗仁从第五战区司令长官的位置，调升为军事委员会委员长驻汉中行营主任，名义上是指挥第一、五、十3个战区，实则是虚设机构，明升暗降，以削其兵权。1945年抗战胜利后，围绕如何处理共产党的问题，蒋介石与李宗仁之间产生诸多分歧。蒋任命李为国民政府主席北平行辕主任，名义上统帅冀、鲁、察、绥、热、平、津、青五省三市，实则并无调兵遣将、驭控下属之实权。1947年年底，李宗仁拒绝在无实际权力下总责华北、东北事务，且其“东北华北剿匪方略”亦被蒋中正否定。在此情形下，李宗仁三度拒绝指挥东北战事，坚持参选中华民国副总统。1948年3月，国民大会选举第一任行宪总统和副总统，李宗仁在蒋中正的反对和压力之下，最终击败蒋中正属意的孙科当选为副总统。
1948年5月底，蒋中正调任白崇禧为华中剿总司令长官。李宗仁强烈反对蒋介石设立华中剿总这一机构，认为黄河以南、长江以北地区应由华东剿总统一指挥；若硬要一分为二，也应由白崇禧出任华东剿总。
到1948年年底，在人民解放军的强大打击下，蒋介石的军事力量已日暮途穷；国共军事力量已逆转为150万：400万。在经济上，上海爆发了金圆券风暴。外交上，美国对蒋介石也失去了信心。司徒雷登在1948年10月23日向美国国务院建议“劝告蒋委员长退休，让位给李宗仁或者国民党内其他较有前途的政治领袖” ，企图“换马”。杜鲁门上台后，屡屡给蒋介石施加压力，逼蒋下台。而新任“华中剿总司令”白崇禧又乘蒋之危，统领50万大军于武汉耀武扬威，与两广相呼应，操纵整个中南。李宗仁、白崇禧操纵的桂系再次向蒋介石“逼宫”，迫其第三次下野。
既要面临中共军队的毁灭性打击，又要面对国民党内部的压力，再加之“友邦”的“换马”，蒋介石可谓四面楚歌，忧心如焚，夜难成寐。可最让蒋介石头疼的还是李宗仁桂系势力的日益强大，经过再三思忖，蒋介石做出了一个重大决定。
不久，在南京中央军官学校蒋介石的住宅里，蒋介石接见了国民党国防部保密局局长毛人凤和保密局云南站站长沈醉，郑重交给沈醉一项重大任务，并一再说明这是关系到党国安危的大事，叫沈醉绝对不能向外泄露半点机密，一旦决定行动，便要绝对完成使命。最后蒋看着沈醉对毛人凤说：“这是我们最忠实勇敢的同志，他工作上生活上如有困难，你要尽力帮助解决。”
军事上屡战屡败，对陆、海军将领的失望；经济拮据；外交艰窘；立法、监察各院之党员“无法无天”，使蒋介石备感情势黑暗，极有生以来未有如此之悲惨。 11月24日，当参与淮海战役的国军大将黄百韬十几万兵力几乎全被歼灭时，他在日记中写道：“党政军干部之自私、无能、散漫、腐败不可救药。若要复兴民族，重振革命旗鼓，能舍弃现有基业，另选单纯环境，缩小范围，根本改造，另起炉灶不为功，现局之成败，不以为意矣。”那么，这个单纯的环境，缩小的范围，另起的炉灶，当指何处呢？
