康熙二十七年（1688）以后，靳辅进入了他个人生活的晚年。这时虽然只有短短几年，但跌宕起伏，惊心动魄，总的来看，已非当年可比。
首先使靳辅感到窘迫的是这年正月，江南道御史郭琇上疏劾靳辅治河多年，听命陈潢，今天议筑堤，明天议挑浚，浪费银钱数百万，没有终止之期。又指责他今天题河道，明天题河厅，以朝廷爵位为私恩，从未收到用人得当之效。还说他夺取民田，妄称屯垦，取米麦越境贩卖，特别是违背皇帝的旨意，阻挠开浚下河。疏中对陈潢抨击尤为激烈，斥之为“一介小人，冒滥名器”，提请严厉处分。在康熙帝处理完太皇太后的丧事，主持议论河工的会上，郭琇又对靳辅攻击一番。户部尚书王日藻反映，他与诸大臣讨论，屯田一事有累于民，可以停止实行，而在高家堰之外筑重堤，应如靳辅所请。康熙帝本人却坚持说靳辅主张筑重堤及屯田，皆属“困民”、“害民”之举，应行停止。二月，给事中刘楷又上疏劾靳辅用人不当，河工道厅之中杂职人员一百多人，而治河无成，每年只听报告冲决而已。御史陆祖修也劾靳辅“积恶已盈”，用舜殛禹做比喻，暗示应当杀了靳辅。一时之间，靳辅成了众矢之的。靳辅不服气，上疏为自己辩护。疏中说，他受命治河之日，正是两河极坏之时，而他昼夜奔驰，先堵高家堰，淮水方出清口；旋堵清水潭；挑挖运河，改移运口，迄今永远深通。其向来行运之骆马湖，淤浅不能行舟，他创开皂河，漕艘无阻。至于浚筑经费，原遣大臣估计六百万两，而他苦心节省，一切所用不及原来估计的一半。靳辅列举这些成功之后，对攻击他的人如郭琇、于成龙、慕天颜、孙在丰等，一一进行了驳斥，揭露他们阴谋陷害。如郭琇与于成龙久结兄弟，郭琇与孙在丰又是庚戌科同年，陆祖修是慕天颜的门生，刘楷、陆祖修也是己未科同年。最为彻底的是靳辅揭露出他之所以遭到猛烈攻击，原因在于那些人的田地在下河流域，他们都是当地的豪强地主，清丈隐占触犯了他们的利益，所以这些人“仇谤沸腾”。
康熙帝认识到奏劾靳辅的人有些不实事求是，不能据以定案，应给本人以陈辩机会。三月八日，康熙帝召集大学士、学士、九卿、詹事、科、道，总督董讷、巡抚于成龙、原任尚书佛伦、熊一潇、原给事中达奇纳、赵吉士等人当面进行讨论。靳辅以河道总督赴会。会上分为两派，一派如董讷等继续攻击靳辅，兼及陈潢；另一派如佛伦等，替自己开脱的同时，仍支持靳辅。两派争得不可开交。主要的对立面是靳辅和于成龙。靳辅重申主张筑重堤，于成龙则指责靳辅千方百计阻挠开下河。两人你一言，我一语，有来有往，越辩越起劲儿。最激烈之处是于成龙说，江南百姓恨靳辅，欲食其肉，靳辅反驳说：“臣为朝廷效力，将富豪隐占之地查出甚多，所以豪强怀恨，与百姓何干？”董讷感到至尊面前，如此争辩，成何体统，努力加以制止。第二天又继续争论，仍各持己见。于成龙又提出一个新的问题，说靳辅为治河向民间派柳枝不对。靳辅反问道：“柳枝不用于河上，将用于何地？”在这次讨论中，康熙帝看出于成龙的确不懂河务。但是靳辅固执己见，与众议不合，尤其康熙帝本人也不赞成靳辅的一些主张，所以讨论的结果决定给靳辅革职处分，以福建总督王新命代替他为河道总督，陈潢也被革去佥事道衔。
靳辅刚刚被革职，臣下立即向康熙帝报告了两件事，一是漕运道路阻滞，有人提出希望派靳辅去解决；另一个是中河已开通，实际是报靳辅之功。这两件事都使康熙帝为难。他同左右臣下谈话一再肯定靳辅治河有成绩，如修治上河，不能说不善，京城的官员们赖以为生的就是上河堤岸坚固，漕船能保证通行无阻。于成龙所云“河道已为靳辅大坏”，纯属无稽之谈。这时康熙帝惟恐新任河总完全改掉靳辅治河的成果，搞得前功尽弃。他说：“谓靳辅治河全无裨益，微独靳辅不服，朕亦不惬于心矣。”指出王新命如顺从于成龙将原工程尽行修改，就是各怀私愤。又派大臣前去调查，指示其已建闸坝堤埽及已浚引河，都应如靳辅所定章程，不必更改。这些人回来报告，基本肯定了靳辅的成绩。
康熙二十八年（1689）正月，靳辅被召扈从康熙帝南巡阅河。二十三日查看中河时，康熙帝问他：“尔当日如何筹画开浚中河？今又云何？”回答说：根据康熙帝以前巡视河工提出的任务想出来的，开浚之后看到不但可以解决水淹民田，还能通漕船，如令漕船由此通行，可免黄河一百八十里之险。现在看来，如再把遥堤进一步加修，更保险了。康熙帝听了靳辅的话，指示王新命继续完成中河善后事宜，强调先修遥堤及减水坝。
三月，康熙帝根据南巡时江淮百姓、船夫处处称赞原来总河靳辅，念念不忘他的好处，又亲见靳辅所疏理的河道及修筑的上河一带堤坝，的确卓有成效，又见他实心办事，勤勤恳恳，觉得以前对他的革职处分太重，便下令恢复其从前的衔级。这是给靳辅恢复名誉职衔，却不是官复原职。
靳辅第二次被革职以后，连续在家闲居三年。其间曾三次担负临时性的任务。第一次是康熙二十七年十一月，同工部尚书苏赫等查看通州运河，提出在沙河建闸蓄水，通州下流筑堤束水，都被采纳了。第二次是康熙二十八年，扈从康熙帝南巡阅河。第三次是康熙三十年九月，奉命同户部侍郎博际、兵部侍郎李光地等阅视黄河险工，行前康熙帝特别提到靳辅“于河务最为谙练”。第二年正月还奏，报告了黄河南北两岸无冲损的减水坝及应加培的单薄处，并绘图呈览，下九卿会议，令如靳辅所议实行。还有一次，康熙二十九年三月，漕运总督董讷以北运河水浅，拟尽引南旺河水北流，仓场侍郎凯音布也请浚北运河，康熙帝召靳辅咨询，靳辅提出从北运河两旁下埽束水，不必引南河北流。这时靳辅以治河专家发挥了作用。
