顺治九年，遇恩诏，复进范文程世职为一等子，授议政大臣，继续任《太宗实录》总裁官。此时，胡统虞任内秘书院学士兼礼部侍郎，与大学士范文程同值内秘书院，二人明里暗里产生了一些争权揽事的矛盾。
顺治九年（壬辰年）,正逢大清三年一次的会试，俗称大比之年。胡统虞充壬辰科会试正主考，大名府成公青毡为副主考。会试开考前，胡集合同僚在神位前发誓，务必选拔寒士，决不周旋于要人子弟。发榜后，许多贵人子弟落选，权贵之家怨恨刻骨。
三月初八日，大学士范文程等参奏：“会试中式第一名举人程可则文理荒谬，首篇尤悖戾经注。士子不服，通国骇异。请敕部议处。”结果经部科磨勘，会元程可则和其他几个会试中榜考生的功名被削去；学士胡统虞调离考功司，降六级使用；成克巩（即成青毡，十年后累升为大学士）降级。对胡统虞来说，真是成也范文程，败也范文程。事件经这样处理之后，事态慢慢得以平息。四月，胡降补秘书院侍读学士。
胡统虞向来清廉自守忠心为国,突遭如此打击,不禁惶恐迷茫,以致一病不起,渐渐露出下世的景象来。十一月，胡自知不久将离开人世，遂强打精神提笔写下一份奏折。奏折要求重视儒学，关爱人才，并认为程可则实属一位难得的士子。
胡又把自己的大夫人卢氏大儿子二儿子觐征泰征及二夫人高氏小儿子献征叫到旁边交待后事。胡要大儿子念他的那首“枉山”诗听一听。胡大儿子轻轻念到：“《枉山晤问石上人》，香风空界满，三月入山游。净理思频合，金仙念隐求。觉花迎步履，僧腊记阶头。投契来尘外，知君一度留。”胡听完后说自己不中用了，对不起大儿子。前几年大儿子在顺天乡试考举人，因自己拒绝打招呼走后门，最后儿子落榜了，到现在还只是一介穷秀才。儿子表示是自己学问不好，不能怪大人。胡又说最放心不下的是才五岁的小儿子献征。我们武陵县人最讲究仁德善行，所以我给小儿子取字存仁。是希望他能够顺利长大成人，并成为一个讲仁德善行的人。今后大夫人当家，要照顾好一家老小。二夫人还年轻，有机会就改嫁吧。我死后，别无他求，只希望能够回到故乡武陵县太阳山，与那些山上异石奇草同眠。我不敢说到了太阳山就能够不朽，但落叶归根，从此也算是石头上的故事有了一个结局，此生心愿足矣。
当晚，胡在京师宅邸病逝。身后未遗一金，唯有图书千卷。棺椁等费用均依赖门生宋琬、程可则等人筹备。这个有才华但失意的官员的晚景甚是悲伤凄凉。
不料，胡统虞临终遗疏一上，皇上看了很受感动。皇上向大臣范文程询问胡家近况。范对曰：“胡统虞为官清廉刚直，一身清贫，现在病逝后无钱办丧葬。但其人甚得京师士子人心，不少门生自发捐资为其办身后事。”皇上又问胡有几子，其子年龄多大，功名如何，及程可则落第后的表现。范据实一一奏明。皇上即刻颁下恩旨，胡长子袭职为六品职衔，二子三子长大至十五岁后均入国子监学习，程可则入秘书院见习。
一名礼部官员和一名太监带着数名随从到胡府宣旨。圣旨上写着，“奉天承运、皇帝诏曰：察秘书院学士降补侍读学士胡统虞，刚正清廉、公忠体国，为国培养选拔人才沤心沥血、竭尽所能，是为人臣楷模。今不幸病逝，实为国家一大损失，天下士子能不痛惜？特追赐胡统虞为通奉大夫，恢复二品职衔，赐内帑百金办理丧葬。其长子觐征世袭为六品职衔，二子泰征三子献征年满十五岁后入国子监学习。钦此！”皇上恩旨宣毕，胡家大小山呼万岁。
胡家人安顿好京师宅院事务后，举家扶灵南下。京师送行的门生和故人成百上千，胡家这个时侯也着实热闹风光了一回。
胡家人开初雇了几名夫役分乘几辆大车走旱路，到了运河改乘一艘大船准备往扬州江宁方向而来。船刚要开动时，一名高级官员模样的人带着一名管家匆匆赶来。他们上船向胡家人道别。这名高级官员是胡统虞的同年进士和好友梁清标，现官居朝廷正三品国子监祭酒。他见过胡家二位夫人和三个儿子，说了一番安慰的话。又说此次南下路途遥远费用巨大，他送一点盘缠以表心意，请一定收下。命管家将一个沉甸甸的包裹交给胡家夫人后，才上岸挥手告别。后来，胡家人打开包裹一看，有纹银二百两，胡家人因此非常感谢。
胡家人包乘的船在运河缓缓往南行驶，一路上很顺利……
