土匪武装迅速蔓延的直接后果，就是给人民生命财产造成重大伤害，给新生的人民政权带来重大破坏。他们无恶不作，或组织暴乱，袭击基层人民政权；或杀人放火，抢掠人民财物；或勒索绑票，武力威逼百姓；或截击交通，破坏通讯设施。霍邱县匪首岳歧山在开顺街南尤小冲一次活埋基层干部和民兵27人，并派出土匪武装偷袭霍邱县城，杀害人民政府区乡干部40余人。阜南县匪首谢建堂率土匪300余人，围攻朱郢乡人民政府，俘去乡长李禹亭及干部、战士32人，并全部杀害。肥西县匪首李世华、石家瑞率土匪袭击长安、日新两个乡人民政府，抢走步枪14支、公粮近万斤。临泉县在1949年3月至9月的短短7个月时间内，被土匪杀害的干部、战士和百姓就有623人。肥西县在1949年6月至8月的3个月内，被土匪打死、烧死和活埋的干部、战士和群众有92人，另有56人受伤。据统计，仅在1949年7月和8月的两个月内，皖北地区就发生土匪武装暴乱10余起，袭击10个区乡人民政府，打死打伤基层干部和解放军战士77人，抢夺枪支93支。[30]面对手无寸铁的百姓，土匪武装更是有恃无恐，为所欲为。临泉县的土匪武装在1949年3月至9月间，抢走农民的牲畜达1.1万余头。巢湖地区土匪公然在大白天抢夺客商和渔民的财产和船只。匪首岳歧山在金家寨老街公开强奸14岁女孩，致使当地妇女不敢在家住宿，只能到深山野地躲避。肥西县匪首石家瑞、王世清等，在抢掠当地百姓粮食、牲畜的同时，强奸妇女达20余人。而流窜于各交通要道附近的土匪则以袭击船只、车辆、行人和通讯设施为主要目标。1949年6月至8月，在合肥至安庆、合肥至六安的公路上，汽车数次遭土匪袭击，司机和乘客4人被打死。
皖北土匪武装还采取造谣煽动、组织策划、威逼利诱的办法，诱导一些不明真相的群众从事反革命暴乱。1949年5月4日，蒙城县有数千名天门道徒在土匪唆使下进行武装暴乱，攻占望町区人民政府，杀死望町区党委副书记、副区长、农会主任等8人，次日又攻入蒙城县城，包围县人民政府和公安局。此后数日，武装暴乱蔓延至全县77个乡，万余天门道徒参与暴动，有3个区、30个乡人民政府遭攻击。1950年春荒期间，土匪在皖北各地散布“共产党干部逼迫大家缴公粮”等谣言，煽动灾民抢粮，致使皖北区在当年3月间，有6个专区、1个矿区、19个县、35个区、63个乡发生抢粮事件，抢走33个粮库的148万余斤粮食。
面对十分严峻的匪情、匪害，皖北地区各级党组织和各级人民政府在大力支援前线、支援渡江战役的同时，迅速调集驻地解放军部队、地方武装和公安部队，以各个专区为单位，组织开展清剿斗争。在战术上，先易后难，即先剿灭平原地区土匪，后剿灭山区土匪，以奔袭、追剿、搜剿三种方法相互结合，力图达到减低匪情、打击匪害的初步目标。1949年4月初，在土匪武装最为猖獗的六安专区，以人民解放军六安军分区两个团及皖北军区警卫六团为主，加上六安专区各县区武装和公安部队，组建成立皖西剿匪兵团，首先在六安与金寨及霍邱三县交界的丘陵、平原地区清剿土匪武装，匪首岳歧山等所属股匪[31]100余人被围歼于六安西北王新圩。同月，颍上县剿匪指挥部率县武装大队和公安部队，在阜阳军分区独立一团支援下，对沿淮地区土匪武装展开清剿，并将土匪赶至淮河南岸城西湖地区。皖西剿匪兵团按计划派出部队，在城西湖进行堵击。经过六安、阜阳两专区部队的配合作战，此次城西湖战斗共歼匪280人，俘匪200余人，击毙匪首屠继周，捕获匪首凌致和，缴获各类枪械282支，匪首岳歧山逃窜至大别山区。5月13日，阜阳军分区第十二团和独立一团在蒙城歼灭匪徒李洪魁部1000余人，沉重打击了土匪武装。与此同时，安庆地区的太湖、望江一带土匪武装也遭受沉重打击。至5月底，皖北地区共剿灭土匪4829人。
1949年5月，人民解放军已经胜利渡过长江，皖北人民支援前线的任务基本完成。皖北行署和皖北军区抓住时机，立即决定在全区范围内统一开展剿匪斗争，分别在阜阳、六安、安庆、宿县成立4个剿匪指挥部；针对肥西匪势猖獗、剿匪力量较弱的情况，抽调皖北军区警卫团与肥西独立团组成肥西剿匪指挥部；还在其他匪患严重县，相继成立剿匪指挥机构。皖北军区和皖北行署还发布联合布告，公布剿匪有关政策法规，指出：“对土匪中的首要分子，务必归案法办，如能率众投降，交出武器，准予将功折罪，保证其生命安全，从轻处理，或免予处分；对于胁从分子，只要脱离匪帮，交出武器，改恶从善，准予回家生产，不咎既往”[32]。中共皖北区委在发给各剿匪部队指挥部和各级党组织《关于剿匪的指示》中，更把剿匪与开展政治斗争、巩固新生的政权联系起来，提出“剿匪必须以政治、军事齐头并进，互相协同，视情况不同而互有伸缩，要认清剿匪是一个艰苦的政治斗争，不能单纯的依靠军事，必须从政治上进行瓦解，使其内部分化，从军事上给以严重打击（在火线上不惜给以重大杀伤），以展开政治攻势之威力达到各个击破敌人之目的”[33]。
在经过周密而又迅速的部署后，从6月1日起，皖北地区所有各专区在皖北军区和皖北行署统一指挥下开始全面剿匪斗争。阜阳与宿县以镇压反动道会门暴乱、驱散或歼灭平原地区的股匪为剿匪主要目标，并很快取得明显成效。反动道会门暴乱被平定，股匪或被打散，或被歼灭，只有极少部分匪首逃入大别山区。安庆和六安的剿匪斗争采取长途奔袭、分路合击、配合行动等战术，在岳西、霍山与舒城三县交界处歼灭一批股匪。同时，剿匪部队派出一批干部，深入匪害严重地区，展开政治攻势，宣传中共的政策，发动群众，捕捉散匪，消灭顽固不化的股匪，土匪被迫向西逃往金寨山区。肥西剿匪部队对股匪采取奔袭、猛追的战术，一举歼灭股匪100余人，活捉匪首张纯及部下140余人。截至当年8月，皖北地区统一剿匪作战取得了初步胜利，大大压缩了土匪活动范围，减轻了匪害。
但是，在以金家寨为中心的大别山腹地以及鄂豫皖三省交界地区，土匪仍然嚣张。他们盘踞于金寨县城金家寨[34]，所谓“鄂豫皖边区人民自卫军”和“鄂豫皖行政长官公署”亦驻于此地，加上各地被剿匪部队击退流窜而来的土匪，金家寨成了土匪的大本营，并以此为中心，向四周扩散。因此，迅速拔掉这个据点，成为彻底剿灭鄂豫皖三省交界地区土匪武装的关键。
1949年8月初，人民解放军华中军区在武昌召开鄂豫皖三省剿匪会议，研究确定立即实施三省联合会剿的方针和步骤。首先以军事打击为主，奔袭、堵截与清剿交互灵活使用；其次开展政治攻势，发动群众，建立和恢复基层政权。会议决定成立鄂豫皖边区剿匪指挥部（设于湖北罗田县），由人民解放军湖北军区副司令员王树声任司令员兼政委，皖北军区第一副司令员梁从学任副司令员，皖北军区政治部副主任何柱成任副政委，统一指挥三省剿匪部队。同时，下设东线、西线、南线3个剿匪指挥部。其中，东线剿匪指挥部于8月25日在金寨县麻埠成立，主要指挥皖北的剿匪部队，所以亦称皖北军区前线剿匪指挥部，梁从学兼任司令员，何柱成兼任政委。在皖北军区前线剿匪指挥部下，又设驻守六安的第一剿匪指挥所和驻守岳西的第二剿匪指挥所。参与皖北地区剿匪的部队以人民解放军第三野战军第二十四军第七十一师为主力，配以皖北军区警备一旅第一、三团，警备二旅第四、六团，六安军分区基干第一、二团，安庆军分区警备团等，共11个团的兵力。
为配合、支持三省剿匪，人民解放军华东军区亦召开剿匪会议，并派出野战军一部到皖北参加剿匪。8月31日，中共皖北区委作出《关于肃清大别山土匪及开辟山区工作的决定》，特别指出：“不仅要消灭现有土匪，且要确实发动群众，组织群众，培养干部，建立巩固的人民政权和人民武装……必须将剿匪与发动群众紧密的结合起来，将进剿土匪与开辟山区地方工作当成一个任务来进行”[35]。
在经过缜密、紧张的军事政治准备之后，9月5日，鄂豫皖三省东、西、南线剿匪部队同时向土匪武装发起全面进攻。东线进剿以第七十一师向六安方向，警备四团向金家寨方向，警备一、三团的全部及六团的一部向燕子河和漫水河方向，齐头并进，穷追猛打，并以六安军分区基干二团为机动部队，在山外设伏堵截，由此形成一个以金家寨地区为中心的大半圆包围圈。第七十一师二一三团第一营5日下午即占领金家寨东北30公里的杨家滩。9月6日，警备六团等剿匪部队向金家寨奔袭，途中遭遇匪首岳歧山的“淮河挺进支队”千余人北窜，并将其击溃。剿匪部队乘胜前进，争分夺秒直插匪巢金家寨。盘踞金家寨的土匪在预先已获知人民解放军进剿的讯息后，纷纷慌忙逃往深山，金家寨成为空城。同日，剿匪部队顺利进入金家寨，这座被国民党残余武装和土匪占领的皖北最后一个县城，终于获得解放。
9月7日，人民解放军剿匪部队在金家寨召开有5000余人参加的群众大会，宣传全国革命形势，宣讲人民解放军剿匪决心和意图，解释和广播惩治土匪的条例，号召人民群众向剿匪部队举报匪情。在当地群众的大力支持、配合下，9月下旬前，剿匪部队即在金家寨周围的双河、金刚台、汤家汇和莲花山等地歼灭土匪第一、六和“淮河挺进支队”共500余人。
金家寨的解放，沉重打击了国民党“鄂豫皖边区人民自卫军”和“鄂豫皖行政长官公署”。土匪四处逃散，他们“改变战术，时分时合，依靠高山密林，昼伏夜出，伺机伏击，避免与我正面作战”[36]。匪首汪宪率众土匪化整为零，躲入深山老林。人民解放军剿匪部队及时改变策略，从重点清剿立即转为分兵驻剿，采取“一处打响，各处支援，白天看烟，夜晚看火，发现匪踪，穷追不舍的战法……以便衣治便衣，以分散治分散，以游击治游击的方法……深夜潜伏，拂晓包围，黎明进屋，发动突袭”[37]。9月下旬，人民解放军第七十一师二一三团二营三连在金寨深山帽儿顶地区不间断搜剿时，捕获汪宪的报务员，并顺藤摸瓜，接连抓获当地地主汪清堂及汪宪妻子。9月30日，在汪宪妻子供出汪宪隐藏地后，第三连战士于帽儿顶狮子洞内活捉汪宪、袁成英、樊迅等匪首。自此，所谓“鄂豫皖边区人民自卫军”和“鄂豫皖行政长官公署”被彻底摧毁。
10月，人民解放军剿匪部队继续保持高压态势，一面组织剿匪工作队深入山村，发动群众，开展群众性的剿匪斗争；一面广泛展开政治攻势。各地被打散的土匪有些是在政策感召下，携枪归降；有些则是因大雪封山，饮食无续，山上山下皆无立足之地，被迫投降；少部分顽抗的残匪，在剿匪部队行之有效的战术打击下，或毙或伤或被俘获。到1949年12月，共歼灭拒不投降的皖西大别山区土匪约1000余人，其中绝大部分是散匪，匪首黄英、王述言、郑荣波、潘树师被迫投降，匪首阮志陵、张天合等7人被生俘或击毙。匪首岳歧山在侥幸逃脱两个月后，也于1950年2月在寿县板桥附近被捕获。
在对皖北大别山区展开大规模清剿土匪的同时，皖北平原地区清剿残匪的斗争亦获成功。阜阳专区对散匪活动较多的洪河两岸、三河尖东西地区开展大范围清剿，捕捉散匪。宿县专区在11月即消灭土匪794人，活捉土匪头目69人。巢湖专区在对肥西境内土匪的军事清剿中俘获匪首郑良甫以下87人，迫使匪营长以下80余人投降。
据不完全统计，到1949年12月底鄂豫皖三省会剿结束时，皖北全区对土匪作战136次，搜剿669次，毙匪1253名，伤匪1058名，俘匪8492名，投诚11285名，共计歼匪2.2万余名，缴获步枪8909支、短枪674支、轻机枪83挺、冲锋枪23支、各种子弹19.87万发、炮弹3967发及其他军用物资。[38]1950年5月27日，鄂豫皖东线剿匪指挥部在六安麻埠召开万人大会，庆祝大别山区剿匪的胜利。
二、清剿皖南山区土匪武装
渡江战役打响后，人民解放军用不到10天的时间解放了皖南。惊慌失措又未及逃脱的国民党残余武装和散兵游勇，纷纷躲入偏远乡镇和深山老林，并有计划地迅速与当地惯匪、反动道会门相勾结，极力扩充反革命武装，企图夺回政权。皖南的社会秩序、社会治安局势严峻，中共一些地方基层政权，受到日趋猖獗的土匪武装袭击，遭到严重破坏。
