在伊凡三世统一罗斯的事业中，最具决定意义的是征服诺夫哥罗德。当时的诺夫哥罗德是一个独立的封建共和国，由于其经济发达，拥有辽阔的领地，被称为“罗斯诸共和国的首领”。读者可能会问，诺夫哥罗德怎么是“封建共和国”呢？原来，早在1126年基辅罗斯陷入分裂之时，诺夫哥罗德的“波雅尔”（贵族）即开始通过“卫彻”（市民大会）从自己的人中选举市政官，改变了由基辅大公委派市政官的做法，使王公的政权形同虚设。1136年，诺夫哥罗德人民发动起义，弗塞沃洛德王公及其家属被卫彻逮捕，由封建领主和富商把持的卫彻掌握了政权。卫彻不只选举市政官，也选举军队统领“千人长”和主教等重要职务。从此诺夫哥罗德成为波雅尔共和国，即封建共和国。虽然有时它也臣属某一王公，但王公无权干涉其内部事务，只限于在战时统率军队。一旦王公同卫彻发生冲突，王公就被赶走，由卫彻另请新的王公。
莫斯科大公伊凡三世把诺夫哥罗德看作是自己的世袭领地，早就图谋吞并。对此，诺夫哥罗德统治集团中以地方行政长官伊萨克·鲍列茨基的遗孀玛尔发·鲍列茨卡娅及其子为首的一伙“亲立陶宛派”坚决反对，他们担心莫斯科大公的集权统治会使自己丧失权力、土地与财富，公开叫嚷诺夫哥罗德不能做莫斯科大公的世袭领地，并于1470年同波兰国王和立陶宛大公卡西米尔四世结盟。卡西米尔四世立即派基辅王公米哈伊尔·奥列利科维奇坐镇诺夫哥罗德。诺夫哥罗德的“亲立陶宛派”还计划将玛尔发嫁给米哈伊尔，以加强双方的关系。
对此，伊凡三世当然不能坐视不理。他首先请罗斯总主教菲利普出面谴责“亲立陶宛派”的背叛行为，劝说他们放弃与波兰—立陶宛的结盟。劝说无效后，他便召集莫斯科大公国的王公、领主、将军等举行会议，决定征讨诺夫哥罗德。1471年6月，莫斯科军队出发，7月14日，两军在舍隆河畔决战。双方投入的兵力极为悬殊：莫斯科军队为4000人，诺夫哥罗德军队则为4万人。但由于莫斯科军队集中统一指挥，人人奋勇，个个争先，以一当十，诺夫哥罗德各封建主的军队则一盘散沙，各自行动，十不顶一，诺夫哥罗德大败，1.2万人被杀，1.7万人被俘。在北德维纳河战场，人数同样只有4000人的另一支莫斯科军队击败了为数1.2万人的诺夫哥罗德军队。
诺夫哥罗德战败了，它不得不和莫斯科签订和约，保证不反对莫斯科大公，不投身立陶宛政权，接受莫斯科大公的裁判权和全权代理人地位，继续交纳贡税。谨慎的伊凡三世这次并没有吞并诺夫哥罗德，而是表现得很有节制，在他看来，吞并的时机还没有到来。
但“亲立陶宛派”并不甘心失败，他们又重新聚集在地方行政长官瓦西里·阿纳宁周围，恣意践踏百姓，暗中和波兰—立陶宛勾结。饱受“亲立陶宛派”领主们蹂躏的诺夫哥罗德下层百姓请求莫斯科大公为他们申冤作主。1475年10月，伊凡三世来到诺夫哥罗德，在地方行政长官、大主教和领主们的列席下开庭审判，将瓦西里·阿纳宁等人以谋逆、叛变罪逮捕，戴上镣铐押解到莫斯科。此举既打击了“亲立陶宛派”的嚣张气焰，又赢得了诺夫哥罗德黎民百姓的支持拥护，可谓一举两得。他在诺夫哥罗德停留期间，为了笼络人心，不分尊卑贵贱给人们分赠礼物，仔细听取人们的申诉，给人们留下了一个仁慈、慷慨、公正的君主形象。
到1477年，伊凡三世认为吞并诺夫哥罗德的时机已经成熟，便寻找借口，采取行动。这年3月，诺夫哥罗德的两位使者——卫彻书记扎哈尔和传令官纳扎尔来到莫斯科，他们在呈文中称伊凡三世为“国君”，而非过去的“君主”。据此，伊凡三世认为诺夫哥罗德已把自己看作它的“国君”，便遣使到诺夫哥罗德询问具体细节，问他们是否希望设立国君的法庭和行政机关。但诺夫哥罗德统治集团答复说他们根本不希望这样，并矢口否认曾派遣扎哈尔和纳扎尔两位使臣，也不曾称伊凡三世为自己的“国君”，表示不准备废除“老规矩”。伊凡三世闻讯大怒，指责诺夫哥罗德出尔反尔，背信弃义，决定率军征讨。10月9日，莫斯科军队出发，沿途几乎没有遇到抵抗，迅速挺进，11月即兵临诺夫哥罗德城下，将其团团包围。诺夫哥罗德无力抵抗，只得进行谈判，接受了伊凡三世的全部要求。从此诺夫哥罗德归由大公的全权代理人管辖，诺夫哥罗德所管辖的大片领地转归伊凡三世，一部分领主被遣送到莫斯科，其世袭领地也转归伊凡三世。卫彻制度被废除，数百年来以其钟声召集诺夫哥罗德人参加卫彻的那口大钟也被拆了下来，运往莫斯科。1478年1月15日，伊凡三世作为诺夫哥罗德人的“国君”向全体诺夫哥罗德人宣誓，诺夫哥罗德的全体领主、贵族及其子弟也宣誓效忠莫斯科大公。诺夫哥罗德被莫斯科大公国兼并了，此举使莫斯科公国的土地扩充了好几倍。
此后，伊凡三世继续采取行动。1485年又吞并了特维尔公国。至此，伊凡三世基本统一了东北罗斯，从这一年开始，莫斯科大公正式称为“全罗斯”大公。
就在莫斯科公国的疆土和实力像滚雪球一样越滚越大，形成统一罗斯之势时，统治罗斯已达二百多年的金帐汗国却像进入垂暮之年的老人一样越来越弱。蒙古封建统治者无穷的贪欲和无尽的掠夺，使其境内的经济遭到严重破坏，民不聊生，怨声载道，危机四伏。同时，封建统治集团内部又争权夺利，内讧不已，导致金帐汗国的分裂。到15世纪中叶，金帐汗国已分裂成克里木、喀山、阿斯特拉罕、大帐等几个汗国。罗斯虽然名义上仍在作为金帐汗国残余势力的大帐的统治下，但大帐已无力像从前那样控制罗斯了。对罗斯人来说，摆脱鞑靼蒙古人统治的时机到来了。
1478年，莫斯科大公伊凡三世停止向金帐汗国缴纳贡赋。大帐汗阿合马大发雷霆，视之为大逆不道，便调集兵马，于1480年亲率大军前往征讨。金帐汗国虽已四分五裂，国势衰微，但蒙古民族毕竟是“马背上的民族”，其能骑善射、能征善战的名声享誉天下，加之又为讨逆而来，似乎更来势汹汹，自然不可等闲视之。伊凡三世便派其长子伊凡·伊凡诺维奇率军前去御敌，两军在奥卡河支流乌格拉河两岸扎下营来。
这时，伊凡三世的王后——拜占庭末代皇帝的公主索菲娅·帕列奥洛格却吓破了胆，她唯恐莫斯科城破人亡，在伊凡三世奔赴前线巡视之际，自作主张，将王宫迁到白湖。一些胆小如鼠的大臣也力劝伊凡三世撤兵。伊凡三世本属谨小慎微之人，在其王后、宠臣的影响下，思想产生了动摇，他去前线看了一下就返回了莫斯科，并从莫斯科移居红村，还坚持要召回其子伊凡·伊凡诺维奇。伊凡三世夫妇的这一系列做法遭到民众激烈反对，莫斯科市民群情激愤，将伊凡三世团团围住，要求坚决抵抗鞑靼人的进犯。罗斯托夫主教瓦西安致书伊凡三世，鼓励他像弗拉基米尔·莫诺马赫和季米特里·顿斯科伊那样勇敢地与鞑靼人作战。其子伊凡·伊凡诺维奇也拒绝返回莫斯科，坚持要和蒙古人战斗到底。民众的呼声、意志和力量使伊凡三世受到极大鼓舞，他终于丢掉怯懦，振作精神，重返前线，统率三军，指挥御敌。罗斯军队士气大振。鞑靼军几次企图渡河进攻，都被罗斯军挡了回去。严冬到来了，北风呼啸，大雪纷飞，鞑靼军粮秣短缺，衣衫单薄，饥寒交迫，士气低落，苦不堪言。阿合马原指望其盟友——波兰—立陶宛大公卡什米尔率军增援，两面夹击，但立陶宛此时却发生内乱，卡什米尔大公无暇他顾。与此相反，罗斯军的增援部队却源源不断地赶来，罗斯军士气更加旺盛。11月的一天，伊凡三世调整战略部署，将一支罗斯军从克列缅茨调往鲍罗夫斯克。阿合马以为罗斯军要从侧翼包抄，将其一举歼灭，立即下令撤退。不久，金帐汗国再次发生内讧，阿合马在内讧中被杀，大帐又分裂为几个小汗国。鞑靼蒙古人再也没有力量攻入罗斯恢复对它的统治了。罗斯在饱受鞑靼蒙古封建统治者近两个半世纪的野蛮蹂躏之后终于获得了独立。
伊凡三世在基本统一罗斯，领导罗斯人民摆脱鞑靼蒙古人的羁绊取得独立之后，又在罗斯建立了一套中央集权的统治制度。
在这里，莫斯科大公成为“全罗斯君主”，伊凡三世有时在外交文件中还直称自己为“沙皇”。他是全罗斯的最高统治者，手握生杀予夺大权。
莫斯科公国的波雅尔杜马（即贵族议会）成为直属于大公的常设最高管理机关和咨议机关。其成员都是显赫的王公贵族，和大公一起议决国家最重大的问题。
大公下面又设立了分掌中央各部门事务的衙门，如管理使节、官吏、宫廷、驿站、粮仓等事务的衙门。还有专管大公马群的马房、专管奴仆的赫洛普、专管大公的国库与档案的公家事务等衙门。16世纪初时共有10个衙门，衙门的长官由法官、贵族、王公担任，司书则管理日常事务。
地方官为总督和乡长，他们从波雅尔和自由人中产生，掌管地方行政、司法、征税大权。
在军事方面，伊凡三世废除了先前由各王公独立指挥的亲兵队，建立了以服役贵族为主体的常备军，规定每个从国家手里取得土地的贵族都必须服兵役，军权直接掌握在大公手里。
1497年，伊凡三世颁布了一部法典。该法典限制农民从一个地主名下转到另一个地主名下的权利，规定每年只有在秋后尤里耶夫节（旧历11月26日）前后各一个星期，农民才可以迁移。这是罗斯国家第一部全国统一的法典，它开始把农民如奴隶般地限制在地主的土地上，初步确立了农奴制。
此外，在税收、铸币、邮政等方面，罗斯国家也逐渐走向统一。
这样，罗斯诸公国分裂割据的局面结束了，鞑靼蒙古人统治罗斯的局面结束了。在罗斯东北部悄然兴起的莫斯科公国经过二百多年的发展，日渐壮大强盛，领导罗斯诸公国摆脱了金帐汗国的统治，并吞并了东北罗斯诸公国，统一了东北罗斯。从此，莫斯科公国大公开始自称为“全罗斯君主”。以莫斯科公国为核心，东北罗斯实际上形成了一个新的统一国家——俄罗斯。莫斯科大公伊凡三世也因领导罗斯诸公国摆脱金帐汗国的统治、统一罗斯而获得了“大帝”（Ivan the Great）的称号。他是俄国历史上获得“大帝”称号的第一位君主，也是仅有的获此殊荣的三位君主之一（另两位是彼得大帝和叶卡特琳娜二世女皇）。马克思在《十八世纪外交史内幕》一书中写道：“惊惶的欧洲，当伊凡在位之初，几乎不知夹在鞑靼人和立陶宛人之间还存在着一个莫斯科公国，这时看到一个庞大的帝国突然出现在它的东部边境而弄得目瞪口呆，甚至使欧洲发抖的土耳其素丹巴耶济德本人也破天荒地听到了这个莫斯科公国人的傲慢的语言。”命运似乎注定这个国家将在世界历史舞台上充当重要角色，上演一幕幕令人惊心动魄的活剧……
