徐达既打败扩廓帖木儿，便立即率部队从徽州南面一百八渡到略阳，攻克了沔州，进入连云栈，攻打兴元，夺取了它。而副将军李文忠亦攻克应昌，俘获元嫡孙、妃、公主、将相。捷报先后上闻，下诏休整军队班师回朝。皇帝到龙江慰劳迎接。于是下诏大封功臣，授予徐达开国辅运推诚宣力武臣，特进光禄大夫、左柱国、太傅，中书右丞相参军国事，改封魏国公，年俸禄5000石，给予世袭铁券。第二年，徐达率领盛熙等到北平操练军马，修缮城池，迁徙山后军民充实各个卫府，设置了254个屯，开垦荒地1300多顷。这年冬天，诏徐达回京师。洪武五年，再派大军征讨扩廓帖木儿。徐达任征虏大将军由中路出，左副将军李文忠从东路出，征西将军冯胜从西路出，各带五万骑兵出塞。徐达派都督蓝玉在土剌河打败了扩廓帖木儿。扩廓与贺宗哲合兵顽拒，徐达失利，死了几万人。皇帝因为徐达功劳大，不予追究。当时李文忠部队亦不顺利，引兵退回。只有冯胜到西凉获得全胜，但被告私藏骆驼、马匹，所以不给赏赐。第二年，徐达再领众将领巡行边境，在答剌海打败了敌人，回军北平，在那里守了三年才回京师。洪武十四年，再统帅汤和等征讨乃儿不花，然后再回去镇守。
徐达每年春天出去，冬末被召回京师，已经习以为常。回来总是立即交还将印，朱元璋赐给假期，设宴接见痛饮，有布衣兄弟之称，而徐达更加谦恭谨慎。朱元璋曾经从容地说：“徐兄功劳大，未有合适的第宅，可以把旧邸赐给他。”所谓旧邸，就是太祖当吴王时所住的地方。徐达坚决推辞。有一天，朱元璋与徐达到旧邸，把他灌醉了，用被子裹着，抬到正中寝室里睡。徐达醒过来，吓得赶快跑下台阶，俯伏在那里高呼自己死罪。朱元璋偷看到了，非常高兴。于是命令有关部门在旧邸前起盖封侯的第宅给他，旌表他的牌坊题为“大功”。胡惟庸当丞相，想和徐达拉关系，徐达鄙薄他的为人，不予理睬。胡惟庸便贿赂徐达的守门人福寿，让他设法加害徐达。福寿把他揭发了，徐达亦不追究；只是常常对皇帝说胡惟庸不能胜任丞相。后来胡惟庸的阴谋果然败露，朱元璋更加看重徐达。洪武十七年，月球侵犯上将星座，皇帝心里很忌讳。徐达在北平生病，背上长疽，稍为好一点，皇帝派徐达的长子徐辉祖带着敕书前去慰劳，不久召回。第二年二月，病重，便去世，享年54岁。朱元璋因此停止出朝，参加葬礼时悲伤哀恸不已。追封为中山王，谥号武宁，赠予三代都封王爵。赐葬在钟山的北面，亲自撰写神道碑文。牌位供在太庙附祭，肖像供在功臣庙，排列都在第一位。
徐达话说得不多，但考虑问题很周到。在部队里，发布了命令就不再更改。各将领都敬畏地遵奉着他的领导，但在朱元璋面前，他恭敬谨慎得好像不会说话。他很会关心慰问别人，和部下同甘共苦，兵士没有不感谢他的关怀愿意效死力的，因此所向披靡。尤其注意于收敛部队，他所平定的大都两个，省会三个，郡邑上百个，都是里巷市井平静，百姓没有受到士兵的骚扰。回京师的时候，轻车回家，礼貌地接待儒生，整天和他们交谈议论，非常和谐。朱元璋曾经称赞他说：“接受命令立即出动，成功便归来，不居功，不自傲，不贪女色，不取财宝，不偏不倚，没有过失，像日月一样光明，只有大将军一人罢了。”
攻克大都
自徐达北伐军进占河南以后，中原地区尽为明军占领。北伐军另一支继续西进，追歼逃窜到陕州的敌人。此时，山东已被北伐军占领，打破了元朝在山东的屏蔽；河南也全为北伐军控制，使元朝羽翼折断；潼关已被侵占，敌人西逃陕西，据其户槛的形势已经实现。朱元璋为了布置进一步攻克元大都的战略路线，于洪武元年（1368年）四月二十四日从应天来到汴梁。六月，召徐达等诸将在军前计议，为何北伐大都。
在当时的形势下，朱元璋认为必须停止西进，乘胜迅速挥师北上，以攻取元大都，同时防止在山西的扩廓帖木儿和在陕西的李思齐联合起来共同对付明军。
在汴梁的军事会议上，大将军徐达说：“臣自平齐、鲁，下河、洛，王保保逡巡太原，观望不进。今潼关又为我有，张良弼、李思齐失势西窜，元之声援已绝。臣等乘势搏其孤城，必克无疑。”朱元璋听后，欣然同意，并制定了具体的进军策略和路线。朱元璋根据地图指示说：“卿言固是，然北土平旷，利骑战，不可无备。宜选裨将提兵为先锋，将军督水陆之师继其后，下山东之粟以给馈饷，由秦趋赵，转临清而北，直捣元都。”徐达又提出“进师之日，恐其（顺帝）北奔”。朱元璋则有意要为顺帝留出一条去路，等把他逐出塞外后，减少抵抗。攻占大都，便可宣告元朝覆亡，然后再扫平各地残敌。
七月，朱元璋将要离开汴梁，对大将军徐达等说：“朕与公等率众渡江，誓除祸乱，以安天下。士卒舍父母妻子，战斗于矢石之间，百死一生，久未休息，朕每念之，惕然于中，非得已也。今中原之民久为群雄所苦，死亡流离，偏于道路，天监在兹，朕不敢忘，故命尔等率师北征，拯民水火。……尔诸将帅克城，毋虏掠，毋焚荡，毋妄杀人。必使市不易肆，民安其生。凡元之宗戚，皆善待之。庶几上答天心，下慰人望，以成朕伐罪救民之志。有不恭命，必罚无赦。”再一次强调北克大都时，必须严明军纪，注意策略。
闰七月，朱元璋返回应天。徐达遂与常遇春会师河阴。汴梁由副将军冯宗异留守。徐达檄都督同知张兴祖、平章韩政、都督副使孙兴祖、指挥高显等将益都、济南、徐州之师，在东昌会师，一同率诸军北上，连连攻下卫辉、彰德等地、又下磁州、广平，邯郸投降，攻克赵州，进次临清。徐达派人到东昌，督促张兴祖率军会师，邀请驻守乐安的华云龙指挥带兵来临清会师，平章韩政、都督副使均率师会于临清。徐达率几十万大军，以马、步、舟三路大军齐发，改为沿运河继续北上。徐达师抵达德州，与常遇春、张兴祖及指挥高显等皆会合。接着，徐达军攻破长芦、青州，师至直沽，敌军海舟七艘。常遇春、张兴祖各率舟师，并河东西以进，步骑在陆上行军。元丞相也速等在海口（今天津）设防，看见明军的气势，望风丧胆，军士一时奔逃、溃散，元都上下大为震惊。徐达大军水陆并进到河西预备，打败元平章俺普达朵耳只进巴，擒获知院哈剌孙等三百余人。徐达进兵至通州，驻扎在了通惠河东岸，常遇春驻扎在了西岸。通州是元大都的东部门户，也足其重要的交通要道，想要攻克大都，就必须首先攻下通州。而当时通州由元朝的嫡系精兵以元将五十八国公率领敢死队坚守。在攻取通州的战略上，大多数人主张强攻，而指挥郭英主张设伏兵、诱敌深入，以求智歼。他说：“吾师远来，敌以逸待劳，攻城非我利也，宜出其不意攻之。”第二日天气大雾，郭英以千人埋伏在道旁，自己率精骑3000直攻通州城下，元将五十八国公果然率万余敢死队前来迎战，从两翼而包抄。战许久，明军佯装不敌，节节败退，元兵乘胜追击，死咬不放，正在这时突然伏兵四起，元军陷入徐达布置好的军事“口袋”口，被分割包围，全部歼灭，擒获其将卜颜帖木儿。通州大捷，徐达消灭了元大都的主力部队，占据了通州这个战略要地。元顺帝听说通州陷落，十分震惊和恐惧，意识到大都也不能保全了，召集后妃太子商议避兵北逃。徐达于闰七月二十七日率诸将入通州城。第二天，元顺帝在皇宫召群臣开会。当时大都又一次遭到孛罗帖木儿和扩廓帖木儿之变，民生丧乱，不设守备，元顺帝叹息道：“今日岂可复作徽、钦！”，于是决计北逃。但是，左丞相失烈门、知枢密院事黑厮等，都劝说固守京城，顺帝坚决不听。下令淮王帖木儿不花监国，丞相庆童留守。当夜三更，元顺帝携太子、诸妃等，仓皇出健德门，北逃上都。
八月二日，徐达率数十万大军在齐化门列出阵势，命将士填壕登城而入。徐达登上齐化门楼，执监国淮王帖木儿不花、太尉中书左丞相庆童、平章迭儿必失朴、赛不花、右丞相张康伯等，均被处死。大军入大都城，获宣府、镇南、威顺诸王子六人，搜缴了二枚玉印和成宗玉玺一个。下令封住府库图书珍宝以及故宫诸殿，设兵守护。大都城的陷落，宣告了元朝统治的结束。朱元璋改大都为北平，意在平定北方，仍以应天为南京。
防御蒙古
洪武元年（1367年），明太祖朱元璋北伐，八月，明军进入大都城，元顺帝北逃，元朝灭亡。但元的残余势力对明帝国北部边疆仍是很大的威胁。明廷为巩固国防，必须对元蒙残余势力进行有效的防御。首先是加强北部的边防，在北部边界驻扎大批军队，同时，封地位于北部的诸王，如辽王、宁王、燕王、谷王、代王、庆王、都允许掌握军队，以加强边防。为了解决北部驻军的供应，在北方地区还开始屯田，以巩固边防。其次是进行防御性的战争和必要的主动出击，打击元蒙残余势力。
洪武三年（1370年）春，明太祖委派徐达为征虏大将军、李文忠为左副将军、冯胜为右副将军，邓愈、汤和亦为左、右副将军，北征沙漠，打击蒙元余兵。这次出兵战线很长，西起今甘肃一带，东至今北京以北，分别在定安、宁夏、野狐岭等地给予蒙古势力以打击。
洪武四年（1371年），明廷命魏国公徐达到北平练兵，修缮城池，驾驶防御，并发给守边官兵衣服。二月，徐达将北平地区的居民后撤，有34000多户，撤到内地，散处各府。徐达还受命自北平到山西操练兵马。七月，明朝廷在东北方设立辽东都指挥使司，任马云、叶旺为都指挥使，统辖辽东地区各卫兵马。马云等从山东登州渡海，到达辽东，招降元蒙参政叶廷秀，攻走元平章高家奴，并在辽东修建城池，训练兵士备防。这年，淮安侯华云龙还从云州出击，大败元平间僧家奴等。
洪武六年（1373年）春，明太祖命魏国公徐达、曹国公李文忠到山西、北平练兵防边。四月，华云龙向明太祖奏报边防布置情形说：东自永中、蓟州、密云，西至五灰岭外隘口，共121处关寨，防线2200里。其五平口至官坐岭有关隘九处，相距共500余里，都是冲要，已设兵把守。其中，紫荆关及芦花山岭为重要通路，应设千户把守。明太祖采纳其建议。
洪武七年（1374年），明廷命大将军徐达分令王志、赵庸驻山西，杨、梅思祖驻北平屯田防御。四月，命宋国公冯胜、卫国公邓愈、中山侯汤和、巩昌侯郭兴镇守北部边疆。洪武八年（1375年）五月，诏命永嘉侯朱亮祖、颍川侯傅友德率兵到北平驻防。洪武八年（1376年）初，明廷又命中山侯汤和、颍川侯傅友德率兵驻防延安，并训示他们说：延安地控西北，蒙元骑兵常在此散聚，如等他们入侵而后再设防，塞上之民必受其害。你们到边疆，应该严加防备。虽不见敌兵，要常像临敌那样警觉。三月，汤和等到达延安，元残余伯颜帖木儿派人来请和。明太祖听说，召还诸将，只留傅友德屯边防御。
洪武十二年（1379年），明廷命曹国公李文忠往河州、岷州、临洮等地督办军务。洪武十八年（1385年），国子监祭酒宋讷献守边策，他建言：备边应有足够的军队，而屯田对足兵十分重要。应从诸将中选拔有智谋勇略的人才，分管屯田，布列于沿边地区，远近相望，首尾相应。遇敌则战，敌去则耕，是为长久之计。明太祖高兴地采纳此策。
