东汉持戟青铜骑士俑出行仪仗东汉初年,匈奴势力有所发展,经常侵扰汉朝边境。但那时光武帝忙于进行统一全国的战争,无暇顾及北方边境。公元33年,光武帝派大司马吴汉领兵征讨。但吴汉带领汉军与匈奴打了好几年,也没打出什么结果。匈奴人从此变本加厉,更加狂妄起来。汉朝北部边境没有一年宁静过。
公元48年,匈奴部族内部因为继承人的问题而发生了分裂,又逢连年干旱,蝗虫成灾,整个匈奴地区赤地千里,人畜死亡过半。后来,匈奴南边八个部落共同推选比为南单于,并向汉朝祈求庇护,表示愿意永远为汉朝守卫边疆的土地,与汉朝共同抵御北方的敌人。光武帝接受了比的归附。从此,匈奴分裂成了南匈奴和北匈奴。东汉王朝为了与南匈奴和平共处,经常把一些财物、粮食和牛羊等赠给南匈奴,每年为他们提供的财物总数多达一亿多钱。
汉明帝在位期间,北匈奴日益强盛。它不时攻打南匈奴,侵扰汉朝边境。公元72年,汉明帝派窦固反击北匈奴,使北匈奴有所收敛。
公元89年,汉朝对北匈奴进行了大规模进攻,给北匈奴以摧毁性打击。汉和帝派出车骑将军窦宪、征西将军耿秉各率4000骑兵,调集南匈奴军队、边境驻军以及羌人军队在稽落山(今蒙古共和国西南)大破北匈奴军队。北匈奴81个部落共20余万人投降。窦宪的军队出塞1500公里,一直抵达燕然山(今蒙古共和国杭爱山)。第二年,南匈奴与北匈奴再次爆发战争,北匈奴战败。窦宪认为趁现在北匈奴国力衰弱,应该把他们消灭掉。于是,他派耿夔、赵博带兵进攻,把北匈奴包围在金微山,北匈奴单于逃走,北匈奴由此消亡。
从此以后,北匈奴部分归附了汉朝,部分归附了鲜卑族,还有一部分战败后离开了中国境内的蒙古高原,走上了遥远的西迁路程。匈奴东面的鲜卑族逐步西进,占据了匈奴原来的地方。