北魏灭亡后，在其废墟上出现东魏和西魏两个相互对峙的政权，它们虽仍以魏为国号，而且所谓的皇帝也是拓跋氏后裔，但其实权却掌握在北魏的权臣手中。因而不久之后，东西两魏就分别被其执政的高氏和宇文氏取代，正式转化为了北齐和北周两个政权。
两个政权的掌控者，东魏是高欢，汉族人；西魏是宇文泰，鲜卑化的匈奴人。两人出身都比较贫寒，也都是在北魏末年的农民战争中发展壮大起来的。依靠武力壮大起来的这两大势力集团随着势力的增长，不可避免地展开了越来越激烈的权利争夺战争。东西魏之间曾展开激烈的战争，战争不仅延续时间长达20年，而且规模浩大，损失惨重，史称“东西分裂，连年战争，河南诸郡鞠为茂草，公私困竭，民多饿死”。但是这种激烈的征战不但没能化解双方的对立，而且各自分别代魏而自立，建立了北齐和北周。
东西魏时期，东魏的势力明显强于西魏，但是在转入北齐和北周之后，北齐政权的昏庸腐败与北周政权的励精图治却形成了鲜明的对比。宇文泰死后，其侄子宇文护废西魏，建立了北周，并先后数易皇帝，最终把后来成为周武帝的宇文邕推上了皇位。宇文邕少时聪明有才，深得父爱，宇文泰曾有“成吾志者，必此儿也”之语，对他寄托了很深的希望。宇文邕继位之初还受宇文护的控制，但他养精蓄锐寻机杀了宇文护，并在其父创下的基业上励精图治，厉行改革，使北周社会得到长足发展，实力也迅速增强，超过了北齐。
周武帝是一个雄才大略的皇帝，在北周强大起来后，他不失时机地发动了对北齐的战争。由于北周军队纪律严明，周武帝常常临阵指挥，因此经过几次激烈的战斗之后，北周终于于公元577年灭掉了北齐，完成了北方地区的统一。然而在武帝死后，北周的情况也急转直下，其子宇文（宣帝）奢侈腐化，胸无大志，继位一年之后即传位给8岁的儿子而不理政事。皇权的空虚给外戚以可乘之机，公元851年，宣帝皇后杨氏的父亲杨坚乘机夺取了政权，建立了隋朝。杨坚才识过人，很有谋略，他继位后有效地镇压了北周故臣的反抗，改革了北周制度弊病，使北方政局很快恢复稳定，重新强盛了起来。
此时，南方政权在陈的统治之下已经走上了末路。由于梁末的侯景之乱极大地消耗了南朝的元气，陈朝统治者又因循守旧，陈后主昏淫奢侈，嗜好佛教，国势越来越衰弱。隋开皇八年（588），隋文帝杨坚下诏伐陈之后，不到一年的时间，隋就占领了南方三十州、一百郡、四万余县，实现了全国的统一。
