门阀世族作为一个特权阶层的崛起，与魏晋时期的政治变动有着很大的关系。他们是当时社会动荡、政权频繁更替、权贵夺权自立等一系列社会变动的产物。从曹魏前期九品中正制的确立到后期的“给公卿以下租牛客户，数各有差”政策，从孙吴的给田复客制度到西晋太康元年（280）对百官依品级高低占田荫客荫族的特权的正式规定，门阀世族一步步地依靠他们扶植起来的皇权使自己的特权合法化、制度化了。他们可以荫庇亲属，收揽门生故吏，享受种种政治和经济特权；他们虽然严格地保持着与庶族地主的距离，维护着自己的特权和等级，但是只要当权者对他们的政治依赖有所削弱，他们的名望、声势和地位也必将随之下降。
南北朝时期，虽然门阀世族还保持着一定的影响力，还享受着安逸腐化的寄生生活，但他们的地位越来越开始受到皇权的威胁了。北魏前期的政治中心在北方草原地区，后来又注重于自己内部的汉化调试，因此汉族门阀世族并没有太多插手的机会，而南方的刘裕、刘义隆父子，也更注重于休养生息，改变策略，寻求社会发展，因此留给门阀世族发挥能力的空间越来越少了。与此同时，长期过着寄生生活的门阀世族也越来越腐化不堪，腐朽无能了，他们不但无心，也无力关心政治，而且他们甚至都已经失去了其先辈们攫取特权的那种欲望，因此，这个寄生的阶层随着社会环境的变化越来越不能适应生存了。
到南北朝后期，随着北方周武帝、南方梁武帝等一些比较有作为的皇帝励精图治的改革，一批批的寒门俊秀被选拔到了政治高层。梁武帝曾置五经博士，并规定“五馆生皆引寒门俊才，不限人数”，“虽复牛监羊肆，寒品后门，并随才试吏，勿有遗隔”，这就使得寒门士子有了进入仕途的资格和机会，对门阀世族独断朝政的地位构成了极大的威胁。而此时的北朝，由于北魏门阀制度推行之初就没有给与他们过高的特权，而且北朝社会非常注重军功，因此随着社会的发展，人才也逐渐转向从庶族地主中选拔，形成了士庶竞技的局面。
总之，自南北朝后期起，门阀制度开始走向衰落了。世族在官吏选拔与任用上所享有的特权逐渐被削弱，而庶族在各级政权中所占的比例也在逐渐增加。更重要的是，选拔出来的庶族人才，不论在能力上还是意志上，都是那些腐朽无能的寄生阶层无法企及的。因此，长期以来依靠门第选择官吏的制度逐渐松懈了，士庶之间的清浊之分也逐渐淡化了。当门第不再作为一个选官优先权的标志的时候，门阀世族制度也就走到了尽头。隋朝建立之后，科举制的建立和逐渐完善完全取代了门第等级制度，门阀世族制度终于退出了历史舞台。
