汉武帝的第一任皇后，是馆陶公主的女儿、“金屋藏娇”的陈阿娇。但阿娇嫉妒心很重，倚仗娘家的势力为所欲为，而且没有生下儿子，武帝的兴趣便逐渐从她身上转移开了。这个时候，一位名叫卫子夫的歌姬出现在他面前。
卫子夫是平阳（今山西临汾）人，大将军卫青的同母异父姐姐，原是武帝之姐平阳公主府中的歌姬。因为陈皇后无子，所以平阳公主就把邻近美貌的良家女子购来，置于府中，准备让武帝选取为妃。适逢武帝在灞上祭扫后路过平阳公主府第，平阳公主赶紧将这些美女装扮起来，供武帝挑选。没想到，武帝都看不上眼，却在宴会上相中了一个美丽的歌姬，就是卫子夫。酒酣之际，武帝起坐更衣，卫子夫前来服侍，两人一番颠凰倒凤，情意绵绵。武帝大悦，赏赐平阳公主千金，并将卫子夫带回宫中。然而，后宫美女众多，武帝虽然将卫子夫带回宫，但是没过多久便把她遗忘了。卫子夫入宫一年多，不但没有得到武帝的宠幸，反而因为陈皇后的妒忌，被贬为宫婢。
后来，武帝准备释放一批宫女，卫子夫也在其中。卫子夫趁机见到了武帝，哭诉了这一年多来的寂寞和思念。看着楚楚可怜、娇美妩媚的卫子夫，武帝心中的爱火又燃烧起来，便把她留了下来，加倍宠爱。爱屋及乌，武帝把卫子夫的兄弟卫长君、卫青召入宫中为侍中，卫家开始兴起。卫子夫受到武帝非比寻常的宠爱。于是民间有歌谣传唱：“生男无喜，生女无怒，独不见卫子夫霸天下。”
皇后阿娇出于嫉妒，听信了一个名叫楚服的女巫的话，设坛斋醮，祈祷自己得子，并且重拾武帝的欢心。巫术本是汉宫中的大忌，消息泄露后，武帝大怒，不但杀了楚服，还把皇后宫中的宫女、太监300余人悉数斩首。元光五年（前130），武帝废陈皇后，将她幽禁在长门宫中。后来陈皇后以重金赠武帝近侍、大文学家司马相如，请他作一篇赋，以抒发自己的悲怨之情。武帝读了司马相如所作的《长门赋》，颇为感伤。可是此时他正宠爱着卫子夫，又必须倚靠卫青、霍去病等外戚良将作战，虽然慨叹，却终究不肯赦免陈皇后。
元朔元年（前128），卫子夫生下长子刘据，遂被立为皇后，刘据也随即被立为太子。为了拉近和卫氏的关系，武帝还把自己寡居的姐姐平阳公主下嫁给卫青为妻。卫、霍两门，煊赫一时，卫子夫的荣宠也达到了极点。
然而，随着容颜衰减，卫皇后受宠程度逐渐下降。武帝又开始把目光转向了其他的嫔妃。他先是宠爱一位姓王的夫人。不久听乐师李延年唱道：“北方有佳人，绝世而独立。一顾倾人城，再顾倾人国。宁不知倾城与倾国？佳人难再得。”武帝慨叹：“世上真有这样的美人吗？”李延年说：“歌中所唱，就是我的妹妹。”于是把其妹献给武帝，就是著名的李夫人。
李夫人虽然深受武帝宠爱，可惜福气太浅，年纪轻轻就去世了。李夫人去世以后，武帝每每思念，寝食难安，有个叫少翁的方士就夸口说能招来李夫人的魂魄，和皇帝再见上一面。于是在晚上布设帏帐，点上灯烛，请武帝身居其他的帏帐中观看。武帝果然看到对面帏帐中出现一个女子的身影，好像李夫人，又好像不似，于是做歌道：“是邪，非邪？立而望之，偏何姗姗其来迟！”
