景帝后三年（前141）正月，景帝刘启病逝，16岁的太子刘彻继位，即世宗孝武皇帝。
武帝年轻气盛，很想做一番大事业。他登基后，就诏令各郡举荐贤良方正、直言极谏之士，以备皇帝考察和垂询。其中就有闻名后世的广川（今河北枣强）人董仲舒。董仲舒曾三次上书，献《天人三策》，请求黜刑名，尊儒术，明教化，兴太学，令郡国尽心于求贤。武帝很赞赏董仲舒的学识与见解，封他为江都相。
皇帝既然推崇儒学，儒士出身的丞相卫绾就趁机建议，废黜所举贤良中学习申不害、韩非、苏秦、张仪之法的人，也得到了武帝的同意。然而这些举措却触犯了喜欢黄老之学的太皇太后窦氏。在窦氏的干涉下，卫绾被罢免，外戚窦婴继任丞相。第二年，武帝宠信的另两个儒者——御史大夫赵绾和郎中令王臧——也被罢免下狱，双双在狱中自杀。
在以窦氏为首的黄老派的抵制下，武帝崇儒的决心只好暂且放下。但他依然通过举贤良方正的方式，使许多才智之士聚拢到自己的身边，其中包括庄助、朱买臣、吾丘寿王、司马相如、枚皋、终军等。这些人逐渐形成了皇帝的亲信秘书班底，为武帝削弱相权，把权力中心从“外朝”移入“内朝”，奠定了基础。
汉武帝主政的道路坎坷重重，太皇太后窦氏刚去世，皇太后王氏又站了出来。她身在宫中，却想操控政局。以窦婴为首的窦氏才退出权力中心，王太后的同母异父兄弟田又占据了丞相之职。田喜欢安插自己的亲信到朝廷各部门中去。一次，他上奏请求调动官员，武帝实在忍不住了，冷笑说：“舅舅安插够了吧，留几个位置让我来封，行不行？”
帝王始用年号
汉武帝即位后的第二年（前140）十月，武帝定年号为“建元元年”，这是中国历史上帝王使用年号的开端。此前，中国的帝王只有年数，没有年号，有的用一、二、三……，有的用前一、二、三……，中一、二、三……，后一、二、三……来纪年。武帝即位时，有司上奏认为：元应当采用天瑞，不应以一、二数。一元叫建元，二元以长星称“光”。于是，武帝以“建元”为年号，并以公元前140年为建元元年。（另一种说法认为中国年号发端于元鼎四年（前113），武帝即位后的建元、元光、元朔、元狩等年号都是后来追纪的。）自此，中国历史上开始使用年号纪年。帝王年号纪年这种纪年方式一直沿用到清朝灭亡。
在这种情况下，武帝满腔热情，在朝政上却无从施展，于是被迫把目光转向了朝廷之外，准备改变和亲政策，和匈奴兵戎相见。
