汉文帝时，匈奴经常入侵，汉朝北部边疆的社会治安极度混乱。汉文帝每天忧心忡忡，慨叹缺少良将戍边。
一天，文帝乘车经过冯唐任职的官署，见冯唐偌大年纪还担任郎官，便问：“老人家怎么还在做郎官？家在哪里？”冯唐说是代郡人。汉文帝曾经做过代王，马上来了兴趣，接着说：“我在代郡时，经常听到别人谈起赵将李齐的才能，讲述了他在钜鹿城下作战的情形。现在我每次吃饭时，心里总会想起钜鹿之战时的李齐。老人家知道这个人吗？”冯唐回答说：“李齐还比不上廉颇、李牧的才能。”汉文帝说：“那是自然，可惜我没有廉颇、李牧这样的人才，如果有这样的将领，我难道还惧怕匈奴吗？”冯唐说：“我想陛下即使得到廉颇、李牧，也不会重用他们。”汉文帝一听，很不高兴，转身便离去。回到宫里，越想越生气，又召见冯唐，责备他说：“你为什么要当众侮辱我？”冯唐谢罪说：“低贱之人不懂得忌讳回避。”
汉文帝见他年迈，话又说得有几分理，就没有怪罪他，又问：“你怎么知道我不能任用廉颇、李牧呢？”冯唐回答说：“从前，君主派遣将军出征时，跪下来推着车毂说，国门以内的事我说了算，国门以外的事，由将军做主。所有军队中的奖惩，都由将军在外决定，归来再奏报朝廷。这不是虚夸之言。我的祖父说，李牧在赵国边境统率军队时，把征收的税金自行用来犒赏部下。所以李牧才能够充分发挥才智，北面驱逐单于，大破东胡，消灭澹林，在西面抑制强秦，在南面支援韩魏。在这时，赵国几乎成为霸主。后来赵王迁即位，他听信郭开的谗言，杀了李牧，结果到最后赵国为秦所灭。如今我听说魏尚做云中郡郡守，他把边地的税金用来犒赏士兵，还拿出个人的钱财，五天杀一次牛，宴请军吏、亲近左右，因此魏尚手下军队的战斗力大大增强，匈奴人不敢靠近。那些士兵都是一般人家的子弟，从山村野地来参军，根本不懂得朝廷的律例，他们整天拼力作战，所以要好好对待他们。魏尚只是因为错报了杀敌数目，多报了六人，陛下就把他交给法官，削夺他的爵位，判了刑。由此说来，陛下即使得到廉颇、李牧，也是不能重用的。”
文帝听了很惭愧，当天就让冯唐拿着皇帝的节符，出使前去赦免魏尚，重新让他担任云中郡郡守，又任命冯唐作车骑都尉，掌管中尉和各郡国的车战之士。
