李密领导的瓦岗军失败后，魏征随其入关降唐，但久不见用。次年，魏征自请安抚河北，诏准后，乘驿驰至黎阳，劝嵛李密的黎阳守将徐世归降唐朝。不久，窦建德攻占黎阳，魏征被俘。窦建德失败后，魏征又回到长安，被太子李建成引用为东官僚属。魏征看到太子与秦王李世民的冲突日益加深，多次劝建成要先发制人，及早动手。但李建成却迟迟不能下定决心。
武德九年六月四日，秦王李世民先发制人，发动了血染萧墙的“玄武门事变”，诛杀太子李建成和齐王李元吉。之后秦王责问魏征说：“你让我们兄弟互相斗争，这是为什么呢？”魏征毫不紧张，从容地说：“太子早听魏征的话，就不会死于今天的祸乱。”李世民器重魏征敢于直言，非但没有怪罪干他，而且还把他任为谏官之职，并经常引入内廷，询问政事得失。
贞观元年（837），魏征被升任尚书左丞。这时，有人奏告他私自提拔亲戚做官，唐太宗立即派御史大夫温彦博调查此事。结果，查无证据，纯属诬告。但唐太宗仍派人转告魏征说：“今后要远避嫌疑，不要再惹出这样的麻烦。”魏征当即面奏说：“我听说君臣之间，相互协助，义同一体。如果不讲秉公办事，只讲远避嫌疑，那么国家兴亡，或未可知。”并请求太宗要使自己作良臣而不要作忠臣。太宗询问忠臣和良臣有何区别，魏征答道：“使自己身获美名，使君主成为明君，子孙相继，福禄无疆，是为良臣。使自己身受杀戮，使君主沦为暴君，家国并丧，空有其名，是为忠臣。以此而言，二者相去甚远。”太宗点头称是。
由于魏征能够犯颜直谏，即使太宗在大怒之际，他也敢面折廷争，从不退让，所以，唐太宗有时对他也会产乍敬畏之心。有一次太宗得到了一只上好的鹞鹰，把它放在自己的肩膀上，很是得意。但当他看见魏征远远地向他走来时，便赶紧把鸟藏在怀中。魏征故意奏事很久，致使鹞子闷死在怀中。
贞观十二年，魏征看到唐太宗逐渐怠惰，懒于政事，追求奢靡，便奏上著名的《十渐不克终疏》，列举了唐太宗执政初到当前为政态度的十个变化。他还向太宗上了“十思”，即“见可欲则思知足，将兴缮则思知止，处高危则思谦降，临满盈则思挹损，遇逸乐则思撙节，在宴安则思后患，防拥蔽则思延纳，疾谗邪则思正己，行爵赏则思因喜而僭，施刑罚则思因怒而滥”。
贞观十六年。魏征染病卧床。他一生节俭，家无正寝，唐太宗立即下令把为自己修建小殿的材料，全部为魏征营构大屋。不久，魏征病逝家中。太宗亲临吊唁，痛哭失声，并说：“一个人用铜作镜子，可以照见衣帽是不是穿戴得端正。用历史作镜子，可以看到国家兴亡的原因，用人作镜子，可以发现自己做得对不对。魏征一死，我就少了一面好镜子了。”
