李祖名渊，字叔德，姓李，陇西成纪人。李渊性情宽厚仁爱，袭位封为唐公。隋文帝的独孤皇后，是高祖姨母，因此文帝与高祖亲近。文帝任北周宰相时，恢复高祖姓李，委任他做侍卫官千牛备身，任用为隋朝的谯、陇二州剌史。
隋炀帝大业年间（公元605—617年），高祖历任岐州刺史、荥阳、楼烦二郡太守，召任为殿内少监、卫尉少卿。炀帝征讨辽东，派高祖在怀远镇督运军粮。杨玄感谋反，随从炀帝征辽的兄弟们尽都逃回，高祖事前发觉，禀报炀帝，炀帝迅即率军返回，调高祖任弘化留守抵御杨玄感，并诏令关右诸郡军队统受高祖调度指挥。
此时，隋朝政务荒废，天下大乱，炀帝常常凭猜忌杀戳大臣。他曾因事召见高祖，高祖生病，未按时谒见。高祖的外甥王氏，在后宫供职，炀帝问王氏，王氏回禀高祖有病，炀帝说：“可会死吗？”高祖听后恐惧，于是放肆饮酒、收受馈赠，借以掩藏行迹。
李渊
大业十一年（公元615年），高祖任山西河东慰抚大使，还击贼寇母端儿，射70箭全部射中，贼寇败走。高祖收聚贼寇尸体垒高示众，从尸体上尽数收得所射的箭。另一次，攻打绛州贼寇柴保昌，降服其部从数万人。突厥侵犯边塞，高祖与马邑太守王仁恭迎击，隋军兵少，不足抵敌。高祖挑选两千精锐骑兵作流动部队，宿营、饮食、傍水就草，习俗如同突厥，并射箭捕猎纵马驰骋，以示兵力优闲有余；又另选擅长射术的士兵埋伏作为出奇制胜之军。敌寇遭遇高祖，犯疑不敢交战；高祖趁机攻击，大败突厥之军。
大业十三年（公元617年），高祖任太原留守，在西河攻打高阳历山飞的贼寇甄翟儿，击破贼军。这时，炀帝南游江都，天下盗寇四起。高祖之子李世民料定隋朝必亡，暗中交结豪杰，招纳逃亡人士，与晋阴县令刘文静策划夺取天下，计谋已定，而高祖还不知晓，想以实情相告，又怕他不听从。高祖留守太原，兼任晋阳宫监，他所赞许的宾客裴寂任副监。李世民暗地与裴寂商议，于是裴寂挑选晋阳宫的宫女私下侍奉高祖。高祖到裴家饮酒，酒兴正浓心情舒畅时，裴寂将夺天下之事告诉他，高祖大惊。裴寂说：“正因为宫女私下侍奉您。事情暴露罪当处死，才这样做的。”李世民也趁机禀告此事。高祖起初假装反对，要抓李世民送官府，之后才表示赞同，说：“我钟爱你，难道忍心告发你吗？”但未发难。而他所在地区盗贼越来越多，突厥屡屡侵犯边塞，高祖出兵不见功效，炀帝派使臣来抓高祖到江都，高祖十分恐惧。李世民说：“势态危急，可以行动了！”随即炀帝又派使臣快马赶来赦免高祖，起兵发难才中止。
此时，刘武周起兵马邑，林士弘起兵豫章，刘元进起兵晋安，都自称皇帝；朱杰起兵南阳，号称楚帝；李子通起兵海陵，号称楚王；邵江海占据岐州，号称新平王；薛举起兵金城，号称西秦霸王；郭子和起兵榆林，号称永乐王；窦建德起兵河间，号称长乐王；王须拔在恒、定一带起兵，号称漫天王；汪华在新安起兵，杜伏威在淮南起兵，都号称吴王；李密在巩地起兵，号称魏公；王德仁在邺地起兵，号称太公；左才相在齐郡起兵，号称博山公；罗艺占据幽州，左难当占据泾，冯盎占据高、罗，都号称总管，梁师都占据朔方，号称大丞相，孟海公占据曹州，号称录事；周文举占据淮阳，号称柳叶军；高开道占据北平，张长孙占据五原，周洮占据上洛，杨士林占据山南，徐圆朗占据兖州，杨仲达占据豫州，张善相占据伊、汝，王要汉占据汴州，时德睿占据尉氏，李义满占据平陵，綦公顺占据青、莱，淳于难占据文登，徐师顺占据任城，蒋弘度占据东海，王薄占据齐郡，蒋善合占据郓州，田留安占据章丘，张青特占据济北，臧君相占据海州，殷恭邃占据舒州，周法明占据永安，苗海潮占据永嘉，梅知岩占据宜城，邓文进占据广州，俚族首领杨世略占据循、潮，冉安昌占据巴东，宁长真占据郁林，其他另有称号的各盗群往往啸聚山林水泽。当刘武周攻打汾阳宫时，高祖便召集众将领，对他们讲：“如今我任留守，如果贼寇攻占了皇帝别宫，即使贼寇不杀我等，论罪也该处死。但如迎击，必待朝廷答复，眼下江都交通阻隔、路途遥远，延误了规定的奏报时间怎么办？”众将、吏都说：“国家大事，现在能独自决断的，是您。”高祖说：“好！”于是招募兵丁，仅十日时间招得一万人。副留守、虎贲郎将王威、虎牙郎将高君雅见大量募集士兵，疑心发生异常事变，商量趁着到晋祠求雨的机会除掉高祖。被高祖知道，就暗地作了防备。
五月十五日，高祖和王威、高君雅一道办理公务，开阳府司马刘政会指控王威、高君雅谋反，高祖当即在座位抓获他们。十七日，突厥进犯边境，高祖传令军中说：“有人告发王威、高君雅招来突厥，现证实果然如此。”于是杀了王、高二人趁势起兵。并派刘文静出使突厥，相约媾和。
六月己卯日，高祖向各郡发布军事文告，号称是禁暴救乱的义兵，设置大将军府，建立左、中、右三军。以长子李建成任陇西公、左领军大都督，左军隶属其下；次子李世民为敦煌公、右领军大都督，右军隶属其下；三子李元吉为姑臧公，中军隶属其下。裴寂任长吏，刘文静任司马，石艾县县长殷开山任掾史，刘政会为属，长孙顺德、王长谐、刘弘基、窦琮为统军。开仓赈济穷困百姓。
七月初三，高祖手执白色军旗，在原野上对全军动员、宣誓，拥有3万人马，派李元吉任太原留守。初四，起兵太原。初五，派将领张纶攻下离石、龙泉、文城三郡。初七，行军至灵石县，安营在贾胡堡。隋朝虎牙郎将宋老生驻扎霍邑，抵抗义军。十七日，隋朝鹰扬府司马李轨在武威起兵，自号大凉王。
八月初三，义军在霍邑击败宋老生。后接连攻克临汾郡，绛郡。十五日，义军在龙门县驻扎，突厥派军前来助战。隋朝骁卫大将军屈突通驻守河东县，拆断了渡桥。二十四日，冯翊的盗贼孙华、土门的盗贼白玄度都备好舟船前来迎接义军。
九月初十，高祖兼任太尉，增设下属。十六日，行军停驻长春宫。十八日，陇西公李建成、刘文静屯兵永丰仓，驻守潼关。敦煌公李世民从渭北攻下三辅一带，高祖的堂弟李神通在鄠县起兵，高祖的女儿、柴绍之妻也在司竹起兵，来与李世民会合。郿县的盗贼丘师利、李仲文，周至县的盗贼何潘仁、向善思，宜君县的盗贼刘炅等来降顺义军，因而夺取平定了鄠、杜两县。十四日，高祖进驻冯翊。二十七日，敦煌公李世民驻扎阿城，陇西公李建成由新丰县奔赴军事要地霸上。二十八日，高祖从下邽西进，全废止所经过的隋帝行宫、园林禁苑，放出宫女让她们回家。
十月初四，高祖停驻长乐宫，部众已达20万人。隋朝留守卫文升等辅助代王杨侑守卫京城大兴，高祖派使者去通告他们，他们不予答复，于是高祖围攻京城，但下令：“凡侵犯隋朝宗庙及皇室宗族者，罪及三族。”
十一月初九，义军攻克京城。高祖责成主符郎宋公弼收取地图、户籍。制定了十二条法律：杀人、抢劫、违反军令、反叛者处死。十六日，尊奉远在外地的炀帝为太上皇，立代王杨侑为皇帝。施行大赦，改皇帝年号为义宁（公元617年）。十七日，高祖进入京城，来到朝堂，向宫门叩拜。杨侑授予高祖以代皇帝亲征的最高权位“假黄钺”称号、有诛杀中级以下官吏权力的“使持节”、任职大都督内外诸军事、大丞相、录尚书事，晋封高祖为唐王。
十二月初七，隋恭帝追赠唐襄公李虎为景王；唐仁公李昞为元王；高祖夫人窦氏为唐国妃，谥号“穆”。以李建成为唐国承袭爵位的世子；李世民为唐国内史令，改封为秦国公；李元吉为齐国公。丞相府设置长史、司录以下的官员。
义宁二年（公元618年）正月初一，隋恭帝下诏：唐王李渊可佩剑径直上殿，入朝可不必小步快行，朝拜皇帝不自报名号，出行增加前、后羽饰车盖、仪仗乐队。二十一日，世子李建成任左元帅，秦国公李世民任右元帅，攻克东都洛阳。
二月初四，太常卿郑元王寿平定樊、邓二地，使者马元规攻克荆、襄一带。三月初四，齐国公李元吉任太原道行军元帅。十一日，隋朝的右屯卫将军宇文化及在江都杀了太上皇杨广，立秦王杨浩为皇帝。吴兴郡太守沈法兴占据丹阳，自称江南道总管。乐安人祖尚占据光州，自称刺史。二十三日，隋恭帝提升唐王李渊为相国，统领百官、总理朝政，赐予“九锡”——九种显示最高权势的器物，唐国设置丞相等官职，建立祭祀租先的四庙。
五月初一，恭帝下诏赐予唐王李渊受用垂有12条玉串的皇冠，竖立天子的旗帜，出入所经之地按天子规矩戒严。初十，王德仁降顺。十四日，隋恭帝让位，派刑部尚书萧造、司农少卿裴之隐将皇帝印玺奉送唐王，李渊推辞再三之后才接受。
唐朝武德元年（公元618年）五月二十日，高祖在太极殿登皇帝位，在京城高郊祭告天地以示承受天命，施行大赦，更改皇帝年号。赏赐文武百官和平民加爵位一级，义军所经之地免除徭役3年，其他地方免徭役一年。隋朝东部留守元文都和左武卫大将军王世充立越王杨侗为皇帝。
六月初一，赵国公李世民任尚书令，裴寂任尚书右仆射、主持政事，刘文静任纳言，原隋朝的民部尚书萧瑀、丞相府司录参军窦威任内史令。初七，立世子李建成为皇太子，封李世民为秦王，李元吉为齐王。初十，薛举劫掠泾州，秦王李世民任西讨元帅，刘文静任司马。太仆卿宇文明达赴山东招降抚慰。十二日，封隋恭帝杨侑为国公，并下诏书说：“近来时世变迁，前朝的皇室宗亲，尽遭诛灭。世运终有了结，实为天命所定；国运兴亡，哪由人力左右？隋朝蔡王杨智积等之子孙，皆应量才录用。”二十日，禁止借某种征兆议论国家的吉凶。
七月初九，刘文静在泾州与薛举交战，大败。十二日，郭子和投降。八月壬申，刘文静被削职为民。初五，节制功臣免除死罪。初九，李轨降顺。十一日，岩州刺史王德仁杀死招慰使宇文明达反叛，十六日，秦王李世民任西讨元帅，计伐薛仁杲。
九月初三，讯察记录囚犯的罪状。开始设军府。十一日，改银菟节为铜鱼符节。十二日，秦州总管窦轨与薛仁杲交战，大败。二十九日，宇文化及杀了秦王杨浩，自立为帝。
十月初八，李密降顺。十一日，朱粲攻陷邓州，刺史吕子臧殉难。十四日，邵江海降顺。二十八日，盗贼杀了商州刺史泉彦宗。三十日，大阅军队。十一月，窦建德在幽州打败王须拔，王须拔逃亡突厥。初四，凉王李轨反叛。初七，下令禁献肢体短小的人、体型矮小的牛马以及奇异兽禽。初八，秦王李世民打败薛仁杲，并将他俘获。十二日，行军总管赵慈景攻打蒲州，隋朝的刺史尧君素迎战，活捉赵慈景。二十二日，秦王李世民俘获薛仁杲并进献祖庙。
十二月初二，李世民任太尉。初六，蒲州民众杀了尧君素，拥立他的部将王行本。十一日，郑元王寿追上朱粲，交战于幽州，打败朱粲。十五日，高祖去周氏陂。十七日，自周氏陂返回京城。三十日，光禄卿李密反叛，被处死。
这年，高开道攻取渔阳，自称为燕王。
武德二年（公元619年）正月二十三日，陈叔达兼任纳言。高祖下诏：此后正月、五月、九月不施行死刑，禁止屠杀。二十五日，张善相降顺。二十八日，杨士林降顺。
二月十四日，初定向成丁征派田租力庸、户调的“租、庸、调法”。命令文武官员实行守丧礼制。十五日，下令各州设置训导宗室弟子的官员“宗师”一名。二十三日，赦免并、浩、介、石四州贾胡堡以北的囚犯。闰二月，窦建德攻陷邢州，活捉了总管陈君宾。闰月初一，窦建德在聊城杀了宇文化及。朱粲降顺，初二，皇太子李建成和秦王李世民、尚书右仆射裴寂巡视京城管辖的各县。初五，御史大夫段确在菊潭慰劳朱粲。初十，高祖隐蔽身份便装外出，考察乡风民俗。十五日，因谷物昂贵，下令禁止关内各地屠宰、卖酒。左屯卫将军何潘仁在司竹与山寇张子惠交战，殉难。二十日，骁骑将军赵钦、王娑罗在周至与山寇作战，殉难。二十七日，王世充攻陷殷州，陟州刺史李育德殉难。
三月分别有王薄、蒋弘度、徐师顺、李义满等归降。四月，綦公顺归降。初二，并州总管、齐王李元吉在榆州与刘武周交战，大败。初三，朱粲杀段确，反叛。初七，王世充废黜隋朝的越王杨侗，自称皇帝。二十五日，攻陷伊州，俘虏了总管张善相。
五月十三日，凉州将领安脩仁活捉李轨归降朝廷。十六日，朝廷对凉、甘、瓜、鄯、肃、会、兰、河、廓九个州的罪犯实行局部赦免。
