李密字法主，是真乡公李衍的侄孙。祖父名耀，仕北周封邢国公。父亲李宽，勇猛善战，办事的才能和谋略都超过一般人，从北周至隋，屡次担任将领职务，官爵升至柱国、蒲山郡公，号称名将。李密长于谋划，文武双全，志向和气量雄伟而远大，经常以助人为己任。开皇年间，继承父亲的蒲山公爵位，于是分散家产，救济亲戚朋友，收养门客，礼遇贤才，从不吝惜资财。与杨玄感结为生死之交。后来改变平日志向，强自克制，闭门苦读，专心研习，尤其喜好兵书，常在口中诵读。拜国子助教包恺为师，听他讲授《史记》、《汉书》，学习时精神振奋，忘记疲倦，包恺的其他弟子，水平都在李密之下。大业初年，皇帝授予他亲卫大都督的官职，这不是他所喜欢的工作，于是托病辞官归家。
待到杨玄感在黎阳时，有背叛隋的打算，暗中派家童到京城约请李密，叫他同弟弟玄挺等一道赴黎阳。杨玄感起兵时，李密来到，玄感十分高兴，把他当作主谋的人。玄感向李密求计，李密说：“我有三条计策，请您选择。现在天子率军出征，远在辽水之外，那地方距离幽州，远隔千里。那里南面有大海相阻隔，北边有胡戎的祸害，仅中间有一条道路，按理说是极其艰难危险的。如今您拥有重兵，可出其不意，长驱直入蓟州，径直掐住咽喉要道。他前面有敌国高丽，后退又无归路，不出十天一月，他们携带的粮食必定耗尽。那时只要举起战旗一召唤，他的部下会自动前来投降，不用打仗就能擒敌，这是上策。再说关中地区四面险要，是天府之国，尽管有卫文升在那儿，但不必在意。现在应当率领部众，经过城镇切勿攻打，轻装行进，务必早日西入关中。天子即使还都，也已失去了险要屏障，我们占据险阻然后对付他，必能战胜，真可谓万全的态势，这是中策。倘若随近就便，先出兵东都，唐袆一报告皇帝，他们势必坚守。领兵去进攻作战，必定拖延年月。谁胜谁负，很难预料，这是下策。”玄感听后却说：“不然。您的下策，才是上策呢。如今众官员的家属全在东都，如不攻取它，怎能震动众人？而且经过城镇却不占领，怎能显示我军威风？”李密的计策终于未能实行。
杨玄感到达东都后，连战皆胜，自认为天下百姓都响应他，事业成功就在早晚之问了。到他俘获韦福嗣后，又委以心腹重任，因此军队征战的事，不再由李密专管。福嗣既非共同谋划造反的人，而是因战败被俘获的，每当要确定作战计时，他总是欲进又退，迟疑不决。后来叫他写讨隋檄文，福嗣坚决推辞不肯执笔。李密摸透了他的心思，就对玄感说：“福嗣原本不是同盟者，确实抱着观望态度。您刚刚兴起大事业，而奸邪之人就混在身边，如果听任他判别是非，必定被他耽误了。我请求您杀了他来向大家道歉，我军才能安定和睦。”杨玄感说：“哪至于严重到这种地步！李密知道自己的意见不会被采用，回营后对其亲信说：“楚公爱造反却不想取得胜利，拿他怎么办？我等现在快成为俘虏了！”后来杨玄感将向西进兵，福嗣终于逃归东都。
那时李子雄劝玄感尽快自称帝王，玄感以此事征求李密的意见。李密说：“从前陈胜自己想称王，张耳劝阻他而遭见外，魏武帝要求汉献帝给他九种器物以示尊礼，荀或制止他而被疏远。现在我李密想直言，害怕步二人之后尘，如果阿谀奉承，顺着您的心意说话，那又不是我原本的想法。为什么呢？自从我们起兵以来，虽然多次告捷，但到各郡县后，没有人追随我们。如今东都的防御还很强固，天下救援之兵不断来到，您应身先士卒，率领部队早日平定关中。现在却想急忙称王，怎么显得见识这么不广呢！”玄感听后笑笑，停止了称王的举动。待到隋将宇文述、来护儿等人的军队快要来攻打时，玄感对李密说：“您有什么计策？”李密说：“元弘嗣统率着强大的部队驻扎在陇西，现在可故意宣扬他要造反，派使者来迎接您，借此人关，就能够哄骗部下。”玄感就用李密的计谋，向部下发布命令，乘机率领他们向西进军。行至陕县，玄感想围弘农宫，李密劝他说：“您现在蒙骗众人向西进兵，军事活动贵在神速，况且追兵即将赶到，怎么能在此滞留！如果向前不能占据潼关，后退又无处据守，大伙一涣散，您用什么办法保全自己？”玄感不听从，于是派兵包围弘农宫，攻打了三天也不能占领，才领兵西进。刚到阌乡，追兵就赶来了。
玄感被打败，李密秘密地进入潼关，同玄感堂叔杨询一道，藏在冯翊杨询妻子家中。不久被邻居告发，官府就逮捕了他们，关押在京兆府的监狱里。此时隋炀帝在高阳，官府就把李密及其同伙全部送往皇帝所在的地方。李密在押解途中对他们同伙说：“我们的生命，就像是早晨的露水，如果解至高阳，必被剁成肉酱。如今在路上还可以想想办法，怎么能去下汤锅送死，而不想办法逃避呢？”大家都认为他说得对。同伙中有人带了很多钱，李密让拿出来给解差看，并对他说：“我们死的那天，这笔钱全部留给您，希望用来给我们埋尸，余下的就用来报答您的恩德。”差官被他们的金钱所诱惑，就答应了。等到出潼关后，对犯人们的防范逐渐松弛，李密请求允许犯人们购买酒肉食品，常常整夜宴饮喧哗，差官也并不在意。当走到邯郸时，晚上住在村庄中，李密等七人都凿通墙壁逃跑了，李密同王仲伯一道逃到平原贼帅郝孝德那里。孝德对他们不大尊敬，两人全都忍饥挨饿，竞至剥树皮来吃。仲伯偷偷回到天水，李密则去了淮阳，住在村舍中，改姓换名称作刘智远，聚集门徒，教授功课。过了几个月，李密感到愁闷不得志，写了一首五言诗说：“初秋时节金风吹荡，玉露凋伤夜幕下的树林。晚间，我这无路可走的人啊，一颗忧郁的心在空自悲鸣。远眺近听颇多感叹，慷慨悲歌禁不住泪湿衣襟。泪湿衣襟为的是什么？怅惘迷茫产生了怀古之意。秦人的习俗尚未平治，汉室勃兴之路怎可希冀！樊哙仅是市井俗人，萧何原为刀笔小吏。一旦时来运合，万古留传名号宝器。寄语世上英雄，虚度一生真可愧惜。”诗写成后流下了几行眼泪。当时有人觉得他很奇怪，就把他的情况报告给太守赵他。县吏就来捕捉他，李密只得逃走，到他的妹夫雍丘县令丘君明处藏身。后来君明的侄子怀义又告发他，皇帝下令逮捕李密，李密得机会逃走了，君明竞株连犯罪被处死。
恰巧东郡贼帅翟让聚集同伙万余人起事，李密去归附他。翟让部下有人知道李密是杨玄感手下的逃亡的将领，暗中劝翟让杀了他。李密十分恐惧，于是借助王伯当的关系以献策来谋求翟让的信任。翟让派他去劝说诸小贼，李密所到之处贼都降服，翟让开始敬重他了，召来共商大事。李密对翟让说：“现在我们兵士已很多，但粮食没有地方供给，如果旷日持久，就会人马困危衰败，大敌一来，随时都会败亡。不如直趋荥阳，在那里休整部队，让大家住好吃好，待兵士强健、马匹肥壮、物资充足后，才可与别人争夺利益。”翟让听从了他的意见，于是攻破金堤关，掠夺荥阳各县，城堡多被攻下。荥阳太守郇王杨庆及通守张须陀派兵讨伐翟让。翟让曾多次被张须陀打败，一听说他率兵来交战，就十分恐惧，准备远走避开他。李密说：“须陀虽勇猛却没有谋略，他的部队又多次打胜仗，士兵们既骄狂又凶狠，我们可以打一仗就擒获他们。您只管排列阵势等待敌人，我保证为您打败他们。”翟让迫不得已，才率领士兵准备打仗。李密分兵千余人在树林里设下埋伏。翟让与敌交战失利，军队慢慢地退却，李密命伏兵从敌军后面袭击它，须陀的部队溃散。李密与翟让前后夹击，使敌军惨败，就在阵前斩杀了张须陀。翟让因此令李密在军前树立将旗，单独统率他所带领的部队。
李密又劝翟让说：“昏君失位，流亡吴、越，反隋力量多如猬毛，竞相而起，海内饥荒，民不聊生。明公您凭借英武杰出的才能，率领勇猛雄壮的军队，理应澄清天下，诛除群凶，岂能在草莽荒野求食，长久地当个小强盗而已！如今东都的士人与庶民，朝廷内外，离心离德，留守的众官员，政令也不统一。您若亲自率领大部队，迳直袭击兴洛仓，分发粮食赈济穷困百姓，远近的人们谁不来归附！百万人的的队伍，一个早晨就可以集齐。先发制人，这个机会不可失去啊”。翟让说：“我兴起于田野之间，不曾有此愿望。一定要实行您的计划的话，那就请您先出发，我率领各部就做为您的后续增援部队。夺得仓库那天，应另议处理办法。”李密与翟让率领精兵7000人，在大业十三年春天，从阳城出发，向北越过方山，从罗口袭击兴洛仓，攻占了它。打开粮仓，任凭百姓取粮，年老体弱以及背孩子的人都来领粮，道路上往来不断。
