天宝年末，唐玄宗诏命杨国忠举荐的王承业为河东节度使后，众将士因他是杨国忠的亲信而看轻他，部下武将渐养成骄奢之心，倨不为礼，他们上奏说王承业“军政不修”。特别是颜杲卿死后，河东诸将纷纷上书弹劾王承业，说他坐视不救，致使常山陷落。晚年的唐玄宗已昏聩无政，就听令杨国忠派侍御史崔众为太原节度使，收缴众将的兵权。但太原众将不但不交兵权，反而纠合起来，诬奏崔众说他克扣军饷，军中沸腾，如不及时处置，将会引起兵变。不明事理的唐玄宗也不分青红皂白，就派中使谢元光到太原杀了崔众，复以王承业为河东节度使。王承业复职后，众将更加看不起他，进而肆意侮辱。王承业无奈，只得忍气吞声地维持着那种局面。时已移屯河东晋阳的李光弼与太原邻军看到太原这种状况，心中愤愤不平，但太原既不属他管辖，愤也无用。等到唐肃宗以李光弼为户部尚书、北都留守并同平章事，敕命李光弼以景城、河间兵五千人赴太原时，李光弼即刻到任，大会众将，令他们交出自己所部的军队，由自己统一掌管。众将骄横已惯，他们仍然倨不为礼，抗拒交兵，仍像对待王承业那样。李光弼大怒，命左右将他们一一拿下，剥夺了他们的兵权，且将他们下狱，并说：“等上奏朝廷，再以军法处置。”自此，李光弼采取一系列措施号令军中，违令必斩，太原军中人人战栗。虽李光弼施行严令竣律，军中都雷厉风行，太原军一时整肃。
李光弼和郭子仪都认为，河东（唐开元十八年，治所移治太原，位今山西太原市西南晋源镇）历来是军事上控制关中的门户，居于西京长安和东京洛阳之间，扼守叛军来往于二京之间的要冲，史思明意在必得，官军若扼守河东则两京可图，因此郭子仪才令李光弼率军镇守太原。而李光弼入太原后，属下原朔方军都随郭子仪回到了灵武，自己现有的景城、河间及太原军大都是乌合之众的团练兵，且不满万人，军中实无多强的作战能力。所以李光弼一经整肃后，就率将士于太原城外四周环筑宽堑深壕，他日夜督工。将士们十分辛苦，其将佐纷纷进言说：“平章若固守太原，应当大修城池以备守御。如今却于城外广挖壕堑全长达百余里，岂不是空劳将士？”李光弼解释说：“太原城周回四十里，贼军未到却只修筑城墙，那是敌军未临城下就已先自困于内。诸将不必心疑，到时壕堑自有用处。”于是又督将士在壕堑临城的一侧再增土垒，以图自固。
这时，史思明果然发大军来争太原，他率军于博陵，高秀岩发兵于大同，牛廷玠自范阳出兵，总共有十万大军齐攻太原。史思明轻蔑地对高、牛二将说：“攻取太原，如同指掌间事，既得太原即长驱直入西向攻取灵武及河、陇地区。”他率二将及十万大军到达太原，却见前有又宽又深的壕沟阻隔，只得下令停军，派军士填壕。但凡他派军所填之处，李光弼就派军杀散填壕的叛军，连夜又把被破坏处修复好。史思明虽有十万大军屯于壕外，却前进不得。无奈，他就派出三千胡兵到山东（今崤山以东）和范阳调取大批云梯、攻城车等来太原，他停军在太原城下等待。谁知，三千军派出后杳无音信。却原来这三千胡兵护送攻城器具刚到广阳（治今北京西南），就被广阳别将慕容溢和张奉璋率大军袭击，三千胡兵一个不留地全部被杀死，只害得史思明在太原城下空等。
史思明此举却帮李光弼赢得了时间，他就派出将士到城外壕堑内，从四面打地道直通叛军军营，史思明等却毫无觉察，就更不要说防备了。史思明见十万大军围太原一月有余，却毫无进展，就在军中广选骁骑勇将一万人组成机动队，授计于他们说：“我若率大军攻城北，你们就偷偷潜入城南；我若攻城东，你们就悄悄绕到城西。只要有机可乘，你们就攻入城去。”军中就按他的计策而行，但李光弼号令严整，虽史思明试攻多次，其机动队于相反方向寻找空隙攻城。可城中的巡逻将士不管守卫之处有无叛军攻城，都高度警惕，严阵以待，不敢有丝毫松懈，史思明的机动队根本无机可乘。所以，史思明在太原城下不能前进半步。
史思明见偷袭不成，就改变策略，天天派出将士到壕边骂敌，以图激李光弼出城交战。李光弼是何许人，哪能上他这种当？他就在军中重金招募有技能的人，哪怕是稍有与众不同的一技之巧，都能为他所用，以发挥他们的一技之长。其中求得原安边军中有个叫钱工三的人，这人十分善于打地道。他可根据骂阵敌军所在的位置，于原有地道中再打地道过去，可不偏不移地到达敌军脚下。每当史思明派将士骂阵，李光弼都派钱工三领人将地道打入敌军脚下。叛军正在仰面向城上叫骂，他们脚下突然塌陷，叫骂者就被地道中的太原军抓住脚脖拉入地道中，然后押解回城。李光弼随即令将俘获者押上城头一一斩首，向叛军示威，然后再根据情势或将对守城有碍的地道段填死，或按需要留作自用。这又使史思明军中人人自危，每当被派出时，他们都低头看着地，惟恐脚下突然塌陷。
史思明见此计不成，就又在军中造云梯、冲车攻城。李光弼仍命钱工三率人于敌军来攻方向打地道等待。史思明军刚冲到城下，脚下就塌陷，攻城者或被俘或被杀。凡被俘者，李光弼仍依前处斩。史思明见此招不灵，就又筑土山与城墙同高，想派大军前赴后进，强行攻城。但这时，唐军已掌握制造火炮和使用火药的方法，而叛军依然只会用冷兵器。李光弼就令军中把火炮摆上城头，填充火药和砂石，对准叛军所筑土山发炮，往往一炮能击毙二十多名叛军，史思明军损伤达十分之二三。史思明无奈，只得下令军中后撤数十步，停军于火炮射程之外，远远地围住太原城，阻断了所有通道。
叛军围城日久，李光弼就派使到达史思明军中，送上亲笔信，说城中已弹尽粮绝，又无援军，实在无法固守，请求史思明暂缓攻城，他本人于五日内准备好一切，然后率军民出城投降。史思明看信信以为真，心中大喜，就答应了李光弼的请求，既不攻城，也不为备。其实，这正中了李光弼的缓兵之计。李光弼就令钱工三率人打地道直通敌营，然后用木头支撑，以防地道塌陷。五日后，李光弼率将士登上城头，刀枪耀目，甲胄鲜明。顷刻城门大开，官军将士五千人出城，作投降状。实际李光弼已命钱工三率五百人从地道中进到敌营脚下。史思明军真以为太原军投降，一个个手拄兵器，注目观看。这时，钱工三令人于地道中先从离城远处往近处依次撤去支撑的木柱，一时间史思明军营中地面纷纷塌陷，死者千余人。史思明军大惊，顿时乱作一团，太原城中鼓声震天，伪作投降的太原军为前锋，李光弼率军出城为后队，一起发起攻击，俘获及斩首叛军万余计，史思明领其余各部大败而逃。适逢安禄山病重，其长子安庆绪派人召史思明回守范阳，只留蔡希德等围太原。
当史思明率十万大军围太原时，李泌劝唐肃宗收西北边境各镇兵赴行在，以便于适当的时机进取扶风，唐肃宗就下敕书，命河西节度副使、特进李嗣业率五千人马前往灵武行在，留节度使梁宰领其余将士镇守河西镇（治凉州，今甘肃武威）。李嗣业见唐玄宗率朝臣到达了成都，李亨于灵武即位，却并无国书、玉玺，而河西又处于成都和灵武之间，到底听命于谁为好？再说安禄山居然在洛阳称帝，史思明军又围太原，这局势究竟如何发展？就想暂不率兵赴灵武，看看局势发展再说。李嗣业持自己的这种心意去和梁宰商议，他说：“上皇在蜀，蜀郡和河西为近邻，如发五千军赴灵武行在，上皇若有急征调，则河西已无兵可出了。某以为不如暂不发兵赴灵武，以备上皇应急所需。”谁知梁宰和李嗣业心意相同，他认为官军自灵宝西原败迹以来，河西军好不容易才收集、招募了数千人，今五千军赴灵，河西军又为之一空，实不愿出兵。今听李嗣业之言，就点头同意，二人都认为应暂按兵不动。
从天宝十一年就已为河西绥德折冲的段秀实，见肃宗制书已下数日，河西毫无动静，并不见有发兵的准备，他心内着急，就去见李嗣业，问何日出兵。李嗣业说：“某已和节帅商议，河西军暂不宜出，若陛下敕书再下，另行商议。”段秀实一听，大是不满，就谴责李嗣业说：“哪里有君父告急而臣子却不奉敕赴召的道理！特进常自诩为大丈夫，大丈夫处世首先应急赴国难，哪还能不赴君父之难，等连下敕书催促方才发兵之理！如此看来，特进于国君危难时宣召都迟疑不决，这哪像大丈夫所为，还不如小儿和女子那样有见识！”听到段秀实的责备，李嗣业羞愧满面，当即道歉说：“承蒙所教，实是某之过，我立即去禀报节帅。”就同段秀实一同去见梁宰，当面把段秀实的话一五一十地说给梁宰听。梁宰也认为段秀实所说有理，就如数发兵，以李嗣业为主将，以段秀实为副将，领五千军到达灵武。唐肃宗大喜，又下敕书到安西（治今新疆库车）征兵。
安西，又称安西四镇，或称碛西，唐玄宗开元六年（718年），始将安西镇改称安西都护府，辖其境内的龟兹、焉耆、于阗、疏勒四镇及其余军、城、守捉。安西都护府的都护本是封常清，封常清被召回守潼关时，唐玄宗诏命安西节度判官李栖筠为监察御史、安西行军司马，权摄安西都护府军事。李栖筠是唐宗室族人，接到唐肃宗敕书后，因安西这时还太平无事，就挑选精兵七千，留副将及其余军守安西。一切准备就绪后，他对七千精兵晓谕道：“安禄山、史思明乱我中华，荼毒百姓，他们每到一地，大掠百姓，十室九空，然后就强迫年轻男子为挑夫，把所抢得的财物及女子都押送、运回范阳，其余老弱残废大多被杀。听说，叛军将士奸淫掳掠不说，他们还将我大唐子民的婴儿挑在枪尖上，以婴儿及其父母的惨痛号哭为乐，真连禽兽都不如。谁无父母兄弟？谁无妻子儿女？如我等身临其境，该当如何？我等身为军人，卫国守土安民有责，岂能容忍贼军焚我家园，杀我百姓！”说着泪流满面，将士们群情激昂，振臂高呼：“不为国杀贼，誓不为人！”李栖筠又说：“我今奉国君敕命，率尔等勇赴国难，收复二京，建不世之功。国家有难，我等七尺男儿，岂能坐视！”将士们高呼：“我等愿随大夫卫民报国！”李栖筠道：“我等既为热血男儿，理当义无反顾。”就下令：“出发！”他即一马当先，头也不回地向东进发，催促人马日夜兼程，不日到达灵武，就轻身入朝去拜见唐肃宗。唐肃宗大喜，立即擢李栖筠为殿中侍御史。
唐肃宗见西北军一路路到达灵武，喜不自胜，就约李泌巡视各军。其时，灵武新军、旧军都有，尤其是新军将士，见唐肃宗身着黄袍，头戴天冠，无论出警入跸，都同一领白衣的道装打扮者骑马则联辔，坐车必同乘，好生奇怪，就向朔方军将士们打听。知道者就告诉他们说：“着一身道服的是李泌，人称‘白衣宰相’。”也有人们说：“穿黄袍的是圣人，穿白袍的是山人。”这些议论不时传入李亨的耳中，对他触动很大，他一路思索着回宫，当即想出了一策。
第二天，他在前殿召见李泌说：“昨日出巡，回宫途中，先生可听到将士们私下在议论什么？”李泌淡然一笑说：“议论天子出警入跸，将士们深受鼓舞。”唐肃宗说：“先生不必遮掩，将士们议论道：‘白衣者，山人也。’朕以为在朝为白衣，甚是不妥，先生应着紫衣以绝群疑。”李泌说：“不可。臣本是衡山修道一布衣，理应道装素服。紫衣者，乃有功于朝者，陛下赐三品以上大员着紫。臣无有寸功，安得服紫！”唐肃宗说：“先生不可自谦，国家处此艰难之时，卿赴灵辅翼朕，多出奇谋，安得谓无功！”李泌急忙说：“陛下睿智，臣得入朝，上天使然，臣不敢违背天命。有朝一日，天下太平，百姓安居，臣得以回山修道，正也上应天命，臣安敢入朝服紫！”唐肃宗满脸严肃地说：“先生差矣。既然卿说朕得先生辅翼乃天命使然，先生又口口声声自称臣，为臣者哪有着白衣之理，这和上言岂不矛盾？如今国家正当艰难之时，先生也正为国家之急前来就朕，朕也不敢屈先生之志为官为臣，只是暂且服紫袍以绝群疑，先生且不可以天命为辞推托。”说着又命李辅国以盘托出紫袍，立让李泌穿上。李泌看事已至此，也不好再推托，只得在大殿上将唐肃宗所赐紫袍穿在外面，又向唐肃宗拜谢。唐肃宗笑道：“且慢！卿既已服紫，岂可没有职称？”说着，就从怀中拿出早已准备好的敕书说：“先生虽已服紫，若无一个名号，怎么去处理军国大事？卿既不愿接受右相之职，朕就以卿为侍谋军国、元帅府行军长史。”李泌大惊说：“这如何使得，再说自古以来，并未曾有过侍谋军国、元帅府行军长史之职。”李亨笑道：“正所谓此一时彼一时也，这一名号是朕特为先生而设，先生可暂用它参与军国大事，这也并不妨碍先生将来修道，只是用它来暂济艰难时事。朕也不敢一定要先生为相为臣，等到叛贼平定，任先生自行高志，不敢勉强。”李泌说：“此话当真？”李亨又笑说道：“想不到先生这样不相信朕？士尚讲‘君子一言，驷马难追’，朕既贵为天子，岂可言而无信？”李泌口称不敢，只得向唐肃宗跪拜接受，这就为李泌以后辞相回山修道埋下了伏笔。
说起侍谋军国、元帅府行军长史，确实自古以来没有这种官职。不过李亨确实动了一番脑子，他感到自己一时也离不开李泌，出于目前这种形势下，既要不能太勉强屈李泌修道之志，又要想法在平叛期间留住他。至于天下平定后如何，到时再说，这正是他所说的此一时、彼一时也。又因李泌对右相之职坚辞不受，李亨就想出了这样一个名号，既让他辞不得，也可让他以此名号处理军政大事，又可名正言顺，李泌果然不便再固辞。唐肃宗又由李泌的这一名号想到李辅国一路辛苦随他到灵武，在劝进、迎取李泌等方面有功，就又封李辅国为副侍谋军国、元帅府副领军长史。李辅国真乐得手舞足蹈，连忙谢恩。
