当时民间流传着这么一句话：“宗泽在则盗可使为兵，杜充用则兵皆为盗矣”。杜充来到汴京后，把宗泽收复失地的战略计划完全抛弃了，毫不理睬两河的抗金义士，并拒绝支援他们，致使一些抗金态度一向坚决的义军被金兵镇压。其他未被镇压的义军也不对杜充抱有希望，而相继脱离抗金前线，或拥兵自保，或转移南下。宗泽苦心经营的防务体系瞬间瓦解了。
建炎三年（公元1129年）正月，岳飞带领着本部二千人马返回开封。刚一回到开封，就接到杜充命令，要他去消灭张用。这个张用在宗泽时期愿意受宗泽的指挥，一起抗金，现在杜充无能致使他变成了流寇。岳飞以“兵寡不敌”为理由，婉言推辞，暴躁、刚愎的杜充大怒，说若不出战，就要杀头。
岳飞没有办法，军人只能服从命令，只得率队攻击南城外的张用军，驻军东城外的王善闻讯后，率军前来支援张用。岳飞以八、九百人勇猛作战，敌方有一个很勇猛的将领出战，被岳飞杀死，敌方就害怕了，被岳飞击溃。这一站后岳飞因功升武经大夫，是正七品的官。
不久，盗匪杜叔五、孙海等包围开土壤府东明县（今河南兰考县北）。岳飞又奉命前往解围，活捉了杜叔五和孙海。他因此升转武略大夫、借英州刺史。这个刺史是虚职，并不是真的去英州作刺史，而只是一种荣耀。
后来，他又在清河打败王善，升为武德大夫。
岳飞的这一系列胜利，一时被传为美谈，其实，这正是奸臣当道铸成的大错。杜充抛弃了民族统一战线，引发了自相残杀的内战，使宋军的实力损失于内耗，有的本来抗金的力量被逼得投降了金朝。
杜充通过这几次的战役，看出岳飞是个骁勇善战的猛将，所以也提拔岳飞，这不到半年的时间，就给岳飞提了不少官阶。而且两人也算是老乡，自然要照顾一下。杜充对于岳飞不仅仅是偏爱，更把岳飞做为了依靠。可岳飞并不是这样想的，对于常人来说，一个能征善战的武人遇到了一个能够提拔自己的好上司，自然是上辈子修来的福分。可岳飞绝非是攀龙附凤之辈，他不过是吸取当年擅自脱离王彦的教训。岳飞虽然看不惯杜充所做之事，但也只能隐忍不发，接受杜充的节制。
此时的南宋朝廷正密谋与金国议和，以图苟安。黄潜善对高宗说，与金国议和应该有诚意。于是，赵构不知廉耻地去掉皇帝尊号，改用康王的名义给金朝元帅完颜粘罕（宗翰）写信，用非常谦卑的语气说，宋朝现在已经处在坚守没有精兵强将、撤退没有地方可去的境地，乞求粘罕不要再追赶了。粘罕见赵构如此无能，便更加放心地发动大举进攻。
很快，金兵渡过淮河，直指扬州，赵构和南宋政府仓皇从扬州逃跑，跑到杭州。在逃跑的过程中，御营司做都统制的王渊，伤天害理，激起民愤。到达杭州之后，又强占民宅，强夺居民的财物，杭州居民对他们的愤恨也达于极点。
赵构跑到杭州不久，对王渊不但不加以惩处，反而加以奖擢，竟提升为枢密院的副长官赵构的这一措施，既使得痛恨王渊的杭州居民更为恼火，也使得所有驻扎在杭州的部队都心怀怨望。特别是护送皇帝亲眷到达杭州不久的苗傅和刘正彦所率领的那支部队，其中的中下级将佐，有些是生长在幽燕一带的人，有些则是生长在两河、中原一带，他们曾多次向赵构建议如何部署反攻和收复河北的计策，赵构却全都置若罔闻。而逃到杭州之后，赵构却依旧这样地倒行逆施，把一个在国难深重时刻还专搞害人利己的王渊提拔为那样的高官，他们对此更感到忍无可忍。
建炎三年三月初五日，苗傅、刘正彦利用部队中全体官兵对赵构的愤慨，举行了武装暴动。他们捉杀了王渊和所有已经到达杭州的宦官，逼令赵构宣告退位，加以幽禁，把赵构的一个不满三岁的儿子立为皇帝。并且宣布，从三月十一日为始，把年号改为“明受”。
苗傅、刘正彦和他们这支部队中的将佐，因为没有政治斗争和军事斗争的经验，在发动了这次政变之后，他们仍只局守在杭州城内，没有提出足以鼓舞人心的政治主张，也没有和杭州地区以外的军事首领们取得联系。这样，他们让全国处于不安之中，形势变得更加复杂。
这样，淮南和江南的南宋政府军队，全都把视线转向杭州，密切注视着这一事变的发展和变化。一些实力比较雄厚的将官，如韩世忠、刘光世和张俊等人，便都先后举起讨伐苗傅、刘正彦的旗帜，出兵勤王。建炎三年四月初一日，杭州城被攻破，赵构复位。起事部队中一部分将吏被擒获杀害，苗傅、刘正彦率众向江西、福建逃跑，后来被韩世忠追捕，遭到杀害。
这个时候，大名府留守杜充被金兵的攻势吓破了胆，下令放弃广大的国土，向南撤退。岳飞十分不满杜充的这一决定，他知道，部队一撤走，就意味着放弃汴京，也就是说，又将有大片的美好河山葬送于金人之手。
岳飞按捺不住自己的不满，义正词严地对杜充说：“中原之地，一定要寸土必争，况且汴京是大宋的第一京城，放弃汴京对全国抗金形势的影响非同小可。”并且说，放弃容易，收复难，若要收复汴京，又将牺牲几十万人的性命。
杜充毫不理睬岳飞的规劝，反而命令他立即率师南下。在杜充的威逼之下，岳飞违心地跟随着浩浩荡荡的人马南撤。金兵不费吹灰之力就占领了汴京，此时南宋已失去了半壁江山。
杜充威逼着岳飞和他一起南下，一直跑到建康才停了下来。
岳飞的心情非常沉重，他知道这一去，不知道什么时候才能带领自己的队伍打回来，什么时候才能来拯救这里的父老乡亲。
