于是，当金人兵分两路，势如破竹打得高宗抱头鼠窜，甚至被追杀到渡江逃命，然后又歷经苗刘兵变的惊吓，搞到绝子绝孙的几个月时间里，岳飞却受到杜充的威逼，以微小的兵力帮金人清扫门庭；面对人数数十倍的匪眾，岳飞虽然都能获胜，但是又不忍施以重击，心中实在充满了无力感。
到了六月，金人看民间武力差不多清除殆尽，决定取下东京，将两河地区全部纳入金国版图。杜充派人通知岳飞，说他决定放弃东京，将留守司撤回健康。岳飞马上结束剿匪工作，匆匆赶回东京，并极力反对杜充的计画。哪知杜充早已决心全面配合金人，根本不为所动，岳飞最后只好无奈地跟着杜充南下健康。
高宗前一段时间实在太过悽惨，自顾不暇，所以根本无暇去查明真正的状况，身边又没有人能帮他做出正确的判断，竟然认为杜充在宗泽去世之后将近一年，还能稳住东京不失，实在居功厥伟。一方面为了表彰其功，一方面希望他继续发挥所长，稳住建康防务，以保障临安的太平，所以破格将杜充升任右相，兼江、淮宣抚使，负责镇守建康。
到了秋天，金人又是兵分三路。西路完顏昌攻打淮南，中路完顏拔离速、完顏穀英、耶律五码由黄州渡江屠洪州，劫掠胡北、江西一带，东路由金兀朮亲自率领，声称这次一定要活捉赵构，终结南宋。
杜充还是老招，不与金兵对抗，只在十一月派遣水军攻打贼寇李成；结果金兵支援李成击败宋军，掳获大量船隻。金兀朮也不攻打健康，绕道健康西南的马家渡，准备渡江直下江南。
杜充听到金兵即将渡江的消息，怕事后被追究责任，仓促派遣都统制陈淬，率领岳飞、戚方，统兵二万前往马家渡阻挡金兀朮，另由王燮率一万三千人策应。
结果王燮临阵脱逃，陈淬战死，只有岳飞力战之后，暂时屯兵在建康东北的紫金山。
杜充接到马家渡战败的讯息后，率领亲兵三千弃城前去投降金人。
镇守江寧的陈邦光，以及镇守建康的杜充，两人先后投降之后，金兀朮再无阻碍，率领大军渡过长江，展开所谓「搜山检海」行动，锁定高宗一路追击，金兀朮还再度公开宣称，即使高宗上山下海，都一定要将他活捉才愿意北归。
他先攻下湖州，进逼临安，高宗匆匆逃到明州；金兀朮接着占领临安，一面派讹鲁补、术列速领军击败宋将周汪军，攻占越州，一面遣阿里、蒲鲁浑率领四千精兵渡过曹娥江，在明州城外二十五里处大破宋军，高宗被迫从明州搭乘大船出海，浮游海上。
其实高宗浮游海上并不是临时起意。
金人渡江之后，高宗就与宰相吕颐浩商讨过，万一有一天被金兵追杀时，应该逃往深山还是大海？
吕颐浩说：「金人以骑兵取胜，万一皇上需要避难，带着一大伙皇亲贵族，文武百官，亲兵侍卫，再加上他们的家小，如果走陆路进入山区，道路崎嶇，不但狭窄难行，更怕粮运不顺，早晚会出问题。而且金人既渡浙江，一定会分遣轻骑追袭，很快就会被他们追上而遭不测。如果皇上乘坐大型海船以避敌，既然脱离陆地，敌人最擅长的骑兵也莫奈我何。而且江浙气候比较热，敌人无法久留。我们姑且暂居海上，等到他们北返我们再回来。总之他来我们就出海，他去我们就登陆，这就是兵家所谓之道也。」
