高宗半壁江山坐稳后就来处理黄潜善和汪伯彦的事情了。黄潜善贪恋禄位，还厚不廉耻地上疏称：“艰难之时，不敢具文求退。”想不离开高宗左右，因为他认为自己为高宗贡献太多了，为他的南宋朝廷倾注太多的心血。他还以为小枚能够帮上忙。想消费着痴情女子的感情。岂不知自己造孽太深，以无药可救。高宗不能再迁就小枚了。要知道迁就意味断送半壁江山，甚至人头落地。高宗现在唯一能做的就是看在小枚的面子上和黄潜善跟随自己多年的情份上饶他不死。可是黄潜善还不死心，他不想这样退出历史舞台。这样对他的打击太大了，他是个嗜官如命之人，这样就等于要了他的命啊！他与汪伯彦一起上疏高宗请求自己不离开高宗的左右，讲他们之间的友谊，他们之间怎样过那一道一道的坎，讲到伤心处三人都声泪俱下。这时候韩世忠要求见高宗，高宗见韩世忠将他们与金国一起陷害李纲的人证、物证要呈上的时候，他惊吓住了，这要是被勤王将领知道那还得了，他再不去考虑汪、黄二人的感受和与他们的情谊了。
泪水它改变不了目前的问题，他要求韩世忠对那件事情要高度保密，韩世忠无奈地点了头，但要高宗迅速处理他们，不能再拖了。否则，事情还会闹腾的。高宗从苗傅和刘正彦想另立皇帝的事件中已经完全意思到了留下黄潜善和汪伯彦对朝廷已经没有一丝裨益，只能带来更大的危害。现在自己无力保住他们，更不能留在朝廷了。强行为之，南宋朝廷就会被颠覆。而且他们两人的命运只会更加悲惨。高宗将目前情况摊开来给他们两人自己定夺，两人觉得在理，都无有话说，只求高宗还能够想到他们便可。然而朝廷中丞张澂弹劾黄潜善和汪伯彦20条大罪，朝野都认为扬洲大溃退的罪责应当归在黄潜善和汪伯彦身上，高宗对这件事情确实有不满之处，对金兵的情况隐瞒不报不早定策略以至招来金兵之侮，让自己吃尽了苦头，这两人确实是虚伪奸诈、误国误民。于是，汪伯彦被黜，居永州（今湖南零陵）。把黄潜善贬为观文殿大学士，知江宁府(今江苏南京)，旋又削职居衡州(今湖南衡阳)。
郑珏继之上书，说黄潜善罪恶比汪伯彦更大；王廷秀也跟着上书切责，才勒令安置英州(今广东英德)。谏官袁植请求将黄潜善处斩，高宗不答应，想起黄潜善为自己的皇帝位置和自己的南下做了很多事情，也背了许多骂名，为自己黄潜善还贡献出心爱之人。故将黄潜善改置梅州(今广东梅县)。一连串的贬谪和打击让黄潜善难以接受，痛苦万分，想想自己的人生轨迹和悲切的后果，真是伤痛欲绝。他多么想高宗哪天再次召回自己为朝廷出力啊！他好想去自己的家乡，看看父老乡亲，家乡几十年未回啊！孩时的情景历历在目浮想联翩……
金军南下后，南宋已经组织不起来像样的抵抗，州县官员弃城而逃的甚多。这一年，李纲已经46岁，陪伴他踏上漫漫长路的，惟有次子李宗之，抵达琼州三日忽蒙“天恩”赦免，这次突如其来的赦免，与高宗的某些思想转变有关。
就在这年初，金军大将马五率骑兵五千，奔袭扬州，一心要活捉高宗。高宗完全乱了阵脚，于二月初一下令官民自行逃避。又将皇子与六宫送至杭州。到初三日，金军已离扬州百里，高宗惊得魂飞魄散，带领数人，身着甲胄飞马出逃，渡江跑到了镇江。
金兵如果再追，大宋很可能就会有第三个俘虏皇帝了。多亏宝应县（今属江苏）的官绅发动当地百姓起兵抗金，使占领扬州的金军深感不可久留，迅即回撤。这才躲过了一劫。高宗还朝后，也许是痛定思痛，想起了李纲当宰相时的好处。要不是因为自己害怕失去皇位，哪里会出现这样的结果，如果自己是名正言顺地皇位继承者，而不要顾忌父、兄的夺帝之忧，自己一定会重用李纲坚决抗金的。
于是良心发现，李纲对宋朝廷确实是忠心耿耿，自己和黄潜善等人与金人合谋设计陷害李纲，真是太过分了。都是因为自己恐惧没有皇帝做，怕钦宗问罪，加上自己处处顾忌皇帝的面子对李纲那耿直的性格无法接受。这是自己太自私的体现啊。就因为这样，自己把他贬到海外，实在不该，想到此时便连忙下诏赦免。这个迟来的赦免，使李纲的这一路折腾，更像是遭受了一次恶作剧式的惩罚。这真是喜不得、悲不得，惟有慨叹而已！李纲父子俩听到赦免消息后，并没有马上返回，而是在海南逗留一个多月在这里他写下了忧国忧民和自己感怀人生的许多诗词：古来云海浩茫茫，北望凄然欲断肠。不得中州近消息，六龙何处驻东皇？胡骑长驱扰汉疆，庙堂高枕失堤防。关河自昔称天府，淮海于今作战场。
退避固知非得计，威灵何以镇四方？中原夷狄相盛衰，圣哲从来只自强。诗中叹惜自己抗金的政治主张不能实现，使国家的局势更加恶化，增加了老百姓的苦难，对当时的卖国投降分子进行了尖锐的讽刺。最后表示了他的奋发图强、抵抗侵略的坚定信心。也抒发了自己的悲恋人生。但他又想，自己比苏东坡毕竟是幸运多了。苏东坡在这边陲之地的儋州，寂寞生活了三年之久，在踏上琼岛土地之后，自己又何尝没想过，将怎样苦度这样漫长的时光。现在看来，倒是“萍梗追思却自惊”了。他兴奋之余，写下了两首诗以言志，其中一首云：行年旧说是东坡，鲸海于今亦再过。儋耳三年时已久，琼山十日幸尤多。却收老眼来观国，尚冀中原早戢戈。病废不堪当世用，感恩惟有涕滂沱！鲸海于今亦再过。儋耳三年时已久，琼山十日幸尤多。却收老眼来观国，尚冀中原早戢戈。病废不堪当世用，感恩惟有涕滂沱！
李纲父子渡海北归了。这天，正遇到冬日无风的好天气，水天一色，犹如蓝莹莹的琉璃。归乡的心情，极为美好，李纲在船上吟咏道：纤云四卷日方中，海色天光上下同。身在琉璃光合里，碧空涵水水涵空。
别了，海南！李纲奔走平生，早已厌倦了在贬途上无谓地耗费生命。但是“暮年”时乘船浮于海的经历，还是令他大有触动：自己在浩茫碧海中，一个人真的很渺小很渺小啊！
喜欢同朝为相请大家收藏：(www.shaonianshuwu.com)同朝为相少年书屋更新速度全网最快。