艰危的时世也令文天祥在思想观念上起了一些变化。
文天祥生性疏荡，爱好奢华（从这种性格上可以判定他应该出身富贵），而平生做官的待遇又很优厚，所以歌妓总是充满厅堂（这也可能是当时的风气，以此可见世道人心之沦落）。当文天祥充分认清了国家的危难形势后，非常痛悔自己过去的荒唐无知，不惜倾尽家财来充作军费。每次他与自己的宾客幕僚谈论时事时，都会黯然下泪，然后扶着桌子感叹道：“乐人之乐者忧人之忧，食人之食者死人之事”文天祥像，选自清·上官周绘《晚笑堂画传》。（这就是一般士大夫的心声，他们觉得自己的荣华富贵都是朝廷给的，自己当然应该为朝廷殚精竭虑，以至在朝廷需要时哪怕献出自己的生命）。
1275年八月（旧历），文天祥带兵到达了南宋都城临安外围，被任命为平江知府（今苏州一带），担负起了拱卫京畿的重任。这个时候朝廷当中“主和派”的声音仍然很高，文天祥就上书痛刺他们，还提出了挽救危局的具体方略，那就是恢复唐末五代时候实行的弱干强支的藩镇策略，以充分调动起各地军民的抗战积极性（并发挥效率）：“今宜分天下为四镇，建都督统御于其中。以广西益湖南而建阃于长沙；以广东益江西而建阃于隆兴；以福建益江东而建阃于番阳；以淮西益淮东而建阃于扬州。责长沙取鄂，隆兴取蕲、黄，番阳取江东，扬州取两淮，使其地大力众，足以抗敌。约日齐奋，有进无退，日夜以图之，彼备多力分，疲于奔命，而吾民之豪杰者又伺间出于其中，如此则敌不难却也。”不管怎么说，文天祥的上书还是具有一定道理的，当然这需要一个自信的、有胆有识的中央政权才敢于在危难之际这样实行——然而假使这个朝廷如此不负众望，也不会落到今天这个可怜的地步。因此，“时议以天祥论阔远，书奏不报”，又不是一个不了了之，没有下文。
十月时，文天祥才到达平江府正式上任，可是这时候元军已经攻占金陵（南京）并向常州逼近了，距离苏州已在咫尺，形势不容乐观，只有挺身一战了。于是文天祥派出他的手下将领朱华、尹玉、麻士龙与张全等人入援常州，在一处叫做虞桥的地方与元军展开激战。麻士龙不幸战死；朱华部与元军战于五牧，也遭败绩；尹玉军也遭失利，向张全求救，可是这个张全贪生怕死，一支箭都没放就逃之夭夭，结果尹玉军全部战死。接着，元军攻破常州，入独松关，眼看元军就要打到苏州城下了。
就在这千钧一发之时，朝廷左右丞相陈宜中、留梦炎让文天祥放弃平江，坚守余杭。第二年（1276年）正月，文天祥又被委以重任，“知临安府”。没过多久，元军重兵包围了临安，软弱之极的南宋政府看大势已去，在太皇太后谢氏的一致主张下向元军投降。就这样，存在了310多年的赵宋政权至此便基本结束了它在中国历史上的封建统治。
不过，此时陈宜中、张世杰等大臣却坚持抗战主张，他们逃出了临安准备东山再起（不仅如此，南宋很多地方政府都不愿意向异族屈服）。这时候已经宣布投降的南宋朝廷便起用文天祥为枢密使（授权掌兵机），不久又将他升格为右丞相兼枢密使，代表南宋政府到皋亭山元军大营中去协议求和。谈判中，文天祥与元军主帅、元朝丞相伯颜发生了激烈争执，伯颜一气之下就把他扣留起来，将他们一行人包括其他南宋军政大员如左丞相吴坚、右丞相贾余庆、知枢密院事谢堂、签书枢密院事家铉翁、同签书枢密院事刘岊，一同带到了镇江软禁起来，准备带他们到大都向忽必烈邀功。
可是由于元军看管不严，文天祥与他手下的门客杜浒等12人，“夜亡入真州”。真州守将苗再成出迎，见到主张抗战到底的文丞相来了，心里很高兴，但又非常忧虑地说：“两淮地区我宋军主力部队虽然实力尚强，可是却无法统一指挥，彼此之间还有不少矛盾摩擦（这真是让人痛心疾首啊）。”苗再成非常关注并熟悉当时的形势，向文天祥提出了比较成熟的“恢复”策略。可是由于当时错综复杂的政治形势，文天祥竟被传言说成是到各地搞劝降的，在两淮难以立足，文天祥等一行人只好冒着危险，克服重重困难，最终从海路到达了温州。
当时，南宋的主战派官员们不甘心做亡国奴，在张世杰、陈宜中、陆秀夫等人的领导下试图推举出一个新皇帝来，组成新政府与元朝抗衡。文天祥也赞成推举年方九岁的益王赵昰（宋度宗长子，宋恭帝兄）为新帝。等到赵昰登基以后，文天祥以观文殿学士、侍读被召至当时的临时首都福州，官拜右丞相。1276年七月，他就以都督的身份到江西去参加了军事指挥。然而由于元兵势大，宋军内部又矛盾种种，文天祥也没有多少军事指挥经验，因此他在江西迎战元军失利。
第二年（1277年）正月，元兵攻占汀州，文天祥改镇漳州，他向朝廷要求参与拱卫福州。元军向他劝降，文天祥坚持不降，还把一个投降了元军又来给元军当说客的部将给当场缢杀，以表明自己的决心。“四月，入梅州，都统王福、钱汉英跋扈，斩以徇。五月，出江西，入会昌。六月，入兴国县。”一时间，宋军士气又得以振奋，不仅收复了数县，而且很多地区都起兵以响应文天祥，“分宁、武宁、建昌三县豪杰，皆遣人如军中受约束”，听候文天祥调遣。
这时候，文天祥的影响力和声望可能已经达到了他人生中的一个最高点。
