小皇帝宋端宗任命为右丞相。不久，由于文天祥对张世杰等人专制朝政的行为极为不满，于是离开福州，以同都督的身份在南剑州（今福建南平）聚集义兵来抗击元军。公元1277年，文天祥率军攻复梅州，并由梅州出兵，进攻江西。此时各地豪杰之士都纷纷响应文天祥的抗元斗争，文天祥也陆续收复了许多州县。不料元军在江西兴国县发动反攻，文天祥兵败，家人也全部失散。收容残部之后，文天祥又四处转战。第二年的夏天，文天祥得知端宗已死，继位的弟弟赵昺移驻广东崖山，为摆脱艰难处境，文天祥便要求率军前往。由于张世杰的坚决反对，文天祥只好率军退往潮阳县。同年冬天，文天祥在向海丰撤退的途中遭到元军大将张弘范的伏击，再次被俘。
被俘后，文天祥曾经服毒自杀，不料竟然未死。他被张弘范押往崖山，张弘范让他写信招降张世杰。文天祥说：“我不能保护自己的父母，难道还能教别人背叛父母吗？”张弘范一再强迫文天祥。文天祥就将自己刚刚写的《过零丁洋》一诗抄录给张弘范。当张弘范读到“人生自古谁无死，留取丹心照汗青”这两句时，也不禁泪流满面。于是，他不再强逼文天祥。20多天后，宋军在崖山海战中大败，陆秀夫背着八岁幼帝赵昺跳海而死，南宋从此灭亡。张弘范向元世祖请示如何处理文天祥，元世祖命令张弘范对文天祥以礼相待，并将他送到大都（今北京），软禁在会同馆，决心劝降文天祥。
此后，文天祥在监狱中度过了三年。在狱中，他曾收到女儿柳娘的来信，得知妻子和两个女儿都在元朝皇宫中为奴，过着囚徒般的生活。文天祥知道只要投降，自己不仅可以做高官，家人也可以团聚。然而尽管心如刀割，文天祥却不愿意因此而丧失民族气节。
公元1282年8月，元世祖问议事大臣：“南方与北方的宰相，谁最能干？”群臣回答：“北人无如耶律楚材，南人无如文天祥。”于是，元世祖下令，授予文天祥高官显位，但遭到文天祥的拒绝。12月8日，元世祖召见文天祥，并亲自劝降。文天祥回答：“我是大宋的宰相，国家灭亡了，我只求速死，不愿久生。”元世祖十分气恼，下令立即处死文天祥。第二天，文天祥被押解到菜市刑场。他向南方跪拜，说：“我的事情完结了，可以问心无愧了！”说完，文天祥从容就义。
文天祥死后，有人在他的衣带中发现这样几句话：“孔曰成仁，孟曰取义，唯其义尽，所以仁至。读圣贤书，所学何事？而今而后，庶几无愧。”文天祥以孔子提倡的杀身成仁与孟子提倡的舍生取义来面对死亡，体现了他大无畏的精神。
古往今来的人们，都难免一死，杀身成仁、舍生取义，将一片丹心垂于史册，映照千古。这既是文天祥人格魅力的体现，也表现了中华民族的铁的精神。
能“见可而进，知难而退”，但是又忘了道义的人，虽然也可以高官厚禄，腰缠万贯，但他永远得不到别人的尊敬。能坚守道义，有所为有所不为的人，才能永垂不朽。