可惜的是，郑成功让他失望了。许多年后，我们才相信郑成功是个军事天才，他攻击台湾，计划之周详，进军之神速，可以看作是战争史上的一个奇迹。但这次在南京城下，他却没有给人留下名将风范。张煌言与郑成功分手后，郑成功居然听信了满清的鬼话，他以为满清说投降就真的投降，所以迟迟不发起攻击。该年的七月二十三日，守城清兵倾巢而出，发动突然袭击。郑成功只能是仓促接战，结果惨重。手下最得力的两员干将余新、甘辉被俘，士兵伤亡过半。
张煌言正在芜湖踌躇满志，听到南京失败的消息后，简直如五雷轰顶。但他毕竟是张煌言，冷静下来，立即写信给郑成功，要他切勿全军东撤，只要把镇江守住，自己还可保有上游各城，我们还并没有全败，他日卷如重来的希望还是有的。但这封信已经无法送达了。郑成功在突遭失利之后，已放弃镇江，并撤出驻长江流域的军队，回师厦门了。
这无疑是给了张煌言一个更沉痛的打击，郑成功的撤退不仅仅是他日大事不可成了，由于没有了郑成功的牵制，清军就把所有力量都转移到了张煌言身上来。
想想吧，一个只有几万兵妈，内无粮草，外无救兵，如何能抵挡如狼似虎的满清士兵！
张煌言并没有选择防守，一个优秀的将军该知道，进攻才是最好的防守。他带领军队向清军发起了进攻。结果可想而知，没有人可以改变命运，他的军队在几次战斗后被清军击溃，几乎不成军。
据可靠史料记载，经过几次战斗后，张煌言身边只剩下一个僮仆和一个厨子，厨子后来又被冷箭射杀，如果没有各地百姓，两个人几乎就没有了活路。在各地百姓或明或暗的掩护下，他辗转跋涉二千余里，花了大半年的时间，才脱险回到浙东。
失败只能催垮懦夫，斗士永远是越挫越勇。张煌言到达浙东后，立即重整军队，同时，又总结这次狼狈的逃跑经验教训，写下了《北征得失纪略》一文。
1660年，张煌言率领新组建起来的军队回到临门。
卷土重来
让张煌言想不到的是，清军不是一支光明正大的武装，他们是人渣。在他和郑成功失败时，清军想要一举消灭浙闽抗清力量。于是分兵数路继续扫荡，就如果当年的倭寇一样。他们逮捕了张煌言的妻子和儿子，接着，下令沿海居民一律迁入距海三十里以内的地区，严禁舟船出海，企图断绝人民群众与抗清队伍的联系。
1661年冬天，最让汉人痛哭的事情来了。这一年，吴三桂带兵进入缅甸，俘永历帝父子，南明彻底灭亡。在云南边境艰苦转战的李定国次年病死军中。1662年，郑成功在台湾病故。其子郑经，在清兵扫荡下，被迫放弃沿海岛屿，撤往台湾。不久，鲁王病死在金门。
如今，还有谁可以再与清军对抗？几乎没有人了。
那一代抗击清军的民族英雄早已经先走一步了。“国仇家难转相仍“，一连串不幸的消息使张煌言深深感到复国事业的艰难，却更加坚定了他至死不屈的决心。
如今，也只有张煌言一支孤军屹立在临门。
在艰难危急的处境面前，往往能使卑微的人显出卑微，使伟大的人更显伟大。当有人建议张煌言退往台湾，依附郑经时。张煌言大怒，他说：“偷生朝露，宁以一死立信“，这种坚持，感染了无数士兵，他们下定决心，就是死，也要跟张将军死在一起，退出临门半步，就是孬种。
英雄，人人都想做，但绝对很难做。张煌言深知这一点，他不能做一个坐以待毙的英雄，仍旧是从前的方法，他主动出击。
几天后，张煌言和旧日部将阮春雷合军，集战舰百余艘，准备攻取福宁沿海。让他想不到的是，叛徒年年有，处处有，可今年在他的营地却特别多，而且叛徒一出卖，就是致命的。
阮部出现了叛徒，计划只好取消。雪上加霜的是，清廷又纠集数倍于张的兵力前来偷袭。众寡不敌，这支抗清队伍伤亡惨重，只好退驻舟山岛。由于清廷强迫舟山岛居民全部撤离，再加上对沿海的封锁，使张煌言面临绝粮断炊的新困难。
显然，清军虽然不相信张煌言能撼动自己的政权，但有这样一个四处捣乱的人，总是吃不香睡不好。他们决定招降，这当然是许多事情给了他们的启示。明朝遗民投降得太多了，他们以为但凡是个明朝遗民，只要处理得当，就能让他们变成叛徒。
当时满清的浙江总督赵廷臣通过多种渠道，一再以帛书向张煌言招降，而张煌言也两次以坚贞的气节、铿锵的言辞拒绝了赵的诱惑。但赵总督已经从张煌言两次来信的内容上看出来，这位斗士对满族入主中原的看法已经有了根本性的变化。
开始，张煌言认为，满洲人入主中原是逆天而行，但到了这个时候，他发现，几乎整个国土都已丧尽，这就不是天意或者是人力所能解释或挽回的事情了。在他给赵总督的第二封信中，开头一句就是“古今来何代无废兴“。这就说明，他已经认可了改朝换代是古代历史发展过程中一种客观存在。但随即话头一转，即使这样，但还是有“有志之士，尚谓人定可以胜天“，表现了自己“挽狂澜于既倒”的雄心壮志。接着，他又表示：“即使历运推移，朝市迁变，兴王每每宾礼胜国君臣，录用前朝宗室“，这种做法，不失为使“忠臣义士，戴新朝之盛德，慰故国之悲思”的有效措施。如果再能“省刑薄敛，偃武修文，与天下更始，那就会出现“四海讴歌，群雄归命”的太子景象。
如后世史学家分析的那样，明遗民在经过努力后，看到了一种不可逆转的形势，他们自己就已经失去了信心，但是，要脸的人不想做异国之臣。明知道前面是悬崖，但还是要向里跳，这就是张煌言这样遗民的共同心理。
特别是在鲁王病死后，张煌言已经对前途感到完全绝望，尽管还有不少明朝遗民在四处奔走，郑氏还控制着台湾，但人心思定，大势已去；天下事，有所为，有所不为，不能因为自己要以身殉国就硬要天下人陪自己也去殉国。
此时，不由地想到了刘阿斗，当司马家来攻击他时，他对手下那些坚决要抗击魏国的大臣说，你们忍心见百姓血流成河吗？最终，他投降了魏国。
也许，有人认为他是懦弱，可如果持有这种想法的人是当时蜀国成都里的一个小老百姓，会不会希望国君抵抗魏国，要知道，当时抵抗是必死无疑。
张煌言显然就遇到了这样的问题，是让万骨铸成自己的功名，还是有一点点人道主义？
最终，他选择了后者，他解散了余部，自己隐居到南田的悬岙岛（今浙江象山南）。张煌言始终是一位抗清志士，而不是一个独善其身的人，这是他解散自己部下的军队后仍然没有像其他士绅那样去台湾的原因。
但在满清那里，他的归去并不证明事情就这样完了。张煌言的销声匿迹在满洲人看来是在酝酿更大的行动，因此他的存在使清廷极度不安，他们要竭力拔除这一颗“眼中钉“。满清浙江水师提督张杰绞尽脑汁，终于找到了一个张煌言的旧部徐元，叫他扮做行脚僧，在舟山探寻张煌言的踪迹。
等于说，张煌言必须得被捉，或是被杀。而徐元的出现，更是让这一结果加快了进程。
诗人，还是斗士
徐元这个假和尚首先遇到的是张煌言手下的几个士兵，这几个士兵当时已经不是士兵了，成了仆人。他们当时正准备驾船去舟山买米。徐元撞见了，就找来人手，把几个已经退伍的军人绑了起来。逼供开始了，退伍军人坚决不让他得逞，他只好杀人。杀到最后一个人时，船夫慌了，还没有等用刑，这个船夫就说出来张煌言的落脚处。
张煌言住在悬岙岛的一处所内，这年的七月十七日，张提督派出兵卒，乘坐张煌言的米船在午夜潜入悬岙岛。他们从岛后山背偷偷地攀到山上。张煌言从睡梦中惊醒，伸手抽剑，但已经迟了。一窝蜂冲进屋内的清兵紧紧地把他按住，然后就是绑了起来。这些人开始如土匪般的搜东西，搜出永历帝颁发的“视师兵部“银印和九枚关防、张煌言诗文稿以及他与中原豪杰志士的来往密信两大箱。
两天后，张煌言被押到他的家乡宁波，他已经离开家乡有二十年了。他头戴明朝的方巾，穿着葛布衣服，神情依然是那样的平和、坚毅，给聚集在大路两旁围观的百姓们留下了深刻的印象。
张提督设宴招待他，被他拒绝，只给了张提督一句话：“父死不能葬，国亡不能救，死有余罪。今日之事，速死而已。“此外别无一语。
张提督是见过世面的人，知道明朝遗留下来的人，有那么一小部分不识时务的，他根本就不放在心上。十几天后，张煌言被押往杭州，此时，宁波人民的热情开始展现，闻讯赶到码头送行的竟有数千人之多。一出城门，张煌言下了轿子，向故国、家乡揖手告别，向送行的人们拱手致意。围观的人们都泣不成声。
确切地说，张煌言是个诗人，他曾经受教于著名诗人陈子龙。因为他一生为反清复明四处奔走，屡有倾厄，劫后所存，不过全鼎一脔，所以就给自己的作品起名为《奇零草》。在其作品《奇零草·自序》中，他自称儿童时便好为诗歌，既使军旅余闲，也不辍吟诵。但他的诗作留下来的实在太少了。值得一提的倒是，当初清初疑案之一的太后下嫁发生时，张煌言写得一首诗：“上寿觞为合卺樽，慈宁宫里滥盈门。春官昨进新仪注，大礼躬逢太后婚。“说为太后祝寿的大礼成了婚礼，寿酒成了交杯的喜酒。
这诗写得非常有意思，但后来证实，太后下嫁多尔衮纯属是汉人的人身攻击。张煌言恐怕只有这么一首戏谑的诗，其他留存下来的诗都非常正经。
在钱塘江畔，他就写下了非常正经的，似乎跟文天祥相同意思的诗句：“生比鸿毛犹负国，死留碧血欲支天“。这诗背后透露的其实是，自己早已经明白复明无望，对满清的态度也有所改变，但依旧不失气节。这就是中国千百年来士大夫们最可贵的舍身成仁的精神。这精神不因失败的结局而减色，它将永远光照千秋！
在杭州，浙江总督赵廷臣再一次劝张煌言降清，并保证清廷以兵部尚书原职起用，张煌言先是委婉拒绝，但赵总督又劝他，张煌言就觉得自己的人格受到了侮辱，开始严词拒绝。在狱中，张煌言咬破手指，用鲜血去墙壁上写了一首《放歌》：“予生则中华兮死则大明，寸丹为重兮七尺为轻。予之浩气兮化为风霆，余之精魂分化为日星，尚足留纲常于万禩兮，垂节义于千龄！”九月初七，清廷刑部公文到达杭州。这一天，太阳没有出来，杭州城岗哨林立，一队骑兵押着张煌言来到弼教坊。他昂首遥望凤凰山一带，叹道：“好山色！“接着就向别人要笔，诗兴大发。但清兵不给他，很怕他在临死前还诋毁朝廷。他只好口占绝命诗一首：“我今适五九（按：指四十五岁），复逢九月七。大厦已不支，成仁万事毕。“清兵见诗不过是“二十年后又是一条好汉”的绝命诗，就录了下来。
与张煌言同死的还有幕僚罗纶、僮仆杨冠玉等。杨冠玉这一年才十五岁。监斩官见杨冠玉长得眉清目秀，一副天真无邪，有心为他开脱。杨冠玉却断然拒绝道：“张公为国，死于忠；我愿为张公，死于义。要杀便杀，不必多言。“言罢跪在张煌言面前引颈受刑。
据邵廷采的笔记《东南纪事》记载，这一天“骤雨昼晦，杭人知不知，皆恸哭“。
张煌言的死抗清势力很有影响，用另一遗民夏燮的话就是：“遂以收有明二百七十年剩水残山之局，其所系岂浅鲜哉！”我们浏览张煌言的抗清岁月，就会发现，在众多南明人物中，他的地位并不显赫。但在长达二十年的抗清斗争中，他历尽了艰难险阻，处处以大局为重，几乎是一位无可挑剔的完人。黄宗羲为他撰写的墓志铭说：“今公已为千载人物，比之文山，人皆信之。余屈身养母，戋戋自附于晋之处士，未知后之人其许我否也。“后人将岳飞、于谦、张煌言并称为“西湖三杰“。
这样一个斗士，是必须要死的，不死，就不足以成为斗士。偏颇一点来讲，还没有人能如张煌言那样，在众人皆叛皆死的情况下，始终把满清当成不共戴天的仇人，一直到死，都在用手中的武器和满脑的忠诚在对抗。更没有人像他那样，是一个纯粹的，无论把谁打到“非民族英雄“行列中都无法撼动他民族英雄称号的民族英雄。张煌言的生平，就是一部明朝遗民反清史！