在接到清廷一次次的征召后，他的家人坐不住了，他们劝吴伟业说：“人在屋檐下，哪能不低头？钱尚书的名誉、地位哪点不在你之上？而且他对新朝还有迎降之功，这样尚且还得对簿公堂，如果我们得罪了新朝能有什么好下场吗？况且这十几年来，你一没有兵败被俘，贪生怕死，二没有为了名利富贵，背主求荣，有什么亏负前朝的？你不能为了自己所谓的清名而不顾我们全家老小的死活啊！抗旨不遵可是灭九族的大祸呀！”面对着全家人的哀求，吴伟业的内心开始松动了，而后来，他在无奈之下做的那个选择让自己在悔恨中度过了后半生。
历经宦海沉浮，归隐梅村别业
明崇祯十七年（1644）甲申之变发生的时候，吴伟业已经辞官归隐在太仓家中多时了。其实这位曾经名噪一时的榜眼又何曾不想继续留在朝中为国家做贡献，但明末官场的钩心斗角、党派纷争让他彻底凉了心。
崇祯四年（1631）吴伟业以会试第一、殿试第二的优异成绩高中榜眼，而在此之前，他已经是复社的成员，名列复社“十哲”了。但高中榜眼的他也立即被卷入了党争，并险些成为党争的牺牲品。
这年会试的主考官是周延儒，他是吴伟业父亲吴琨的好朋友，于是周延儒在朝中的对头温体仁便借此攻击周延儒，说他在录取时徇私情，自然吴伟业也被牵连其中。好在后来崇祯帝亲自审阅了吴伟业的试卷，并作了“正大博雅，足式诡靡”的批示，这场风波才平息下来。
但温体仁等眼见复社在朝中又添新的力量，他们又怎肯罢休？于是他们千方百计地排斥、压抑东林、复社官员，甚至想伺机为阉党翻案，扳倒东林。而复社文人自然也看不过这群人的倒行逆施，他们积极斗争，想要把这群阉党余孽赶出朝廷。复社领袖张溥是吴伟业的老师，两人又是同一科的进士，可谓亦师亦友。他对温体仁等的行为也颇为不满，于是就搜集到温勾结内官、结党营私、妄图为阉党翻案的种种罪证，写成奏章，但由于自己职位是庶吉士，不便上奏言事，他就把奏章交给了吴伟业，委托他具名上奏。吴伟业在看到张溥写的奏章后，心里也有顾忌，因为自己毕竟是刚刚立于朝堂，对朝廷的种种情况还不了解，何况自己也只是个小小的翰林院编修，想要参劾当朝宰辅，无异于以卵击石，不但不会有多大作用，弄不好还会搭上自己的身价性命。经过再三斟酌之后，吴伟业决定把参劾温体仁改成参劾温体仁的亲信蔡奕琛。但即使奏章之上明着给成了参蔡奕琛，明眼人还是可以一眼看出实际上的目标是温体仁，因此温在知道此事后勃然大怒，准备马上纠集党羽围攻吴伟业。后来好在周延儒等人从中斡旋，吴伟业才得以逃过此劫。
在朝为官的短短几天，吴伟业就亲身经历了党争的复杂和残酷，而且由于得罪了有权有势的温体仁一伙，他在朝中的日子就更不好过了，因为他知道温体仁一伙不会就这么轻易放过自己。为此他特去请教自己的同乡前辈李继贞。听吴伟业诉说玩自己的尴尬境地后，李继贞沉思良久，方开口说道：“三十六计走为上。”其实吴伟业并不是没有想过远离京城这个是非之地，但毕竟自己是当朝榜眼，又蒙当今皇帝“知遇之恩”，食君禄当替君分忧，所以他实在是开不了请辞的口。这时李继贞又替他想了一个好办法，那边是向皇帝请婚假。
此时吴伟业已经二十有三，在封建社会已经算是一个大龄青年了，而崇祯皇帝这时对吴伟业也还是很欣赏、很眷宠的，所以就在吴伟业的请假折子递上去不久，钦准归娶的圣旨就颁发下来了。
就这样，吴伟业犹如离笼之鸟，立即离开了京城这块是非地，登舟赶往江南。
等到崇祯八年（1635）吴伟业婚假期满回朝谢恩的时候，京中的党争形势也更为严峻，温体仁等人对复社展开了全面的打击报复，而所用手段无非是诬告，在皇上面前煽风点火，利用崇祯帝反感臣子结党、文人结社的心理来一步步剪除异己。他到京不久，就听到了温体仁唆使部下参劾钱谦益、瞿式耜师徒二人的消息，不禁为他二人担心，当下修书一封命人火速送往太仓。而就在此时，温体仁等人又将迫害的矛头直接指向了复社领袖张溥，说张溥私结复社，扰乱东南。当崇祯帝听说一个小小的庶吉士门下却有弟子七千的时候，也着实吃了一惊，作为一个皇帝，他不能不起戒心。
就在复社面临着灭顶之灾的时候，在京城的吴伟业、陈子龙、夏允彝等人立即商量对策，最后想出了一个“釜底抽薪”之计，让吴伟业去劝说受到温体仁挑唆而上奏折参劾张溥的陆文声。吴伟业对其晓以大义，并且许之以官，陆终于答应外出做官，不再纠缠此案。这样吴伟业等人才又渡过一劫。
在这样的朝廷中供职，吴伟业自然是每天提心吊胆，小心谨慎，时刻提防着阉党余孽对自己以及复社文人的迫害。期间虽蒙受皇帝的隆恩，将其擢为东宫讲读，侍奉太子读书，但终究要面对朝中错综复杂的关系，不敢有丝毫懈怠，长此以往也是身心疲惫。随着黄道周因犯言直谏被贬官发配，吴伟业心中远离京都、归隐林下的想法越来越强烈了，也许他是真的需要休息一下。
崇祯十二年（1639），朝廷下旨派他去河南主持延津、孟津两位藩王的封王大典，这对其他人来说也许是一种至高的荣耀，但此时的吴伟业已经着实厌倦了宦海的沉浮，并不想再到处奔波，只不过圣命难违，他这才勉强支撑，冒着酷暑赶往河南完成使命。他当然没想到他这次南下让他意外地逃离了北京那座“牢笼”。就在封王礼仪结束，吴伟业准备回京复命的时候，家人吴忠突然从太仓家中赶来，告诉他母亲朱氏的背上长了一个痈疽，病情十分严重。吴伟业是个孝子，闻知母亲病情之后自然是焦心灼骨，也顾不得回京复命，立即在驿站中修表两道，一道复命，一道告假，命人送往京城，自己则和吴忠火速南归。到家之后，母亲朱氏因得良医救治，病已经好了大半，只是元气尚未恢复，但吴伟业仍然日夜守候在母亲床前侍奉汤药起居。
自古就有忠孝不能两全一说，吴伟业对父母的至孝似乎已经为后来的“不忠”埋下了伏笔，不过这是后话。且说他回到家乡之后本想就此悠游林下，不再重回宦海，但朝廷催促其销假回朝的圣旨却是一道连着一道，危难之中他给崇祯帝上了一道请辞恳切的表章，以母亲有病为由，向朝廷请求调职到南京，以便照顾父母。崇祯帝念其孝心，也准其所奏，任其为南京国子监司业一职。
在南京任职不到两年的时间里，吴伟业广泛交游，其中不乏有不满朝廷现状而归隐山林之人，在与这些人交往的过程中，他逐渐下定了决心要挂冠归隐了。崇祯十四年（1641）六月，朝廷又降恩旨，擢升其为左中允、左谕德兼侍讲学士。恰好在这个时候，他的伯父去世了，而其伯父没有子嗣，故吴伟业连忙上疏，说自己早年过继给了自己的伯父，如今伯父亡故，理应回家丁忧守丧，希望朝廷恩准。这样，吴伟业回家就成了一件合情合理、顺理成章的事情了。
脱去官服、摘去官帽的吴伟业顿觉一身轻松，回到太仓后，他就开始建造自己的“梅村别业”，打定心思准备隐居山林了。
这不由得使人又联想到了钱谦益。这两位朋友同列为江左三大家，同有着盖世文才，同样历经宦海沉浮；只是一个是苦苦钻营，坦称自己是“爱官之人”，却苦于不得官，而另一个则看透官场钩心斗角，一心归隐；最后这两个人却又殊途同归，都一度大节有亏，继而坚决与清廷斗争，直至临死心中仍无法释怀自己曾经的“失节”。
当然，和钱谦益一直没能实现的宰相梦相比，吴伟业还是幸运的，他毕竟真正过上了一段比较惬意的隐居生活。在梅村别业的这段日子里，他每日和朋友交游唱和、诵佛参禅，过得十分自在。
但是他真能够隐下去吗？时局的动荡不断地搅动着这里的平静，平静之下则涌动着更大的动荡，吴伟业的隐居生活也很快就要结束了。
“君父已殉社稷，臣子岂可苟活”
崇祯十七年（1644）四月，就在吴伟业在他的“梅村别业”潜心礼佛的时候，三弟吴伟光带来了北都失陷、崇祯驾崩地消息，他的平静的生活被彻底打破。
这天吴伟业在家中手捧经卷，口诵心行，就在刚要入定的时候，三弟吴伟光慌慌张张地从外面跑进来大声叫着“大哥！完了！一切全完了！”此时还不知道发生什么事的吴伟业还斥责了伟光几句，要他“每临大事有静气”，学会沉稳一点。但紧接着他听到的却是“大明朝完了！”
“不许胡说！”尽管这正是一直以来他内心深处最为担心的事情。其实他虽然在梅村别业隐居，但还没有到两耳不闻窗外事的地步，混乱的时局他还是非常关切的，眼见着各地农民起义不断，关外的“建虏”又趁机进犯，而朝中却仍是乌烟瘴气，没有一个能帮崇祯皇帝支撑局面的人才，吴伟业对此十分担心，担心这样的局面朝廷有朝一日会无法支撑，那样的后果他是不敢想象的。正因如此，当听到伟光说“大明朝完了”的时候他是怎么也不愿意相信的。他理了理自己的思绪，让自己镇静下来，接着惴惴地问弟弟究竟发生了什么事情，这次伟光更为直接地告诉了他：
“李自成三月十九日打进了北京，圣上在万寿山自缢驾崩。这是学院倪大人刚从留都转来的塘报……”
没等弟弟把话说完，吴伟业只觉脑子“嗡”的一声，便失去了知觉，昏倒在了地上。在被家人扶到床上，慢慢苏醒过来后，他更是哭得撕心裂肺，一边还说要追随先皇而去。当然吴家家人以为这是一时伤心之词，并没有放在心上。
其实吴家家人对崇祯帝的死，态度也是不尽相同的。吴伟业的母亲朱氏就这样劝他道：“按理说对主上尽忠是臣子的本分，但你对他也算是尽到自己的一片忠心了，只是皇上他不纳忠言，偏偏听信那帮奸臣贼子，把朝中的忠臣逼得一个个死的死，亡的亡，辞的辞，隐的隐。如果不是我害那场病让你逃离了那个是非之地，不知道你今天已经被害成什么样子了呢！”但吴伟业并不这么想，他对家人说：“皇上对我吴家可以说是天恩浩荡，我不可一日忘却！我以贫寒之身，得以连捷高中会元。榜下见疑，几被奸人所害，是皇上御览我的考卷为我洗冤；紧接着又蒙赐假回乡完婚，这样的恩宠古今又有几人？接着我二十八岁奉恩典试湖广，二十九岁擢东宫侍讲，当了太子的老师。这样的知遇之恩我穷尽一生也是无法报答的啊……”情真意切，在场的人无不恸哭流涕。
家人怕他伤心过度坏了身子，又纷纷对其加以劝解，其父吴琨说道：“圣上驾崩，国家多难，正是忠臣效命的时候，哪能一味痛哭呢？还是快点止哀，做点该做的事情吧！”吴伟业这才收住了哭声。
吴伟业在家里的旧学庵中为崇祯帝设了一个灵位，供上香烛纸钱，全家上下都祭奠了一番。然后他便让家人各回住处，而自己则独自守候在崇祯的灵前。
面对着崇祯帝的灵位，吴伟业不禁暗暗感叹：“圣上励精图治，宵衣旰食，本不应是亡国之主，怎奈何有此不幸之结局！”接着他又想起了之前的皇恩种种，而自己不过一介书生，无力杀贼，与其苟活到贼兵杀到江南时受辱而死，还不如早日追随恩主于地下，尚能保全自己的名节。于是他解下了自己的腰带，将其搭在房梁上，綰了一个结，然后转身对崇祯灵位行了一个三跪九叩之大礼，“圣上，臣生不能尽忠报恩，只有以死相随了！”
其实作为一个孝子，他不是没有想过自己的父母，只是此时父母不在自己身边，又面对着崇祯的排位，吴伟业难免有点情不自已。
也许是他命不该绝，刚蹬开脚下的凳子不久，他就被弟弟发现了，当大家七手八脚将他从房梁上卸下来的时候他的心脏仍在跳动。眼见儿子慢慢醒来，吴伟业的父母倒在他身旁失声痛哭道：“儿啊，你若一走，我们一家老小还怎么活啊？”
这次虽然没能以身殉节，但吴伟业也是元气大伤，从此一病不起。他的病是心病，所以吃多少的药也是不管用的。
有一天，他的一个好朋友王翰来探望他，看到吴伟业本来就瘦弱的身体因为这场大病更显得瘦骨伶仃，于是就劝道：“骏公！遭遇这天崩地坼之变而痛不欲生的又何止是你一个人？但是天意如此我们一介书生又有什么办法呢？你即使终日这样愁肠百结，又能怎样呢？像你这样学富五车之人，还有什么参不透、悟不明的道理呢？”吴伟业知识苦笑道：“你我都是自幼读孔孟圣贤之书，圣贤教我们当以忠义为根、以孝悌为本，如今君父已殉社稷，我们这些臣子又岂能苟活？”王翰反问道：“话虽如此，但不知你一人之死又有何益于君父，有何益于社稷？而且兄台一死了之，令尊和令堂又怎么办呢？”
王翰的问题问到了吴伟业的心坎上，他无法逃避对父母的孝，他也不忍心丢下这一家老小撒手不管，而这时王翰又说道：“其实现在处于两难之境地的大有人在，也绝非骏公一人！我听说闯贼攻破京城之后，对所俘虏的官员，不肯在其手下为官者多被杀戮；而变节事贼者又多为士林所不齿，还是要遗臭万年；逃跑者又被四处追捕，不得安宁。如今贼兵即将南下，我们又当如何自处呢？”
王翰的一席话把吴伟业彻底给说糊涂了，合着他现在是死也不行，不死也不行了。沉思了良久，他缓缓问王翰道：“那依王兄之见，我们应当怎么办呢？”
这时王翰才缓缓说出了唯一可行之法：“削发为僧，遁入空门。”
原来这王翰见明朝已亡，皇帝驾崩，传贼南下，他预见到自己将要面临的尴尬境地，为了保全名节，最终想到了一个完全之策，那便是出家为僧。做了和尚，不管是李自成的农民军坐了江山，还是关外的“建虏”夺了政权，都不会来为难一个方外之士的。如此，既能保全名节，又能保住性命。其实在明末清初，想到以出家来躲避乱世的，又何止是王翰一个人？这次王翰来探望吴伟业，正是想劝说好友与他一起出家为僧的。
只是吴伟业还有太多的顾忌。他想到自己上有双亲在堂，下有妻妾女儿在侧，父母养育之恩、夫妻恩爱之情是无论如何也割舍不下的。且此时自己还没有子嗣，所谓不孝有三，无后为大，他不能让自己家断了香火。但王翰说的也不无道理，如果贼兵果真南渡，以自己的声望想要置身事外、保全名节是绝不可能的，到时候不但自身难保，恐怕也会累及父母妻女。一时之间吴伟业自己也拿不定主意，只是暂时答应王翰在一个月后同赴天台山削发为僧。