1652年复社被清政府取缔。作为复社成员的归庄遭受两都之变，归庄一家也难免遭受战争的罹祸。当扬州被清军所围时，他的哥哥归尔德西门浴血奋战，在战场上牺牲。他的叔叔归继登，亦在长兴遇害。归庄得知这两个噩耗后，冒死前往收尸，更加重了他对清军的敌视。在昆山城破时，他倡议首难之人，发动起义，但以失败告终，之后只能韬光晦迹。一面为抗清事业奔走呼号，一面退而以笔作伐，写下了大量的激愤之诗，要求大家放弃个人的意气之争，从门户宗派家法的计较中解脱出来，脱开个人情感，注目乱世，关心时政。他漂泊江湖，隐居在太仓凡山一带，后人为纪念他，将“鬼家庄”更名为“归庄”。
我翻阅秦蓁整理的《归玄恭先生年谱初编》，从中找出很多归庄往来太仓之事。在崇祯十三年的重阳日，归庄在《九日过普济寺养疴》诗中云：“为访苍公至太仓，县携病枕向禅房”。当时他因病前往太仓沙溪的普济寺，向黄歧彬就诊，临别写诗《赠医者黄歧彬》。次年5月，张溥过世，归庄前来奔丧。他在《太仓顾氏宅记》中又云：“余在太仓，寓居顾氏宅。屋宇纵横，多不整饰，无楼阁亭榭美丽之观，有地十余亩，不植花木，止勤课隶人种菜菽，毋失时，方池环之，恐妨水畜，菡萏芙蕖，不列其中。”
太仓知州钱肃乐离别时他亦作诗赠别。清顺治十年，归庄以访葬师至太仓。得钱谦益序文襄助，奔走募金百余，以于3月7日，葬三世七人（祖父、祖母、父、母、兄尔复夫妇、仲嫂）于新阡。4月，归庄读陆世仪的《思辨录》觉其人：以其体用俱备、文武兼长，爱而乐之。归庄遂过太仓访之，叙为兄弟，有唱和之作《赠陆桴亭》并为其《思辨录》作序文《陆道威思辨录序》。清康熙十一年正月，陆世仪卒，归庄往太仓哭之，以文祭之《祭陆桴亭文》。
归庄与许多太仓人有交往，如张溥、吴伟业、王时敏、陈瑚等，几乎囊括了当时太仓所有的名流贤达，而其中与他极相友善者，似乎非陆世仪莫属。归庄是经过朋友陈瑚的介绍，才知道太仓有陆世仪其人，但是在一开始，他并没有将此放在心上。直到他在41岁路过太仓的时候，才与陆世仪初次谋面，见到其人，顿时倾心拜服，从此归庄便认陆世仪为师、为友、为兄弟。