不料，这种幸福美满的生活没能维持多久。赵明诚的父亲赵挺之与李格非都因得罪权臣蔡京而遭罢官，赵挺之在一波三折的政治斗争中死去，赵家父死家败，心寒已极，赵明诚与李清照离开汴京，回到赵明诚的故乡青州。性情淡泊的赵明诚，自此屏居乡里后，更加潜心于金石书画的搜求研究，家中原有的一点积蓄，除了衣食所需之外，几乎全用于搜求书画古器。前几年赵明诚刚出仕时，就对李清照说过：“宁愿饭蔬衣简，亦当穷遇方绝域，尽天下古文奇字。”李清照深深理解丈夫的志趣，把他这种爱好，比作杜预的“左传”癖和王维的“书画”癖，李清照千方百计宿减衣食的支出，自己以荆钗布裙，代替了明珠翠羽，而每得一帖罕见的古书、名画或彝鼎金石，夫妇二人便共同校勘、鉴赏、整集签题，指摘暇疵，其乐融融。
公元1127年，北方金族南下攻破汴京，北宋灭亡，宋徽宗、宋钦宗父子被俘，宋高宗仓皇南逃。赵构成了南宋的第一个皇帝，定国号“建炎”。李清照夫妇也先后渡江南去。第二年，也就是他们结婚29年后，赵明诚被朝廷罢去江宁太守的职务，夫妻两人乘船决定到洪州暂住，一路行来，两人谈论的都是国家兴亡。李清照说道：“皇皇华夏，自古不乏英雄豪杰。就说我们大宋吧，这几年，出了多少忠肝义胆之士！李纲李枢相以文臣而兼武事，受命于危难之际；宗泽宗留守以孤军扼守危城、弥留之际高呼渡河；就拿那位年轻的太学生陈东来说，以书生而赴国难，几次伏阙上书，终至被朝廷斩首。丹心碧血，浩气长存。”赵明诚续道：“古代蜀国望帝禅位出奔，还日夜思念故国，化为啼血的子规。如今，二帝蒙尘，神州板荡，又有谁思念我们这风雨飘摇的故国呢？”船队已进入和州境内，李清照指着北岸向西的一道水流对赵明诚说：“那就是霸王自刎的乌江啊！你刚才说得好，望帝怀念故国，化作子规，啼血哀呜，就是那漫山遍野的杜鹃，也变作了他的满腔碧血！楚霸王逐鹿败北，无颜见江东父老，宁肯一死以谢天下。这比起那弃天下百姓于不顾，苟且偷生，偏安一隅的人，要有气节的多！”言罢，禁不住击打船上的桅杆，放声吟道：生当为人杰，死亦为鬼雄；
至今思项羽，不肯过江东！
流亡的生活对他们的健康是一种摧残。就在同一年，再赴建康任职的赵明诚死在刚上任不久的太守府中，李清照赶到建康，为赵明诚营葬，终于支持不住，猝然病倒。赵明诚的死给予李清照极大的精神打击，让她长期陷入悲苦的困境。与此同时，江南局面也突起大变，金兀朮引大兵南侵，于建炎三年攻南京，李清照又仓皇走上流亡之途。她带着丈夫残存的书画、金石、碑帖和一些手稿流徒东西各地，先后到了越州、台州、温州、衢州，最后到了杭州。经过数年的努力，李清照将丈夫赵明诚研究金石的遗稿认真校正誊录，并作了一些增补，全文用细宣工楷誊写，终于集成了《金石录》（30卷）。
对于南朝的政治，清照是愤懑不平的。南渡君臣，昏聩而少进取心，和汴京时并无本质的差异。她看在眼里，发而为诗。由于她对时政的不平，自然也得罪不少人，于是，人们便造出一些谣言来诋毁她，说她在投老之年，改嫁一个品德败坏的男人，这谣言还说出那男人的名字为张汝舟。
李清照晚年的生活非常凄苦，她居住的地区也不固定，大致在金华的时间为多。尽管她的祖父、丈夫及家翁等均是名人，她自已，也负一时重誉，但她不愿与当时的权贵们同调。因此，她自然也被南渡的权贵们所遗忘，甚至她的卒年，在史书中亦无可考，据一般推断，她大约活了60岁。
？