初清政府央欧美各国调停战事，日本拒不纳；再委天津海关税务司德人德特林议和，又不纳。光绪二十一年正月，清政府乃派张荫桓、邵友濂为全权委员，会见伊藤博文。伊藤无礼殊甚，谓张、邵等未合使节之资格，索然去长崎，渡海归国，而时局几失望于和平。李公至此，慨然愿以残躯走敌国；恭亲王亦全力主持，谓舍议和别无他策，舍李公别无他人。
二月初旬，李公自天津起程，抵马关。日本崛强犹昔，英美诸国见其屡梗和议，大有野心，哗然群起，将不利于东方三岛国，日本始再派伊藤博文等为全权大臣，开谈判于马关。首议暂时休战事件，不意日使贪得无厌，竟欲以大沽、天津、山海关三处为质。和局未成，先失要隘，李公又乌能无辩；辩而不听，姑撤回停战节略，直议讲和条约。然战事未停，和局必不能成，此易见之事也。李公与日使第三回之会议，索我偿金三万万两，种种要求，令人眦裂不忍言。李公磋商良久，未获要领，归途踯躅，突遇刺客，枪中李公左颊，弹丸深入目下，一晕几绝。以中国相臣骤遭暴徒之行刺，日本保护责任未免欠缺矣，伊藤等躬诣谢罪；见李公处九死一生之际，尚喁喁言国事，深自惭悔，上达于日皇。日皇遣御医军医来视疾，医谓箝取枪弹，旬日中须静养；李公阻之，曰：“宁死无割，当此国步艰难，决不敢因臣身迟误大局。”日皇悯其忠忱，特下二十一日停战之令，而和议亦略有端绪。三月初七日，伊藤等将所拟和约底稿交来，李公扶病呻吟，亲自驳议；及停战之限期已迫，日军蔽海而过马关，李公始电求清廷允议，是即所谓马关条约是也。然较伊藤等所议原约，已争还不少云。兹节录其条约如下：一明认朝鲜为独立国，绝封贡之关系（封者册封，贡者入贡）；一偿日本兵费银二万万两（较初议减去一万万两）；一割辽东半岛及台湾澎湖群岛（较初议减去黄海北岸一切岛屿）；一开重庆、沙市、苏州、杭州为商埠（较初议减去北京、湘潭、梧州等商埠）。