西晋末年，匈奴人刘渊在平阳（今山西临汾市西南）称帝，与坐镇晋阳（今山西太原市西南）的并州刺史刘琨对峙。
一天，刘渊率领骑兵突袭晋阳，晋阳城被团团包围。城中粮少兵弱，刘琨无计可施，看到以武不能取胜，只得紧闭城门，思索退敌的办法。
到了夜深人静的时候，匈奴兵听到城楼上传来幽幽的啸声，一个个凄然长叹。子夜时分，刘琨又派人吹奏胡笳，匈奴兵听到哀婉的乡曲，想到千里之外的故乡，一个个泪流满面，急切的思乡之情油然而生。黎明之时，刘琨再次令人演奏胡笳，匈奴兵思乡之情倍增，听着凄婉的胡笳声，匈奴兵一点儿斗志也没有了。
刘渊见士兵们斗志全无，只好撤兵。晋阳就这样得以完整地保存下来。