常大用，洛阳人，癖好牡丹。听说山东曹州的牡丹很有名，在山东称得上是第一，常大用心里十分向往，想去看一看。
后来，刚好有事情到曹州去，就借居在当地缙绅之家的花园中。当时，正好是二月，牡丹还没有开花，常大用只能整天在园子里徘徊，看着牡丹发芽，希望它快点开放，闲着无事，就写了一百首《怀牡丹》的绝句诗，以表达对牡丹的喜好。没多久，牡丹渐渐地长出了花苞，准备要开放了，可是自己包袱里的盘缠却要用光了，就去找当铺典当自己春天的衣物，为了看一次曹州的牡丹，便忘了打算回去。
一天凌晨，才答应去到牡丹花丛中，见到一个女郎和一个老妪也在那里。常大用怀疑是主家的家人，于是就自觉地离开了。傍晚又去，见女郎和老妪还在那里，常大用又从容地避开了，离开的时候，微微偷看了那女郎一眼，见那女郎穿着华贵的衣服，十分艳丽。不知是没看清楚，还是为女郎的美着了迷，心里突然想到：这一定是仙人，世上哪里有这样的女子！这样一想，常大用有急忙返回去寻找，突然转过假山，就遇到了老妪，女郎也正坐在石头上，大家见了，都是吃了一惊。老妪用身子挡在女郎的前面，呵斥道：“你这狂妄之人，想怎么样？”常大用跪在地上道：“娘子一定是仙人！让我见上一眼，我能见上一眼，就满足了。”老妪还是呵斥道：“这样狂妄的话，该当把你抓去见官。”常大用惧怕了，女郎却微笑着道：“去吧！”叫常大用快走开。常大用转过假山就离开了。
常大用回到屋里了，不敢再去了。心想，女郎回去告诉她的父亲兄弟，一定回来找自己麻烦，就睡在屋子里，很后悔自己太唐突轻率了，又暗自庆幸女郎没有什么恼怒的神色，也许不会计较。悔恨和惧怕交织在心里，半夜就病了。第二天，见太阳升得很高了，也没有见人来追究，心里才安稳了一些，可是回忆起那女郎的声音容貌，原先的惧怕已转化为想念了。这样过了三四天，变得憔悴不堪，像是要死的人一样，照着蜡烛睡到半夜，仍还没有睡着，老妪端着一个碗进去，对常大用道：“我家娘子葛巾，自己亲手做得鸠汤，让你快喝下。”鸠是一种有毒的鸟，用它的羽毛浸一下什么，人吃了就会死去。常大用惊骇地说：“我和娘子向来没有什么仇怨，为何要赐我死？既然是娘子亲手调制的，与其相思成病，不如吃了这药，死去算了！”于是，端起来一饮而尽。老妪笑着，接过碗，就离去了。
常大用喝下之后，觉得那药的气味，既香又淡，好像不是毒药。一会儿觉得肺腑宽舒了，头脑也清爽了，便舒舒服服地睡去，等他醒过来，刺眼的阳光，已照在自己的窗外了，就试着起来，觉得一切病都好了，心里更加相信葛巾是仙人。只是没有机会去拜见她，只能在没有人的时候，虔心地对天下拜，心里默默地祈祷。
一天常大用出去，忽然在幽深的树林中和葛巾迎面相见，幸好旁边没有其他人，常大用十分欢喜，便伏倒在地，向葛巾行礼。葛巾过去，拉起常大用起来，常大用闻到她的全身都散发着一种奇异的香气，立即就用手握着她的手腕站起来，只觉得葛巾的肌肤柔软滑腻，让人骨节都快要酥软了。常大用正想要和葛巾说话，老妪忽然也来了。葛巾叫常大用躲到一块大石头后面去，指着南面说：“夜里用梯子翻过墙去，看到四面都是红窗的屋子，就是我居住的地方。”就匆匆地去了。
常大用心里一片惆怅，魂飞魄散，不知道飞到了什么地方。到了夜里，就找来梯子，靠在墙上，就爬到墙上去，一看，那边的梯子已放好在那里了，十分欢喜地下去，果然有一间屋子四面都是红窗。听到屋子里有下棋的声音，常大用见有人在葛巾屋里，便伫立着不敢前去，便暂且又翻墙回去。过了一会儿，葛巾已把那人打发走了吧，就又翻墙过去，可是棋子声音更加激烈，常大用便慢慢地走近去偷看，则看见葛巾和一个穿着白衣裳的女子在下棋，老妪也在一旁坐着，一个婢女在旁边伺候。常大用不得已又返回去，总共来回了三次，已到了三更天了，常大用伏在自己这边的梯子上，看着那边，等别的人离去，听到老妪出来，说道：“谁把梯子放在这里？”就叫婢女把它移开。常大用在墙上，想下去也没有梯子了，心里十分遗憾，悒悒不乐地回去了。
第二夜又去，梯子已摆好在那里了，幸好四周寂静无人，常大用一进去，见葛巾一个人坐在那里，若有所思的样子，见到常大用，惊讶地站起来，没有和常大用正对着，而是侧在一边站着，两眼含羞。常大用拉着她的手，道：“我想我的福分浅薄，恐怕没有缘分见到天人，想不到还有今晚！”于是，就一下将葛巾抱住，葛巾腰肢纤细，出气像兰花一般清香。正在那里说话，还没说上几句，听到远远地传来说话声，葛巾急忙说道：“玉版妹子来了！你可以暂且藏到我的床下。”常大用听了她的话，就躲藏到床底下。
没一会儿，就有一个女子进去，笑着说道：“手下败将，还可以说和我再战一场吗？我已煮好了茶，请到我的房里去，咱们玩一个通宵。”葛巾就推辞说，自己十分困倦了，玉版坚持邀请，葛巾还是坚定地坐着不起来。玉版道：“如此恋恋不去，难道屋子里藏有男子吗？”就强行拉着葛巾出门去了。
等她们去了，常大用从床底爬出来，十分恼恨，于是就枕巾之类的，想带回去留作纪念，屋里并没有什么女子使用的东西，只有床头有一枝水晶如意，上面绑着一条紫色的丝巾，芳香洁净，十分可爱，常大用就把它藏在身上，又翻墙回去了。自己整理着衣襟袖子，感觉葛巾的香气还停留在上面，对葛巾更加倾慕。然而，因为跑到人家家里去，伏在人家的床底下，追究起来，这是违法的，心里便有些惧怕，左右犹豫，不敢再翻墙过去了，指珍藏着如意，希望葛巾过了寻找。
隔了一夜，葛巾果然到来，笑着对常大用道：“我以前以为你是个君子，不想你竟然是个盗贼。”常大用也笑着道：“确实是做了盗贼，偶尔一次不当君子，只希望能如意啊！”于是，揽过葛巾的身子，把他抱在怀里，帮他解下裙带，露出白玉般的肌肤，四周散发着一股温香的热流，常大用依偎把她抱在怀里，只觉得一股股馥郁的香气，扑鼻而入，不觉让自己神魂颠倒，就说道：“我本来就认为你是仙人，现今更加说明我想的没错。承蒙你不嫌弃，真是三生注定的缘分。只是恐怕你下嫁给我，不能长久，到头来，还要承受离别的遗憾。”葛巾笑着道：“你过虑了。我不过是一个钟情的少女，动了情思。这事要需要慎重地保守秘密，恐怕那些搬弄是非的人，捏造黑白，你又没有长有羽翼，我又不能乘风那时遭受的灾祸，比离别还要更惨呢？”常大用觉得也是如此，然而始终怀疑葛巾是仙人，便追问她的家族姓氏，葛巾玩笑着说：“既然你认为我是仙人，仙人又何必要告诉人家姓名。”常大用见她不说，也不再问了，便转而问道：“那老妪是什么人。”葛巾道“是桑姥姥。我小的时候，受到她照顾，因此不把她当一般的奴婢看待。”
葛巾起来，准备离去，并且对常大用说道：“我那里耳目很多，不能留得太久，以便事情泄露，一有机会，我就会来。”离去的时候，又向常大用索要水晶如意，说道：“那东西不是我的，是玉版留在我那里的。”常大用又问：“玉版和你又是什么关系呢？”葛巾道：“是我叔叔家的妹子。”常大用就把如意交给葛巾，然后葛巾就去了。
离去之后，被子枕头都沾染了葛巾的香味。从此，葛巾每两三夜就来一次。常大用被迷惑住了，也不想回去了，然而，包袱里的钱确实快要用完了，便打算把马卖了，葛巾知道了，道：“你因为我的缘故，用尽了钱，还把衣服都典当了，我怎么再忍心让你把马也卖了呢，这里离家一千多里，你怎么回去呢？我私下有一些储蓄，暂且还可以资助你。”常大用推辞道：“你对我有情，我都很感激了，誓死想要报答，都还没能报答，然而又要耗费你的钱财，叫我怎么做人？”葛巾坚持要他接受，常大用才说：“那就算借你的吧！”
于是，葛巾就拉着常大用到一棵桑树底下，指着一块大石头道：“你转动它一下。”常大用就按她说的，把石头转动了一下。葛巾又拔下头上的簪子，在地上插了十几下，又对常大用道：“过来看看。”常大用便走过去，见石头顶上已有一个大口子。葛巾探进手去，取出接近五十两的白银，常大用抓着她的手，叫她不用再取了，葛巾不听，接连又取出了十多铤。分了一半给常大用，然后又才掩上。
一天晚上，葛巾对常大用道：“近来我听到有人说闲话了，这样下去，一定不能长久，我不得不早作打算啊。”常大用惊讶地说：“这怎么办！我一向为人迂厚拘谨，现今为了你的缘故，我已丧失了平时的操守，现在不知道该怎么做主了，一切都听了你吧，即使是刀锯斧钺加在我头上，我也还不犹豫！”葛巾就谋划和常大用一起回家去，叫常大用先回去，然后在洛阳相会。
常大用准备好行装，就赶回去了，想先回去，在返回来迎接葛巾，可是等他到家没多久，葛巾带着桑姥姥也到了他家的门口。常大用把她们领进去，登堂拜见家人，周围的邻居感到很惊异，也来祝贺，然而并不知道葛巾是偷偷跑出来的。常大用心里感到有些害怕，葛巾却坦然地对常大用道：“这里远离曹州千里，查找的人也不会找的这里来，即使有人知道了，我是世家之女，家里为了顾及颜面，又能把我们怎么样呢？”
常大用有个弟弟，叫常大器，已有十七岁了，葛巾看他，然后对常大用说：“阿弟慧根很好，前程远比你要好。”
常大器和一家人已订好了婚，娶亲的日期都看好了，可是要娶的妻子忽然就夭折了。葛巾对常大用道：“我的妹妹玉版，你也见过，相貌也不错，年纪和阿弟也差不多，让她们成为一对夫妇，可真算得上是郎才女貌啊！”常大用便请葛巾去做媒，葛巾道：“这有什么难的。”常大用道：“怎么去提亲？”葛巾道：“妹子和我最要好，叫两架马车过去，劳烦桑姥姥来回跑一趟，就行了。”葛巾害怕前面的事败露，不敢让葛巾那样去做，葛巾道：“不妨事。”就叫桑姥姥带着几个人驾着马车去迎接玉版，没几天就到了曹州，将要接近村子了，桑姥姥就叫来接的人下车在路边等候，然后她乘着夜色，走进村里。过了很久，才带着玉版出来，上车就往回赶了。晚上就睡在车里，五更天亮了，又继续上路。
葛巾算计着时间，估计她们要到家的时候，让他穿着华贵的服饰前去迎接，到离家五十里的地方遇上了，就领着大家回去。家里吹吹打打，点着一对花烛，让常大器和玉版交拜成礼。从此，兄弟两人都娶了美貌的妻子，并且家里又更加富裕起来。
有一天晚上，有十几个贼寇，骑着马突然闯进家里。常大用知道家里遭到了变故，就带着全家跑到高楼上去。贼寇进去，把楼围了起来。常大用在上面俯瞰着下面，把下面看得一清二楚，向贼寇问道：“为何要来劫掠我家，我家与你们有仇吗？”贼寇答道：“没有仇。只求两件事求你：一是听说你家的两位夫人，十分美貌，世间少有，请让我们见见，二是我们兄弟五十八人，每个人向你讨要五百两银子。不然······。”贼寇们再楼下聚集了很多柴薪，和常大用说话的贼首，向着柴薪堆指了指，想用纵火烧的方法来威胁。常大用答应了他们所要银子的请求，可是贼寇还是不满意，准备焚烧高楼，家人都十分恐慌。葛巾和玉版准备下楼去，常大用制止，她们也不听。穿着炫丽的衣服走下去，站在台阶上，对贼寇道：“我姊妹都是仙人暂时下凡到尘世，有什么好惧怕贼寇的！想赐给你们万两黄金，只怕你们不敢接受。”众贼寇一起朝着她们拜望，齐声答应道：“不敢！”葛巾和玉版准备上楼去了，其中一个贼寇道：“被骗了。”葛巾和玉版听到了，又转过身来伫立在那里，问道：“想怎么样，就早下手，还来得及。”贼寇们你看看我，我看看你，又默然不语。姊妹俩就从容地上楼去了。贼寇向楼上仰望了一会儿，就纷纷散去了。
后来过了两年，葛巾和玉版各自生了一个儿子，才开始说：“自己家里姓魏，母亲被封为曹国夫人。”常大用心里便怀疑，曹州很少有姓魏的世家大族，况且大户人家丢失了女儿，怎么会置之不问呢？常大用不敢细细追问，只是在心里觉得奇怪。
于是，就找了一个理由又跑到曹州去，到了曹州，到处访问打听，并没有姓魏的大家。常大用便又到以前居住的人家去，借原来的园子住下，忽然看到墙壁上，有一首赠曹国夫人诗，心里觉得很惊异，就去询问主人。主人笑着说：“让我们去看看曹国夫人吧！”到了一看，则是一株牡丹，差不多有房檐那么高。常大用便问为什么叫做曹国夫人，只因为那株牡丹算得上曹州第一，因此大家便戏耍着封它为曹国夫人。常大用问：“是什么品种？”主人道：“葛巾紫。”
常大用心里更加惊骇，于是便怀疑葛巾是花妖，就回去了。回去了，也不敢直接质问，只复述那首赠曹国夫人诗，来试探。
葛巾听了，忽然变了脸色，立即去叫玉版抱儿子过去，然后对常大用道：“三年前，感君思念，于是便以身相报，先今既然已被猜疑了，还有什么好留下来呢！”就和玉版把儿子举起来，远远地掷在地上，儿子坠落到地上就不见了。常大用和常大器正在那里惊骇，葛巾和玉版已飘然而去了。常大用后悔不已。常大器也埋怨了兄长几句。
过了几天，儿子坠落的地方长出了两株牡丹，一夜就有一尺那么高了，当年就开花了，一株开的是紫花，一株开的是白话，花朵有盘子那么大，和一般的葛巾、玉版品种比起来，花瓣更加的繁茂。几年长成一片茂密的花丛，移栽到别处，又变成了一种品种，都认不出是哪样品种。从此，牡丹在洛阳繁殖，十分茂盛，以致闻名天下，没有一个地方比得上。