临别时，柳永与谢娘依依不舍，两情缱绻。柳永在余杭任上三年，始终未忘与谢玉英之约。任满回京时，他专程到江州与她相会。不想那谢玉英居然又接新客，陪人喝酒去了。柳永心里十分惆怅，于是便在花墙上赋词一首，述三年前恩爱光景，又表今日失约之不快，最后道：“见说兰台宋玉，多才多艺善赋，试问朝朝暮暮，行云何处去？”谢玉英回来后，见到柳永词，叹他果然是多情才子，自愧未守前盟，就卖掉家私赶往东京寻柳永。
几经周折，谢玉英在东京歌女陈师师家找到了柳永。两人久别重逢，种种情怀难以诉说，于是便再续前缘。谢玉英就在陈师师东院住下，与柳永如夫妻一般生活。后来柳永出言不逊，得罪朝官，仁宗罢了他的屯田员外郎一职。从此，柳永出入青楼舞馆，衣食都由歌儿舞女们供给，只求他赐一词以抬高身价。他也乐得以填词为业，自称“奉旨填词柳三变”。
柳永尽情放浪多年，身心俱伤，晚年居名妓赵香香家。一日，赵香香在家做了个白日梦，梦见一黄衣吏从天而下，说：“奉玉帝意旨，《霓裳羽衣曲》已旧，欲易新声，特借重仙笔即刻便往。”柳永醒来，即要沐浴更衣，对赵香香说：“适蒙上帝召见，我将去矣。各家姐妹可寄一信，不能候之相见也。”言毕，瞑目而坐。香香视之，已死矣。一代词魂就这样飘然而去。