他的人生中最要命的便是那场“乌台诗案”，由于一封《湖州谢表》，被政敌有心利用，导致苏轼直接开罪下狱，还连累了一众亲朋好友。
末了，由于有国法“不杀士大夫”，以及王安石和高太后的求情，他得以免除一去世，但活罪难逃，被贬黄州。这次笔墨狱一案，直接导致弟弟苏辙被贬筠州（今江西），苏门四才子也随之消散，然而，受牵连的20多个罪犯中，唯有好友王巩被贬的地方最远且最偏——古人称之为“蛮荒之地”的岭南。
朋友何其无辜受此贬谪，这使苏轼内心十分愧疚，他说：“兹行我累君，乃反得安宅”。元丰四年（1081），苏轼作《次韵和王巩六首》，其一云：
欲结千年实，先摧仲春花。故教穷到骨，要使寿无涯。
久已逃天网，何而服日华。宾州在何处？为子上栖霞。
王巩在岭南宾州期间，苏轼与他书信往来密切。
岭南瘴气逼人，苏轼担心王巩受不了，建议他用“摩脚心法”对付瘴气，还劝他少饮酒，调节饮食，鼓励他坚持下去，总有一天会枯木逢春。而远他乡的王巩为了安慰苏轼，则给他复书大谈道家永生之术，说自己正在宾州修行。
苏东坡很喜好广西的丹砂等特产，便从黄州致信对朋侪说：“桂砂如弗成贵，致十余两尤佳。”
除此之外，他们还互换诗词书法和绘画心得，并时常谈论国事，互换政见，两名落拓绅士“居庙堂之高而忧其民，处江湖之远而忧其君”的小儿百姓之心，可见一斑。
由此可见，二人情同伯仲，亲密之情溢于言表。
但对付朋友的愧疚之情，苏轼一贯难以忘怀。后来他给王巩的诗集编序，《王定国诗集叙》中说：
“今定国以余故得罪，贬海上五年，一子去世贬所，一子去世于家，定国亦几病去世。余意其怨我甚，不敢以书相闻。”
公元1083年，王巩奉旨北归，得以宴请苏轼，二人有幸相逢。苏轼创造虽遭此一贬，王巩不但没有平凡谪官那种落拓的边幅，还容颜抖擞，神采愈甚于之前。不由迷惑，“定国坐坡累谪宾州，瘴烟窟里五年，面如红玉”。困境之中，王巩依然豁达爽朗，可见心态非常人所不及。但是，东坡却非常想知道究竟是何缘由使好友如此开明？
王巩笑了笑，不置与否，叫出柔奴为苏轼献歌。只见美人轻抱琵琶半遮面，慢启朱唇，歌声袅袅，分外悦耳。东坡以前也见识过柔奴的才艺，如今也以为她比之前更俏丽了，才艺更精进了，更是迷惑难道宾州水土这样养人么？
于是，苏轼按耐不住自己的好奇心了，试探地问柔奴：“岭南应是不好？”柔奴顺口答以“此心安处，便是吾乡”。苏轼听后，深受冲动，没想到这样一个弱女子竟能脱口说出如此豁达之语，于是对她大为讴歌，急速填词赠她，这首词便是《定风波·南海归赠王定国侍人寓娘》：
常羡人间琢玉郎，天应乞与点酥娘。自作清歌传皓齿，风起，雪飞炎海变清凉。
万里归来年愈少，微笑，笑时犹带岭使女。试问岭南应不好？却道，此心安处是吾乡。
原来，王巩开罪被贬时，家奴歌女纷纭散去，惟有柔奴一人乐意陪伴王巩共赴宾州。这和当日苏轼被贬黄州一样，只有王昭云一人不忍拜别。自古以来，岭南穷山恶水，瘴气横生，柔奴明知此地险恶，却还是乐意和王定国同甘共苦，其心可鉴。
王巩与柔奴二人一起在宾州生活了三年多，两人惺惺相惜。王巩泼墨吟诗，访古问道，柔奴则歌声相伴，温顺抚慰。两人于困境中，相互鼓励，敦促奋发。
只有心情愉悦，才会使人精神抖擞，越变越年轻。因此东坡才会觉得二人红光满面。
据记载，这位柔奴不但琴棋字画样样精通，在音律歌舞方面也有较高的成绩，而且她医术高明，十分同情社会底层弱者，常常亲自上山采药，以其一身医道救治岭南百姓，被岭南公民奉为“神医”。
古往今来，柔奴是唯一一位被誉为女神医的家姬。
柔奴说的那句“此心安处是吾乡”，实在并不是创始，唐代墨客白居易有诗云：“无论海角与天涯，大抵心安即是家”，由此可见柔奴知书达礼，才思敏捷。
自苏轼《定风波》一词传开后，“点酥娘”柔奴的名声便为人所知，而王定国与她的恋情也成为人们口口相传的经典爱情故事。但是，人们更钦佩的如此小女子的豁达爽朗，这对后来苏轼流落儋州时的旷达也做了一种铺垫。
如今，我们再听到“此心安处是吾乡”是不是总有一种莫名的情怀呢？
