第一种传说，战火纷飞的古代，一位男子出征，远赴边关。他的妻子日思夜念远方的丈夫，每天都会站在村落外的山坡上，翘首等待。可惜，男子一去不返，伤心的妻子，泪洒山坡。被泪水浸润过的地皮，长出一种树，枝干笔直，高耸入云，秋日着花，结出的果实鲜红欲滴，人称相思豆。
另一种传说，根据《搜神记》的记载，战国期间，宋康王好色且酗酒。康王让人在桑园筑青陵台，以监督采桑女事情为借口，征采美女。有一天，他无意中看到采桑女何氏的绝色容颜，为之倾倒。康王敕令，让何氏的丈夫韩凭献妻。一对恩爱夫妻，面对生离去世别，不禁抱头痛哭。夫妻分别，何氏为丈夫唱了一首歌，无尽的悲哀与无奈，尽在凄婉的歌声里。
韩凭被罚，逐日做苦役。原来假意答应康王、保护丈夫的何氏，决意以去世明志，以身殉情。韩凭收到妻子的来信后，早已怀着必去世之心的他，毅然自尽。康王得知，欣喜非常，欲纳何氏为妃。何氏假意答应侍奉康王，条件是许可她在青陵台祭奠亡。
不明以是的康王，答应了何氏的要求。不料，何氏身着素服，从青陵台上纵身跳下，毅然殉情。康王看到何氏写在衣带上的遗书，看到她要与丈夫合葬的遗嘱，想到她宁去世也禁绝许为妃，恼羞成怒。康王命人将何氏之墓与韩凭之墓，隔青陵台而望，生让他们夫妻分离，去世后也不让他们团圆。
很多年后，两墓默默相望，相互守护。从两座宅兆中，长出两棵大树，枝干交错在一起，远了望去，仿佛合抱在一起。每到九、十月份，树上便有红豆掉落。这两棵树，被称为相思树，鲜红的红豆，也被人们采摘，成为恋人相互赠予的信物，寄托无限相思之情。
唐代墨客王维，怀念好友李龟年，借红豆代言自己的心声。成长于南方的红豆，春天长出新的枝芽，心怀思念的人，多多采摘，由于它最能代表相思。红豆生南国，春来发几枝？愿君多采撷，此物最相思。王维以短短二十几个字，委婉蕴藉地写出对付友情的珍惜。
风光奇丽、阳光明媚的南国，既是红豆的原产地，又是王维好友李龟年的所在之地，王维从红豆生南国起笔，引出此物最相思的相思之情，亲切自然。王维笔下，以梅花寄托乡思，来日绮窗前，寒梅著花未？以红豆象征友爱，可谓语近情遥，令人憧憬。
《红楼梦》里的《红豆曲》，以红豆引出深切的相思之情，滴不尽相思血泪抛红豆，开不完春柳春花满画楼。宝玉对付黛玉的怜惜和刻骨相思，恰如血泪化成的红豆。相思无穷尽，犹如开不完的春柳春花，困扰民气。风雨薄暮后，旧愁更添新愁，难以入眠；纵是玉粒金莼，也难以下咽，菱花镜里，日渐瘦削。在更漏声里等待天明，才下眉头，又上心头。这无尽的相思，宛如彷佛远方隐约的连绵青山，流不断的悠悠绿水。
滴不尽相思血泪抛红豆，开不完春柳春花满画楼。睡不稳纱窗风雨薄暮后，忘不了新愁与旧愁。咽不下玉粒金莼噎满喉；照不见菱花镜里形容瘦。展不开的眉头，捱不明的更漏。呀！
恰便似遮不住的青山模糊，流不断的绿水悠悠。王国维笔下的四首红豆词，字字含情。诗中的红豆，亦是相思的代言。公元1899年，远行的王国维，在南国的深秋，手抚红豆，想起当日赠予红豆的佳人，感慨万分，满腔深情化成诗句：南国秋深可奈何，手持红豆几摩挲。累累本是无情物，谁把闲愁付与他。
萧艾评价王国维的红豆词，认为是其早期作品，非故意仿效前人为之。不雅观其一往情深，殆墨客忆内之作欤？红豆本无情，是墨客授予它人类的情绪，从此变得浪漫温情。人生自古伤离去，伴随离去的，便是无尽的相思之情。
昔日，石氏女嫁为尤氏妇，夫妻感情甚好，尤外出做生意，日久不归，石氏思考过度病亡。临去世前，嗟叹自己不能阻挡丈夫出行，于是希望自己去世后化为大风，为天下妇人阻之。此后，商旅发船，碰着打头逆风，便会说此石尤风也，不再前行。
花开一瞬君相惜 ，花落翩翩难分离。秋风萧瑟行单影， 含泪拂花叶凄凄。王国维在红豆词里，化用典故，娓娓道来，将离愁写得蕴藉动人：门外青骢郭外舟，人生无奈是离愁。不辞苦向东风祝，到处人间作石尤。为了阻挡人间的离去，祈求东风都化为石尤风，若果真如此，有多少离散的家庭，能重获团圆？能减少多少人间悲剧？
江淹在《别赋》里写道，春草碧色，春水渌波，送君南浦，伤如之何！
因离去而生的相思，几分感伤，几分悲惨。王国维笔下的相思，更为刻骨铭心。红豆的有无，都不能让相思情减少半分：别浦盈盈水又波，凭栏渺渺思如何？纵教踏破江南种，只恐春来茁更多。既然红豆被认为是相思的象征，那么，一往情深的墨客，便有了寄托之物。王国维在第四首红豆词里写道：匀圆万颗争相似，暗数千回不厌痴。留取他年银烛下，拈来细与话相思。圆润鲜红的红豆，颗颗相似，由于是心上人相赠，数上千百回也不厌倦。
才子纳兰，与江南才女沈宛，彼此赏识，互生情愫。后来沈宛嫁给纳兰，两人情投意合，可惜因纳兰的分外身份，两人不得不分离。纳兰送沈宛返回江南，临行前，纳兰填了一首《南乡子》，词中的红豆，寓意二人别后的相思。
烟暖雨初收，落尽繁花小院幽。分别之际，雨后初晴，清幽的小院里，满地落花，让离去更添伤感。摘得一双红豆子，低头，说著分携泪暗流。纳兰摘下两颗红豆，低头诉说离情，不禁泪流满面。
人去似春休，卮酒曾将酹石尤。佳人拜别春已休，临溪饮酒徒然伤神，从此后，别自有人桃叶渡，扁舟，一种烟波各自愁。纳兰与沈宛，自此生去世相隔，一种相思，两处闲愁。纵有无尽思念，再无处诉说。纳兰词中的红豆，与王维异曲同工。
细数历代诗词，无论是忆昔花间相见后，只凭纤手，暗抛红豆，还是红豆不堪看，满眼相思泪；亦或玲珑骰子安红豆，入骨相思知不知；或者两岸人家微雨后，收红豆，树底纤纤抬素手；更有罗带惹喷鼻香，犹系别时红豆。泪痕新，金缕旧，断离肠，红豆已然成为相思的代言。
江南红豆树，一叶一相思。红豆尚可尽，相思无已时。
