据说西樵山是广东最邪门的山，情侣们都避之不及，听说爬完之后回来容易分手，又被网友们戏称为“分手山”。
民间也流传着一些神奇说法，一是观音诅咒说，传说西樵山上观音石像建造时未获当地村民支持，与周边环境不协调。且观音为未婚女子，传说她对情侣施咒，致使上山的情侣易分手。
二是历史爱情悲剧说，相传古代一对恋人，男子被迫当兵，两人种下桂花树约定相守，女子却直至去世都未能等到男子归来。还有一对情侣，女方母亲不同意婚事将其许配他人，姑娘在花轿路过西樵山时跳崖身亡。这些悲伤故事的流传，让西樵山有了“分手山”的说法。
还有人认为是谐音因素导致的，因为在粤语中，“西樵山”谐音近似“四朝散”，有情侣来到这里“四天散”的意思，这种牵强附会的说法为“分手山”的称呼增添了神秘色彩。
也有人认为是心理暗示，因为“分手山”传闻流传较广，情侣爬山时易受此影响，相处中出现不愉快就易归咎于西樵山，强化了这种说法。此外，爬山等旅游活动中，情侣可能因体力消耗、行程安排等产生矛盾，从而导致分手。虽然这些都只是传说，但偏偏有些情侣在爬了这座山后真的分手了。这样一来，“分手山”的传闻就越传越广，成了大家口中的“神秘禁地”。