相传清康熙年间，桥旁居住一位姓朱的竹篾匠生性善良，他看到老百姓雨天过桥时的困难心里很不好受。一天，他亲眼看见一位孕妇过桥时落水而死，就立志募捐造桥。他别无他途，只得削发为僧去化缘，取名广缘，以铁链穿肩苦行奔走十余年，终于募得白银三千余两，于康熙55年（公元1716年）开始动工建造石桥。
他因化缘积劳成疾，未等完工就得病而死。广缘和尚死后十日，石商运来了一批据说是广缘五天前订购的石料，镇上工匠个个惊诧，说广缘和尚已在十天前亡故。无论此事是虚是实，仍然很快便传遍了整个西塘镇，远近居民纷纷捐助，没有多少时间就将卧龙桥建成了。桥上有对联“修几百年崎岖之路，造千万人来往之桥。”将这一事迹告诉后人，并表达人们对广缘和尚的崇敬之情。