潘惟贤（1228—1278），茂名县（今广东高州县）人，南宋绍定年间出生。咸淳年间，赴乡试中举后，任茂名县尹。至元十五年（1278年），元兵直捣高州。知州李象祖投降。潘惟贤护送幼主宋帝昺渡海至那黎港后，奉命守御白沙寨。时“敌势猖獗，人皆降附。”潘看到此情景，自知大势已去，宋室将亡，禁不住仰天恸哭。元兵将潘捉拿后，逼他投降，他愤然厉声地说：“忠臣不事二君，我为宋臣，当为宋鬼耳！”不久，他被元军押至电白，但仍“愤骂不恿”，拒绝投降，最后被元兵所杀。

　　潘惟贤被杀后，其长子潘斗辅怒不可遏。他痛哭道：“为臣死忠，为子死孝，实属本份。以此剑刺贼之腹，为父报仇，方可解恨。万一被贼杀死，随父地下，死而无悲”。其弟潘梅窗欲同往杀敌，他阻止道：你应该活下来以存后代，不能全家死绝。说完，便持剑闯进敌营，与元兵拼杀而死。后人在高州城南街立“忠义孝弟祠”，以祀潘惟贤父子。

惟贤父子赴国难102年后，至明朱元璋洪武年间，御史黄观澜著文褒扬其事并上奏朝廷，朝廷追封惟贤为宋忠臣、高凉名宦，斗辅、梅窗兄弟被敕封为宋孝子，奉旌忠孝一门，这是封建时代最崇高的封谥；先后在各地建文庙15座，其中三贤祠5座，万世崇祀。这就是高州三贤潘氏的来由。自此，粤西潘氏以惟贤为一世祖，其祖父及父亲就变成太太始祖、太始祖了。

死后安葬于广东省湛江吴川王村港镇出王岭