潘姓始祖，一般认为是周文王（姬昌）的孙子—季孙。

季孙，名荀，是毕公高（姬高）的第四个儿子（有的谱称幼子）。姬高是周文王的第15子。在武王伐纣时，他立下了赫赫战功，被封于毕（今陕西西安、咸阳市以北，地跨渭河两岸），史称毕公高。武王去世后，他和周公（姬旦）、召公（姬奭）辅政，并与周公、召公、齐太公（姜子牙）合称“周初四圣”。毕公高封儿子季孙于潘地（今陕西省咸阳兴平市），拱卫镐京。。

武王去世后，成王年幼，周公暂且当国摄政。这引起管叔、蔡叔（均为武王的弟弟）的极度不满，认为周公有夺位之意，一时流言四起，政局不稳。管叔和蔡叔被封于殷商故都旧地，负有看管监视商朝遗民的职责。如今周朝内部动荡，商纣王的儿子武庚乘机拉拢管、蔡二人反对周公，起兵作乱，东部十几个并没完全臣服的诸侯方国也蠢蠢欲动。立国未稳的周朝形势可谓岌岌可危。毕公高却深信周公摄政悟篡位之心，积极支持配合周公工作。为此，他就将季孙由陕西潘地迁至洛阳以东的潘城（即潘邑，今河南荥阳市），让其驻守洛阳以防变乱。

管蔡二人起兵作乱后，周公亲率大军东征，作为先头部队，季孙寸土未失，力保洛阳不丢。在三年的平叛中，季孙立下了汗马功劳。在站后的重建和改建诸侯国中，季孙公被封为荥阳侯，潘邑升为潘国。他就在此就爵称侯，建庙立宗于荥阳，子孙世袭。

春秋时期，潘国被楚国所灭。其后代就以国为姓氏，季孙也就成为潘姓的始祖。

潘氏受姓始祖季孙公，周毕公高之四子也，毕公高历相文武成康封于毕，世子袭爵，季孙公食采潘地，从而得姓，是为潘氏始祖。

　　颜子推赞曰

   威仪奕奕  德音秩秩 无忝厥考  王命宠锡

   执圭受土  屏藩周室 靖安尔位  修明典则

   姬旦禽父 姜尚吕仍 内公外候  左辅右弼

   毕公无老  保嫠洛邑 惟公受采  其事不忒

   大启尔宇  永思无极 因地为姓  义同申伯