关于潘姓的起源有3种说法：
1、始于芈姓源于芈姓，出自春秋时楚国公族芈潘崇之后，属于以先祖名字为氏。公讳崇字道安，楚成王时大夫，穆王立，以其太子宫予公，使为太师，掌国事，环列之尹，楚国大治，有认楚公族后以字为氏，列公为潘姓始祖之一。
2、以国为姓以国名为姓，出于姬姓。毕公高的小儿子季孙封邑在潘。春秋后国灭，其子孙不以姬为姓而以国名为胜，奉季孙为潘姓始祖。
3、源于姚姓源于姚姓，是上古舜帝姚重华后裔，是以国名为姓。《史记》《中国姓氏》记载，舜帝生于姚墟，因姓姚，建都于潘地。后将潘地移至今陕西省兴平。商王朝时期，舜帝后裔建有潘子国，到殷商末期被周文王所灭，其子孙遂以国名为姓氏而姓潘。