从第一代的十三行首富潘振承算起，到潘飞声已是第六代子孙。他的大叔父宝軻、二叔父宝琳也是中举人、登进士，而父亲潘老三还是从商，家业仍旧鼎盛不衰。

潘飞声，字兰史，生于1858年，卒于1934年，生平既未从商，也没有做过官，只应过清廷举经济特科，后亦无所作为，只在德国柏林大学讲过中国文学；他是随清廷驻德大使以小小参事出洋的。回国后居上海，这时洋务工作经已沉寂，他的兄弟多已去英国，而他则在上海卖文为生。著述有《柏林游记》、《天外归槎录》、《香梅集》、《灯影词》、《梧桐庭院词》、《饮琼浆馆骈文抄》、《在山泉馆词》、《说剑堂全集》等36种之多，也是名噪一时的诗人。

他的先祖潘振承在广州河南买地建村，自今同福中路乌龙冈起，向西越过龙溪首约(当年是一条小河)，至今龙武里附近。现在的第三十三中学校址就是他的祖居，向北行至今天的栖栅南小学也是他的先辈旧址。潘家祖籍在福建龙溪，故在河南建村也名之为“龙溪”云。由于房多人众，究竟潘飞声早年居于何处，今从《说剑堂全集》所载词《长相思·台城路·序》中云：“余家栖栅，门临龙溪，巷折而行有田数顷，荷塘松径，绿香晚凉。昔与佩琼居士踏月赋诗，凭栏瀹茗处也。”据此推之，潘飞声所建之落花语楼，当在今栖栅南地方。

潘飞声早年的诗文多为歌花咏草、记游、酬答之作，内容较虚，仍未脱公子习气。他与当时的名士杨椒坪、何蘧庵往来，杨、何均为有钱人家。如潘的《巫山一片云》词“省识仙模样，芳龄问破瓜。可怜生小是贫家。多愁看落花。今夜酒醒何处?默默眉梢无语。欢场转眼又相思。春情休更知”便是风月之作。他在国外接受过新思想，回国时又结识了一批日本志士。其时资产阶级改良主义热潮还未消沉，旧民主主义革命刚开始。受时代的影响，他的思想转变了，成了封建世家的叛逆者，站在宣扬发奋图强，保种救国的立场上而从事写作。试看《过莽苍斋吊谭复生(嗣同)》诗：“天地今何许，风云复莽苍。一斋留净土，之子岂佯狂?救国心难死，能仁血有光。回车经菜市，凄怆动中肠。”语多慷慨苍凉。又壬子(民国元年)新岁作：“重悬日月照山河，新岁新晴入醉歌。一笑陈撙坠驴背，唐虞世界说和平。”辛亥革命胜利，给他带来了一些希望。

后来他参加了南社，与进步诗人为伍。当时南社有“四剑”之称的就是：潘飞声(字剑士)、高天梅(号钝剑)、俞锷(字剑华)、傅屯良(字君剑)。后又参加了希社、鸥社，为资产阶级旧民主主义革命而呐喊。试看《送蒋万里从军》诗：“汉上旌旗梦里过，苍凉横槊大风歌。一灯午夜闻鸡起，谁识诗人旧枕戈?”同时还写了不少记闻，如鸦片战争时期广州河南四十八乡抗英运动等轶事，激发人民的反帝爱国热情。

现存有潘飞声的印章两枚：其一边款是“兰史词坛拔帜德邦，鉴道人刻此赠别，丁亥孟秋七月记于岭南吉金乐石之垒”。当为潘飞声赴德国前之赠别纪念。其二是“兰史先生鉴藏金石书画之印、何瑗玉(蘧庵)镌”。旁侧乃潘飞声自刻“蘧庵待诏此作，直与松雪相比。陈兰甫云：近时刻圆朱者以蘧庵为第一，信矣。己卯十月潘飞声纪于绿水园之梧桐庭院”。