北宋初年，有一“徐”姓后生，家住朱云山下（现在浦江县浦南街道朱云村祠屋塘水库里面），以砍柴度日。
一天，他从清水池里抓到一条山黄鳝，长好几尺，粗像酒杯口，听说山黄鳝可以滋补养身，就马上煮来吃掉。
几个月后，身体果真长胖了，力气也大了许多。只不过头长的还是原来大小。因在吃山黄鳝时，把鳝头给狗吃了，所以，狗头大起来，狗身依旧如原。
此后生力大无比，经名师传授武艺，二十三岁时中武举人，后到京都赶考，名列前矛，但头小身大，不配为将。考官问为何会生得如此？他就把吃山黄鳝的事一五一十地讲了一遍。考官想了一会儿说：“你回去把那只家狗杀掉，连狗的头都吃下去，一定能使你的头变大。”徐某回家照办，后来头果然变大了。主考官很满意，就保他为京城武尉。徐武尉忠心保国，体贴民情，后又荣升至尚书。
有一回，一位同朝好友提出，到徐尚书家游玩，但徐尚书做官清，离家廿余载，家宅无钱建设，感到为难，只好谢绝。
嗣后，徐尚书告老还乡，万岁下旨把在京的府宅建到他的家乡。因从京都迁移而来，所以叫做移大宅，但“移”和“余”在浦江方言中是同音字，于是改“移大宅”为“余大宅”，如今的潘宅余大宅村（浦江县浦南街道境内）就是这样演变而来的。
现在的余大宅祠堂就是原来的府宅，祠堂大门前有对联：
丽水源流远；
尚书门第高。