济公自称“幼生宦室”。济公的师侄居简《湖隐方圆叟舍利塔铭》说他是“天台临海都尉李文和远孙”。李遵勖（988—1038），初名勖，因娶宋真宗赵恒妹万寿公主，而加“遵”字为“遵勖”，字公武，逝世后谥号和文，为李崇矩孙，济公高祖。其世系为：李崇炬——李继昌——李遵勖——李端懿、李端愿、李端悫——李评——李涓——李茂春——李修元（修缘）。该家族有三个特点：一是世代仕宦，且为将门；二是为官清正，政绩卓著，名列《宋史》；三是历世积善信佛，家族中不少人是禅宗的著名居士。随着宋室南迁，李氏子孙流寓其高祖李遵勖封（食）邑浙东天台，隐居于赤城山南麓、天台城北的永宁村。济公之父李茂春，目击朝廷腐败，弃官隐居经商、念佛，为人淳朴厚重，乐善好施。