北宋庆历七年(1047)，扩建前宰相王钦若府第而成，供秦王德芳子孙居住。先设专官管理，熙宁三年(1070)，以其事归宗正寺。