就全国范围而言，"山西乐户"无疑是历史最长、影响最大的一种特殊人群。如果从有确凿记载的北朝算起，到清代末年为止，"山西乐户"的历史不间断地延续了将近一千五百年！据说，直到清代雍正元年，才有开明的官员向皇上启奏，认为把官宦之后籍没为"乐户"，是有失仁慈的，请求给予赦免。雍正皇帝看来很有些同情心，他决心革除"山西乐户"的贱民身份。据《世宗圣》卷六载，当时雍正下旨说：
　　朕以移风易俗为心，凡习俗相沿，不能振发者，咸与以自新之路，如山西之乐户、浙江之惰民，皆除其贱籍，使为良民，所以厉廉耻、广风化也。
　　关于这件事，俞正燮《癸巳类稿》卷十二引《皇朝通志》云：
　　雍正元年，时山西省有曰"乐籍"，浙江绍兴府有曰"惰民"，江南徽州府有曰"伴当"，宁国府有曰"世仆"，苏州之常熟、昭文二县有曰"丐户"，广东省有曰"蜑户"者，该地方视为卑贱之流，不得与齐民同列甲户。上甚悯之，俱令削除其籍，与编氓同列。而江西、浙江、福建又有所谓"棚民"，广东有所谓"寮民"，亦照保甲之法，按户编查。