初，元帝时，中书令石显用事，自前相韦玄成及衡皆畏显，不敢失其意。至成帝初即位，衡乃与御史大夫甄谭共奏显，追条其旧恶，并及党与。于是司隶校尉王尊劾奏：“衡、谭居大臣位，知显等专权势，作威福，为海内患害，不以时白奏行罚，而阿谀曲从，附下罔上，无大臣辅政之义。既奏显等，不自陈不忠之罪，而反扬著先帝任用倾覆之徒，罪至不道。”有诏勿劾。衡惭惧，上疏谢罪。因称病乞骸骨，上丞相乐安侯印绶。上报曰：“君以道德修明，位在三公，先帝委政，遂及朕躬。君遵修法度，勤劳公家，朕嘉与君同心合意，庶几有成。今司隶校尉尊妄诋欺，加非于君，朕甚闵焉。方下有司问状，君何疑而上书归侯乞骸骨，是章朕之未烛也。传不云乎？‘礼义不愆，何恤人之言！’君其察焉。专精神，近医药，强食自爱。”因赐上尊酒、养牛。衡起视事。上以新即位，褒优大臣，然群下多是王尊者。衡嘿嘿不自安，每有水旱，风雨不时，连乞骸骨让位。上辄以诏书慰抚，不许。
　　久之，衡子昌为越骑校尉，醉杀人，系诏狱。越骑官属与昌弟且谋篡昌。事发觉，衡免冠徒跣待罪，天子使谒者诏衡冠履。而有司奏衡专地盗土，衡竟坐免。
　　初，衡封僮之乐安乡，乡本田堤封三千一百顷，南以闽佰为界。初元元年，郡图误以闽佰为平陵佰。积十余岁，衡封临淮郡，遂封真平陵佰以为界，多四百顷。至建始元年，郡乃定国界，上计簿，更定图，言丞相府。衡谓所亲吏赵殷曰：“主簿陆赐故居奏曹，习事，晓知国界，署集曹掾。”明年治计时，衡问殷国界事：“曹欲奈何？”殷曰：“赐以为举计，令郡实之。恐郡不肯从实，可令家丞上书。”衡曰：“顾当得不耳，何至上书？”亦不告曹使举也，听曹为之。后赐与属明举计曰：“案故图，乐安乡南以平陵佰为界，不从故而以闽佰为界，解何？”郡即复以四百顷付乐安国。衡遣从史之僮，收取所还田租谷千余石入衡家。司隶校尉骏、少府忠行廷尉事劾奏“衡监临盗所主守直十金以上。《春秋》之义，诸侯不得专地，所以一统尊法制也。衡位三公，辅国政，领计簿，知郡实，正国界，计簿已定而背法制，专地盗土以自益，及赐、明阿承衡意，猥举郡计，乱减县界，附下罔上，擅以地附益大臣，皆不道。”于是上可其奏，勿治，丞相免为庶人，终于家。

我对他的印象还只是停留在凿壁偷光