漱芳斋为工字形殿，有前后两座厅堂，中间有穿堂相连。其中前殿与南房、东西配殿围成独立的小院，其间有游廊相连。前殿面阔五间，进深三间，黄琉璃瓦歇山顶，前檐明间安风门，余皆为槛窗。室内明间与次间以落地花罩分隔，以楠木制作，十分精细，东次室额曰“静憩轩”，为乾隆七年（公元1742年）御题，是弘历少时读书之地。殿前东西配殿各三间，东配殿明间前后皆开门，东出即御花园。院落南房北面接戏台一座，与漱芳斋前殿相对。戏台为亭式建筑，面阔、进深各三间，台面90㎡左右，黄琉璃瓦重檐四角攒尖顶，风格高雅，匾名“升平叶庆”。戏台上有楼，天花板上设天井，可以放井架辘轳等机械设备，供演神仙剧使用，台板下有一口大井。为皇宫内仅次于畅音阁大戏台的一所戏台，也是宫中最大的单层戏台，年节时常有演出。
后殿名“金昭玉粹”，面阔五间，进深一间，前檐明间接穿堂与前殿相连，余皆为槛窗。另有西耳房一间，西配房三间。殿内西梢间修小戏台一座，面东，为竹木结构，样式小巧，呈方形亭子式，建于清乾隆年间，是专为皇帝和太后吃饭时演出15分钟的小戏而设的，方亭上悬挂着乾隆皇帝书写的“风雅存”匾额，前檐左右柱上各悬古琴形木制楹联曰“自喜轩窗无俗韵，聊将山水寄清音”。台后开小门与西耳房相通。殿之东室额曰“高云情”，与小戏台相对，为侍宴观戏之处。斋内匾额为“正谊明道”，东室悬挂着两块匾额“庄敬日强”和“高云情”，对联为“花香鸟语群生乐；月霁风清造物心”，匾额及楹联均为乾隆皇帝御笔。漱芳斋中其他几处佚名题写的对联有：“澄心待万几；恭己奉三元”，“自喜轩窗无俗物；聊将山水寄清音”，“瑞景琼楼开锦绣；欢声珠阁奏云韶”，“绿绮琴弹白雪引；乌丝绢写黄庭经”，“思庶政惟和，不敢自逸；由旧典时式，其永无愆”，“写诚敬之心，礼章乐亮；绘恬熙之象，日丽风和”，“清燕凝神，天和闲处养；从容守正，元化静中涵”，“春秋富佳日，松竹葆长年”等。