乾隆帝先后立过三位皇后。第一位皇后富察氏，即孝贤皇后。雍正五年（1727），15岁的富察氏被册封为宝亲王弘历的嫡福晋，乾隆二年（1737）被册封为皇后。孝贤皇后贤惠恭俭，并生下了皇二子永琏，深得乾隆帝的宠爱。不幸的是，三年后永琏就夭亡了。乾隆十一年（1746），孝贤皇后又生下了皇七子永琮，不幸的是，一年后永琮又患天花夭折。两个儿子的先后死亡给孝贤皇后造成了很大打击，使其身体每况愈下。乾隆十三年（1748）三月，在随乾隆帝东巡的途中，孝贤皇后突然去世，年仅37岁。乾隆帝对皇后的突然离世极为悲痛，亲自留在德州处理丧事，扶柩回京。以后几十年中，乾隆帝一直对孝贤皇后念念不忘，还写下了无数的诗词来追念她。
乾隆帝的第二位皇后乌喇那拉氏，比乾隆帝小7岁，先后封为娴妃、娴贵妃。乾隆帝称她“性生婉顺，质赋柔嘉”。孝贤皇后去世后，乾隆帝遵照皇太后的意见，于乾隆十五年（1750）八月册立乌喇那拉氏为后。乌喇那拉皇后在宫中深得乾隆帝的信任，经常陪皇太后、皇帝出巡各地。乾隆第四次南巡时，乌喇那拉皇后随行。谁知这次行程却造成了夫妻关系的决裂。原本帝后关系还很融洽，可是到了杭州，乾隆帝经常深夜微服登岸游玩。皇后多次劝说无效后，不惜以剪发谏阻乾隆帝。乾隆帝恼羞成怒，骤然下旨送皇后先行回京。乾隆帝返京后，宣布收回乌喇那拉皇后的一切册封，实际上由新册封的皇贵妃令妃代替了她的地位。第二年七月，乌喇那拉氏悒郁而亡。
此后，乾隆帝在有生的40多年中再也没有立后。当然，此后还有一位皇后，即嘉庆帝的生母魏佳氏，是在死后被追封为孝仪纯皇后的。魏佳氏比乾隆帝小1 6岁，初为贵人，后晋升为嫔、妃，在那拉氏被废后晋封为皇贵妃。她是在孝贤皇后的调教下长大的，和乾隆帝、孝贤皇后的感情都很好。
在乾陵帝众多的后妃中，最特别的是一位来自新疆维吾尔族的妃子，封号“容妃”。而这位容妃，很可能就是引发后世人无限遐想的“香妃”。容妃原名伊帕尔汗，进宫后被封为“和贵人”，后晋封为妃。和贵人这个称谓既符合伊帕尔汗和卓后人的身份，也表达了民族和睦、合和为贵的祝福。
据说，容妃入宫后，乾隆帝考虑到她来自西域，在生活习惯上与中原不同，在语言上也无法与宫中之人沟通，于是在皇城的西苑为她修建了一座“宝月楼”。后来，为了排解容妃的思乡之苦，怀土之情，乾隆帝又在宝月楼对面的西长安街建起了一片具有回族风格的教堂和民舍，以显示帝国对回人特有宗教和生活风俗的尊重。
乾隆帝还特许容妃在宫内穿回族的衣服，戴回族的头饰，还专门派了一名回族厨师给她做新疆风味的膳食。乾隆帝对容妃用心良苦，真是“因宠而破例之至”。乾隆五十三年（1788）四月十九日，容妃薨，享年55岁，被葬于清东陵之裕陵妃园寝。
其实，乾隆帝的婚姻、家庭生活并不十分美满。后宫虽然有诸多妃子，但多半寿命不长，他深爱的孝贤皇后早早离他而去，其他嫔妃也大多活得不长久。等到他晚年的时候，只有少数的几位嫔妃陪伴在他身边。他一共有27个子女，然而多数短命早夭。17个儿子中，幼年早夭的有7个，先于他而去的有6个；10个女儿当中，只有5个活到了成年，当他成为太上皇时，身边仅剩下了最小的女儿固伦和孝公主。乾隆帝多次白发人送黑发人，心中的感伤和寂寥可想而知。
