纪晓岚有1位正妻：马月芳，3位妾：文鸾、郭彩符、沈明轩。育有四子：纪汝佶、纪汝传、纪汝似、纪汝亿，四子均为沈明轩所生。
纪晓岚的妻妾
1、马月芳
东光进士马周菉的二女儿，是纪昀的邻县人，才貌双全。
纪晓岚到马府上提亲时，马月芳曾考过纪晓岚两个问题。
(1)对对子
马月芳上联：乾八卦，坤八卦，八八六十四卦，卦卦乾坤已定
纪晓岚下联：鸾九声，凤九声，九九八十一声，声声鸾凤和鸣
(2)断诗
“月中秋会佳期下弹琴诵古诗中不闻钟鼓便深方知星斗移少神仙归古庙中宰相运心机时到得桃源洞与仙人下盘棋”（48个字，属于藏头露尾诗，庙的繁体字为庙）
断诗：
八月中秋会佳期，月下弹琴诵古诗。
寺中不闻钟鼓便，更深方知星斗移。
多少神仙归古庙，朝中宰相运心机。
几时到得桃源洞，同与仙人下盘棋。
2、文鸾
文鸾是纪晓岚的四叔从沧州买来的一个丫环，长得特别水灵，而且天资聪颖，年轻的纪晓岚一眼就喜欢上了，纪晓岚忍不住向文鸾求爱，文鸾深知高攀不起，虽然早就盼望着，但她还是希望等到纪晓岚及第之后，纳她做妾。
纪晓岚乡试落榜那年，文鸾卖身纪府的期限已满。文鸾的父亲向纪家索要一千两纹银的身价。当时买一个奴婢顶多三五百两，如果出一千两岂不是会被人笑掉大牙？纪府的颜面何在？一气之下，就让文鸾的父亲把她带回家去。文鸾回家后痛苦难忍，竟然一病不起，不久就抑郁而死。
文鸾的死让纪晓岚痛苦万分。他为文鸾伤心，于是在自己的庭院里种下一棵海棠树，解思念之苦。直到晚年，他仍然对这个初恋情人念念不忘。曾写下一首诗《忆秋海棠》，告慰那逝去的香魂：“憔悴幽花剧可怜，斜阳院落晚秋天。词人老大风情减，犹对残红一怅然。”
3、郭彩符
生平不详。
4、沈明轩
生平不详，育有纪汝佶、纪汝传、纪汝似、纪汝亿。
纪晓岚的子女
1、长子：纪汝佶（1743—1786）字御调，别字侠如，乾隆朝举人。
2、次子：纪汝传（1747—1777）字绪承，曾任九江府通判、江宁府同知。
3、三子：纪汝似（1766—？）字象庭，广东县丞。
4、四子：纪汝亿（1784—？）字万斯，纪晓岚第四子。
